학술논문 센서․신호처리 부문
소형 미사일 탐지를 위한 Facet 기반의 고속 영상처리 기법
A High-Speed Image Processing Algorithm Based on Facet Filter for Small Missile Detection
김 지 은*
Jieun Kim
Abstract
This paper presents a novel method which can detect a target in IR image for active protection system. The target in IR image for the active protection system is small, moreover it moves with enormous speed. The proposed algorithm is comprised of robust clutter rejection methods and target optimized detection algorithms for small target, and an advanced method of selecting a final target position in target area, it can work in some milli- seconds. The proposed algorithm provides the active protective system with more correct positions than those of radar, so that helps the active protection system can defense all threats with the utmost precision.
Keywords : Active Protection System(능동파괴체계), Speedy Small Target Detection(고속 소형 표적 탐지), IR Image (적외선 영상), Real-Time Image Processing(실시간 영상처리)
1. 서 론
오늘날 전차를 포함한 지상차량은 근거리에서 발사 되는 무유도 로켓, 중/장거리에서 발사되는 유도 미사 일, 그리고 전차에서 발사되는 전차탄 등에 위협을 받 고 있으며, 과학 기술의 발전으로 이 위협체의 파괴력 이 크게 증가하고 있다. 따라서 수동적인 방호 개념인 전차 장갑의 피탄 면적의 감소만으로는 위협체를 회 피하기 힘들다. 또한 위협체 파괴력의 증가로 장갑재 개량이나 부장갑만으로도 생존을 보장하기 힘들 뿐만 아니라, 이 때문에 전차의 행동에 많은 제약을 받게
†2009년 4월 16일 접수～2009년 6월 26일 게재승인
* 국방과학연구소 3본부 1부(ADD) 책임저자 : 김지은([email protected])
된다. 이에 따라 위협체를 교란하거나 직접 파괴하는 등 적극적인 방호 수단으로 전차의 생존성과 방호력 을 향상 시킬 수 있는 능동 방호체계의 기술 연구 및 개발의 계기가 되었다.
미래 전투 체계에서 전차를 위협하는 미사일, 대전 차 화기 등 각종 위협으로부터 생존성을 보장받는 획 기적인 방법을 능동 방호라고 한다. 능동방호는 크게 수동방호(Soft Kill)와 능동파괴(Hard Kill)로 나눈다.
이중 능동 파괴 체계는 접근하는 미사일을 비교적 근 거리에서 탐지하여 고속 신호처리를 통해 접근하는 방위각 및 고각을 정밀하게 예측하고 미사일의 최고 속도 및 전차에 도달하는 시간을 계산한 후 미사일이 전차에 도달하기 직전에 대응 파괴탄을 발사하여 미 사일을 파괴하거나 무력화 시키는 적극적인 방호수단 이며[1], Fig. 1과 같이 개념을 설명할 수 있다.
Fig. 1. Concept of APS
능동 파괴체계는 다음의 Fig. 2에서 보는 것과 같이 탐지 추적 센서 그리고 위협처리 컴퓨터, 대응 발사 장치, 대응탄으로 구성된다. 이때 탐지 추적 센서와 센 서 처리는 전차로 접근해오는 위협체를 탐지하고, 탐 지 후 접근하는 위협체를 지속적으로 추적하여 위협처 리 컴퓨터로 위협체의 정보를 제공하는 역할을 한다.
따라서 정확한 탐지 추적 기술은 능동파괴체계의 전 체적인 성능을 좌우하는 핵심 기능을 수행하게 된다.
Fig. 2. Family tree for APS
능동 파괴체계의 탐지 추적 센서는 위협체를 탐지 추적하여 3차원 정보를 추출하게 되는데 주로 레이더 를 사용하고 있다. 그러나 레이더는 3차원 공간상 원 거리의 위협체 탐지가 가능하다는 장점이 있으나 사 정거리 내의 고속 소형 표적의 정확한 위치 획득에는 한계를 가지고 있다.
그래서 본 논문에서는 레이더의 정보와 연동하여 정밀한 표적의 위치를 획득하기 위한 적외선 영상 기
반의 영상처리 기법을 제안하고자 한다. 능동 파괴체 계의 적외선 센서가 획득하는 표적은 전체 화면 중 수 픽셀 정도의 작은 영역을 차지하며, 표적의 종류에 따라 수백 m/s로 움직여 화면 내에서 짧은 시간에 사 라진다. 위와 같은 특성을 가지는 소형 고속 표적 탐 지를 위해 수 ms 이내로 동작이 가능한 표적 탐지 알 고리즘을 개발하여 정밀한 표적 탐지 추적 확률을 높 이고자 한다.
본 논문 2장에서는 능동파괴체계 정밀 표적 지향을 위한 고속 소형 표적 탐지추적을 기법을 단계별로 나 누어 설명하고, 3장에서는 제안한 기법의 구현 결과 와 성능을 보여준다. 마지막으로 4장에서 결론을 기 술 한다.
2. 본 론
가. 탐지추적 알고리즘 개요
적외선 영상에서 고속 소형 표적 탐지를 위한 알고 리즘의 구성은 Fig. 3과 같다. 먼저, 입력 영상에 대해 서, 탐색 영역을 지정한다. 탐색 영역을 지정하는 방법 은 사용자가 입력한 초기 위치를 탐색 영역으로 정하 는 방법과 레이더의 3차원 표적 탐지 정보를 기반으로 2차원 영상의 좌표로 변환하여 지정하는 방법이 있다.
사용자가 입력한 초기 위치를 탐색 영역으로 정하는 경우는 이전 프레임에서 찾은 표적 위치를 기반으로 예측하여 지속적으로 탐색 영역을 선택한다. 탐색 영
Fig. 3. Flowchart of the proposed algorithm
역 이 정해지면 표적을 탐지하기 위해서 영역 내에서 차 영상(Frame Difference)을 이용하여 클러터 제거하 고 클러터가 제거된 영상에서 페이싯 필터(Facet Filter) 를 통해 표적 영역을 검출한다. 이때 클러터 제거 기 법을 통해 얻어진 표적 영역과 페이싯 필터를 통해 얻어진 표적 영역의 교집합을 최종 표적 영역으로 결 정한다. 검출된 표적 영역에서 표적의 위치를 지정해 줄 때는 최대 에너지를 가지는 위치를 표적 위치로 선 정(Maximum Energy)하는 기법을 사용한다.
나. 클러터 제거 기법
클러터(Clutter)는 같은 영상 내에서 공간적인 밝기 값의 분포가 표적과 유사한 영역이다. 넓은 정의로는 표적이 아닌 영역을 클러터라고 지칭하는 경우도 있 다. 공간적인 밝기값의 분포가 표적과 유사하다는 것 은 정지 영상에서 눈으로 보았을 때도 쉽게 표적인지 클러터인지를 구분하기가 어렵다는 것이다. 즉, 공간적 인 정보만을 이용해서 클러터를 제거하는 것은 아주 정교한 공간적 필터를 사용하더라도 잘못된 판단을 내 릴 확률이 크다.
하지만 시간적 필터(Temporal Filter)에 대한 연구 결 과에서 언급되었듯이[2～6], 시간적으로 이웃한 프레임의 차이에 대한 정보를 이용하는 필터 이외의 시간적 필 터들은 많은 연산시간 및 메모리가 필요하며 카메라 보정 기법 등의 부수적인 과정이 필요하다. 그래서 본 논문에서는 처리 속도가 빠르고 메모리 용량의 제한 이 적은 기법인 시간적으로 이웃한 프레임 간의 밝기 값 차이(Frame Difference)를 이용하여 클러터를 제거하 는 기법을 제안한다. Fig. 4는 차 영상을 이용한 클러 터 제거 기법을 설명한다.
Fig. 4. Method for clutter rejection
본 연구에서 탐지 추적 하고자 하는 표적은 카메라 로 빠르게 다가오는 미사일이기 때문에, 영상 속에서 표적은 빠르게 움직이고 있다. 즉, 현재 영상에서 이
전 영상의 차이를 구한다면, 비록 공간적으로 밝기값 의 분포가 표적과 비슷하더라도 클러터가 움직이지 않 는다면, 차영상 기법을 통해서 클러터가 제거가 된다.
이때 차영상 속에 표적이 항상 존재한다는 가정이 적 용된다.
차 영상에 기반을 둔 클러터 제거의 세부적인 기법 은 다음과 같다. 우선 현재 입력 영상과 이전 입력 영 상간의 차이를 수식 (1)과 같이 구한다. 차 영상에서 값이 큰 화소들이 현재 입력영상에서 움직인 방향의 표적일 가능성이 높으므로 수식 (2)와 같이 양수인 경 우만 표적으로 고려한다.
(1)
≤ (2)
이때 차영상의 밝기값의 분포를 보았을 때 상대적 으로 값이 큰 화소들이 표적일 가능성이 높다. 표적에 해당하는 영역과 주변 클러터 영역을 구분하기 위하 여 차영상 값들의 평균과 표준편차를 구하여, 차영상 의 값이 정규분포 일정 부분 이상일 때 표적으로 분 류한다. 표적과 클러터 또는 배경의 분류는 수식 (3) 과 같이 정의 된다. 기준이 되는 문턱치 값(Threshold) 은 실험적인 방법을 통하여 최적화 하였다.
≥
(3)
Fig. 5는 클러터 제거 기법을 적용했을 때 결과이다.
표적 주변의 표적의 밝기 분포와 유사한 배경과 클러 터가 제거됨을 확인할 수 있다.
이때 일반적인 경우 차영상에서 표적의 움직임외의 표적 주변의 클러터가 같이 나타나기도 한다. 이러한 경우는 클러터가 움직이거나, 카메라가 움직이거나 영 상간 잡음에 의해 발생하기도 한다. 이 경우에는 시간 적 정보를 이용했음에도 불구하고, 클러터가 여전히 영상 속에 존재한다. 그래서 공간적 필터로는 여전히
클러터 제거가 어려우며, 추적 필터와 같은 다른 시간 적 정보를 이용하는 필터가 필요하다.
원본영상 클러터 제거기법 적용 결과 Fig. 5. Results of clutter rejection method
다. 표적 영역 검출
본 논문에서는 전체 영상에서 작은 픽셀을 포함하 는 소형 표적을 검출하고 실시간 신호처리 구현이 가 능한 페이싯(Facet) 모델[8,9]을 사용하였다. 페이싯이란 영상의 특정 화소를 중심으로 한 일정 영역이다. 페이 싯을 이용한 표적 탐지 기법은 기본적으로 매 화소마 다 페이싯을 설정하고, 페이싯 내에서의 표적 밝기값 분포를 얻고, 이로부터 현재 화소가 표적인지 아닌지 를 판단하는 과정으로 이루어져 있다.
본 논문에서 고려하고 있는 화면의 중심으로 다가 오는 위협도가 높은 표적의 영상 특성을 살펴보면 표 적의 밝기가 주변 보다 밝고, 2D 가우시안 형태의 밝 기값 분포를 가진다.
흑백 영상에서 페이싯에 적용되는 화소의 밝기 분 포는 3차 다항식 로 근사화 할 수 있다. 일반 적인 3차 다항식은 다음과 같다.
(4)
여기서 은 행(row)을 는 열(Column)을 뜻한다.
은 3차 다항식을 이루는 기저 집합 (Basis Set)이고 는 계수 집합(Coefficient Set)으로 정의된다. 3차 다항식의 계수를 구하는 것은 매우 복잡하므로 이산 직교 다항식(DOP : Discrete Orthogonal Polynomial)을 이용한다.
(5) for
예를 들어 수식 (5)의 직교 기저 집합인 은 수식 (6)과 같은 성질을 만족하며 수식 (7)과 같이 순 환 식으로 구할 수 있다. 여기서 은 인덱스 집합 (Index Set)이다.
∈
∈
(6)
(7)
∈
∈
만약 인덱스 집합 이 으로 주어졌을 경우 1차원 3차 이산 직교 다항식의 기저는 수식 (8)과 같다.
(8)
그러므로 기저 집합은 수식 (9)와 같다.
(9)
1차원 이산 직교 다항식으로 모델링 하고자 하는 함수를 이고 계수 집합이 이었을 때
은 이산 직교 다항식으로 다음 식 (10)과 같이 나 타낼 수 있다.
≈
(10)
최소자승법(Least Square Method)으로 계수 집합을 구하고 오차 제곱의 합은 수식 (11)과 같이 나타낼 수 있다.
∈
(11)수식 (11)의 계수 에 대해 편미분을 하고 그 값 이 0이 되는 조건을 구하면 수식 (12)와 같다.
∈
∈
(12) 이렇게 하여 계수 은 수식 (13)과 같이 구할 수 있다.
∈
∈
(13)
위 식에서 각각의 계수가 선형 독립적으로 구해지 는 것을 확인할 수 있다. 2차원 이산 직교 다항식은 1 차원 이산 직교 다항식을 확장하면 된다. 페이싯의 크 기가 5×5인 경우 인덱스 집합은 다음의 수식 (14)와 같다.
(14)
2차원 이산 직교 다항식의 기저 집합은1차원 기저 집합의 텐서(tensor) 곱으로 표현되며 화소의 밝기
를 2차원 이산 직교 다항식으로 나타내면 다음 식 (15)와 같다. 여기서 는 2차원 이산 직교 다항식의 계수 집합(coefficient set)이다. 를
×페이싯으로 정의할 때 계수 은 다음 수식(16) 과 같이 구할 수 있다.
(15)
∈
∈
(16)
1차원 이산 직교 다항식과 같이 2차원 이산 직교 다항식의 계수는 선형 독립적으로 구할 수 있다. 을 구하기 위한 가중 커널(Weight Kernel)은 수식 (17) 과 같이 정의된다. 2차원 이산 직교 다항식의 계수 집 합은 10개의 가중 커널을 통해 얻을 수 있다.
∈
∈
(17)
앞에서 언급한 특성을 가지는 영역이 영상 내에서 클러터 제거에 의해 남아있을 때 각 영역에 대해 표 적인지 아닌지 구분하기 위해 극대점 조건을 이용한 다. 극대점 조건을 만족하기 위해 다음과 같은 조건을 만족해야 한다.
∙ 가로와 세로 방향의 일차 미분이 0이다.
∙ 모든 방향에서의 이차 미분은 음수이어야 한다.
은 앞서 설명한 클러터 제거 기법을 통해 얻어진 표적 영역이다.
(18)
수식 (18)의 2차 다항식 에 대해 위의 두 가지 극대점 조건을 적용시키면 수식 (19), (20)과 같 은 조건식을 확인 할 수 있다.
(19)
and and (20)
여기에서 수식 (20)을 각각 , ,
로 치환하면 다음과 같은 수식을 얻 을 수 있다.
and and (21)
위의 두 수식 (19), (21)을 이용하면, 2차원 이산 직 교 다항식에서의 극대점을 찾을 수 있다. 하지만, 이 두 조건을 만족시키는 위치는 하나만 존재하게 되므 로, 실제로 두 조건을 통해 검출되는 표적의 크기는 언제나 1×1이 된다. 본 논문에서 고려하고 있는 표적 은 그 크기가 3×3 ～ 7×7 픽셀이기 때문에 7×7 픽셀 까지 검출이 가능한 조건이 필요하다. 그러므로 본 논 문에서는 수식 (19), (21)를 이용하여 다음의 수식 (22) 를 실험적으로 얻었다.
(22)
실시간 처리성능을 확인하기 위해 모폴로지 (Morphology) 기법을 기반으로 하는 방법 중 상대적으 로 결과가 양호한 입력영상-(Open+Close)/2 기법과 Edge+Dilate 기법을 비교하였고, 대표적인 공간(Spatial) 필터인 Two median filter와 표적과 주변 배경의 밝기 차를 이용해 표적을 탐지하는 LCC(Local Contrast Comparison)기법의 연산속도를 비교하였다.
Fig. 6과 Table 1은 동일 영상에 제안한 알고리즘과 다른 비교 알고리즘을 각각 적용했을 때의 탐지 결과 와 처리 시간을 기록하였다. 표적 탐지 결과는 LCC가 가장 양호하였으며, 입력영상-(Open+Close)/2, Facet 기 법이 비슷한 결과를 보여준다. 그러나 영상처리 속도 는 Facet기법이 다른 기법에 비해 가장 우수함을 확인 할 수 있다. facet 기법은 위해 표적 탐지 결과가 상대 적으로 양호하고 연산속도가 우수하므로 소형 미사일 탐지를 위해 적합한 알고리즘임을 확인할 수 있다.
Table 1. Comparative time table for each algorithm 소요시간(ms)
Facet 8.3
입력영상-(Open+Close)/2 21.8
Edge+Dilate 12
LCC(Local Contrast Comparison) 108.7 Two median filter 99.4
Fig. 6. Comparative result table for each algorithm
라. 표적 위치 선정
앞 절의 제안한 표적 탐지 기법을 적용하여 표적이 될 수 있는 영역(Potential Target Region)을 구한 후 표 적의 위치를 지정하여야 한다. 일반적으로 표적이 될 수 있는 영역에서 무게 중심을 표적의 위치로 하는 기법을 사용한다. 그러나 분리된 표적이 검출되는 경 우 무게 중심법은 Fig. 7의 (a)와 같이 표적의 위치를 잘못 지정할 수 있다. 본 논문에서는 배경과의 밝기 차가 크고 진행방향에서 앞부분이 가장 밝다는 위협 체의 특성과 처리속도를 고려하여 최대 에너지 기법 (Maximum Energy)[10] 기법을 적용하여 표적의 위치를 선정하였다.
(a) Centriod (b) Maximum Energy Fig. 7. 최대에너지기법(Maximum Energy)
어떤 화소의 에너지는 그 화소를 중심으로 5×5 영 역의 밝기값의 합으로 정의된다. 최대 에너지기법은 최대 에너지를 갖는 지점을 표적의 위치로 지정한다.
표적과 클러터가 떨어져 있는 경우에도 최대 에너지 기법은 가장 밝은 표적을 중심으로 표적의 위치를 선 정하며, 표적이 분할되어 검출된 경우에도 최대 에너 지 기법은 Fig. 7의 (b)와 같이 표적의 위치를 효과적 으로 지정한다. Fig. 8은 최대 에너지기법을 영상에 적용했을 때 결과를 보여준다.
(a) Centriod (b) Maximum Energy Fig. 8. 최대 에너지기법 적용 결과
3. 시험결과
Fig. 9에서 제안한 알고리즘을 적용하여 실제 표적 과 탐지 결과가 일치함을 확인할 수 있으며, 레이더 정보와 비교하면 표적 탐지 추적의 정밀함을 확인 하 였다. 그리고 제안한 알고리즘을 120Hz(8ms) 이내로 최적화 하여 정상적인 성능을 보여줌을 확인 하였다.
Fig. 10은 주변 클러터에 의해 오탐지 된 경우를 보여 준다. Fig. 10의 (a)는 표적 초기 발사 시 상대적인 표 적의 밝기가 어두울 때, 추적창 내부에 다른 가장 밝
은 클러터로 표적을 탐지한 경우이다. (b)는 밝기가 밝고 표적보다 큰 클러터에 표적이 포함되면서 클러 터의 가장 밝은 곳을 표적으로 탐지한 경우이다. 이러 한 경우 추가적인 알고리즘의 성능 개선이 필요하다.
Fig. 9. Results 1
(a) (b) Fig. 10. Results 2
4. 결 론
본 논문에서는 정밀한 표적의 위치를 획득하기 위 한 적외선 영상 기반의 영상처리 기법을 제안하고자
한다. 능동 파괴체계의 적외선 센서가 획득하는 표적 은 전체 화면 중 수 픽셀 정도의 작은 영역을 차지하 며, 표적의 종류에 따라 수백 m/s로 움직여 화면 내에 서 짧은 시간에 사라진다. 위와 같은 특성을 가지는 소형 고속 표적 탐지를 위해 수 ms 이내로 동작이 가 능한 표적 탐지 알고리즘을 개발하여 정밀한 표적 탐 지 추적 확률을 높이고자 하였다.
제안한 적외선 영상에서 고속 소형 표적 탐지를 위 한 알고리즘은 탐색영역 지정, 표적 후보 탐지, 표적 선택의 3단계로 구성된다. 먼저, 입력 영상에서 탐색 영역을 지정하고 지정한 검색 영역 내에서 클러터 제 거 기법과 페이싯 필터를 통해 표적 후보영역을 양호 하게 검출하였다. 그리고 표적 후보영역에 대해 주변 과 비교하여 가장 에너지가 높은 영역을 표적으로 선 정하였다. 제안한 알고리즘을 통하여 고속 소형 미사 일 표적에 대한 탐지 결과를 확인하였으며, 120Hz (8ms) 이내로 최적화 하여 정상적인 성능을 보여줌을 확인 하였다.
Reference
[1] 정연우, “주변국 전차 능동방호 체계 개발 동향”, 국방과 기술 제349호, pp. 78～87, 2008.
[2] Lo, B. P. L., Velastin, S. A., “Automatic Congestion Detection System for Underground Platforms”, Intelligent Multimedia, Video and Speech Processing, 2001. Proceedings of 2001 International Symposium on 2-4 May 2001 Page(s) : 158～161.
[3] Cucchiara, R., Grana, C., Piccardi, M., Prati, A.
“Detecting Moving Objects, Ghosts and Shadows in Video Streams”, Pattern Analysis and Machine Intelligence, IEEE Transactions on Volume 25, Issue 10, Oct. 2003 Page(s) : 1337～1342.
[4] Stauffer, C., Grimson, W. E. L., “Learning Patterns
of Activity using Real-Time Tracking”, Pattern Analysis and Machine Intelligence, IEEE Transactions on Volume 22, Issue 8, Aug. 2000 Page(s) : 747～757.
[5] Junxian Wang, Bebis, G., Miller, R., “Robust Video -Based Surveillance by Integrating Target Detection with Tracking”, Computer Vision and Pattern Recognition Workshop, 2006 Conference on 17～22 June 2006 Page(s) : 137～137.
[6] Ahmed M. Elgammal, “Non-parametric Model for Background Subtraction”, Lecture Notes In Computer Science; Vol. 1843 archive Proceedings of the 6th European Conference on Computer Vision-Part II table of contents.
[7] Oliver, N. M., Rosario, B., Pentland, A. P., “A Bayesian Computer Vision System for Modeling Human Interactions”, Pattern Analysis and Machine Intelligence, IEEE Transactions on Volume 22, Issue 8, Aug. 2000 Page(s) : 831～843.
[8] Sheng Zheng, ChengYi Xiong, JinWen Tian, Jian Liu,, “One Efficient Facet-Based Small Target Detection Technique”, Signal Processing, 2004.
Proceedings. ICSP ’04. 2004 7th International Conference on Volume 1, 31 Aug.～4 Sept. 2004 Page(s) : 885～888 Vol. 1.
[9] Wang, G.-D. Chen, C.-Y. Shen, X.-B., “Facet-Based Infrared Small Target Detection Method”, Electronics Letters Volume 41, Issue 22, 27 Oct. 2005 Page(s) : 1244～1246.
[10] Shijun Zhang, Zhongliang Jing, Jianxun Li, Leung, H., “Small Target Detection of Infrared Image Based on Energy Features”, Neural Networks and Signal Processing, 2003. Proceedings of the 2003 International Conference on Volume 1, 14～17 Dec.
2003 Page(s) : 672～676 Vol. 1.
