Automatic Image Registration Based on Extraction of Corresponding-Points for Multi-Sensor Image Fusion

학술논문 센서․신호처리 부문

다중센서 영상융합을 위한 대응점 추출에 기반한 자동 영상정합 기법

Automatic Image Registration Based on Extraction of Corresponding-Points for Multi-Sensor Image Fusion

최 원 철* 정 직 한* 박 동 조* 최 병 인** 최 성 남**

Won-Chul Choi Jik-Han Jung Dong-Jo Park Byung-In Choi Sungnam Choi

Abstract

In this paper, we propose an automatic image registration method for multi-sensor image fusion such as visible and infrared images. The registration is achieved by finding corresponding feature points in both input images. In general, the global statistical correlation is not guaranteed between multi-sensor images, which bring out difficulties on the image registration for multi-sensor images. To cope with this problem, mutual information is adopted to measure correspondence of features and to select faithful points. An update algorithm for projective transform is also proposed. Experimental results show that the proposed method provides robust and accurate registration results.

Keywords : Image Registration, Multi-Sensor Images, Mutual Information, Automatic Feature Extraction

1. 서 론

최근 다중센서를 이용한 영상융합 시스템 및 이를 활용한 응용 분야에 대한 연구가 활발히 진행되고 있 다. 의료 분야에서 CT, MRI, PET 등의 상호 보완적인 영상정보들을 융합하여 정밀하고 정확한 진단을 내릴 수 있는 도구로 이용하고 있으며, 국방 산업에서 CCD 센서와 적외선 센서 등 서로 다른 파장 대역의 센서 정보를 융합하여 물체 인식 및 추적 시스템의 신뢰성

†2009년 4월 20일 접수～2009년 7월 17일 게재승인 * 한국과학기술원 전자전산학부(School of EECS, KAIST)

** 삼성탈레스(주) (Samsung Thales Co., Ltd.) 책임저자 : 최원철([email protected])

및 정확성을 높이는데 이용하는 경우도 있다.

영상정합은 같은 장면이나 물체에 대한 두 개 이상 의 영상들의 위치 관계를 대응 시켜주는 과정으로써 다중 영상을 이용한 융합 시스템에서 핵심적인 부분 을 차지한다. 영상정합의 대상이 되는 영상들은 단일 센서를 이용하여 시차를 두어 획득한 영상들, 서로 다 른 시점에서 획득한 영상들, 혹은 서로 다른 여러 개 의 센서로부터 획득된 특성이 다른 영상들에 이르기 까지 다양하다^[1]. 일반적으로 정합하고자 하는 2D 영 상들은 각각의 해당 픽셀 좌표계 상에서 독립적으로 표현이 되어 있기 때문에 서로 다른 환경(시점, 시야 각 등)에서 획득된 영상들은 상대적으로 위치 관계가 어긋나 있으므로 이를 하나의 좌표계로 정렬시켜 주 는 영상정합 과정이 필요하다.

정합 방법에 따라 영상정합은 크게 두 가지로 분류 할 수 있다^[2]. 하나는 특징기반 정합 기법이고 다른 하나는 영상기반 정합 기법이다. 특징기반 정합 기법 은 정합 하고자 하는 두 영상의 특징량을 추출하고, 추출된 특징량의 공통된 특성 정보를 이용하여 대응 관계를 설정하여 두 영상을 정렬시키는 방법이다. 특 징 기반의 정합에 사용하는 특징들로는 특징점, 외곽 선 특징, 모서리, 방향성 모서리와 그레디언트 등이 있다. 특징 기반의 정합인 경우 적은 연산량으로 특징 을 추출하여 영상정합을 수행할 수 있다는 장점이 있 지만, 두 영상에서 추출한 영상 특징점의 정확도가 영 상정합의 성능에 많은 영향을 주게 된다. 반면에 영상 기반 정합 기법은 영상의 개별적인 특징을 이용하는 것이 아니라, 영상 전체 화소의 밝기 값의 분포를 이 용하여 영상정합을 수행하는 방법으로 상호정보와 정 규 상호정보를 이용하는 방법이 있다^[3].

다중 센서로 획득된 영상들의 경우, 센서 고유의 특 성 차이로 인해 영상 픽셀의 밝기 값 정보가 현저히 차이가 나기 때문에 영상정합시 많은 어려움이 발생 하게 된다^[4]. 예를 들어, 가시광선 영역의 영상에서는 물체의 색이나 주변의 밝기에 따라 영상의 밝기값이 결정되는 반면에 적외선 영상은 물체의 온도가 밝기 값으로 표현되기 때문에, 두 영상은 서로 다른 특성의 밝기값 분포를 갖게 된다. 이러한 상황에서 영상의 공 통적인 특성을 이용하는 특징 기반의 정합은 다중 센 서 영상정합에 그대로 적용하기 힘들고, 영상 기반의 정합은 두 영상의 밝기값 사이에서 일반적인 상관관 계를 찾기 어려운 점이 있다. 이런 두 가지 방식의 문 제점을 해결하기 위해 영상 기반의 기법을 특징 기반 의 정합에 적용하여 수동으로 정합하는 방법^[5]이 제안 되었다.

본 논문에서는 기존의 방식을 확장하여 영상기반 정합 기법을 적용한 자동 영상정합 시스템을 제안하 고자 한다. 제안하는 시스템은 각 영상에서 검출된 특 징점 중에서 서로 대응되는 특징점을 선택하기 위해 정규 상호정보를 도입하여 높은 신뢰도는 갖는 특징 점을 추출하고, 이를 이용해서 영상 변환을 업데이트 하는 과정을 포함한다. 이 때 기존의 기법과는 달리 대응점을 자동으로 선택하고 잘못된 대응을 제거함으 로써 안정적인 영상정합이 이루어지도록 하였다.

이 논문의 구성은 다음과 같다. 제 2장에서는 영상 정합의 정의와 영상정합을 수행하는데 가장 핵심적인 변환 모델과 정합 기준에 대해 알아보도록 한다. 그리

고 제 3장에서는 자동 영상정합을 위한 특징점 검출 기법과 정규 상호정보를 이용하여 대응되는 특징점을 선출하는 방법을 제안한다. 그리고 구해진 특징점을 통해서 정합하고자 하는 변환 모델을 업데이트하는 과정을 설명한다. 제 4장에서는 제안된 자동 영상정합 기법의 성능을 모의 실험을 통해 확인하고, 제 5장에 서 이 논문의 결론과 요약을 서술한다.

2. 영상정합의 구성

이 장에서는 영상정합의 정의와 전체 구조를 설명 하고, 이를 수행하기 위해 중요하게 사용되는 변환 모 델과 정합 기준에 대해 설명한다.

가. 영상 정합

동일한 장면에 대해서 얻은 여러 종류의 영상이 있 을 때, 이러한 영상들을 하나의 통일된 좌표계상에서 표현하는 것을 영상정합(image registration)이라고 한다.

두 개의 영상에 대한 영상정합을 생각해 보면, 좌표계 상에서 기준이 되는 하나의 기준영상(R : reference image)을 정의할 수 있고, 다른 영상은 적절한 변환 과정을 통해서 기준 영상과 동일한 좌표계로 표현된 다. 이 때 변환이 이루어지는 다른 영상을 변환영상(T : transform image)이라고 한다. 변환 영상은 특정한 변 환 모델을 갖는 변환함수(F : transform function)를 통 해 기준 영상과 동일한 좌표계에서 표현되는데, 다음 과 같은 식을 만족하는 변환 함수를 찾는 것이 영상 정합의 목표가 된다.

 max_ (1)

임의의 변환 함수에 대해서 변환된 영상과 기준 영 상의 정합 정도를 판별하기 위한 척도(M: registration measure)를 통해 가장 적합한 변환 함수를 구하고 영 상의 변환을 수행하는 것이 영상정합의 목표라고 할 수 있다.

나. 변환 함수와 변환 모델

변환 함수는 변환 하고자 하는 영상의 특징에 따라 변환 모델을 선택하고, 그 변환 모델을 이루는 파라미 터를 결정함으로써 정의된다. 본 논문에서는 2D 원근 적 변환(projective transform) 모델을 사용하였다. 원근

적 변환 모델은 평면 영상을 핀홀 카메라로 바라본다 고 할 때 발생할 수 있는 왜곡과 물체의 원근 관계를 정확하게 표현할 수 있기 때문에 영상정합에서 널리 쓰인다^[4]. 변환 행렬을 H라고 했을 때 동차 좌표계에 서 원근적 변환은 다음과 같이 표현할 수 있다.



















___

___

_{ }_









변환 영상에서  의 점이 기준 영상에서 ″ 

″ 로 변환 되었다고 했을 때, 변환된 점은 식 (2)를 이용하여 식 (3)과 같이 비동차 좌표계로 나타낼 수 있다.

′′  ′

′ _  _  _

_  _  _

′′  ′

′ _  _  _

_  _  _

(3)

다. NMI 정합 척도

두 영상의 사이의 변환 함수가 구해지고 나면, 변환 함수를 통한 영상 정합이 얼마나 잘 이루어 졌는지를 판단하기 위한 척도가 필요하게 된다. 만약 두 영상이 동일한 환경에서 동일한 센서를 통해 얻어진 영상이 라면, 두 영상 사이의 상관도(correlation)를 구하거나 절대차의 합(SAD : Sum of Absolute Difference)과 같은 척도를 통해 영상의 유사성을 비교할 수 있다. 하지만 서로 다른 센서로부터 획득한 영상의 경우, 정합이 잘 이루어지더라도 위의 척도들은 영상정합의 결과를 잘 표현하지 못하게 된다. 그래서 본 논문에서는 두 영상 사이의 통계적 유사성을 판단하는 척도로서 상호정보 (MI : Mutual Information)를 사용하도록 한다^[3]. 상호정보란 두 확률변수에 대한 통계적인 상관성을 나타내는 개념이다. 두 개의 영상 A와 B에 대해 두 영상의 상호 정보 는 다음과 같이 정의할 수 있다.

^^^^^^^^^^ (4) 와 , 는 각각 영상 A와 B, 그 리고 두 영상의 결합 확률 분포에 대한 엔트로피 (shannon entropy)이며, 이는 영상 전체 밝기값의 불 확실성의 척도가 되기도 한다. A의 확률 분포, B의

확률 분포, A와 B의 결합 확률 분포를 각각 _,

_, _로 나타낸다면, 상호정보는 식 (4)를 통해 다음과 같이 구해진다.





_{log}

__

_

(5)

식 (5)는 영상 밝기값 사이의 통계적 상관도를 나타 내며, 영상의 정합이 잘 이루어졌을 때 값이 최대가 되는 것을 이용하여 영상정합의 척도로 사용할 수 있 다. 특별히 영상의 경우 영상 변환을 통해 영상이 중 첩된 부분의 면적에 따라 상호정보의 값이 바뀌게 되 므로, 이를 보완하기 위해 식 (6)과 같이 상호정보를 결합 엔트로피로 정규화한 정규 상호정보를 사용한다.

__{ }



^^^^

(6)

3. 제안하는 자동 영상 정합 기법

특징기반 정합 기법은 영상의 특징점(feature point) 을 검출하고, 이 특징점들을 이용해서 정합을 빠르게 수행하는 장점을 가지고 있다. 하지만 정합하고자 하 는 영상이 서로 다른 센서로부터 획득한 영상이라면, 영상 사이에 존재하는 특징점 사이에 신뢰도가 감소 할 수 밖에 없다. 특히 가시광선 영상(EO : Electro- Optic)과 적외선 영상(IR : Infrared) 사이의 영상정합인 경우 두 영상 사이에 일정한 상관도를 알기 어려운 경 우가 많다.

밝기값 기반의 정합 기법의 경우 몇몇 특징점을 이 용하는 것이 아니라, 영상 전체의 밝기값의 분포를 이 용하여 영상의 유사도를 측정하고 정합하는 기법이다.

이 방법은 정규 상호정보를 최대화함으로써 영상정합 척도를 만족하는 변환 함수를 찾을 수 있는 장점이 있지만, 이를 위해 필요한 연산량이 많고, 국부 최대 점(local maximum)에 빠져 원하는 결과를 얻지 못하는 경우가 발생하기도 한다.

이 장에서는 이 두 가지 영상 정합 기법의 장점을 융합하여 자동으로 효과적인 영상 정합을 수행하는 기법을 제안한다. Fig. 1은 제안하는 영상정합 기법의 전체 구조를 나타내고 있다.

Fig. 1. Overall structure of the proposed image registration method

두 개의 다른 센서에서 획득한 영상이 입력되면, 각 각에 대해 특징점을 추출한다. 이 때 알고리즘의 효율 성을 위해 특징점의 수를 조절하는 과정을 수행한다.

이렇게 얻어진 각 영상의 특징점들을 중심으로 주변 의 패치(patch) 영상을 이용하여 정규 상호정보를 계 산하고 가장 높은 상관도를 갖는 특징점들을 선별한 다. 이러한 특징점들을 이용하여 초기 변환 행렬을 계 산하고, 대응 특징점들이 변환된 결과를 이용하여 최 적의 변환 행렬로 업데이트 하는 과정이 수행된다.

가. 특징점 검출

일반적으로 정합을 수행하고자 하는 두 영상은 비 슷한 장면에 대해 획득한 영상이라고 가정할 수 있다.

따라서 이러한 영상들에서 기하학적인 특성, 곧 모서 리(edge), 모퉁이(corner) 등의 특징점들의 위치는 비슷 한 분포를 가지게 되고 검출된 특징점들 중에서 서로 대응되는 쌍을 찾을 수 있다면, 영상정합을 효과적으 로 수행할 수 있다. 영상의 특징점을 검출하기 위한 방법으로는 Harris 검출기^[6], SUSAN, Lindeberg 및 Gilles와 같은 여러 기법들^[7]이 존재한다. 또, 영상의 특징점을 검출하기 위해 최근에 많이 다루어지는 기 법으로 Lowe^[8]가 제안한 SIFT 알고리즘이 있다. 이 방 법은 영상의 크기에 불변한 특징을 이용하기 때문에 물체 인식에서 많이 활용되지만, 연산량이 많은 단점 이 있고, 다른 센서로부터 획득한 영상의 경우에는 특 징 벡터가 다르기 때문에 영상정합을 위해 사용하기

에는 어려움이 있다.

본 논문에서는 특징점을 추출하기 위한 기법으로 Harris 검출기를 사용하였다. Harris 방식의 경우 연산 량이 적고 Harris 응답에서 문턱값(threshold)을 통해 특 징점의 수가 결정되는 장점이 있다. 제안하는 영상정 합 기법은 영상에서 특징이 있는 것으로 추정되는 특 징점을 검출하고, 대응 특징점 선별 과정을 통해 잘못 된 특징점들을 제거하는 과정을 포함한다. 이때 특징 점이 적을 경우 올바른 대응 특징점이 없어서 변환이 잘 이루어지지 않으며, 반대로 특징점이 너무 많을 경 우 연산량이 증가하고 잘못된 대응 특징점이 발생할 가능성이 커지게 된다. 그렇기 때문에 본 논문에서는 다음과 같이 Harris 검출기를 사용하여 특징점의 수를 조절하는 반복적 Harris 검출기를 제안한다.

_{} arg min_^{} (7)

은 Harris 응답이고, 은 로부터 검출된 특징점의 개수를 문턱값 T에 값에 따라 얻는 함수이 다. 이 때 는 국지성 최대 특징점(local maximum feature point)에 대해 만큼의 비율 안에 들어오는 결 과들을 특징점으로 검출하게 된다. _{}은 우리가 검출하고자 원하는 특징점의 개수를 의미한다. 이때

는 에 대해 감소함수 이므로,  _{값을 변화} 시키면서 우리가 원하는 특징점을 추출한다.

나. 영상 패치를 이용한 대응 특징점 선별

앞에서 얻어진 특징점들은 각 영상의 특징적인 정보 를 표현하므로, 이를 이용하면 정합하려는 두 영상의 상대적인 관계를 유추할 수 있다. 본 논문에서는 검출 된 특징점들 중에서 서로 대응되는 특징점 쌍을 선별 하기 위해, 특징점 주변 영상의 정규 상호정보를 이용 하는 방식을 제안하였다. 제안된 방식에서 검출된 특 징점은 주변 영역의 영상을 포함하는 패치를 획득한 후, 이 패치들간의 정규 상호정보를 통해서 특징점의 유사성을 판별하게 된다. 이 때 주변 패치의 정규 상호 정보가 가장 큰 특징점을 대응 특징점으로써 신뢰도가 높다고 추정하고, 이러한 대응 특징점들을 선별한다.

두 개의 영상이 유사한 장면을 획득한 것이라는 가 정하면, 두 영상은 비슷한 장면을 표현하게 되므로 특 징점들은 국지성(localization)을 나타내게 된다. 즉, 서 로 너무 멀리 떨어진 특징점들은 대응 특징점을 선별 하는 과정에서 제외시킨다면 통계적인 상관도를 높임

으로써 잘못된 대응쌍을 제거할 수 있고, 불필요한 연 산의 제거로 연산량을 감소 시킬 수 있다. Fig. 1에서 입력된 영상 의 번째 특징점을 _^, 영상 의  번 째 특징점을 , _^와 대응되는 

의 특징점 중에서 국지성을 고려한 후보들의 집합을 _^라고하면, 

와 대응되는 특징점 

는 다음과 같이 구할 수 있다.

_^^^_^^{ }

_^ arg min_



 _^_^^{ for }∈_^

(8)

(a)

(b)

Fig. 2. Corresponding feature matching using the localized information:

(a) wrong corresponding pair matching result (b) proposed feature matching

∙는 두 특징점 사이의 거리를 구하는 함 수이며, _∙는 특징점 _^과 _^ 주변의 × 크기의 패치를 이용하여 정규 상호정보를 구하는 함 수를 나타낸다. Fig. 2는 제안된 국지성을 이용한 대 응쌍 선별 기법의 결과를 보여주고 있다. 입력된 두 영상은 유사한 장면에 대해서 획득한 가시광선 및 적 외선 영상이다. (a)는 국지성을 고려하지 않고 전체 대응쌍에 대해 정규 상호정보를 계산하고 이를 통해 서로 대응되는 특징점들을 연결한 결과이고, (b)는 국 지성을 이용해서 거리가 큰 특징점들을 제외하고 통 계적 상관도를 높임으로써 잘못된 대응점들을 제거한

결과이다. (a)에서 타원으로 표시한 부분에서 2개의 잘못된 대응 특징점들이 선택되어 있는 반면에, (b)에 서는 원으로 표시된 것과 같이 특징점의 국지성을 제 한하고 이 영역에 존재하는 특징점을 검색영역으로 사용함으로써 잘못된 대응 결과를 제거하였다.

다. 신뢰도 높은 대응 특징점 추출

국지성을 이용하여 대응되는 특징점을 선별하였다 하더라도, 선별된 특징점들이 모두 정확하게 대응되었 다고 보기는 어렵다. 잘 대응되는 점일수록 정규 상호 정보가 높은 것은 사실이지만, 반대로 정규 상호정보 가 높다는 것이 잘 대응되었음을 보장한다고 보기는 어렵기 때문이다. 여기서는 선별된 특징점들 중에서 신뢰도가 높은 대응점을 추출하는 과정을 제안한다.

영상 의 특징점 

과 대응되는 영상 의 특징점

_^를 구할 수 있으므로, 이와 반대로 영상 의 영상

의 특징점 과 대응되는 영상 의 특징점 도 구할 수 있다. 이 때 구해진 _^과 _^가 서로의 대응 쌍으로 표현이 될 경우, 이 특징점들은 서로의 대응 특징점으로 판단할 수 있다. 정규 상호정보가 가장 높 음에도 불구하고 잘못된 대응이 발생할 수 있으며, 이 렇게 두 영상에 대한 상호 비교를 함으로써 이러한 경우를 최소화할 수 있게 된다. 이런 경우는 유사한 패턴이 주기적으로 발생하는 영상에서 주로 발생하게 된다. 예를 들어 일정한 간격으로 창문이 있는 건물이 나 자동차들이 주차되어 있는 주차장과 같은 경우, 정 규 상호정보를 사용하더라도 주변의 다른 영상과의 구별이 쉽지 않기 때문에 하나의 영상에 대해서만 대 응 특징점을 선별하게 되면 잘못된 결과를 얻기 쉽다.

그러나 제안된 방식의 상호 비교 기법을 사용하게 되 면 이렇게 유사한 패턴이 반복되는 영상의 경우에도 대응 특징점 선별에서 발생하는 잘못된 대응을 줄일 수 있으며, 신뢰도가 높은 대응점만을 추출해 냄으로 써 영상 정합의 변환 행렬 오차를 줄일 수 있게 된다.

라. 변환 모델 업데이트

앞에서 검출된 대응 특징점들을 이용해서, 서로 대 응되는 점들의 원근 변환을 수행하는 변환함수를 구하 게 된다. 본 논문에서는 원근적 변환을 변환함수로 사 용하였고, 원근적 변환은 3×3의 변환 행렬 로 나타 낼 수 있다. 는 총 9개의 변수로 이루어진 3×3 행렬 이고, 을 1로 설정하게 되면 총 8개의 변수가 정의

되어야 한다. 이를 위해 최소 4쌍 이상의 서로 다른 대 응쌍이 있어야 하며, 그 이상의 경우에도 식 (9)와 같 이 선형 방정식을 이용하여 행렬 를 구할 수 있다.

1 1 1 1 1 1

11

1 1 1 1 1 1

2 2 2 2 2 2

2 2 2 2 2 2

3 3 3 3 3 3

3 3 3 3 3 3

4 4 4 4 4 4

4 4 4 4 4 4

1 0 0 0 ' '

0 0 0 1 ' '

1 0 0 0 ' '

0 0 0 1 ' '

1 0 0 0 ' '

0 0 0 1 ' '

1 0 0 0 ' '

0 0 0 1 ' '

x y x x x y

x y y x y y h

x y x x x y h

x y y x y y

x y x x x y

x y y x y y

x y x x x y

x y y x y y

− −

⎡ ⎤

⎢ − − ⎥

⎢ ⎥

⎢ − − ⎥

⎢ − − ⎥

⎢ ⎥

⎢ − − ⎥

⎢ ⎥

− −

⎢ ⎥

⎢ − − ⎥

⎢ ⎥

− −

⎢ ⎥

⎢ ⎥

⎣M M M M M M M M ⎦

1 1 12

2 13

2 21

3 22

3 23

4 31

4 32

' ' ' ' ' ' ' ' x y h x h y h x h y h x h y

⎡ ⎤

⎡ ⎤ ⎢ ⎥

⎢ ⎥ ⎢ ⎥

⎢ ⎥ ⎢ ⎥

⎢ ⎥ ⎢ ⎥

⎢ ⎥ ⎢ ⎥

⎢ ⎥ ⎢ ⎥=

⎢ ⎥ ⎢ ⎥

⎢ ⎥ ⎢ ⎥

⎢ ⎥ ⎢ ⎥

⎢ ⎥ ⎢ ⎥

⎢ ⎥ ⎢ ⎥

⎢ ⎥

⎣ ⎦ ⎢⎣ M ⎥⎦ (9)

식 (9)는 행렬 연산을 통해서 쉽게 풀 수 있고, 좌 항에서 의사 역행렬(Pseudo-inverse)을 곱함으로써 계산 된다. 대응 특징점이 4쌍일 경우 구해진 행렬 는 식 (2)에 대한 해가 되고, 만약 대응점이 5쌍 이상일 경 우에는 대한 최소평균자승오차(MMSE) 결과가 된다.

변환 행렬 를 구하게 되면, 초기 변환 함수를 생 성하게 된다. 하지만 대응점 추출 과정을 수행한 후에 도 잘못된 대응점이 발생할 경우, 여기서 구한 변환 행렬에 오차가 발생하게 되고 영상 전체의 정합 결과 에 영향을 끼치게 된다. 그래서 여기서는 추출된 대응 특징점을 이용해서 높은 신뢰도를 갖는 변환 행렬로 업데이트하는 과정을 제안한다.

변환 행렬 를 통해 특징점 이 변환된 점을 ′ 이라고 할 때, 대응되는 

에 대해 식 (10)을 만족하 는 경우  라고 정의한다. 여기서 는 

를 결정하는 변수이다.

^′_^  (10)

제안하는 변환 행렬 업데이트 알고리즘은 다음과 같다.

단계 1 : 특징점들을 이용하여 변환행렬 계산 단계 2 : 계산된 변환행렬을 사용하여 대응

특징점의 위치를 다른 좌표계로 변환 단계 3 : 가 발생하지 않으면 단계 5로 이동 단계 4 : 거리가 가장 먼  특징점을 대응

특징점에서 제거하고 단계 1로 이동 단계 5 : 정합 종료

제안된 변환 행렬 업데이트 기법의 경우, 4개 이상 의 대응쌍이 존재한다면 변환 행렬을 구할 수 있는 특징을 가지고 있지만, 실제로 대응쌍의 개수가 너무 많아지게 되면 식 (9)의 의사 역행렬을 구하기 위해 많은 연산량이 필요하므로, 우선순위를 부여하여 가장 적합한 대응쌍만을 적용하는 것이 바람직하다. 앞에서 언급한 것과 같이 정규 상호정보의 값이 크다는 것이 바로 대응쌍의 정확도를 의미하지는 않으므로, 정규 상호정보 값의 절대치보다는 두 번째로 큰 정규 상호 정보 값과의 비율을 통해서 가장 특징적인 대응점을 고르는 것이 바람직하다. 그래서 본 논문에서는 각 대 응점 마다 가장 큰 두 개의 정규 상호정보값을 구하 고 이 값의 비율을 기준으로 상위 개의 특징점만을 사용하여 변환 모델 업데이트에 사용하였다.

4. 실험 결과

제안된 영상정합 기법을 확인해 보기 위해 동일한 장면에 대해 획득한 적외선 영상과 가시광선 영상에 대한 모의 실험을 수행하였다. 수행된 영상은 Fig. 3 과 같이 정합결과를 테스트하기 위한 모자이크판과 도로, 그리고 건물이 있는 장면이며, (a)와 (b)는 장면 A를 각각 IR 카메라와 CCD 카메라로 촬영한 영상이 고, (e)와 (f)는 장면 B를 촬영한 영상이다. 영상 (c)와 (d)는 입력 영상 A에 대해 특징점을 검출한 결과이고, (g)와 (h)는 영상 B에 대해 특징점을 검출한 결과이다.

이 때 정합을 위한 특징점의 수 _{}은 300으로 설 정하였다. 이렇게 검출된 특징점들은 본 논문에서 제 안하는 특징점의 선별 및 추출 과정을 거쳐 Fig. 2와 같이 얻어지게 되는데, 정규 상호정보 계산을 위한 패 치의 크기는 60×60으로 설정하였다.

결정된 대응 특징점들을 통해서 제안된 변환 모델 업데이트가 수행된다. 이 때 대응 특징점들은 영상 A 의 경우 51개, B의 경우 40개가 추출 되었으며, 변환 모델 업데이트를 수행하기 위해 신뢰도가 높은 20개 의 대응쌍을 선별하고, 제안하는 변환 행렬 업데이트 과정을 통해 각각 2번, 1번의 반복 과정만을 거친 후 정합이 종료 되었다. Fig. 4는 영상정합의 결과를 보 여주고 있다. (a)와 (b)는 정합 수행 전 두 영상의 엇 갈림을 나타내고, (c)와 (d)는 수동으로 특징점을 선택 하여 정합을 수행한 결과^[5]를, 그리고 (e)와 (f)는 제안 하는 영상 정합의 결과이다. 기존의 수동 정합 기법은

대응쌍을 선택하는 것에 따라 정합 결과가 달라지며 사용자가 대응쌍을 선택해야 하는 반면에, 자동 정합 기법은 대응쌍을 자동으로 선별하면서도 더 큰 정규 상호 정보량을 갖고 정합이 효과적으로 수행되는 것

(a) (b)

(c) (d)

(e) (f)

(g) (h)

Fig. 3. Feature extraction results:

(a) input CCD image A (b) input IR image A (c) detected features on CCD image A (d) detected features on IR image A (e) input CCD image B (f) input IR image B (g) detected features on CCD image B (h) detected features on IR image B

을 확인할 수 있다. 영상 B의 경우 수동 정합(d)를 수 행하였을 때 오히려 정규 상호 정보가 감소하기도 하 지만 제안한 기법의 경우 모두 가장 큰 정규 상호 정 보량을 얻는다.

정합된 결과 영상은 여러 가지 융합 기법을 사용하 여 하나의 영상으로 표현할 수 있다. 대부분의 융합 기법들이 영상이 정합되었다고 가정하기 때문에 본 논 문에서 제안한 결과는 기존의 융합 기법들과 같이 사 용할 수 있다. Fig. 5는 제안하는 정합 기법을 이용하 여 정합된 결과 영상을 웨이블렛 변환을 이용한 영상 융합 기법^[9]을 이용하여 하나의 영상으로 표현한 결과 이다. 제안하는 영상 정합을 통해 IR과 CCD 영상의 특징들이 잘 정렬되어 하나의 영상에 표현되었음을 확인 할 수 있다.

(a) (0.0941) (b) (0.1493)

(c) (0.0999) (d) (0.1303)

(e) (0.1013) (f) (0.1595) Fig. 4. Comparison of registration method(its normalized

mutual information):

(a) (b) non-registered input image (c) (d) registered image(manual selection) (e) (f) registered image(proposed method)

(a) (b) Fig. 5. Image fusion after registering images

5. 결 론

본 논문에서는 서로 다른 센서로부터 획득한 영상 에 대해 자동으로 특징점을 검출하고, 대응되는 대응 쌍을 추출한 후, 영상 변환 모델을 업데이트하는 영상 정합 기법을 제안하였다. 기존의 특징점 기반 정합 기 법들은 다른 센서의 영상들에 대해 대응되는 점을 파 악하기 힘든 단점이 있는데, 제안하는 방식에서는 대 응쌍을 검출하기 위해 특징점 주변 영역의 정규 상호 정보를 사용하여 유사성을 비교하고, 각 영상에서 대 응점을 검색하여 상호 일치하는 특징점만을 사용하여 잘못된 대응 특징점을 제거하였다. 또 그 중에서 신뢰 도가 높은 점들을 선별하여 영상변환 모델을 결정함 으로써, 연산량을 줄이고 영상정합의 강인성을 높이도 록 하였다. 실험 결과를 통해 밝기값 정보가 다른 적 외선 및 가시광선 영상에 대해 영상정합이 자동으로 이루어지는 것을 확인하였으며, 제안하는 기법을 통해 잘못된 대응 특징점이 효과적으로 제거됨을 보여 주 었다. 또한 기존의 수동 정합 기법에 비해서 더 큰 정 규 상호 정보량을 얻으며, 더 정확한 정합을 수행할 수 있음을 확인하였다.

후 기

이 논문은 2009년도 삼성탈레스(주)의 재원을 받아 수행된 연구임.

Reference

[1] B. Zitova and J. Flusser, “Image Registration Methods : A Survey,” Image and Vision Computing, pp. 977～1000, 2003.

[2] K. Kim, J. Lee, and J. Ra, “Robust Multi-Sensor Image Registration by Enhancing Statistical Correlation”, 7th International Conference on Information Fusion, FUSION, pp. 380～386, 2005.

[3] J. P. W. Pluim, J. B. A., Maintz, and M. A., Viergever, “Mutual-Information-Based Registration of Medical Images : A Survey,” IEEE Transactions on Medical Imaging Vol. 22 No. 8, pp. 986～1004, 2003.

[4] M. Irani and P. Anandan, “Robust Multi-Sensor Image Alignment”, Proceedings of IEEE International Conference on Computer Vision, pp. 959～966, 1998.

[5] J. Jung, W. Choi, D. Park, C. Park, and J. Lee,

“Automatic Extraction of Corresponding-Points for Image Registration,” Proceedings of SPIE, Vol. 6974, 2008.

[6] C. Harris and M. J. Stephens, “A Combined Corner and Edge Detector”, Alvey Vision Conference, pp.

147～151, 1988.

[7] F. Shen and H. Wang, “A Local Edge Detector Used for Finding Corners”, Proceedings of 3th International Conference on Information and Communication Security, pp. 1～4, 2001.

[8] D. G. Lowe, “Distinctive Image Features from Scale- Invariant Keypoints”, International Journal of Computer Vision, Vol. 60, No. 2, 2004.

[9] V. S., Petrovic and C. S., Xydeas, “Gradient-Based Multiresolution Image Fusion”, IEEE Transactions on Image Processing, Vol. 13, No. 2, pp. 228～237, 2004.