Efficient Object Tracking System Using the Fusion of a CCD Camera and an Infrared Camera

CCD 카메라와 적외선 카메라의 융합을 통한 효과적인 객체 추적 시스템

Efficient Object Tracking System Using the Fusion of a CCD Camera and an Infrared Camera

김 승 훈, 정 일 균, 박 창 우, 황 정 훈

(Seung-Hun Kim

, Il-Kyun Jung

, Changwoo Park

, and Jung-Hoon Hwang

)

1

Korea Electronics Technology Institute

Abstract: To make a robust object tracking and identifying system for an intelligent robot and/or home system, heterogeneous sensor fusion between visible ray system and infrared ray system is proposed. The proposed system separates the object by combining the ROI (Region of Interest) estimated from two different images based on a heterogeneous sensor that consolidates the ordinary CCD camera and the IR (Infrared) camera. Human's body and face are detected in both images by using different algorithms, such as histogram, optical-flow, skin-color model and Haar model. Also the pose of human body is estimated from the result of body detection in IR image by using PCA algorithm along with AdaBoost algorithm. Then, the results from each detection algorithm are fused to extract the best detection result. To verify the heterogeneous sensor fusion system, few experiments were done in various environments. From the experimental results, the system seems to have good tracking and identification performance regardless of the environmental changes. The application area of the proposed system is not limited to robot or home system but the surveillance system and military system.

Keywords: human body detection, Face detection, Human pose recognition, Object tracking, Heterogeneous image sensor fusion

I. 서론

본 논문에서는 실내 환경에서 로봇이나 지능형 홈 시스템 이 조명의 변화와 배경의 복잡성 등에 강건하게 객체를 추적 할 수 있도록, 가시광선 영상기반으로 객체의 추적과 인식을 수행하기 위한 움직임 추정(motion estimation)과 사람 형상 추 정(human shapes estimation)을 하는 추적 시스템과 조명의 변 화에 둔감한 적외선 영상을 기반으로 객체의 위치, 움직임 등을 추적하는 기술을 융합한 상황 인지 기술을 개발하였다.

본 연구의 주는 로봇과 상호작용을 하는 대상인 사람으로 가 시광선과 적외선을 동시에 사용함으로써 사람의 움직임과 자세, 얼굴 등의 인식율을 높이고자 하였다.

가시광선 영상과 적외선 영상을 융합하여 더 좋은 영상 또 는 인식 결과를 얻기 위한 몇 건의 연구가 있었다. Al- Habaibeh 등은 적외선 영상과 가시광선 영상을 이용하여 식 료품 생산 공정에서 포장제의 결합을 검사하는 연구를 수행 하였다[1]. 열영상에서는 충분한 결합열이 가해졌는지를 검사 하고, 가시광선 영상을 통해 결합부의 시각적 검사를 수행하 는 연구였다. Simard 등은 야간에 시각적 정보가 부족한 상태 에서 열영상을 실시간으로 획득하고, 사전에 구축한 가상이 미지를 융합하여 조종자가 좀더 많은 시각정보를 확보할 수 있도록 하였다[2]. 이와 유사하나 열영상과 가시광선 이미지

를 융합한 연구로는 Malviya 등의 연구[3]가 있는데, 이들은 열영상에서 획득한 객체정보를 가시광선 영상에 융합하는 연구를 수행한 바 있다.

기존의 연구들이 열영상의 가시화를 돕기 위하여 또는 각 각 별도의 목적으로 가시광선 카메라와 적외선 카메라의 이 종(heterogeneous) 센서를 사용한 경우라면, 본 연구에서는 두 영상센서에서 모두 관심 객체의 추적을 실시하고 결과를 융 합하여 최선의 결과를 도출하고자 한다.

이를 위하여 제안된 시스템은 일반 카메라와 적외선(IR:

Infrared) 카메라가 결합된 형태의 이종센서 기반으로 두 영상 에서 추정된 관심영역(ROI: Region of Interest)을 조합하여 객 체를 분리한다.

입력된 일반 카메라의 영상은 움직임을 감지하여 객체의 형태를 추정하고 이 결과에서 사람의 몸과 머리 부분을 추정 및 추출하게 된다. 적외선 카메라 영상에서는 사람의 체온 데이터를 이용하여 먼저 관심 영역을 분리하고, 분리된 영역 내에서 사람의 몸과 머리 부분을 추정한다. 추출된 사람의 형상은 형태학적 분석을 통해 어떤 행동인가를 추정하기 위 해 형상의 외각 성분을 이용하여 선 자세, 앉은 자세, 누운 자세를 구별하여 최종적으로 추적할 사람형태의 객체를 결 정한다. 적외선 카메라의 경우 주야의 구분 없이 열을 추적 함으로써 영상에서 사람을 추출할 수 있는 효율적인 장치이 나 사람의 형태와 사람의 형태가 아닌 것의 분리는 어려운 문제로 본 연구에서는 이를 위하여 사람형상을 주성분 분석 (PCA: Principal Component Analysis) 을 통해 아다부스트 (AdaBoost) [4] 방식을 이용하여 분리를 수행하였다.

각각의 카메라의 영상을 융합하기 위하여는 일반적으로

Copyright© ICROS 2011

* 책임저자(Corresponding Author)

논문접수: 2010. 11. 15., 수정: 2010. 12. 5., 채택확정: 2010. 12. 20.

김승훈, 정일균, 박창우, 황정훈: 전자부품연구원, 지능로보틱스연구센터 ([email protected]/[email protected]/[email protected]/hwangjh@keti.

re.kr)

※ 본 연구는 지식경제부 중기거점사업(10030032)에 의하여 지원되

었음.

사용되는 기하학적 특징점 기반의 이미지 모자이크 방법[5]

이 각 영상에서의 특징점이 매우 상이한 이종센서에 적합하 지 않기 때문에 내부변수를 이용하여 외부변수를 계산하는 카메라 자동보정 기술을 이용하였다.

본 연구에 사용된 이종 영상센서 장치는 가시광선 영상 카메라와 적외선 카메라를 팬틸트와 결합한 시스템으로 그 림 2와 같은 형태를 가진다. 팬틸트 장치 및 줌 카메라는 전 방향을 감시할 수 있고 균일한 해상도를 가진다는 장점을 가 지며 적외선 카메라와 줌 기능이 있는 높은 해상도의 카메라 의 결합으로 신뢰성 있는 정보를 생성할 수 있다.

II. CCD카메라를 이용한 움직임 객체 추출 및 얼굴 영역 검출

1. 움직임 객체 추출

객체 추출과정에서 환경적 요인(조명 변화, 움직임 변화, 그림자)과 시공간 배경 변화를 해결하기 위해서 먼저 전경 (foreground) 과 배경(background)의 구분이 필요하다. 추적 시 스템에서 객체를 효과적으로 검출하기 위한 대표적인 방법 은 장면차이(frame difference)와 배경차이(background difference) 가 있다. 장면차이 방법은 연속되는 프레임간의 변화를 구하 여 정지해 있는 부분을 제거하고 이동하는 부분만을 분할해 내는 방법으로 배경 제거에는 용이하지만 정지해 있는 물체 도 함께 제거되는 단점이 있다. 배경 차이 방법은 움직이는 물체가 없는 배경 영상과 움직임이 존재하는 입력 영상의 차 분을 취함으로써 배경 부분을 제외한 이동 물체를 분할하기 는 쉽지만 정확한 배경 영상을 획득하기에는 어려움이 있다.

짧은 시간 간격 사이에 기억시킨 두 영상의 차이는 물체의 이동 또는 운동에 관한 사항을 측정하거나 인식하는데 있어

서 기초 지식이 될 수 있다. 이 두 영상으로부터 동일한 물 체의 차이는 물체가 이동한 거리와 방향 그리고 물체의 운동 속도로 표현할 수 있다. 세밀한 광강도를 가진 두 개의 연속 된 영상의 변화를 연속적 흐름으로 나타낼 수 있으며, 이를 광류(optical flow)라고 부른다[6]. 본 논문에서는 움직임 객체 를 찾아 내기 위해 광류를 이용한 루카스-카나데 광류(Lucas- Kanade optical flow) 를 사용하여 방향성분을 오른쪽, 왼쪽, 위 쪽, 아래쪽의 4방향으로 나누어 분할한다. 카나데 광류는 원 영상에 가우시안 피라미드를 적용하여 두 영상간에 있는 픽 셀의 변화 벡터를 구할 수 있으며 움직임 정보는 색과 모양 변화에 강인한 결과를 얻을 수 있다. 또한 광류를 계산할 때, 반복적 계산을 없앴기 때문에 실시간으로 구현 가능하다는 장점이 있다.

광류는 아래와 같이 정의되며 체인법칙(chain rule)에 의해 다음과 같은 수식을 얻을 수 있다.

( , , ) 0

( , , ) ( , , ) ( , , ) ( , , ) ( , , ) 0

C

C C C

x y

dS x y t dt

S x y t S x y t S x y t

v x y t v x y t

x y t

=

∂ + ∂ + ∂ =

∂ ∂ ∂

여기서 S x y t 는 두 영상의 밝기 차이이며, ( , , )

( , , ) v x y t =

/ ,

dx dt v x y t

( , , ) = dy dt / 이다.

광류는 가로, 세로의 변화뿐만 아니라 시간상의 변화와 노 이즈도 함께 고려되며 다음 식과 같이 간략하게 계산된다.

( , , ) ( ( , , )) ( , , ), ( , , )

0

OF

v x y t S x y t v x y t

S x y t

ε =< ∇ > + ∂ t =

∂ ( , , )

T

C C

C

S S

S x y t

x y

 ∂ ∂ 

∇ =   ∂ ∂  

[

]

( , , ) ( , , ) ( , , )

v x y t = v x y t v x y t 광류의 오차는 다음과 같이 계산된다.

( )

2

, OF

x y R

E ε

∈

= ∑

배경이나 움직임을 이용하여 분리된 객체들 중에서 일정 한 크기 이상을 갖는 영역은 객체의 후보가 된다. 하지만 영 상 내의 노이즈나 작은 틈 등의 오류에 의해 완전한 후보 영 역을 검출하기 어렵기 때문에 추출된 픽셀들의 방향 성분을 3×3 의 영역을 설정하여 평균치를 해당 영역의 방향 성분으 로 간주하고 영상 내의 차분을 통해 미리 지정한 일정 크기 역치(threshold) 이상의 값만 취함으로써 오류를 최소화 할 수 있다[7]. 또한 연속된 프레임에서 움직임을 추출하여 영상 좌 표를 기준으로 오른쪽, 왼쪽, 위쪽, 아래쪽의 4방향으로 객체 움직임을 분할하고 형태학적 연산(morphological operation)을 적용하여 영역의 작은 틈(hole)을 제거하였다.

( , ) 1

1 ( , ) ( , ) ,

i

i t t

x y R i

D I x y I x y

N

= ∑ −

여기서 R은 차이점을 검사할 영역이며 N은 전체 픽셀의 개 수이다. 시간 t상에서 D

는 두 영상의 밝기 ( , I I

) 의 차이 이며 속도의 크기 ( ) d

가 미리 정한 임계치 ( ) T 값보다 작 그림 1. 객체 추적 시스템 프레임워크.

Fig. 1. Tracking system framework.

그림 2. 객체 추적 시스템.

Fig. 2. Object tracking system.

은 경우 속도 ( ) V 는 제거된다.

, ,

0, ,

t it i

i

i

v d T

v d T

 >=

  <=



1 1 2 1 2

0

( ) ( )

K t t t t

i i i i i

t

d x x y y

− + +

=

= ∑ − + −

본 논문에서 제안한 회전 모듈의 회전에 의해 전체 영상에 서 같은 방향의 움직임 성분들을 확인할 수 있다[8,9]. 이러 한 성분들을 제거하기 위해 왼쪽, 오른쪽, 위, 아래의 4방향 으로 방향을 분류하여 각각의 평균적인 움직임을 측정하고 측정된 평균움직임과 다른 방향성만을 객체가 움직인 지역 으로 분류한다.

사람이 이동할 경우 전체적인 몸의 이동방향과 부분적인 팔, 다리의 움직임 방향은 반대일 수 있기 때문에 일정치 않 은 움직임을 보이며 간헐적으로 움직이는 회전 모듈에 의한 오차도 있으므로 이러한 문제점을 제거하기 위해 배경을 포 함한 전체 영상에서 나타나는 움직임 값의 평균을 카메라의 움직임으로 보고 실제 움직임에서 제거하였고 노이즈와 같 은 작은 움직임 또한 모폴로지를 사용하여 제거하였다.

2. 얼굴 영역 검출

본 논문에서는 얼굴 영역 검출을 하기 위해 얼굴 피부 컬 러 모델을 사용한 하르(haar) 모델을 적용하였다. 하르 얼굴 검출기는 대략적인 얼굴 검출 수준에서 빠른 검출이 가능하 기 때문에 많은 시스템에서 사용된다[10,11].

얼굴 피부 컬러 모델은 사람의 얼굴 영역의 색상을 미리

구분지음으로써 얼굴이 있는 영역과 없는 영역으로 구분된 다. 그림 4는 RGB, YCbCr, HIS 모드로 변환된 영상에서 다각 형 내부에 존재하는 컬러들만의 히스토그램을 추출하여 역 투영(back-projection)을 하였을 때의 결과이다. 이처럼 미리 정한 영상의 영역에서만 특징을 파악하고 비교함으로써 조 금 더 빠른 성능을 구할 수 있다.

그림 5는 움직임이 발생하는 상황에서 얼굴 검출이 실제 로 스케일 성분에 얼마나 영향을 받는지 알아보기 위해 얼굴 영역에 대한 자동 초점을 수행한 결과이다. 얼굴 영역의 경 우 주위에 비슷한 패턴을 보이는 경우가 있지만 피부색을 적 용하였을 경우 충분히 제거 할 수 있었다.

III. 적외선 카메라를 이용한 얼굴 및 사람 형상 추출 및 자세 인식 1. 얼굴 및 사람 형상 추출

적외선 영상에서 사람의 형상은 많은 열 데이터를 갖기 때 문에 주변환경의 열보다 높은 수치를 보인다. 이러한 높은 열 영상의 데이터 내에서 국부적인 열 값의 존재를 확인하여 객체를 분할(segmentation)을 할 수 있다[12]. 본 논문에서는 히스토그램을 이용한 국부적 열 데이터를 찾음으로써 객체 를 추출하고 추출된 객체의 최 외각성분을 분석하여 사람의 형상인지 아닌지를 판단하는 방법을 사용하였다[13]. 히스토 그램은 간단하게 미리 정한 영역의 데이터 개수로 표현이 가 능하다. 이러한 영역을 그리드 셀(grid cell)이라 하고 수평 수 직방향으로 그리드 셀 내에 있는 데이터의 빈도수(bin)의 또 는 지역내의 그레디언트 크기(gradient magnitudes)를 누적시켜 축 방향의 데이터 분산 값을 얻을 수 있다. 이러한 분산 값 들의 통계적인 특징들을 이용하여 객체의 위치를 쉽게 추정 할 수 있다. 수평, 수직방향의 데이터의 분산 값은 다음과 같 이 표현 된다[8].

0

( )

m i

Pixel i mean = ∑

m

( ) ( ) D i = Pixel i − mean

( ) 0 Histogram i ( )

D i

=  



( ) 0 ( ) 0 D i D i

α α + <

+ ≥ 그림 3. 움직임에 따른 방향성 성분의 분할과 객체 추출.

Fig. 3. Segmentation of movement direction components and extraction of the object.

(a) Face area. (b) RGB.

(c) YCbCr. (d) Hue-Saturation.

그림 4. 얼굴 피부 색상 모델.

Fig. 4. Face skin-color model.

그림 5. 움직임 영역(붉은사각형)과 얼굴 영역(파랑사각형) 검출.

Fig. 5. Area of movement (Red) and facial area (Blue) detection.

그림 6. 히스토그램과 얼굴영역(위사각형) & 몸영역(아래사각 형).

Fig. 6. Histogram and face (square on the upper side) & body (square on the lower side) area.

{ ( )

} Head = ArgMax Histogram n

Body left=Histogram(i), if Histogram(i) < 0 and Histogram(i-1) 0 and 0 < i < Head}

Body right=Histogram(i), if Histogram(i) 0 and Histogram(i+1) < 0 and Head <i <m}

≥

≥

여기서 m 은 데이터의 개수 이며 α 는 임계치 이다. ‘Body left’ 와 ‘Body right’는 몸 영역의 왼쪽, 오른쪽의 최대 위치이다.

그림 6과 같이 두 축에 대한 히스토그램을 이용하여 평균 보다 높은 값을 가지는 영역들은 몸 부분의 후보 영역이 될 수 있다. 적외선 영상에서 얼굴 영역은 몸 부분의 내부에 존 재하며 국부적으로 가장 큰 온도 값을 가지고 가장 넓은 영 역으로 추정 할 수 있다. 그림 6과 같이 상단의 사각형은 얼 굴영역을 나타내고 하단의 사각형은 몸 영역을 나타낸다.

2. 자세 인식

적외선 카메라의 경우 사람의 열영상 뿐만 아니라 모니터, 열기구 등 여러 오류 패턴들이 존재한다. 사람의 형상과 기 타 형상을 분리하기 위하여 사람의 형상을 선자세, 앉은자세, 누운자세로 모델링하고 이외의 형상을 아다부스트 분류기를 이용하여 분리할 수 있었다. 형상의 분류에는 외각의 성분을 이용한다. 사람의 외각 성분은 주어진 입력 영상으로부터 적 당한 기준점을 객체의 윤곽선에 할당한다. 이 작업은 대부분 수동으로 이루어진다 바람직한 기준점은 한 영상에서 기준 점으로 선택된 특징 점으로 연결되어 있어야 한다. 본 논문 에서는 외각 선분의 코사인 각을 이용하여 k개의 객체의 외 각 성분을 추출하며 순서는 다음과 같다.

1) 다음과 같이 물체의 외곽선을 검출한다.

{

( , )

1,2,.., } C = p = x y i = N

여기서 p 는 외곽선의 좌표이며, n 은 외곽선을 구성하는 화소 수이다.

2) 모든 외곽선 상의 화소 ( ) p 와 i k

+ 와 i k − 번째 외곽 선상의 화소를 잇는 벡터를 구한다.

( , )

( , )

ik i i k i i k

ik i i k i i k

a x x y y

b x x y y

+ +

− −

= − −

= − −





3) 구해진 두 벡터에 의한 p

의 k-코사인 함수 ( f (i ))를 아 래와 같이 구한다.

( ) cos

cos

ik ik

a b f i = θ = θ =



 a b •

4) 잡음을 제거하기 위하여 구해진 k-코사인에 아래의 가 우시안 함수를 컨볼루션하여 평활화를 수행한다.

2 ( 2)

1

( , ) 2

i

G i σ e

σ π

−

=

5) 평활화된 f i 의 임계치보다 큰 극대값을 특징점으로 ( ) 지정한다. 2차원 영상에서 우리는 n개의 기준점을 2n 차원의 벡터를 사용해서 다음과 같이 표현 할 수 있다.

1 1

x [ ,..., , ,..., ] = x x y

y

본 논문에서는 기준점의 수를 n=36로 했다. 이는 외각 성 분의 최외각 성분의 각도를 10도씩 나누었을 때 보이는 형상 을 기준점으로 정했기 때문이다. 또한 초기값으로 설정된 기 준점은 계속 유지되는 것이 아니라, 각각의 기준점에서 경계 의 수직방향에 따라 추적하는 객체의 실제 윤곽과의 편차를 최소화하는 방향으로 갱신된다. n개의 기준점의 집합은 객체 의 형태를 표현한다. 훈련 집합에서 각각의 형태는 2차원 공 간에서 존재하지만, 우리는 주성분 분석(PCA) 기술을 기반으 로 하여 좀더 적은 수의 변수를 가지고 객체의 형태를 모델 링 할 수 있었다.

훈련 집합에서 m개의 형태를 가지고 있다고 가정하고 단 계별로 주성분 분석 알고리즘을 살펴보면 다음과 같다. 여기 서 x는 각각의 형태에 따른 훈련 집합을 의미한다(i=1,2,…,m).

훈련 집합에서 m개의 표본 형태의 평균을 구한다.

1

1

i i

x x

m

= ∑

훈련 집합으로부터 공분산 행렬(covariance matrix)을 구한다.

1

1

(

)(

) .

S

x x x x

m

= ∑ − −

공분산 행렬로부터 다음과 같은 값을 얻을 수 있다.

1 2

[ | | | ], φ φ φ

Φ = ⋅⋅⋅

여기서 φ (단, i =1,…,

q 는 S 에서 q 개의 가장 큰 고유값 ) (eigen value) 에 해당하는 고유벡터(eigen vector)를 의미한다.

주어진 Φ 와 x 로 부터 각각의 형태는 다음과 같이 간략 화 시킬 수 있다.

i i

x ≅ + Φ x b 여기서 b

= Φ

( x x

− ).

그림 7. 주성분 분석 알고리즘.

Fig. 7. PCA algorithm.

벡터 b는 변형 가능한 모델 변수의 집합을 정의한다. b의 요소가 변하면서 우리는 형태를 변화시킬 수 있다. 주성분 분석 알고리즘의 세 번째 단계에서 q 값은 데이터의 전체적 인 분산 값의 98%에 해당되는 모델형태의 개수를 나타낸다 ( 그림 7).

실험에서는 그림 8과 같이 선 자세, 앉은 자세, 누운 자세 의 3개의 모델과 히터, 파이프, 전기 담요 등의 오류모델을 기준으로 분류하였다. 하지만 전체 사람의 신체가 반만 나오 는 경우 않은 자세와 더 가까웠으며 주요성분의 축의 많은 오차률을 보였다. 이러한 오차률을 줄이기 위해 다음 동작에 대한 예측을 하기 위해 다른 값들을 이용하기로 하였다. 즉 동작 중에 생기는 사람의 형태에서 나타나는 모션정보와 얼 굴영역의 몸에서의 위치의 기하학적인 형태를 이용하여 분 류할 수 있었다. 그림 9, 10과 같이 누운 자세와 다른 자세를 쉽게 구별할 수 있었지만 선 자세와 앉은 자세의 경우 결정

구간이 적지만 각 모델의 고유벡터가 근소한 차이를 보이기 때문에 자세를 구분할 수 있다.

IV. 영상정보 융합

가시광선영상과 열영상으로부터 각기 다른 정보를 얻을 수 있다. 열영상으로 부터는 사람의 경우 얼굴과 움직임을 정확하게 추출하기 용이하며, 가시광선 영상에서는 사용자의 인식을 수행하기 용이하다. 하지만 두 영상으로부터 사용자 를 추출하고 인식하기 위해서는 영상정보의 융합이 필요하 겠다.

영상 융합을 위한 특징점 기반의 이미지 모자이크 방법은 특징점 추출과 추출된 특징점의 정합 과정이 필요하기 때문 에 정확한 대응점을 찾지 못하면 결과를 얻을 수 없다. 이에 반해 화소 기반의 이미지 모자이크 방법은 두 영상의 겹쳐진 영역에 대해서 전체적인 기울기가 최소가 되는 투영 변환 식 을 계산한다.

이종 센서인 열 영상 카메라와 일반 카메라는 두 영상에서 나타나는 특징들이 다르기 때문에 정확한 정합 기준을 확인 하기 어렵다. 열 영상의 경우 사람이 인지할 수 있는 영상이 아닌 단순한 열의 방출(emission)량에 따라 다르며 정확한 객 체의 인지가 어렵다. 이러한 단점을 극복하기 위해 본 논문 에서는 사람과 같이 열을 방출하며 움직이는 객체의 위치를 두 영상에서 같은 객체로 가정하고 객체의 머리 부분과 다리 부분의 위치를 이용하여 두 영상에서 각각 객체의 대응점의 위치를 추출하고 정합시킴 으로써 최종적인 영상 정합을 할 수 있다.

영상정합을 통해 가시광선 영상과 열영상에서의 객체의 추적 결과를 융합하여 각각의 영상만 사용하였을 때 보다 정 확한 객체의 추적이 가능하며, 얼굴영역을 정확하게 검출하 여 객체를 구분할 수 있게 하였다.

V. 통합 검출 실험

가시광선 영상기반 검출 결과와 적외선 영상기반 검출 결 과를 이용한 통합 검출 성능을 검토하기 위해 다양한 환경 조건에 대하여 사용자 추적 및 얼굴 영역 검출 실험을 수행 하였다.

1. 양호한 환경에서의 융합 검출 실험

조도의 변화가 심하지 않은 일상적 실내환경에서는 가시 광선 영상이나 열영상을 이용하여 효과적으로 사용자를 추 적하고 사용자의 얼굴을 구분해 낼 수 있었다(그림 12).

2. 역광이 존재하는 환경에서의 융합 검출 실험

두 번째로는 조명의 변화가 심한 역광이 존재하는 환경에 (a) Lying position (b) Seated position

(c) Standing position (only half of the image shown)

(d) Standing position 그림 8. 주성분 분석 투영 영상.

Fig. 8. PCA Projected Image.

그림 9. 선자세와 앉은 자세.

Fig. 9. Standing position and seated position.

그림 10. 형상 정보에 따른 고유벡터 비교.

Fig. 10. Comparison of eigenvector in the shape information.

그림 11. 영상정보 융합을 위한 대응점 추출.

Fig. 11. Counter point extraction for image fusion.

그림 14. 복잡한 배경환경에서의 인식결과.

Fig. 14. Recognition in complex environments.

서의 실험에서는 가시광선 영상에서의 사용자 추출 및 얼굴 추출이 조명변화로 인하여 실험 1의 경우에 비해 많은 후보 영역이 발생하였으나, 열영상에서의 사용자 추출 및 얼굴영 역 추출결과와의 융합을 통하여 쉽게 사용자 얼굴 영역을 추 출 함으로써 사용자 인식을 준비할 수 있었다(그림 13).

3. 복잡한 배경환경에서의 융합 검출 실험

역시 가시광선 영상에서 검출 및 인식 시에 문제가 자주 발생하는 복잡한 배경에서의 실험결과에서도 가시광선 영상 에서는 얼굴영역에 대하여 다수의 후보영역이 발생하였으나, 적외선 영상을 통한 사용자 추출 및 얼굴영역의 추출과 융합 을 통하여 정확하게 얼굴영역을 검출할 수 있었다(그림 14).

4. 정리

가시광선 영상과 적외선 영상 센서간의 영상 정합을 통한 통합 검출 실험에서는 다양한 환경변화에도 이종센서간의 융합을 통하여 효과적으로 단점을 극복하고 관심객체를 추 적 및 관심영역을 추출할 수 있음을 확인하였다.

VI. 결론

본 논문은 이종 센서간의 영상 정합을 통한 센서간 관계를 유도할 수 있음을 보였고 이종 센서를 이용하여 각각의 카메 라에서 얻을 수 있는 부정확한 객체 정보들을 이용하여 정확 한 객체를 추출하고 추적할 수 있는 시스템을 보였다. 모션 정보를 이용한 객체 검출, 얼굴 특징을 이용한 얼굴 영역 검 출, 열 영상의 객체 추출 및 얼굴 영역 추출을 해서 얻은 부 정확한 사람 영역을 이용하여 사람의 정확한 위치를 추적할 그림 12. 양호한 환경에서의 인식결과.

Fig. 12. Recognition in good condition.

그림 13. 역광이 존재하는 환경에서의 인식결과.

Fig. 13. Recognition in high illumination change environments.

수 있다. 또한 사람과 사람이 아닌 객체를 분류하기 위해 객 체의 외각성분을 이용한 아다부스트 분류를 제안하였다. 결 과적으로 부정확한 많은 정보를 이용해서 복잡한 환경에서 도 강건하게 객체를 추적할 수 있음을 보였다. 각 영상센서 의 장점을 융합하는 방법으로 두 영상간 같은 객체를 추출하 여 영상간 대응점을 확보할 수 있었다.

본 연구에서 제안된 시스템은 사람의 추적, 행동 및 상태 분석뿐만 아니라 얼굴 인식 기술과 결합하여 지능형 로봇과 사용자의 효과적인 상호작용에 이용할 수 있을 뿐만 아니라 공공시설의 감시 시스템, 군사용 센서 기술 등으로도 활용될 수 있을 것으로 전망된다.

참고문헌

[1] A. Al-Habaibeh, F. Shi, N. Brown, D. Kerr, M. Jackson, and R.

M. Parkin, “A novel approach for quality control system using sensor fusion of infrared and visual image processing for laser sealing of food containers,” Measurement Science and Technology, vol. 15, pp. 1995-2000, 2004.

[2] P. Simard, N. K. Link, and R. V. Kruk, “Evaluation of algorithms for fusing infrared and synthetic imagery,” Enhanced and synthetic vision 2000, Conference, Orlando FL, vol. 4023, pp. 127-138, 2000.

[3] A. Malviya and S. G. Bhirud, “Visual infrared video fusion for night vision using background estimation,” Journal of Computing, vol. 2, no. 4, Apr. 2010.

[4] L. Leyrit, T. Chateau, C Tournayre, and J. Lapreste, “Association of AdaBoost and kernel-based machine learning methods for visual pedestrian recognition,” IEEE Intelligent Vehicles Symposium, pp. 67-72, 2008.

[5] K. Ohyun, K. Sangjin, J. Junghoon, S. Jeongho, and P. Joonki,

“Auto calibration for multiple camera-based surveillance system,” 제17회 신호처리 합동학술대회, 2004.

[6] J. Shin, S. Jang, S. Kim, C. Park, and J. Paik, “Optical flow- based, real-time object tracking using the non-prior training active feature model,” Real-time Imaging, vol. 11, no. 3, pp.

204-218, 2005.

[7] C. Wren, A. Azerbayejani, T. Darrel, and A. Pentland, “Pfinder:

real-time tracking of the human body,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 19, no. 7, pp. 780-785, 1997.

[8] S. Kang, J. Paik, A. Koschan, B. Abidi, and A. Abidi, “Real-time video tracking using PTZ cameras,” Proc. SPIE 6th International Conference on Quality Control by Artificial Vision, vol. 5132, pp. 103-111, 2003.

[9] P. Azzari, L. Stefano, and A. Bevilacqua, “An effective real-time mosaicing algorithm apt to detect motion through background subtraction using a PTZ camera,” IEEE Conf. Advanced Video and Signal-Based Surveillance, pp. 511-516, 2005.

[10] R. Lienhart and J. Maydt, “An extended set of HAAR-like features for rapid object detection,” International Conference on Image Processing, vol. 1, pp, 900-903, 2002.

[11] G. A. Ramirez and O. Fuentes, “Multi-pose face detection with

asymmetric HAAR features,” Applications of Computer Vision, 2008. WACV 2008. IEEE Workshop, pp. 1-6, 2008.

[12] J. Sewoong, L. Jongbae, and K. Youngouk, “Illumination invariant head pose recognition using thermal camera,” Proc. of the 39th International Symposium on Robotics, pp. 15-17, 2008.

[13] N. Dalal and B. Triggs, “Histograms of oriented gradients for human detection,” IEEE Computer Vision and Pattern Recognition (CVPR 2005), vol. 1, pp. 886-893, 2008.

김 승 훈

2002 년 한양대학교 전자컴퓨터공학부 졸업. 2007년 연세대학교 전기전자공학 과 석사 졸업. 2007년~2008년 현대중공 업 기계전기연구소 로보틱스연구실 연 구원. 2009년~현재 전자부품연구원 지 능로보틱스 연구센터 전임연구원. 관심 분야는 지능형 로봇, 이동 로봇, 컴퓨터 비젼, 임베디드 시스템.

정 일 균

2000 년 프랑스 INSA 박사과정 수료. 이 후 LAAS/CNRS 로보틱스 그룹에서 박 사연구 수행. 2004년 INPT에서 박사학 위를 수여. 2004년~2007년 LG전자 리빙 시스템 그룹의 선임연구원으로 청소로 봇 센서 및 알고리즘 개발팀장. 2007년~

현재 전자부품연구원 지능로보틱스 연구센터 책임연구원. 관 심분야는 로봇 지능 S/W, 임베디드 센서 및 시스템.

박 창 우

1997 년 고려대학교 전자공학과 졸업.

1999 년 연세대학교 전자공학과 석사 졸업. 2003년 연세대학교 전기전자공학 과 박사 졸업. 2003년 이후 전자부품연 구원 메카트로닉스 연구센터 및 지능 로보틱스 연구센터의 선임연구원. 현재 전자부품연구원 지능로보틱스연구센터장. 관심분야는 퍼지제 어, 로봇비젼, 로봇 플랫폼 등.

황 정 훈

1997 년 연세대학교 기계공학과 졸업.

1999 년 KAIST 기계공학과 석사 졸업.

2007 년 KAIST 기계공학과 박사 졸업.

2007 년~2009년 전자부품연구원 차세대

로봇 전략기술지원단 선임연구원. 2009

년~현재 전자부품연구원 지능로보틱스

연구센터 선임연구원. 관심분야는 인간-로봇 상호작용(HRI),

로봇지능 S/W 및 로봇 플랫폼 등.