2012년도 한국멀티미디어학회 춘계학술발표대회 논문집 제15권1호 355
-동적 물체 감지를 위한 Temporal Difference 차
영상 검출 방법에서 주변 환경에 적응하는
임계값 설정 방법 연구
최덕화, 백상현, 김동윤 아주대학교 컴퓨터공학과 e-mail : [email protected]Adaptive Threshold Method in Temporal Difference
for Tracking Moving Object
Deok-Hwa Choi, Sang-Hyune Baek, Dong-Yoon Kim Dept of Computer Engineering, Ajou University
요 약 배경 영상에서 움직이는 물체 검출은 대상의 정확한 분류나 움직임, 패턴의 이해 또는 감시 시스템에 활용이 된다. 동적 물체 검출을 위한 여러 방법이 연구되고 제시되었으며, 그 중 일반적으로 차 영상 검출 방법이 많이 사용된다. 이는 시간적으로 연속된 영상 프레임간의 차를 구하고, 이 차 영상에 임계값을 설정하여 이진 영상을 만들어 물체를 검출한다. 기존 여러 연구에서는 이 임계값을 대부분을 고정하여 사용하거나 특정 환경에만 적합하게 설정 하였다. 본 논문에서는 주변 환경에 적응하여 임계값을 자동으로 설정하는 방법을 제시하였 고, 차 영상 검출 방법에 실제 적용하여 기존 방법에 비해 더 나은 결과를 확인하였다. 1. 서론 움직이는 물체 검출은 감시 시스템을 개발하는데 있어 중요한 첫 단계이다. 배경 영상에서 동적인 물체를 검출하 는 것은 대상 체에 대한 정확한 분류나 움직임, 패턴의 이 해, 또는 감시를 주목적으로 한다.[1] 동적 물체를 검출하기 위한 여러 방법들이 제안되었으 며, 그 중 차 영상 검출 방법(Temporal Difference Detection Method, TDDM)은 이전과 현재의 그레이 스케 일(gray scale) 영상(image)의 밝기 차이 값에 임계값 (threshold value)을 적용하여 움직이는 개체 픽셀(pixel)을 찾게 된다. 이 방법은 동적인(dynamic) 환경에 대하여 속 도가 빠르고 연산 양이 적어 매우 효과적인 방법이다.[2] TDDM 처리 단계 중 배경(background)과 전경 (foreground)을 구분하는 임계값을 설정함에 있어서 미리 재 정의된(pre-defined) 값을 이용하거나 상수(constant)를 포함하는 고정된(fixed) 임계값을 사용하는 경우가 많은 데,[1][3] 이 경우 저조도 영상이나 동적 물체의 크기 변화 같은 다양한 노이즈(noise) 환경에 적합하지 않으며 적응 력 있는 임계값(Adaptive threshold) 이 되지 못한다. 만약 노이즈를 줄이기 위하여 임의로 임계값을 높이게 되면, 동 적 물체에 해당하는 실 검출 픽셀도 줄어드는 결과가 발 생하게 된다. 또한, 대부분의 동적 물체 검출 방법들은 움 직이는 개체의 검출을 위해 제안 되었으며, 개체의 정확한 모양을 추출하기 위한 여러 가지 형태학(morphology) 작 업은 검출과 별개로 수행되었다.[1][2] 본 연구에서는 배경 영상에서 움직이는 동적 물체를 검 출하기 위하여 자주 사용하는 TDDM 주변 환경에 적응력 이 있고 동시에 개체의 형태를 잘 나타나게 하는 임계값 을 설정하는 방법을 제안 하였으며, 제안된 방법과 기존의 방법을 비교하였다. 본 논문은 다음과 같이 구성되어 있다. 2장에서는 일반 적인 차 영상 검출 방법에 대하여 설명하고, 3장에서는 적 응력 있는 임계값 설정을 위한 각각의 처리 단계에 대하 여 설명한다. 4장에서는 각 단계에 대한 실험 결과 및 기 존 방법과의 비교를 보여주었으며, 마지막 5장에서는 향후 연구 방향을 제시하였다. 2. 차 영상 검출 방법(TDDM) 다양한 외부 환경 조건에서 오랜 시간동안 움직이는 동 적 물체를 효과적으로 검출하는 것은 매우 중요하다. 그 중 TDDM은 움직이는 물체를 검출하기 위해 많이 이용되 는 방법들 중의 하나로써, 동적인 환경 조건에 대하여 간 단하고 빠르게 적용이 가능하다. 이러한 TDDM은 일반적 으로 다음과 같이 계산된다. ∆ max
∀∈
(1)2012년도 한국멀티미디어학회 춘계학술발표대회 논문집 제15권1호 356 -여기에서 It는 현재(current) 영상, 그리고 It-j는 과거 (previous) 영상이다. 픽셀 밝기(intensity)값이 빠르게 변 화하면 ∆t가 증가한다.[3]
∆ ∆ ≤ (2) 처리 결과는 시간적 차이에 따라 다르게 나타나며, 결과 M은 모든 픽셀이 임계값 T에 의하여 동적 물체(1) 또는 배경(0)으로 정의된다. 이렇듯 외부 환경 요인 변화에 임 계값 설정은 매우 중요한 요소로 작용된다. 3. 본론 다음 그림 1은 본 논문의 전체적인 처리 단계를 나타낸 다. 시간적 차이를 구분으로 하는 연속된 프레임 내의 두 영상을 이용하여 차(subtract) 영상을 얻어내고, 그 차 영 상에 형태학 이미지 처리를 하여 전체 픽셀 내 찾고자 하 는 동적 물체의 대략적인 크기 비율을 알아낸다. 그 후 차 영상의 히스토그램(histogram)을 이용하여 동적 물체의 크기에 대하여 역연산을 수행한 뒤, 얻어진 값을 이용하여 자동 임계값 설정(Automatic threshold) 알고리즘을 적용 한다. 다음으로 그 전 단계에서 설정된 임계값을 이용하여 TDDM을 수행한다. 마지막 처리 결과는 이진 영상으로 나타나며 영상 내 검출된 동적 물체는 흰색, 배경 부분은 검은색으로 나타난 다. 그림 1. 전체적인 처리 흐름도 3.1 차(subtract) 영상 획득 본 논문에서는 256 레벨의 연속된 그레이 이미지를 이 용하며, 시간 t에 따른 이전 상태의 이미지 I(x, y, t-1)와 현재 상태의 이미지 I(x, y, t)를 사용한다. 배경 이미지와 동적 물체가 포함되어 있는 이미지의 차 영상은 다음과 같다. (3) 3.2 형태학(morphological) 영상 처리 형태학 영상 처리는 수학적 형태학, 기하학을 기반으로 개발되고 있는 비선형적(nonlinear) 접근으로, 이미지 처 리, 머신 비전(machine vision), 노이즈 제거 및 패턴 인식 분야 등 디지털 이미지 처리 기술로 널리 사용된다.[5] 본 논문에서는 얻어진 차 영상에서 팽창(dilation)과 침 식(erosion)의 형태학 영상 처리 알고리즘을 기반으로 동 적 물체의 대략적인 크기 비율을 구한다. 영상의 전체적인 부분에서 찾고자 하는 동적 물체의 크기 비율은 다음 단 계인 히스토그램 역연산 추론 시 사용한다. 3.3 히스토그램 역연산(inverse operation) 차 영상 내부에 의미가 있는 픽셀과 그렇지 않은 부분 을 분리하고 이후 자동 임계값 설정을 쉽게 적용하기 위 하여 히스토그램을 역연산 한다. 이전 처리 단계에서 주어 진 동적 물체의 대략적인 크기와 전체 픽셀의 수, 의미가 있는 픽셀의 수의 비율을 이용하여 계산한다.
(4) 차 영상 히스토그램에서 전체 각 레벨의 픽셀 수를 역 연산하여 동적 물체의 크기를 초과하는 인덱스 k를 다음 처리 단계의 파라미터(parameter)로 사용한다. 3.4 자동 임계값 설정(automatic threshold) 영상에서 객체를 분리하기 위한 임계점을 사용자 개입 없이 자동으로 설정하는 방법은 여러 가지가 있는데 대부 분의 방법들은 크기와 발생(occurrence)의 확률을 이용한 다. 본 논문에서는 자동 임계값 재설정 알고리즘 중의 하나 인 Otsu 알고리즘을 이용하였다. 이 알고리즘은 통계적인 방법을 이용하여 임계값 T를 설정하며, 분류 (classification) 기법을 사용하고 있다. 임계값을 설정하는 데 있어서 비용함수를 설정하고 그 비용함수의 최솟값을 주는 값으로 임계값을 취하는 방식이다.[4] 영상 내에서 배경과 전경을 분리할 때 각각의 클래스에 속한 픽셀의 분포가 유사해야 한다. 즉, 같은 클래스 내에 들어있는 픽셀의 분산이 작아야 한다. 따라서 비용함수는 가중치를 갖는 클래스내의 분산의 합이 되며, 임계값은 이 비용함수를 최소화하는 값이 된다. 전체 분산은 어떤 클래 스를 분리하더라도 항상 일정한 값을 가지며, 비용함수를 최소화하는 것은 클래스들의 분산을 최대화 하는 것과 같 다. 클래스 내의 분산 비(within-class variance)2012년도 한국멀티미디어학회 춘계학술발표대회 논문집 제15권1호
357
-그림 2. 각 단계별 처리 결과 (a) 배경 영상 (b) 전경 영상 (c) 차 영상(subtract) (d) 히스토그램(histogram) (e) 기존 방법 (existing) (f) 제안된 방법(proposed) (5) 클래스 간의 분산 비(between-class variance) (6) 분산비가 최대가 되는 경우
max (7) 배경과 전경을 각각의 평균값으로 대체한 영상간의 상 관계수는 배경과 전경에 해당하는 두 클래스간의 분산이 최대일 때 가장 크게 나타나므로 분산비가 최대가 될 때 의 T를 임계점으로 설정한다.3.5 Temporal Difference Detection Method
둘 이상의 연속적인 프레임에서 그레이 스케일 이미지 의 밝기 차이 값에 임계값을 적용하여 그 차이를 기준으 로 움직이는 영역을 감지하는 방법이다. 그러나 조도가 낮 은 환경이나 혹은 움직이는 픽셀을 찾아야하는 경우 고정 된 값이나 미리 정의된 임계값을 적용하여 처리 하는 경 우에는 효과적이지 못하다. 본 연구에서는 이러한 문제를 해결하기 위하여 고정된 임계값을 효과적으로 재설정할 수 있도록 방법을 제시한다. 위 단계로부터 얻어진 임계값 T를 이용하여 기존의 TDDM 방식에 적용하고 이미지의 차이를 계산한다. TDDM이 수행된 영상 Ia(x, y, t)와 임계값이 적용된 영상 Id(x, y, t)는 다음과 같다.[1] (8)
i f (9) 위 식 (8)에서 w는 0과 1사이의 이미지 차이에 대한 시 간적 범위를 나타내며, 본 논문에서는 모든 결과에 0.5로 적용 하였다. 그리고 Ia(x, y, t-2)는 빈 영상으로 초기화하 였다. 4. 실험 및 결과 각 시뮬레이션 환경에 대하여 전체적인 처리 과정을 샘 플 이미지를 이용하여 실험하였다. 그림 2는 각각의 다른 환경에 대한 단계별 처리 과정의 결과 영상이다. 첫 행 영 상은 저조도 환경에서 촬영된 영상이며, 두 번째 행의 영 상은 동적 물체가 배경 영상과 비슷한 밝기를 가지는 경 우이고, 마지막 행의 영상은 동적 물체의 크기가 작은 경 우에 해당한다. 영상에서 (a)는 해당하는 환경의 배경 영 상이고, (b)는 배경 영상 내 동적 물체가 포함되어 있는 영상, (c)는 배경 영상과 전경 영상의 차 영상, (d)는 차 영상에 대한 히스토그램의 결과이고, (e)는 기존의 방법으 로 처리된 TDDM의 결과, 마지막으로 (f)는 제안된 방법 으로 처리된 TDDM의 결과 영상이다. 결과로부터 우리는 TDDM를 이용하여 정적인 환경에서 동적인 물체를 간단하게 찾아낼 수 있음을 볼 수 있다. 또 한 적응력 있는 임계값을 이용하여 노이즈를 적절하게 제 거하며 배경과 전경을 구분할 수 있다. 5. 결론 기존 TDDM에서는 임계값을 설정함에 있어서 고정되거 나 미리 재 정의된 임계값을 사용하여 다양한 환경에 효 과적으로 대응할 수 없었다. 또한, 검출된 물체의 형태를 정확히 알 수 없었다. 본 연구에서는 다양한 환경에 효과적으로 대응하며, 검2012년도 한국멀티미디어학회 춘계학술발표대회 논문집 제15권1호 358 -출된 물체의 형태를 좀 더 정확히 알 수 있는 적응력 있 는 임계값 설정 방법을 제시하였다. 제시된 방법은 기존 방법보다 주변 환경의 영향을 덜 받고 동적 물체를 검출 함을 확인하였다.
향후 Background subtraction이나 Optical flow de-tection method를 본 연구에 추가 구현하여, 좀 더 나은 결과를 얻고자 한다.
참고문헌
[ 1 ] N Lu, J Wang, QH Wu, L Yang, "An improved motion detection method for real-time surveillance", IAENG International Journal of Computer Science, 35:1, 2008.
[ 2 ] JH Choi, YM Baek, JY Choi, "Robust Salient Moving Object Detection with Light-Computational Load", The International Federation of Automatic Control. Seoul, Korea, July 6-11, 2008
[ 3 ] Fujiyoshi H, Komura T, Eguchi I, Kayama K, "Road Observation and Information Providing System for Supporting Mobility of Pedestrian", Computer Vision Systems, 2006 ICVS '06. IEEE International Conference on.
[ 4 ] Shapiro Linda G, Stockman George C, "Computer Vision", Prentice Hall, ISBN 0-13-030796-3, 2002. [ 5 ] Huerta Casado, Ivan, "Foreground Object Segmentation and Shadow Detection for Video Sequences in Uncontrolled Environments", ISBN 9788469389140, 2010.
[ 6 ] Cheng-Chi Chang, Tsorng-Lin Chia, Chen-Kuei Yang, "Modified temporal difference method for change detection", Optical engineerin, Volume 44. 2005.
[ 7 ] Y.L. Tian, A. Hampapur, "Robust Salient Motion Detection with Complex Background for Real-time Video Surveillance", IEEE Computer Society Workshop on Motion and Video Computing, Breckenridge, Colorado, January 5 and 6, 2005.
[ 8 ] A Manzanera, JC Richefeu, "A new motion de-tection algorithm based on Σ-∆ background estima-tion", Pattern Recognition Letters, vol. 28, n 3, Feb 1, 2007.
[ 9 ] K. Toyama, J. Krumm, B. Brumitt, B. Meyers, "Wallflower: Principles and practice of background maintenance” Proc. International Conference on Computer Vision, pp. 255-261, 1999.
[ 10 ] C. Stauffer and W.E.L. Grimson, "earning patterns of activity using real-time tracking” IEEE Trans. Pttern Anal. March. Intel., Vol.22, no.8, pp. 747-757, 2000. [ 11 ] D Beymer, P McLauchlan, B Coifman, J Malik, "Real-time Computer Vision System for Measuring
Traffic Parameters", Proc. Computer Vision and Pattern Recognition(CVPR97), pp. 495-501, 1997.
