A Framework for Object Detection by Haze Removal

논문 2014-51-5-19

안개 제거에 의한 객체 검출 성능 향상 방법

( A Framework for Object Detection by Haze Removal )

김 상 균^*, 최 경 호^*, 박 순 영^**

( Sang-Kyoon Kim, Kyoung-Ho Choi, and Soon-Young Park^ⓒ)

요 약

영상 시퀀스로부터 움직이는 객체의 검출은 비디오 감시, 교통 모니터링 및 분석, 사람 검출 및 추적 등에서 가장 기본적이 며 중요한 분야이다. 안개와 같은 환경적 요인에 의하여 화질이 저하된 영상 속에서 움직이는 객체를 검출하는 일은 매우 어 렵다. 특히, 안개는 주변 물체의 색상을 모두 비슷하게 만들고 채도를 떨어뜨려 배경으로부터 객체를 구별하기 힘들게 만든다.

이런 이유로 안개 영상 속에서 객체 검출 성능은 매우 낮으며 신뢰할 수 없는 결과를 나타내고 있다. 본 논문은 안개와 같은 환경적 요인을 제거하고 객체의 검출 성능을 높이기 위한 방법으로 안개 지수를 기반으로 안개 유무를 판단하고, Dark Channel Prior을 이용하여 안개 영상의 전달량을 추정하고 안개가 제거된 영상으로 복원하였으며 가우시안 혼합 모델을 이용 한 배경 차분 방법을 이용하여 객체를 검출하였다. 그리고 제안된 방법의 성능을 비교하기 위해 안개 제거 전과 후의 영상에 대한 Recall 과 Precision을 측정하여 안개 제거에 따른 성능 향상 정도를 수치화하여 비교하였다. 결과적으로 안개 제거 후 영 상의 가시성이 매우 향상되었으며 객체 검출 성능이 매우 향상됨을 알 수 있었다.

Abstract

Detecting moving objects from a video sequence is a fundamental and critical task in video surveillance, traffic monitoring and analysis, and human detection and tracking. It is very difficult to detect moving objects in a video sequence degraded by the environmental factor such as fog. In particular, the color of an object become similar to the neighbor and it reduces the saturation, thus making it very difficult to distinguish the object from the background. For such a reason, it is shown that the performance and reliability of object detection and tracking are poor in the foggy weather. In this paper, we propose a novel method to improve the performance of object detection, combining a haze removal algorithm and a local histogram-based object tracking method. For the quantitative evaluation of the proposed system, information retrieval measurements, recall and precision, are used to quantify how well the performance is improved before and after the haze removal. As a result, the visibility of the image is enhanced and the performance of objects detection is improved.

Keywords: 안개 제거, 객체 추적, 가우시안 혼합 모델, Dark Channel Prior

Ⅰ. 서 론

비디오 영상으로부터 움직이는 물체의 검출은 컴퓨

* 정회원, 국립목포대학교 전자공학과

(Dept. of Electronics Eng. Mokpo National Univ.)

ⓒ Corresponding Author(E-mail: [email protected])

※ 이 논문은 2012년도 정부(교육과학기술부)의 재원으 로 한국연구재단의 지원을 받아 수행된 기초연구사 업임(No. 2012R1A1A4A01009097)

접수일자: 2014년1월22일, 수정일자: 2014년3월31일 수정완료: 2014년4월24일

터 비전 분야에서 가장 기본적이고 중요한 분야로서 그 동안 많은 연구가 진행되었으며 훌륭한 연구 결과가 많 이 발표 되었다. 그러나 수많은 연구 중에서 안개나 비, 눈, 먼지 등의 환경적 요인을 고려한 객체 검출은 찾아 보기 힘들다. 안개나 먼지는 거리에 따라 지수 함수적 으로 가시거리를 감소시키며 빛의 산란과 감쇠로 인하 여 주변 물체의 색상을 모두 비슷하게 만들고 채도를 매우 떨어지게 만들어 배경과 물체의 경계를 모호하게 만들며 물체를 구별하기 힘들게 만드는 특징이 있다.

안개의 양 또는 감쇠량은 거리에 따른 지수 함수로

표현할 수 있다. 따라서 카메라와 물체간의 거리 정보 를 추정하면 각 객체의 전달량을 계산하여 안개를 제거 할 수 있다. 안개 제거 방법은 그 동안 많은 연구가 진 행되었다. 이러한 연구 방법들은 직간접적인 방법에 의 한 거리 추정과 거리에 따른 감쇠량 계산을 기초로 하 고 있다. 기존의 안개 제거 방법은 동일 장소에서 각기 다른 편광 필터^[1] 또는 다양한 날씨 환경에서 획득한 여러 장의 영상을 이용하여 안개를 제거하는 방법을 이 용 하였다^[2∼3]. 그러나 이러한 방법은 서로 다른 편광 필터를 이용하여 반복적으로 영상을 획득하거나 서로 다른 날씨에 대한 밝기차를 이용하여 안개의 깊이 정보 를 구해야 되는 어려움이 있었다.

최근에는 단일 영상으로부터 다양한 안개 제거 방법 들이 제안되었다. 단일 영상으로부터의 안개 제거는 강 력한 가정을 바탕으로 최적화 알고리즘에 의한 상대적 인 감쇠량 추정과 통계적 특성에 의한 거리 정보를 기 반으로 한다. 그 중에서 R. Tan은 안개가 없는 영상은 안개 영상에 비해 높은 대비도를 가진다는 가정하에서 국부 대비도를 최대화시키는 방법으로 안개를 제거하 였으며^[4] Fattal은 신호의 상관도와 독립 성분 분석 기 법과 MRF를 이용하여 물체의 본래의 색상을 추정하 였으며^[5] Tarel은 기존의 방법과 다르게 각 픽셀의 감 쇠량을 계산하는 대신에 각 픽셀에 대한 안개량을 추 정하는 방법을 이용하였다^[6]. 최근에 가장 많이 이용되 고 있는 안개 제거 방법은 He et al.가 제안한 Dark Channel Prior 이다. He et al. 는 블랙바디 이론을 기 초로 하늘을 포함하지 않는 모든 국부 영역 또는 윈도 우 영역은 적어도 하나 이상의 색상 성분이 0에 가깝 다는 통계적 분석을 이용하여 전달량을 계산하였다^[7]. 그리고 급격한 에지 변화에 의한 전달량 불일치를 제 거하기 위해 소프트 매팅(Soft Matting) 알고리즘을 이 용하여 전달량을 정련하였다^[8]. 그러나 소프트 매팅 알 고리즘은 매우 큰 매팅 행렬로 인한 많은 메모리양과 계산 시간을 요구한다.

일반적인 움직임 검출 방법은 배경 차분 기법을 이용 한다. 배경 차분은 배경 모델에 의해 만들어진 배경과 현재 입력 영상과의 분명한 차이를 계산하여 움직임 존 재 여부를 판단한다.

대부분의 움직임 객체는 고정된 카메라를 이용한 배 경과의 차분에 의해서 검출된다. 그러나 배경은 시간, 날씨, 움직이는 속도, 객체에 의해서 나타나는 그림자

등의 영향을 받는다. 그래서 고정된 배경을 사용하는 것보다는 배경 모델에 의해 학습된 배경을 많이 이용한 다. 배경 모델링 방법으로는 그 동안 많은 연구가 진행 되었다. 가장 간단한 배경 모델링 방법은 프레임 차분 (Frame Differencing)으로 단순히 현재 프레임에서 이 전 프레임을 차분함으로써 얻을 수 있다. 이 방법은 단 순히 단일 이전 프레임만을 사용함으로써 균일 색상을 갖는 움직이는 객체의 경우 물체의 내부를 검출할 수 없는 단점이 있다. 미디언 필터(Median Filter)를 이용 하는 방법은 가장 일반적으로 사용되는 배경 모델링 방 법으로 배경 픽셀은 버퍼내의 모든 프레임의 절반 이상 동안 머물러 있다는 가정을 바탕으로 한다^[9∼11]. 가우시 안 혼합 모델(Mixture of Gaussians) 은 가장 인기 있 는 배경 모델링 방법으로 여러 개의 배경 분포를 모델 링할 수 있다^[12∼15].

본 논문은 안개가 낀 교차로에서 차량의 검출 효율과 차량 검출 범위를 향상시키기 위한 안개 제거와 차량 검출 방법을 제안한다. 구체적으로는, 안개 영상을 포함 한 도로영상에서의 차량 검출 및 추적을 위한 프레임워 크를 제안하고 안개 유무 판단을 위한 안개 지수 결정 및 안개 제거 기법, 로컬 히스토그램 기반의 객체 추적 기법을 제안한다.

본 논문은 다음과 같이 구성되어 있다. Ⅱ장에서는 입력 영상에서 안개의 유무를 판별하기 위한 안개 지수 결정 방법과 안개 제거를 통한 가시거리 개선 및 객체 의 대비도 향상 방법과 로컬 히스토그램 기반의 가우시 안 혼합 모델에 의한 객체 검출 및 추적 방법에 대해 설명하고 Ⅲ장에서는 실험 및 결과를 보여주며 Ⅳ장에 서는 결론과 향후 연구 방향에 대해 설명한다.

Ⅱ. 본 론

1. 시스템 구성

시스템은 크게 4단계로 나누어진다. 첫 단계는 입력 비디오 영상에 대한 안개 유무를 판단한다. 만약 안개 가 존재할 경우 안개 제거 알고리즘에 의하여 안개 제 거 과정이 수행된다. 그 다음 단계로는 배경 차분 방법 에 의한 객체 검출과 히스토그램 유사도에 의한 객체의 이동 방향과 거리를 추정한다. 전체적인 시스템 구성은 그림 1. 과 같다.

그림 1. 시스템 구성도

Fig. 1. The Block Diagram of the Proposed Object Tracking System in a Foggy Surveillance Video.

2. 안개 유무 판단

Dark Channel Prior은 하늘을 포함하지 않는 대부분 의 영역에서 일정한 크기의 윈도우 내에 있는 화소 중 에서 최소 한 개 이상의 색상값이 Zero에 가깝다는 가 정을 바탕으로 한다. He et al 은 그의 연구에서 일반적 인 야외 영상에 대한 Dark Channel과 화소의 밝기를 통계적으로 계산하였다. 그 결과 Dark Channel의 약 75%가 Zero에 가깝고 그 화소 중 90%의 밝기가 25 이 하였다^[7]. 그러나 안개 영상의 경우는 화소의 밝기값은 거리에 따른 감쇠와 대기광(Airlight)에 의한 산란의 영 향을 받는다. 본 연구에서는 영상 시퀀스내의 안개 유 무를 판단하기 위하여 안개 영상 시퀀스에 대한 Dark Channel을 계산하여 안개가 없는 영상의 Dark Channel

그림 2. 통계적 분석을 위한 안개 영상들 Fig. 2. Haze Images for the statistics analysis.

(a)

(b)

그림 3. 안개 유무에 따른 dark channels 통계적 분포.

(a) He et al 이 실험한 안개가 없는 야외영상 에 대한 dark channel 히스토그램과 누적 히스 토그램 (b) 그림 2. 의 안개 영상에 대한 dark channel 히스토그램과 누적 히스토그램

Fig. 3. Statistics of the dark channels. (a) histogram of the dark channel and cumulative distribution by He et al. (b) histogram of the dark channel and cumulative distribution about haze images of Fig 2.

과 비교하였다.

그림 3. (a)는 [7]에서 수행한 안개가 없는 영상에 대 한 dark channel과 누적 히스토그램을 나타내며 그림 3.

(b)는 그림 2.와 같이 최근 연구에서 가장 많이 사용되 고 있는 안개 영상에 대한 dark channel과 누적 히스토 그램을 계산한 그래프이다. 안개가 없는 영상에서는 대 부분의 dark channel이 zero 부근에 집중되어 있지만 안개 영상의 경우는 전체적으로 dark channel의 값이 매우 커짐을 알 수 있다. 또한 누적 히스토그램을 보면 거리에 따라 dark channel값이 지수 함수적으로 증가하 는 형태로 나타난다. 이것은 안개가 객체에 미치는 영 향이 거리에 따라 지수 함수적으로 비례하는 특성을 보 이고 있음을 알 수 있다.

본 연구에서는 객체를 검출하기 이전에 안개 유무를 판별하기 위해 그림 3.에서 보이는 통계적 데이터를 분 석하여 식(1), (2)와 같이 Fog Index를 계산하였다.

  



_  





여기서, ^{ } 는 국부 영역내의 번째 화소에 대한 dark channel을 의미하며 _는 dark channel에 대 한 임계값이며  은 국부 영역내의 화소수를 의미한다.

만약 Fog_Index가 보다 작은 경우 입력 영상은 안개가 있는 것으로 판단하고 안개 제거 알고리즘을 이 용하여 안개 제거를 수행하였다. 본 연구에서는

_{ } ,    로 설정하였다.

3. 안개 제거

카메라에 들어오는 빛은 기본적인 물리 법칙에 의하 여 정의된다. 장면으로부터 들어오는 빛은 대기 입자나 먼지, 수분 등에 의해 감쇠되고 광원으로부터 들어오는 빛은 카메라를 향해 산란되고 색상의 이동을 일으킨다.

이러한 현상들은 객체와 카메라의 거리에 따라 증가한 다. 일반적으로 안개에 의한 감쇠는 Koschmieder의 법 칙에 의해 다음 식(3)과 같이 모델링된다^[16].

              (3) 여기서,  는 카메라로부터 얻어지는 안개 영상이 며,  는 최종적으로 구하고자 하는 영상으로 안개 가 없는 깨끗한 영상을 나타내며,  는 전역적인 안개 값, 는 감쇠 계수,  는 객체에서 카메라까지의 거리를 의미한다. 식(3)에서 첫 번째 항을 직접 감쇠 (Direct Attenuation), 두 번째 항을 대기광(Airlight) 이 라고 한다.

가. 전달량 추정

전달량이란 식(3)에서 첫 번째 항인 직접 감쇠를 의 미한다. 전달량은 거리에 따른 지수함수로 표현할 수 있 다. 따라서 전달량 계산을 위해서는 카메라와 객체간의 거리 추정이 가장 중요하다. 본 논문에서는 각 카메라와 객체간의 거리를 유추하기 위하여 He et al.가 제안한 Dark Channel Prior을 이용하였다. He et al.는 안개 영 상과 깨끗한 야외 영상을 분석한 결과 대부분의 야외 영상에서 국부 영역내의 화소의 색상 성분 중에서 최소 한 하나 이상의 밝기가 0에 가깝다는 결론을 도출했다

[7]. 일반적인 깨끗한 야외 영상에서는 Dark Channel은 0 또는 0에 매우 가깝다. 그러나 안개 영상의 경우는 Dark

Channel은 큰 값을 갖는다. 이는 기존의 객체의 색상 성 분과 거리에 따른 안개 성분이 더해진 결과이다. 최종적 으로 전달량은 다음과 같이 계산된다.

    ∈ 

min



^ 





여기서,   는 중심이 인 국부 영역을 나타낸다.

전역적인 안개값  는 거리가 무한대인 경우의 안개 값으로써 하늘색 또는 수평선 부근의 색상과 유사하다.

일반적인 안개 영상의 경우 상단 부분은 하늘 또는 수 평선이 위치하며 거의 흰색에 가깝다. 그러므로 영상의 상단에서 일정 영역에서 가장 밝은 색상값을 찾으면 전 역적인 안개값을 구할 수 있다.

나. 안개 제거 및 영상 복원

안개가 제거된 영상은 식(3)로부터 다음과 같이 유도 된다.

  max _

  

  (5)

여기서 는 전달량의 하계(Low Boundary)를 의미한 다.

4. 객체 검출

본 논문에서는 움직이는 객체를 검출하기 위한 방법 으로 배경 차분 기법을 이용하였다. 배경 차분을 위한 배경 모델로는 가우시안 혼합 모델을 이용하였다. 기존 의 배경 모델 방법은 단일 색상 분포에 대해서만 모델 링 가능했던 반면에 가우시안 혼합 모델은 여러 개의 색상 분포에 대해서도 모델링이 가능하여 다양한 환경 에 적용 가능하다. 특히 바람에 의해서 흔들리는 나뭇 잎과 같이 두 개 이상의 배경 분포를 갖는 경우에 매우 효과적이다. 각 화소에 대한 K개의 가우시안 혼합 모델 은 다음과 같이 정의된다^{[9, 14]}.

 _  



  



_{ }_{ }_{ } (6)

여기서, _{ }_{ }는 밝기 평균 _{ }와 표준편차

_{ }를 갖는 번째 가우시안 분포이고  는 번째 요 소에 대한 가중치이다. 일반적으로  의 범위는 3에서 5를 이용한다.

가우시안 혼합 모델은 입력 화소와  개의 가우시안 분포와의 유사성 비교를 통한 학습을 수행한다. 즉,

_ _{   } ≦ ⋅_{   }을 만족하는 번째 정합 요 소를 찾고 해당 가우시안 분포를 학습시켜 나간다.  는 입력 화소와 가우시안 분포의 유사성 비교를 위한 임계값을 나타낸다. 정합된 분포는 다음과 같이 가우시 안 분포를 학습시킨다.

_{ }    _{   } 

_{ }   _{   } _

_{ }^    _{   }^  _ _{ }^

(7)

여기서, 는  ≦  ≦ 의 값을 갖는 학습률이며,

 ≈ _{ }

 이다.

또한, 정합되지 않는 가우시안 분포는 기존의 값을 유지하면서 가중치는 다음과 같이 감소시킨다.

_{ }     _{   } (8) 최종적으로 가 움직이는 객체인지 여부를 판단하기 위하여 먼저 모든 요소는 _{ }

_{ }

를 이용하여 높은 값에 서 낮은 값 순으로 정렬한다. 가장 큰 값을 갖는 요소는 가중치가 크고 표준 편차가 작은 경우로 전형적인 배경 의 특성을 가진다. 또한 정렬된 요소에 의해 다음 식의 조건을 만족하면 배경 요소로 간주한다.

  



_

_{ }≧  (9)

여기서,  는 가중치 임계값이다.

5. 객체 추적

최종적으로 교통 감시 카메라 영상을 이용한 자동차 추적을 수행하였다. 자동차 객체 추적에 앞서 영상 시 퀀스는 안개의 유무를 검사하여 안개가 있는 경우 안개 제거 알고리즘을 우선 수행한다. 강건한 객체 추적을 위해 두 단계 추적 기법을 적용하였다. 첫 번째, 추적자 의 초기 위치는 추적된 점의 거리와 정합 비율을 기반 으로 결정하였다. 추적된 점의 거리는 다음 식 (10)을 이용하여 계산한다.

_ P_txyP_txy⋯ptNxy

  





  



__{  }_ (10)

여기서, _는 프레임 t 에서의 특징점의 위치를 말하 고 DE는 프레임 t와 t+1에서 모든 특징점간의 평균 거 리를 의미한다. _는 번째 특징점 간의 유클리디언 거 리를 의미한다.

만약 특징점의 거리가 DE보다 크면 그 점은 추적 실 패로 간주된다. 거리가 DE보다 작은 특징점에 대한 작 은 패치들을 얻고 유사도 계수를 사용하여 정합 비율을 계산한다. 만약 정합 비율이 전체 특징점의 정합 비율 의 중간값보다 크면 특징점은 추적 성공으로 간주된다.

그리고 시간 t+1에서 추적자의 방향과 거리는 성공적으 로 추적된 특징점을 기반으로 결정된다. 두 번째, 추적 된 객체를 정렬하기 위해 국부 히스토그램 기반 추적자 를 적용하였다. 국부 히스토그램의 유사도를 비교하기 위해 Bhattacharyya 계수를 이용하였다^[17]. 그리고 객체 의 변화에 적응하기 위해 식(11)과 같이 배경 차분의 결과와 히스토그램 기반 추적자의 결과를 결합하였다.

_ _    _

_ _    _ (11) 여기서, , , , 는 배경 차분으 로부터 얻은 객체의 높이와 폭과 히스토그램 기반 추적 자로부터 추정된 높이와 폭을 의미한다. 는 0에서 1 사이의 값이다. 가 1에 가까워지면 추적 결과는 배경 차분의 결과에 더 의존하게 된다.

Ⅲ. 실 험

본 논문에서는 안개 제거에 따른 움직이는 객체의 검 출과 추적 성능에 대한 비교 실험을 하였다. 먼저, 객체 검출 성능을 비교하기 위해서 전처리 과정으로 시간적 잡음을 제거하기 위해 연속적인 3장의 프레임에 대해 형태학적 필터 중에서 침식 연산을 수행하였으며 카메 라 등의 공간적 잡음을 제거하기 위해  ×  가우시안 필터를 적용하였다. 그리고 가우시안 혼합 모델에 대한 초기값으로   ,   , _ 을 설정하였다.

그리고 테스트 영상 시퀀스로는 KOGS/IAKS Universitaet Karlsruhe 의 웹사이트에서 제공되는

“urban traffic video sequences”를 이용하였다. 특히, 웹사이트에서 제공되는 영상 중에서 300여장으로 구성 된 안개 영상 시퀀스를 이용하여 안개 제거와 자동차 검출을 수행하였다.

또한 안개 영상과 안개가 제거된 영상에서 움직이는 객체의 검출 효율을 평가하기 위해서 Ground-Truth 영 상을 직접 만들었다. 그리고 Ground-Truth와 검출 효 율을 정량적으로 분석하기 위한 측정 방법으로 다음 식 과 같이 Recall과 Precision을 계산하였다.

 

 의 객체의 화소수 알고리즘에 의해 정확히 검출된 객체의 화소수

(12)

P r   알고리즘에 의해 검출된 객체의 화소수 알고리즘에 의해 정확히 검출된 객체의 화소수

(13) 안개 제거에 따른 객체 검출 성능 평가를 위하여 안 개 제거 전과 안개 제거 후의 영상에 대해 동일한 배경 모델에 의한 객체 검출을 시도하였다.

그림 4는 테스트 영상 시퀀스 중에서 151번째 안개 영상과 안개가 제거된 영상 그리고 각각에 대한 검출 결과를 나타내고 있다. 검출 결과 전체적으로 안개에 의한 잡음이 많이 발생하였다. 그리고 안개 제거 전의 검출 결과를 보면 안개에 의한 가시거리가 매우 짧아 카메라에 가까운 자동차의 경우 잘 검출하였으나 카메 라에서 멀리 떨어져 있는 자동차는 잘 검출하지 못하였 다. 또한 자동차 내부에 많은 홀이 존재하였다. 안개 제 거 후의 영상의 경우 영상의 선명도가 매우 개선되어 있음을 알 수 있으며 안개 제거 전에 비해 더 정확히 검출할 수 있었다. 또 안개 제거 전의 영상의 경우 일부 자동차 색상이 흰색 또는 검정색인 경우 카메라에서 멀 어질수록 검출률이 매우 낮게 나타났다.

또한 정량적인 객체 검출률을 비교하기 위해 안개 제 거 전과 후의 Recall과 Precision을 계산한 결과 표1과 같이 나타났다.

표 1을 보면 Recall 이 많이 개선됨을 알 수 있다.

Recall은 Ground-Truth와 정확히 검출된 객체의 화소 수를 비교한 것으로 높을수록 객체의 검출 성공률이 높 은 것을 의미한다. Precision은 검출된 객체의 전체 화 소수와 정확히 검출된 객체의 화소수를 비교한 것으로 정확성을 나타낸다. 본 실험 결과 객체 검출 성공률은 크게 향상 되었으나 정확성은 약간 떨어졌다. 그 이유

(a) (b)

(c) (d)

(e)

그림 4. 실험 결과 영상 (a) 안개 영상, (b) 안개 제거 영상 (c) 안개 영상에서의 객체 검출 (d) 안개 제거 후 객체 검출 (e) Ground-Truth

Fig. 4. Experiment Results. (a) haze image, (b) dehazed image, (c) object detection in haze image (d) object detection after haze removal (e) ground-truth.

Recall Precision

안개 제거 전 33.0 74.7

안개 제거 후 51.8 62.9

표 1. 안개 제거후 객체 검출 성능 비교(%)

Table 1. Comparison of the Performance for Object Detection After Fog Removal.

는 안개 제거 알고리즘의 단점으로 분석된다. 안개 제 거 알고리즘은 국부 영역의 대비도를 최대화시키는 방 법으로 전달량을 추정한다. 그리고 동질의 영역에 대해 서는 동일한 전달량을 나타낸다. 그리고 국부 영역내의 색상 변화가 많을 경우에는 대비도 최대화로 인한 전달 량 추정 오류가 발생하고 이것은 색상의 이동 (Color Shift) 을 발생시킨다. 이는 안개 제거 후의 영상의 화 질 열화의 원인이 되기도 한다. 이런 색상 이동이 배경

모델 학습에 악영향을 미쳐 객체 검출 오류를 발생시켰 으며 전체적인 정확도가 낮아졌다. 또한 안개의 농도가 진한 경우 대부분의 객체 색상이 유사하게 보여 객체를 검출하기 매우 힘들었다. 따라서 본 논문에서는 가시거 리가 2Km∼4Km 이내의 연무가 낀 영상으로 제한하였 다. 이보다 진한 농도의 안개 속에서는 객체 검출이 사 실상 불가능하였다.

그림 5.는 실험에 이용한 비디오 시퀀스 전체에 대한 프레임별 안개 제거 전과 후의 Recall과 Precision을 그 래프로 나타내고 있다. 초기 프레임은 배경 모델 과정 으로 검출률과 정확도가 낮게 나왔다. 120∼140번째 프 레임의 경우 안개에 의한 급격한 화면 변화가 발생한 부분으로 배경을 모델링하는데 많은 어려움이 있었으며 검출률과 정확도가 모두 낮아졌다. 안개에 의한 화면 변화가 적은 구간에서는 검출률과 정확도가 모두 높게 나타났다.

두 번째로, 객체 추적 성능을 테스트하였다. 안개 영

(a)

(b)

그림 5. 각 프레임별 안개 제거 전후의 Recall (a) 과 Precision (b)

Fig. 5. Recall and Precision of each frame before and after removing the fog.

상은 한국 고속도로 공사에서 녹화된 고속도로 감시 카 메라 영상을 이용하였다. 실험은 안개 제거 전과 후의 영상에 대한 자동차 객체 검출과 추적 정확도를 비교하 였다. 그림 6.은 안개 제거 후 자동차를 검출한 예를 보 여주고 있다.

표 2와 표 3은 안개 제거 전과 후의 자동차 추적 결

그림 6. 안개 영상에서 자동차 객체 추적 화면 캡쳐 예.

Fig. 6. A Screen Shot of Vehicle Tracking Result in a Foggy Test Video.

성공 실패 프레임수 성공률

Car1 108 1 109 99.08

Car2 53 43 96 55.21

Car 3 66 61 127 51.97

Car 4 39 50 89 43.82

Car 5 53 31 84 63.10

Car 6 93 0 93 100.00

Car 7 39 51 90 43.33

Car 8 28 68 96 29.17

Car 9 66 39 105 62.86

평균 60.95

표 2. 안개 영상에서 자동차 추적 결과

Table 2. Vehicle tracking results for a foggy video.

성공 실패 프레임수 성공률

Car1 108 1 109 99.08

Car2 72 24 96 75.00

Car 3 101 26 127 79.53

Car 4 58 31 89 65.17

Car 5 68 16 84 80.95

Car 6 93 0 93 100.00

Car 7 64 26 90 71.11

Car 8 50 46 96 52.08

Car 9 84 21 105 80.00

평균 78.10

표 3. 안개 제거후 자동차 추적 결과

Table 3. Vehicle tracking results after the fog removal.

과를 보여준다. 자동차 추적은 그림 6.에서 보는 것처럼 노란색 박스의 관심 영역 ROI를 임의로 설정한 후 출 현하는 모든 자동차를 검출하고 움직임 거리 및 방향을 추적하였다. 프레임수는 ROI 내에 자동차가 최초로 출 현한 후 ROI를 벗어날 때 까지의 전체 프레임 수를 나 타내며 각 프레임 별로 자동차 검출 성공 여부를 카운 트하여 표로 나타냈다. 안개를 제거하기 전의 자동차 추적 결과는 낮게 나타난다. 그 이유는 안개에 의한 영 향으로 차량의 색상이 주변과 잘 구별되지 않았다. 특 히 검정색 차량의 경우 도로와 구별하는데 매우 큰 어 려움이 있었다. 결과적으로 안개 제거 후 영상의 가시 성이 매우 향상되었으며 국부 대비도 향상으로 객체의 구분이 뚜렷하게 나타났다.

Ⅳ. 결 론

본 논문은 안개와 같은 환경적인 요인에 의한 객체 검출 성능 저하를 방지하고 객체 검출 효율을 높이기 위한 방법으로 안개 제거와 가우시안 혼합 모델을 이용 한 객체 검출 방법을 제안하였다. 그리고 제안된 알고 리즘의 성능을 테스트하기 위해 안개 제거 전과 후의 Recall과 Precision을 계산하여 비교하였다. 실험 결과 안개 제거 후의 객체 검출률이 향상됨을 알 수 있었다.

그러나 안개 제거 과정에서 색상 이동이 발생하였고 이 로 인해 배경 학습에 많은 제약으로 작용하였다. 따라 서 안개 제거 후 색상 보상에 대한 추가적인 방법이 필 요하였다. 향후에는 영상 시퀀스에서 매 프레임마다 추 정하는 깊이 정보와 전달량을 학습 모델을 이용하여 추 론할 경우 더욱 정확한 전달량을 계산할 수 있을 것으 로 생각되며 색상 이동을 최소화할 수 있을 것으로 생 각된다.

REFERENCES

[1] Y. Y. Schechner, S. G. Narasimhan, and S. K.

Nayar, “Instant dehazing of images using polarization,” IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp.

325-32, 2001.

[2] S. G. Narasimhan, and S. K. Nayar, “Chromatic Framework for Vision in Bad Weather,” IEEE Conference on Computer Vision and Pattern

Recognition, Vol. 1, pp. 598-605, 2000.

[3] Kopf, J., B., Chen, B., Cohen, M., Cohen-Or, D., Deussen, O., Uyttendaele, M., and Lischinski, D., “Deep photo:model-based photograph enhancement and viewing,” ACM Transactions on Graphics, 27(5):116:1-116:10, 2008.

[4] R. Tan, “Visibility in bad weather from a single image,” in Proc. CVPR, pp. 1-8, June 2008.

[5] R. Fattal, “Single image dehazing,” ACM Trans.

Graphics, vol. 27, no. 3, pp. 1-9, Aug. 2008.

[6] J. P. Tarel and N. Hautiere, “Fast visibility restoration from a single color or gray level image,” in Proceedings of IEEE International Conference on Computer Vision(ICCV ‘09), pp.

2201-2208, Kyoto, Japan, 2009.

[7] K. He, J. Sun, and X. Tang, “Single image haze removal using dark channel prior,” in Proc.

CVPR, June 2009.

[8] A. Levin, D. Lischinski, Y. Weiss, “A closed form solution to natural image matting,” IEEE Trans. Pattern Anal. Mach, Intell., vol. 30, no. 2, pp. 228-242, Feb. 2008.

[9] R. Cucchiara, M. Piccardi, and A. Prati,

“Detecting moving objects, ghosts, and shadows in video streams,” IEEE Transactions on Pattern Analysis and Machine Intelligence 25, pp.

1337-1342, Oct. 2003.

[10] Q. Zhou and J. Aggarwal, “Tracking and Classifying moving objects from videos,” in Proceedings of IEEE Workshop on Performance Evaluation of Tracking and Survillance, 2001.

[11] P. Remagnino et al, “An integrated traffic and Pedestrian model-based system,” in proceedings of the Eighth British Machine Vision Conference, pp. 380-389, 1997.

[12] C. Stauffer and W.E.L. Grimson, “Learning Patterns of Activity Using Real-Time Tracking,”

in IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, pp. 747-757.

[13] C. Stauffer and W.E.L. Grimson, “Adaptive Background Mixture Models for Real-time tracking,” in IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 1999.

[14] Jonghyun Park, Geesang Lee, Nguyen Dinh Toan, Wanhyun Cho and Soonyoung Park,

“Moving Object Detection using Clausius Entropy and Adaptive Gaussian Mixture Model,”

Journal of the IEEK, Vol. 47, CI, No. 1, pp.

저 자 소 개 김 상 균(정회원)

1998년 목포대학교 전자공학과 학사

2000년 목포대학교 전자공학과 석사

2002년 목포대학교 전자공학과 박사 과정 수료.

<주관심분야 : 신호처리, 컴퓨터비전>

박 순 영(정회원)-교신저자 1982년 연세대학교 전기공학과

학사.

1984년 연세대학교 전자공학과 석사.

1989년 State University of NewYork 전기및컴퓨터 공학과 박사.

1990년～현재 목포대학교 정보전자공학과 교수

<주관심분야: 영상 및 비디오처리, 컴퓨터비전 >

최 경 호(정회원)

1989년 인하대학교 전자공학과 학사

1991년 인하대학교 전자공학과 석사

2002년 University of Washington Ph. D.

2005년∼현재 목포대학교 정보전자공학과 부교수

<주관심분야 : Next Generation Car Navigation System, MPEG7-CDVS, Intelligent Surveillance System, Biometric Face Verification, Audio-to-Visual Conversion 등>

22-29, Nov, 2010.

[15] N. Friedman and S. Russell, “Image Segmentation in Video Sequences : A Probalilistic approach,” in proceedings of the Thirteenth Annual Conference on Uncertainty in Artificial Intelligence(UAI-97), pp. 175-181, Morgan Kaufmann Publishers, Inc., (San Francisco, CA), 1997.

[16] Middleton, W.E.K., “Vision through the Atmosphere,” University of Toronto Press, Toronto, 1952.

[17] T. Kailath, “The divergence and Bhattacharyya distance measures in signal detection,” IEEE Trans. Commun. Technol.., vol. COM-15, no. 1, pp. 52-60, Feb. 1967.