Fast and High-Quality Haze Removal Method Based on Transmission Correction

(1)

논문 2014-51-11-20

전달량 보정을 통한 고속 고품질의 안개 제거 방법

( Fast and High-Quality Haze Removal Method Based on Transmission Correction )

김 원 태^*, 배 현 우^*, 김 태 환^**^*

( Won-Tae Kim, Hyun-Woo Bae, and Tae-Hwan Kim^ⓒ)

요 약

본 논문은 기존의 안개 제거 방법에서 전달량(transmission) 추정 과정을 변경한 고속 고품질의 안개 제거 방법을 제안한다. 기존 의 안개 제거 방법에서는 전달량 추정 과정에서 dark channel 연산에 의해서 후광(halo) 및 블록 현상이 발생하는데, 제안하는 방법 은 이런 현상들을 효과적으로 줄이기 위해서 dark channel 연산 이후에 최대값 필터를 적용한다. 그 결과, 기존의 안개 제거 방법에 서 전달량을 정련하기 위해서 수행하는 복잡한 연산 과정을 결과 영상의 품질 저하 없이 간소화 시킬 수 있다. 본 논문은 기존의 다 채널 유도 필터를 단 채널의 유도 필터로 대체하여 사용하는 것을 제안한다. 실험 결과는 제안하는 전달량 보정 과정에 의한 결과 영상의 우수한 품질과 기존의 안개 제거 속도에 비해 최대 59.6% 까지 향상된 안개 제거 속도를 입증한다.

Abstract

This paper presents a fast and high-quality haze removal method by the modification of the conventional transmission estimation process. In the conventional haze removal method, the halo and blocking artifacts arises while estimating the transmission. In order to effectively reduce the artifacts, the proposed method employs the maximum filter after the calculation of the dark channel. Because of the reduction of the artifacts, the proposed method can simplify the transmission refinement process without sacrificing the quality of the results: this paper proposes to use the single-channel guided filter instead of the multi-channel guided filter. The experimental results demonstrate that the quality of the dehazed results by the proposed transmission correction process is improved and the haze removal speed is increased by up to 59.6%, when compared to the conventional ones.

Keywords: haze removal, halo and blocking artifact, transmission estimation process

* 학생회원,^** 정회원, 한국항공대학교 항공 전자 및정 보 통신 공학부

(School of electronics, Telecommunication and computer engineering, Korea Aerospace University)

※ 본 연구는 경기도의 경기도지역협력연구센터(GRRC) 사업[GRRC항공-2014-B04, 차세대 N-스크린 서비스 를 위한 스크린 협업 기술 및 스마트 카메라 기술연 구]의 일환으로 수행하였음.

접수일자: 2014년09월15일, 수정일자: 2014년10월23일 게재확정: 2014년11월03일

Ⅰ. 서 론

실외에서 촬영된 영상의 품질은 외부 대기 환경에 의 해 크게 좌우된다. 대기에 존재하는 부유 물질들의 크 기나 종류에 따라서 빛의 산란 및 흡수 현상이 발생하 여, 영상의 가시성이 떨어질 수 있기 때문이다. 특히 빛 의 산란이 심해져서 뿌옇게 보이는 현상, 즉 안개는 촬 영된 영상의 명암 대조비를 저하시켜서 영상 내의 물체 들의 식별을 어렵게 하여, 야외에 설치된 방범 및 감시

(2)

카메라 시스템의 성능을 크게 떨어뜨린다. 이 카메라 시스템의 성능 저하는 여러 가지 방범 및 안전 문제를 유발할 수 있기 때문에, 효과적으로 안개를 제거하는 방법의 개발이 반드시 필요하다.

안개 제거 방법은 크게 2가지 종류로 나눌 수 있다.

첫 번째는 안개의 짙은 정도가 카메라와 물체 사이의 거리, 즉 영상의 깊이(depth) 정보에 따라 달라진다는 사실에 주목하여, 두 장 이상의 같은 장면의 영상을 바 탕으로 영상의 깊이 정보를 계산하여 안개를 제거하는

방법이다^[1-3]. 그러나 동적인 영상의 경우에는 같은 장

면의 영상을 두 장 이상 얻는 것이 어렵다는 한계를 가 지고 있다. 두 번째는 안개 영상이 가지는 특성을 활용 하여, 한 장의 안개 영상을 바탕으로 안개를 제거하는 단일 영상 안개 제거 방법이다^[4～6]. Tan은 안개 낀 영 상의 대조비가 맑은 날의 영상보다 낮다는 특성을 바탕 으로 안개 영상의 대조비를 최대화하여 안개를 제거하 는 방법을 사용하였고^[4], Fattal은 안개 낀 영상의 음영 과 반사율(albedo)이 서로 상관 관계가 없다는 특성을 바탕으로 안개 제거를 수행하였다^[5]. 특히, [6]은 dark channel prior(DCP), 즉 맑은 날씨에서 촬영된 영상들 의 대부분이 국부 영역에서 어두운 픽셀을 가지고 있다 는 통계적 특성을 바탕으로 효과적으로 안개 제거를 수 행하였다. 이 안개 제거 방법은 기존의 [4], [5]에 비해 서 연산 복잡도가 훨씬 낮고, 다양한 종류의 안개 낀 영 상에서 효과적으로 안개를 제거할 수 있기 때문에, 많 은 안개 제거 방법에서 활용되고 있다^[9～13]. 그러나 전 달량(transmission)을 추정하기 위해서 수행하는 dark channel 연산에 의해서 후광(halo) 및 블록 현상이 발생 하여 안개가 제거된 영상의 품질 저하를 초래한다. [6]

에서는 soft matting 기법을 적용하여 위의 현상들을 줄이는 것에 성공하였지만, 그것의 긴 처리 시간으로 인해서 실효성이 떨어졌다. 그래서 상대적으로 처리 시 간이 짧으면서 효과적으로 전달량을 정련하는 유도 필 터(guided filter)^[7]의 사용이 제안되었다. 그러나 유도 필터를 적용한 안개 제거 방법은 다음의 문제점들을 가 지고 있다. 먼저, 안개가 제거된 영상에서 여전히 후광 및 블록 현상들이 부분적으로 나타난다. 또한, 전체 안 개 제거 처리 시간에서 유도 필터링을 수행하기 위한 처리 시간이 차지하는 비중이 상당히 크다. 그래서 유 도 필터링을 적용한 안개 제거 방법으로 고속 고품질의 안개 제거 시스템을 구현하는 것에는 한계가 있다.

앞에서 언급된 문제들을 극복하기 위해서 본 논문은 전달량 보정 절차를 통해서 고속 고품질의 안개 제거 방법을 제안한다. 제안하는 방법에서는 기존의 안개 제 거 방법에서 dark channel 연산에 의해서 개략적으로 추정된 전달량에 최대값 필터를 적용한다. 이에 따라 전달량 추정에 필요한 최소값 필터링에 의해서 발생하 는 후광 및 블록 현상들이 상당히 줄어든다. 이로 인해 서 개략적인 전달량을 정련하기 위해서 수행하는 유도 필터링의 연산 과정을 간소화하여 안개 제거 속도를 향 상시키는 것을 고려할 수 있다. 본 논문에서는 기존의 안개 제거 방법에서 사용하는 다 채널의 유도 필터링 과정을 단 채널의 유도 필터링 과정으로 대체하여, 안 개 제거 영상의 품질 저하 없이 전체의 안개 제거 처리 시간을 줄이는 것에 성공하였다.

본 논문의 구성은 다음과 같다. Ⅱ 장에서는 안개 영 상의 모델링과 DCP를 기반으로 하는 안개 제거 방법에 관한 설명을 하고, Ⅲ 장에서는 제안하는 방법에 대해 서 설명을 한다. 그리고 Ⅳ 장에서는 실험 결과를 바탕 으로 제안하는 방법의 효과를 입증한다. 마지막으로 V 장에서는 본 논문의 결론을 제시한다.

Ⅱ. 배경 지식

1. 안개 제거 모델링

안개 영상 모델링을 위해서, Koschmieder가 제안한 다음의 식을 사용한다^[8].

( ) ( ) ( ) (

¹

( ) )

c c c

I x =J x t x +A −t x (1)

Ic(x)와 Jc(x)는 RGB 채널로 구성된 안개 낀 원본 영상 I 와 안개가 제거된 영상 J 에서  ∈  채널의 좌 표 x에서의 픽셀 값을 나타낸다. 또한, Ac는 c 채널에서 의 대기의 밝기 A 를 나타내고, t(x)는 전달량 t 의 좌표 x에서의 값을 나타낸다. 전달량은 빛이 산란되지 않고 카메라 렌즈에 유입되는 비율을 의미하고, 그 값이 0에 가까울수록 안개가 짙게 형성되어 있다는 것을 나타낸 다. 따라서 Jc(x)t(x)는 물체의 반사된 빛이 바로 카메라 렌즈에 도달하는 직접 감쇄를 나타내고, Ac(1-t(x))는 빛 이 대기 중의 부유 물질에 의해 산란되어 카메라 렌즈 에 도달하는 산란광(airlight)을 나타낸다. 일반적으로 안 개가 제거된 영상 J 를 얻기 위해서 주어진 입력 영상 I

(3)

만으로 A와 t를 추정해야 하기 때문에, 단일 영상 안개 제거 방법들은 안개 낀 영상이 가지는 특성을 활용하여 A와 t를 추정한다^[4～6].

2. DCP 기반의 단일 영상 안개 제거 방법 맑은 날에 촬영된 영상들이 공통적으로 가지고 있는 통계적 특성을 기반으로 하여 효과적으로 A와 t를 추정 하는 단일 영상 안개 제거 방법이 제안되었다^[6]. DCP라 고 불리는 이 통계적 특성은 안개가 없는 상태에서 촬 영된 실외 영상이 국부 영역 내의 최소한 한 채널은 0 에 가까운 픽셀 값을 가지고 있다는 것이다. 이 DCP를 활용하기 위해서, 아래와 같이 J의 dark channel이 정의 된다.

{ }

( )

( ) , ,

( ) min min

x dark

y c r g b c

J x J y

∈

= ∈Ω (2)

여기에서 J^dark(x)는 x 좌표에서의 J 의 dark channel을 의미하고, Ω(x)는 좌표 x를 중심으로 하는 국부 영역의 픽셀들의 집합을 의미한다. 특히, J 가 안개가 제거된 깨 끗한 영상이기 때문에, 임의의 좌표 x 에 대해서 다음의 식이 성립한다고 가정 할 수 있다.

( )

⁰

Jdark x ≈ (3)

그리고 식 (3)에 따라서 식 (1)에 dark channel 연산 을 적용하면, 아래와 같이 개략적인 전달량을 구할 수 있다.

( )

^{( )}

(

_{^{, ,}_}

( ( ) ) )

' 1 min min /

y x c r gb c c

t x I y A

∈Ω ∈

= − (4)

여기서 대기의 밝기 A는 I의 dark channel인 I^dark에 서 상위 0.1% 의 밝은 픽셀의 위치 중, I에서 가장 밝은 값을 선택하는 방식으로 추정한다. 이 방법은 안개 영 역이 아닌 곳에서 A를 선택하는 오류를 막을 수 있는 장점이 있다. t'(x)는 좌표 x에서 개략적으로 추정된 전 달량으로, 식 (4)의 최소값 필터링에 의해서 후광 및 블 록 현상을 가지고 있다. 그래서 기존의 안개 제거 방법 에서는 soft matting 기법을 사용하여 개략적으로 추정 된 전달량 t'을 정련하였다^[6]. 하지만 라플라시안 행렬을 사용하는 기법의 특성상 영상의 크기가 커질수록 그것 의 연산 복잡도는 상당히 높아질 수밖에 없기 때문에, 이후의 여러 안개 제거 방법들은 soft matting 기법 대

그림 1. 기존의 안개 제거 방법의 전체 흐름.

Fig. 1. Overall flow of the conventional haze removal method.

신 유도 필터를 사용하여 전달량 정련화 과정을 수행하 고 있다^[9～13]. 마지막으로 전달량 정련 과정을 거친 전 달량 t, 추정된 대기의 밝기 A 그리고 입력된 안개 영상 I를 바탕으로 아래와 같이 안개 제거 영상 J를 획득할 수 있다.

( ) (

0

)

( ) ( ) / max ( ),

c c c c

J x =A + I x −A t x t (5)

t0는 안개가 제거된 영상의 원근감의 보존을 위한 값 으로, 본 논문에서는 0.1로 정한다^[6]. 그림 1은 위에서 설명한 일반적인 DCP 기반의 안개 제거 방법의 흐름을 보여준다.

Ⅲ. 본 론

1. 효과적인 후광 및 블록 현상의 억제

앞에서 DCP 기반의 단일 영상 안개 제거 방법은 dark channel 연산 과정으로 인하여 개략적으로 추정된 전달량 t'에서 후광 및 블록 현상 등이 나타나고, 이 현 상을 줄이기 위해서 유도 필터링을 거친 t를 사용하여 안개가 제거된 영상을 얻는다고 설명하였다. 하지만 유 도 필터링을 적용하여 얻은 안개가 제거된 영상에서 여 전히 부분적으로 후광 및 블록 현상이 관측되고 있기 때문에, 유도 필터를 사용하는 여러 안개 제거 방법들 은 전달량 정련화(transmission refinement) 과정 이외

(4)

50 50 50 50 50

50 50 50

44 50 50 130

44 130 50 4444 150 130 130 130 150 150 150 150 150 150 150 150

130 130 130 130 150 150 150 150 150 150 150 150

130 150 150

44 45 30

44 45 45 30

30 30 30

130 130 130 30 30 29 2929 29 29 29 29 29 29 30

130 130 3030 130 130 130 130 130 130 150 150 150 150 150 150 150 150

150 149 149 149 130 130 149 149 130 90 149 130 150

149 149 150 150 150 150 149 149 150 150 150 130

150 149 130

149 149 150 150 150 150 150 150 150 150 150 150 150 150 130

150 150 130 130 130 150 44

44 45

45

50 50 130

50 50 130 150

130 150 150 130 130 150 150 150 150 150 150 150 150 150 150 150 150

150 150 150 150 150 150 150 150 150 150 150 150

150 150 150

130 130 130

45 45 45

130 130 130 130

30 30 130

150 150 150 150 130 130 130 130 130 130 29 30 30 30 130

130 130 130 130 130 130 150 150 150 150 150 150 150 150 150 150 150 150

150 150 150 150 150 150 149 150 130 150 150 150 130 150 150

150 150 150 150 150 150 150 150 150 150 150 150

150 150 150

149 150 150 150 150 150 150 150 150 150 150 150 150 150 150

150 150 150 150 150 150 130

44 130

45 150

그림 3. 제안하는 방법에 의한 후광 및 블록 현상의 효과적인 억제.

(a) 안개 낀 영상 I, (b) I^dark, (c) I^dark', (d) 기존의 방법에 의한 안개가 제거된 영상, (e) 제안하는 방법에 의한 안개가 제거된 영상.

Fig. 3. Effective suppression of the halo and blocking artifact by the proposed method.

(a) hazy image I, (b) I^dark, (c) I^dark', (d) haze-free image by the conventional method, (e) haze-free image by the proposed method.

에 bilateral filter나 multi-scale retinex 알고리즘 등의 다른 영상 처리 과정을 추가적으로 수행하고 있다^[9～12]. 그러나 추가적으로 수행하는 영상 처리 과정으로 인하 여, 위의 안개 제거 방법들은 고속의 안개 제거 시스템 을 구현하는 것에 적합하지 않다. 따라서 비교적 간단 한 연산 복잡도를 가지면서 효과적으로 후광 및 블록 현상을 제거하는 방법이 필요하다.

제안하는 방법을 살펴보기에 앞서, 후광 및 블록 현 상이 일어나는 원인에 대해서 분석할 필요가 있다. 식 (2)에서 나타내었듯이, dark channel 연산은 해당 픽셀 의 R, G, B 채널 값 중에서 가장 작은 채널을 선택하고, 다시 해당 채널의 픽셀을 중심으로 하는 국부 영역에서 최소값을 찾는 것을 의미한다. 이 때, 국부 영역은 해당 픽셀을 중심으로 r × r의 크기를 갖는 정사각형이다. 일 반적으로 국부 영역의 크기가 커지면, 그림 2와 같이

그림 2. 국부 영역의 크기에 따른 블록 현상. (a) 국부 영역의 크기: 15 × 15, (b) 국부 영역의 크기:

30 × 30, (c) 국부 영역의 크기: 45 × 45.

Fig. 2. Blocking artifact according to the patch size.

(a) patch size: 15 × 15, (b) patch size: 30 × 30, (c) patch size: 45 × 45.

dark channel이 적용된 영상에서 블록 현상이 더욱 두 드러지게 나타난다. 또한, 영상의 윤곽선(edge) 부분에 서 그 변화가 크게 나타나는데, 그림으로 예를 들어서 설명하면 다음과 같다. 그림 3(b)는 그림 3(a)의 표시된 부분에 대해서 dark channel 연산을 수행한 것이다. 가 로등의 경계선에서 국부 영역 내의 안개 영역 픽셀들은 최소값 필터링에 의해서 모두 가로등 영역의 어두운 픽 셀 값들로 바뀌게 된다. 즉, 그림 3(a)의 가로등 영역보 다 반경 r만큼 확장된 형태로 바뀌고, 이 바뀐 부분에서 전달량은 잘못 추정된다. 그래서 그림 3(d)와 같이, 안 개와 물체의 경계선 부근에서 안개가 덜 제거되어 하얗 게 보이는 후광 현상이 나타난다.

위의 현상들을 효과적으로 억제하기 위해서 본 논문 은 I^dark에 최대값 필터를 적용하는 것을 제안한다.

( ( ) )

'

( ) max( ) da

x

rk dark

I x y I y

= ∈Ω ₍₆₎

여기서 I^dark에 제안하는 최대값 필터링을 적용한 것

을 I^dark'라고 하자. 그림 4는 제안하는 안개 제거 방법의

전체 흐름을 나타내며, 전달량 추정 전에 제안하는 최 대값 필터링이 추가 되었다. 최소값 필터링을 통해서 영상의 윤곽선 부근의 픽셀들이 더 어두운 영역의 픽셀 들로 바뀌게 되는 것과는 반대로, 최대값 필터링에 의 해서는 영상의 윤곽선 부근의 픽셀들이 더 밝은 영역의 픽셀들로 바뀌게 된다. 따라서 그림 3(b)에 최대값 필터

(5)

그림 4. 제안하는 안개 제거 방법의 전체 흐름.

Fig. 4. Overall flow of the proposed haze removal method.

를 적용한 그림 3(c)에서는 어두운 가로등 영역이 축소 되서 원래의 형태로 복원된다. 픽셀 값으로 나타낸 그 림에서는 국부 영역의 크기가 3× 3인 최대값 필터를 적 용한 것을 예를 들어서 나타냈다. 그리고 제안하는 방 법에 의해서 다음과 같이 보정된 전달량 t''를 계산할 수 있다.

( ) (

^' _{^{, ,}_}

)

'' 1 ^dark( ) / min _c

c r g b

t x I x A

= − ∈ (7)

여기서 t''(x)는 좌표 x에서의 보정된 전달량을 의미한 다. 그림 3(e)는 제안하는 안개 제거 방법에 의한 안개 가 제거된 영상을 보여준다. 그림 3(d)에서 보이는 후광 및 블록 현상이 상당히 제거된 것을 볼 수 있다.

2. 유도 필터링의 간소화

앞에서 설명한 제안하는 안개 제거 방법은 dark channel 연산에 의해서 개략적으로 추정된 전달량에 최 대값 필터를 적용하여 기존의 결과 영상에서 부분적으 로 남아있는 후광 및 블록 현상을 상당히 줄이는 것에 성공하였다. 그래서 안개가 제거된 결과 영상의 품질 저하가 없는 동시에 낮은 연산 복잡도의 전달량 정련화 방법을 사용하여, 전체의 안개 제거 처리 시간을 줄이

는 것을 고려 할 수 있다. 이 때, 중요한 조건은 안개가 제거된 영상의 품질 저하 없이, 기존의 다 채널 유도 필 터링의 복잡한 연산 과정을 상당히 낮출 수 있어야 한 다는 것이다. 본 논문은 위의 조건들을 만족하는 방법 으로 다 채널 유도 필터를 단 채널 유도 필터로 바꾸는 것을 제안한다. 제안하는 방법의 타당성을 입증하기 위 해서, 본 장에서는 기존의 다 채널 유도 필터와 제안하 는 단 채널 유도 필터의 연산 과정의 비교를 통해서, 제 안하는 안개 제거 방법이 고속의 안개 제거를 달성할 수 있는지에 대해서 살펴볼 것이다. 그리고 전달량 맵 의 비교를 통해서, 간소화된 전달량 정련화 과정이 기 존 영상의 품질에 미치는 영향이 적다는 것을 알아볼 것이다.

먼저, 기존의 다 채널 유도 필터링 과정에 대해서 살 펴보면, R, G, B 채널로 구성된 입력 안개 영상 I 와 개 략적인 전달량 t' 을 각각 유도(guidance) 영상과 입력 필터링 영상으로 사용하여 다음과 같이 정련된 전달량 t 를 계산한다.

( ) ( ) ( )

( ^{( )} ^T )

⁽ ^{( )} ⁾

( ) _y _x /

t x =

∑

_∈_ω ^a y ⋅^I y +b y ω x ⁽⁸⁾

여기서 ^ω

( )

^x 는 ω(x)의 속해있는 픽셀의 총 개수를 의미하고, ω(x)는 위치 x를 중심으로 하는 유도필터링을 위한 국부 영역의 픽셀들의 집합을 의미한다. 그리고 a(x)와 b(x)는 좌표 x에서의 유도 필터링을 위한 선형 계 수들이다. 여기서 주의해야 될 것은 a(x) 와 I(x) 가 3 × 1의 컬러 벡터이기 때문에, 식 (8)이 행렬 연산을 포함 하고 있다는 것이다. 그리고 제안하는 단 채널 유도 필 터링 과정을 사용하여 정련된 전달량 t를 계산하는 식 은 다음과 같다.

( ) ( ) ( )

(

( )

) ⁽ ^{( )} ⁾

( ) ^gray /

y x

t x =

∑

_∈_ω a y I⋅ x +b y ω x ⁽⁹⁾ 여기서 I^gray(x)는 RGB 채널의 I 를 grayscale 변환한 I^gray에서 x의 위치에 있는 픽셀 값을 의미한다. 간단하 게 연산 복잡도의 차이를 비교하기 위해서 식 (8)과 (9) 의 내부의 a(x)·I(x)+b(x)의 계산을 위해서 필요한 각 연 산의 횟수를 살펴보자. 식 (8)은 a(x)와 I(x)가 3 × 1의 컬러 벡터이기 때문에 곱셈 3회, 덧셈 3회가 필요하고, 식 (9)는 스칼라 계산으로 곱셈 1회와 덧셈 1회만 수행 하면 된다. 그 이후에 해당 국부 영역의 픽셀들에 대해

(6)

(a) (b) (c)

(d) (e) (f)

그림 5. 제안하는 전달량 맵과 기존 전달량 맵들의 비교. (a) t', (b) t'', (c) soft matting + t', (d) 다 채널 유도 필터 + t', (e) 다 채널 유도 필터 + t'', (f) 단 채널 유도 필터 + t''.

Fig. 5. Comparison of the transmission map by the proposed method with the conventional methods. (a) t', (b) t'', (c) soft matting + t' , (d) multi-channel guided filter + t', (e) multi-channel guided filter + t'', (f) single-channel guided filter + t''.

서 같은 계산을 반복하여 모두 더하고, 마지막으로 국 부 영역의 픽셀 개수로 나누면 정련된 전달량 t를 얻게 된다. 그 결과, 영상 전체의 크기와 국부 영역의 크기가 증가 할수록, 기존의 다 채널 유도 필터링 과정과 제안 하는 단 채널 유도 필터링 과정의 연산 복잡도는 더욱 크게 차이가 날 것이다.

마찬가지로 단 채널 유도 필터와 다 채널 유도 필터 의 선형 계수 a(x)와 b(x)를 통해서도 연산 복잡도의 차 이를 알 수 있다. 식 (8)의 계산을 위한 선형 계수 a(x) 와 b(x)는 다음과 같다.

( )

( ) ( ) _{( )} ( )

1

1 ( ) '( ) ( ) '

k

y x

a x

I y t y x t y

x ω ^ω

ε ω μ

−

∈ ∈

= + ⋅

⎛ ⎞

− ⋅

⎜ ⎟

⎝ ⎠

∑

∑ ∑

U

(10)

( )

_y _{( )}_x '

( )

^T

( ) ( )

b x =

∑

_∈_ω t y −^a x ⋅μ x ⁽¹¹⁾

여기서 ∑^k , U는 각각 I의 ω(x)내의 3 × 3 공분산 행렬, 단위 행렬을 나타낸다. 그리고 µ(x)는 I의 ω(x) 내

의 평균을 의미하고, ε는 정규화 변수이다. 그리고 식 (8)의 계산을 위한 선형 계수 a(x)와 b(x)는 다음과 같다.

( )

( ) ( )

2

( ) ( ) ''( ) ( ) ''( )

/ ( )

gray

y x y x

a x I y t y x t y

x x

ω μ ω

ω σ ε

∈ ∈

= ⋅ − ⋅

⋅ +

∑ ∑

(12)

(

^{( )}

)

^{( )}

( ) _y _x ''( ) / ( ) ( )

b x =

∑

_∈_ω t y ω x −a x ⋅μ x ⁽¹³⁾

σ²(x)은 I의 ω(x) 내의 분산을 의미한다. 식 (10)과 (11)이 행렬 연산을 포함하고 있는 반면에, 식 (12)와 (13)은 그렇지 않다는 것을 알 수 있다. 결론적으로 유 도 필터링의 연산 복잡도만 비교했을 때, 제안하는 단 채널 유도 필터링의 연산 복잡도는 기존의 다 채널 유 도 필터링의 연산 복잡도에 비해서 상당히 감소 된 것 을 알 수 있고, 이것으로 제안하는 안개 제거 처리 속도 의 향상을 기대할 수 있다. 그림 4에서는 그림 1의 다 채널 유도 필터링을 단 채널 유도 필터링으로 바꾸어 나타내었다.

다음으로, 제안하는 단 채널 유도 필터를 적용한 방

(7)

그림 6. 제안하는 방법과 기존 방법의 결과 비교. (a) 안개 낀 영상, (b) 방법 1에 의해서 안개가 제거된 영상, (c) 방법 2 에 의해서 안개가 제거된 영상, (d) 제안하는 방법에 의해서 안개가 제거된 영상.

Fig. 6. Comparison of the results by the proposed method with the results by the conventional method. (a) hazy image, (b) haze-free image by Method 1, (c) haze-free image by Method 2, (d) haze-free image by the proposed method.

법에 의한 안개가 제거된 영상의 품질 저하가 적다는 것을 살펴보자. 그림 5는 제안하는 방법에 의한 전달량 맵과 기존의 방법들에 의한 전달량 맵을 나타낸다. 우 선, 앞에서 설명한 제안하는 최대값 필터를 적용하여 얻은 전달량 맵 t''이 t'보다 윤곽선의 보존이 잘 이루어 진 것을 다시 확인 할 수 있다. 그리고 연산 과정을 간 소화하기 위해서 본 논문에서 제안한 단 채널 유도 필 터를 적용한 그림 5(f)가 그림 5(e)와 비교했을 때, 육안 으로 구별이 힘들 만큼의 비슷한 품질을 가지고 있다는 것을 확인 할 수 있다.

정량적인 비교를 위해서, soft matting을 적용한 전달 량 맵을 참고로 하여 각각의 방법에 대해서 peak signal-to-noise ratio (PSNR)을 구하였고, 표 1에 나타 냈다. 최대값 필터링을 적용한 방법 2와 제안하는 방법 은 최대값 필터링을 적용하지 않은 방법 1과 평균적으 로 PSNR 값이 약 3 dB 정도의 차이를 보이지만, 다 채 널 유도 필터를 적용한 방법 2와 단 채널 유도 필터를 적용한 제안하는 방법은 PSNR 값의 차이가 거의 나지

영상 방법 1^a 방법 2^b 제안하는 방법^c

01 27.806 dB 24.176 dB 23.847 dB

02 29.397 dB 33.187 dB 32.143 dB

03 27.832 dB 26.229 dB 26.210 dB

04 30.837 dB 26.770 dB 26.295 dB

05 31.871 dB 31.691 dB 31.579 dB

a 다 채널 유도 필터 + t'

b 다 채널 유도 필터 + t''

c 단 채널 유도 필터 + t''

01 02 03 04 05

표 1. 각 전달량 맵의 품질 비교

Table 1. Comparison of the quality of the transmission map.

(8)

않는 것을 확인 할 수 있다. 따라서 전달량 정련화를 위 한 기존의 다 채널 유도 필터 과정을 단 채널 유도 필 터 과정으로 대체하여도, 안개가 제거된 영상의 품질 변화는 거의 나타나지 않을 것이라고 판단할 수 있다.

Ⅳ. 실험 결과

그림 6은 기존의 안개 제거 방법과 제안하는 안개 제 거 방법에 의한 안개가 제거된 영상을 나타내었다. 그 림에서, 방법 1은 기존의 안개 제거 방법을 나타내고, 방법 2는 기존의 안개 제거 방법에 최대값 필터링을 추 가한 방법이다. 그림 6(b)와 (c)의 표시된 부분을 확인 해보면, 최대값 필터링을 적용한 방법 2의 그림 6(c)가 그림 6(b)에 비해서 후광 및 블록 현상을 효과적으로 제거한 것을 볼 수 있다. 그리고 제안하는 방법에 의한 결과 영상을 나타낸 그림 6(d)와 6(c)를 비교해보면, 기 존의 다 채널 유도 필터 대신에 그것의 연산 과정을 상 당히 간소화 한 단 채널 유도 필터를 사용했음에도 불 구하고, 두 그림을 육안으로 구별할 수 없을 만큼 거의 차이가 나지 않는 것을 확인 할 수 있다. 따라서 제안하 는 방법에서의 단 채널 유도 필터의 적용이 타당하다는 것을 알 수 있다.

안개 제거 처리 시간의 비교를 위해서, 기존의 방법 과 제안하는 방법을 소프트웨어로 구현하여, 3.4 GHz Intel Core i5-4670 프로세서를 갖춘 PC 환경에서 실험 하였고, 이 결과를 그림 7에 그래프로 나타내었다. 제안 하는 방법이 유도 필터링 연산 과정의 간소화를 통해서 기존의 다 채널 유도 필터링의 처리 시간을 상당히 줄 인 것을 알 수 있고, 유도 필터링을 제외한 처리 시간은 최대값 필터링 과정과 원본 영상의 grayscale 변환 등 으로 조금 더 긴 것을 알 수 있다. 하지만 안개 제거 방

그림 7. 안개 제거 처리 시간의 비교.

Fig. 7. Comparison of the execution time.

법에서 유도 필터링 과정이 차지하는 비중이 상당히 크 기 때문에, 전체 안개 제거 처리 시간 관점에서 제안하 는 방법이 기존의 안개 제거 처리 시간을 대폭 줄인 것 을 알 수 있다. 그 결과, 영상의 크기마다 약간의 차이 는 있었지만, 기존의 안개 제거 속도에 비해서 최대 59.6% 까지 줄이는 것에 성공하였다.

V. 결 론

본 논문은 전달량 보정 절차를 통해서 고속 고품질의 단일 영상 안개 제거 방법을 제안하였다. 제안하는 방 법은 기존의 전달량 추정 과정에서 발생하는 후광 및 블록 현상을 최대값 필터를 적용하여 효과적으로 줄였 다. 또한, 기존의 방법에서 위의 현상들을 줄이기 위해 서 사용한 다 채널 유도 필터를 대신에 단 채널 유도 필터를 적용하여 연산 과정을 간소화하였고, 이것으로 결과 영상의 품질 저하 없이 기존의 안개 제거 처리 시 간을 상당히 줄였다.

REFERENCES

[1] S. G. Narasimhan and S. K. Nayar, “Chromatic framework for vision in bad weather,” Proc.

IEEE Conference on Computer Vision and Pattern Recognition, vol. 1, pp. 598-605, June 2000.

[2] S. K. Nayar and S.G. Narasimhan, “Vision in bad weather,” Proc. IEEE International Conference on Computer Vision, vol. 2, pp.

820-827, Sep. 1999.

[3] S. G. Narasimhan and S. K. Nayar, “Contrast restoration of weather degraded images,” IEEE Transactions on Pattern Analysis & Machine Intelligence, vol. 25, no. 6, pp. 713-724, June 2003.

[4] R. Tan, “Visibility in bad weather from a single image,” Proc. IEEE Conference on Computer Vision and Pattern Recognition, pp. 1-8, June 2008.

[5] R. Fattal, “Single image dehazing,” ACM Transactions on Graphics, vol. 27, no. 3, pp. 1-9, Aug. 2008.

[6] K. He, J. Sun, and X. Tang, “Single image haze removal using dark channel prior,” IEEE Transactions on Pattern Analysis & Machine

(9)

저 자 소 개 김 원 태(학생회원)

2013년 한국항공대학교 정보통신 공학과 학사 졸업.

2014년 현재 한국항공대학교 정보 통신공학과 석사과정 재학중.

<주관심분야 : 회로 및 시스템, VLSI 설계, ASIC 설계>

배 현 우(학생회원)

2014년 현재 한국항공대학교 정보통신공학과 학사과정 재학중.

김 태 환(정회원)-교신저자 2005년 연세대학교 전기전자 공학과 학사 졸업.

2007년 한국과학기술원 전기 및 전자공학과 석사 졸업.

2010년 한국과학기술원 전기 및 전자공학과 박사 졸업.

2011년∼현재 한국항공대학교 항공전자 및 정보통신공학부 교수.

Intelligence, vol. 33, no. 12, pp. 2341-2353, Dec.

2011.

[7] K. He, J. Sun, and X. Tang, “Guided image filtering,” IEEE Transactions on Pattern Analysis & Machine Intelligence, vol. 35, no. 6, pp. 1397-1409, June 2013.

[8] H. Koschmieder, Theorie der horizontalen sichtweite: kontrast und Sichtweite. Keim &

Nemnich, 1925.

[9] S. C. Pei, and T. Y. Lee, “Effective image haze removal using dark channel prior and post-processing,” Proc. IEEE International Symposium on Circuit and Systems, pp.

2777-2780, May 2012.

[10] S. C. Pei, and T. Y. Lee, “Nighttime haze removal using color transfer pre-processing and dark channel prior,” Proc. IEEE International Conference on Image Processing, pp. 957-960, Oct. 2012.

[11] R. Gao, X. Fan, J. Zhang and Z. Luo, “Haze filtering with aerial perspective,” Proc. IEEE International Conference on Image Processing, pp. 989-992, Sept. 2012.

[12] K. Wang, E. Dunn, J. Tighe, and J.M. Frahm,

“Combining semantic scene priors and haze removal for single image depth estimation,”

Proc. IEEE Winter Conference on Application of Computer Vision, pp. 800-807, March 2014.

[13] H. J. Park, D. B. Park, H. S. Ko, “Novel Defog Algorithm via Evaluation of Local Color Saturation,” Journal of The Institute of Electronics and Information Engineers, Vol. 51, No. 3, pp. 119-128, Mar. 2014.