Image Enhancement Algorithm using Dynamic Range Optimization

논문 2016-53-6-11

다이나믹 레인지 최적화를 통한 영상 화질 개선 알고리즘

( Image Enhancement Algorithm using Dynamic Range Optimization )

송 기 선^*, 김 민 섭^*, 강 문 기^**

( Ki Sun Song, Min Sub Kim, and Moon Gi Kang^ⓒ)

요 약

카메라 센서는 사람의 눈에 비해 제한적인 다이나믹 레인지를 갖기 때문에 영상 획득 시 실제 보이는 것과 다른 모습의 영 상을 획득하게 된다. 이러한 문제를 영상 처리를 통해 해결하고자 톤 맵핑 함수를 이용한 방법들과 사람의 눈을 모델링한 레 티넥스 이론 기반의 방법들이 연구되었다. 하지만 이러한 방법들은 후광 효과가 발생하거나 영상 개선 시 전역 또는 국부 콘 트라스트 향상이 제한적이라는 단점이 있다. 제안하는 방법에서는 영상의 광원 정보를 레티넥스 이론을 활용하여 추정한 후 이를 영상의 품질 향상을 위해 다이나믹 레인지를 최적화시키는데 이용한다. 이 과정에서 후광 효과가 발생하는 것을 방지하 기 위해 유사 밝기 영역에서만 평탄화가 이루어지고 밝기 차가 나는 영역은 밝기 차를 유지하도록 한다. 또한 톤 맵핑 함수 적용 시 하나의 화소가 아닌 주변 영역 정보와 추정된 광원 정보를 모두 고려하여 전역 및 국부 콘트라스트가 동시에 향상되 는 알고리즘을 제안한다. 실험 결과들을 통해 제안하는 방법이 기존 방법에 비해 국부 콘트라스트 수치가 약 0.4 향상 되었고, 시각적인 면에서도 콘트라스트 향상과 함께 암부와 명부를 동시에 효과적으로 표현한 것을 확인 할 수 있다.

Abstract

The images captured by digital still cameras or mobile phones are not always satisfactory because the devices have limited dynamic ranges compared with that of the real world. To cope with the problems, tone mapping function based methods and retinex theory based methods are studied. However, these methods generate a halo artifact or limited enhancement of global and local contrasts. The proposed method estimates illumination information used for image enhancement by optimizing a dynamic range of input image. The estimated illumination information has smoothness characteristic where the luminance is flat and does not have where the luminance changes to prevent the halo artifact.

Additionally, the estimated illumination information and surrounding pixel values are considered when the tone mapping function is applied to overcome the limitations of the conventional tone mapping function approach. Experimental results show that the proposed algorithm outperforms the conventional methods on objective and subjective criteria.

Keywords: Dynamic range, Global contrast, Local contrast, Illumination information

*학생회원, ^**정회원, 연세대학교 전기전자공학과 (Department of Electrical and Electronic Engineering, Yonsei University)

ⓒCorresponding Author (E-mail : [email protected])

※ 이 논문은 2016년도 정부(미래창조과학부)의 재원 으로 한국연구재단의 지원을 받아 수행된 기초연 구사업임(No. 2015R1A2A1A14000912).

Received ; March 28, 2016 Revised ; May 17, 2016 Accepted ; May 31, 2016

Ⅰ. 서 론

최근 디지털 카메라 및 핸드폰 카메라의 사용이 급격 히 증가하고 있지만 사용자들이 항상 만족할만한 수준 의 사진을 얻지는 못한다. 사용자들이 이러한 기기들을 사용해 사진 획득 시 가장 큰 불만족을 느끼는 부분은

실제 눈으로 보는 것과 카메라를 통해 획득 한 영상이 다른 점이다. 이러한 문제는 사람 눈의 다이나믹 레인 지와 영상을 획득하는 카메라 센서의 다이나믹 레인지 가 다르기 때문에 발생한다. 일반적으로 사람의 눈은 1:10000 (카메라 노출 13∼14 스탑) 의 다이나믹 레인지 를 가지고 있다고 알려져 있다. 이에 반해, 카메라 센서 의 다이나믹 레인지는 1:100∼1:500 (카메라 노출 7∼9 스탑) 의 다이나믹 레인지를 갖는다^[1]. 최근 센서 기술 의 향상으로 좀 더 향상된 다이나믹 레인지를 갖는 센 서들이 발표되었지만 사람 눈의 다이나믹 레인지를 구 현하기에는 부족한 점이 있다. 사진 획득 시 이러한 차 이가 가장 잘 드러나는 환경은 피사체가 광원을 등지고 있는 역광 환경처럼 밝은 부분과 어두운 부분의 밝기 차가 클 때이다. 역광 환경에서 사진을 획득하게 되면,

그림 1. 역광 상황에서 획득한 영상 (a) 명부 영역에 노 출 값을 맞혀 피사체가 어둡게 찍힘, (b) 피사체 에 노출 값을 맞혀 배경의 밝기가 포화됨 Fig. 1. Example of back-lit images (a) exposure time is

set considering the bright region, (b) exposure time is set considering the dark region.

우리가 실제 눈으로 볼 때는 피사체와 배경의 모습이 모두 잘 보이는 것과 달리 그림 1(a)와 같이 피사체가 너무 어둡게 나오거나 그림 1(b)와 같이 피사체는 잘 보이지만 배경이 모두 날아 간 사진들을 획득하게 된 다. 이러한 문제들을 해결하기 위해서 많은 영상 개선 알고리즘들이 연구되었다. 이러한 연구들은 크게 톤 맵 핑 함수 기반 방법과 레티넥스 이론 기반 방법으로 나 눌 수 있다.

톤 맵핑 함수는 영상의 밝기 값을 입력 값으로 받아 새로운 출력 값으로 변환 시켜주는 변환 함수이다. 가 장 유명하면서 실제 제품들에서 많이 사용되는 톤 맵핑 함수로는 감마 함수와 로그 함수가 있다. 하지만 이러 한 간단한 톤 맵핑 함수들은 밝은 영역과 어두운 영역 이 동시에 존재하는 영상에 대해서는 만족스럽지 못한 결과를 만들어낸다. 이러한 문제를 해결하고자 Moroney 는 비선형 마스킹을 이용한 감마 보정 알고리즘^[2]을 제 안하였다. 하지만 에지 영역을 고려하지 않은 처리로 결과 영상의 에지 주변 영역에서 후광 효과가 발생하는 문제점이 있다. Schettini 외 5명은 양방향 필터를 이용 한 에지 적응적 처리 방법^[3]으로 후광 효과를 억제하는 국부 콘트라스트 향상 알고리즘을 제안하였다. 이 방법 은 히스토그램 스트레칭, 클리핑, 포화 현상 방지 등의 후처리 알고리즘이 포함되어 있으며 알고리즘에 사용되 는 파라미터들이 영상의 통계적 특성에 따라 자동으로 결정되는 특징이 있다. 이 알고리즘을 이용한 결과는 후광 효과가 나타나지 않으면서 전역 콘트라스트가 향 상되지만, 국부 콘트라스트 향상 시 현재 화소만을 이 용하여 향상시키기 때문에 성능에 한계가 있다.

레티넥스 기반 방법은 Land^[4]가 제안한 레티넥스 이 론을 활용한 방법이다. 레티넥스 이론에 따르면 영상을 광원 성분과 반사 성분으로 나눌 수 있다. 영상의 반사 성분을 구하기 위하여 광원 성분을 추정하기 위한 많은 연구가 이루어졌다. 그 중에서 여러 크기의 가우시안 함수들을 이용하여 광원 성분을 추정하는 단일 크기 레 티넥스 (single scale retinex: SSR) 방법^[5]과 다중 크기 레티넥스(multi scale retinex: MSR) 방법^[6]이 널리 사 용되고 있다. 하지만 SSR과 MSR 방법들은 컬러 영상 의 각 채널에 적용되기 때문에 색상이 틀어지는 문제가 발생한다. 이러한 문제점을 해결하기 위해 다중 크기 레티넥스 색 복원 (multi scale retinex with color restoration: MSRCR) 알고리즘^[7]이 제안되었다. 이러한 알고리즘들은 좋은 성능을 보여주지만 후광 효과가 나 타나는 문제가 있어 효과적인 후광 효과 억제 방법이 필요하다. Kimmel 외 4명은 레티넥스 이론을 이론적으

로 접근하여 후광 효과를 방지하면서 광원 정보를 추정 하는 방법^[8]을 제안하였다. 이 방법에서는 레티넥스 이 론에 따라 비용함수를 설계한 후, 비용 함수를 최소화 시키는 방법으로 광원 성분을 추정하였다.

본 논문에서는 추정된 광원 정보를 이용한 밝기 적응 적 처리를 통하여 입력 영상의 다이나믹 레인지를 최적 화시키고 동시에 전역 및 국부 콘트라스트를 향상시켜 영상의 품질을 개선시키는 알고리즘을 제안한다. 이를 위해 Kimmel 외 4명이 접근한 방법과 유사한 방법으로 광원 정보에 대한 비용 함수를 설계하고 이를 통해 유 사 밝기 영역에서만 평탄화가 된 광원 정보를 추정한 다. 그 후에 추정된 광원 정보 값을 활용하여 영상의 다 이나믹 레인지를 최적화시키기 위한 밝기 적응적 처리 를 한다. 이 때, 기존 방법들에서 톤 맵핑 함수를 현재 화소의 값만을 이용한 것과 달리 제안하는 방법에서는 주변 영역의 화소 값들과 추정된 광원 정보를 참고하여 전역 및 국부 콘트라스트를 동시에 향상시키게 된다.

본 논문의 구성은 다음과 같다. Ⅱ장에서는 제안하는 방법을 광원 정보 추정 과정과 추정된 광원 정보를 이 용하여 입력 영상의 다이나믹 레인지를 최적화 시키면 서 전역 및 국부 콘트라스트를 동시에 향상시키는 과정 으로 나누어 차례대로 설명한다. Ⅲ장에서는 다양한 영

상들에 대하여 제안하는 알고리즘과 기존 알고리즘의 결과들을 비교한다. 마지막으로 Ⅳ장에서 본 논문의 결 론을 제시한다.

Ⅱ. 본 론

제안하는 알고리즘에서는 영상의 품질 향상 목적의 레티넥스 이론으로부터 광원 정보를 추정한 후 이 값을 기반으로 한 다이나믹 레인지 최적화 방법을 제안한다.

제안하는 다이나믹 레인지 최적화 방법은 밝기 적응적 처리를 통해 이루어지는데 이를 위해 영상의 각 영역 밝기를 결정하는 광원 정보를 추정하여 사용한다. 추정 된 광원 정보를 바탕으로 밝기 적응적 처리를 통한 다 이나믹 레인지 최적화 과정을 수행하며, 이 때 현재 화 소 값만이 아닌 주변 영역과 추정된 광원 정보 값을 참 조하여 전역 및 국부 콘트라스트를 동시에 향상시킨다.

1. 광원 정보 추정 방법

제안하는 방법에서 사용하는 광원 정보는 사람의 눈 을 모델링한 레티넥스 이론에서 사용하는 광원정보를 이용한다. 레티넥스 이론에 따르면 주어진 영상의 밝기 값 는 광원 성분 과 반사 성분 로 나눌 수 있다.

반사 성분은 영상 획득 시 발생한 빛의 양을 뜻하고 반 사 성분은 물체 고유의 특성에 따라 반사되는 빛의 양 을 뜻한다.

^ ×^ (1)

식 (1)에서 ^는 각 화소의 위치를 나타낸다. 레티넥 스 이론에 따르면, 일반적으로 광원 정보는 고주파 성 분이 제거 되어 평탄화 된 성질을 갖게 된다. 따라서 식 (2)와 같은 비용 함수에서 이를 최소화 시켜 추정된 광 원 정보 을 계산 할 수 있다.





∇^  (2)

여기서 ∇는 1차 미분 연산자이다. 식 (2)를 오일러-라 그랑지 방정식을 통해 최소화 시키면 추정된 광원 정보

과 고주파 성분을 추출하는 공간 영역에서의 필터와의 콘볼루션으로 변환 할 수 있다. 식 (2)에 따르면 추정된 광원 정보는 고주파 성분 값이 0이 되어야 한다. 다시 말해 저주파 성분만을 갖고 있어야 한다. 따라서 광원

성분을 식 (3)을 통해 추정 할 수 있다.

  ∗   (3)

여기서  는 밝기 영상에서 고주파를 제거하고 저주파 만을 남기기 위한 저주파 통과 필터이다. ∗는 콘볼루 션 연산자이다. 일반적으로 가우시안 저주파 필터 또는 균일 저주파 필터 등이 널리 사용된다.

제안하는 알고리즘에서는 광원정보를 각 위치에서의 밝기 값으로 사용한다. 이 때, 추정된 광원 정보의 평탄 화 세기가 세질수록 주변 화소를 더 많이 고려한 밝기 로 생각 할 수 있다. 즉,  ×  가우시안 저주파 필터를 이용하여 평탄화가 된 광원 정보 값은 현재 화소의 밝 기 값을 결정할 때 현재 화소의 주변  ×  범위의 화 소 값들을 고려한 것이라고 생각 할 수 있다. 따라서 더 많은 주변 화소를 참조하여 광원정보를 추정하게 되면

Ⅱ.2에 설명되어 있는 다이나믹 레인지 최적화 및 콘트 라스트 향상 과정에서 더 많은 주변 화소를 고려하여 향상시키게 되는 효과가 나타난다.

최근 McCann이 발표한 논문^[9]에 따르면 광원 정보 는 평탄 영역에 대해서만 평탄화가 이루어진다고 발표 하였다. 제안하는 방법에서는 이러한 내용을 광원 추정 정보에 반영하여 유사 밝기를 갖는 영역에 대해서만 평 탄화가 되도록 광원 정보를 추정하였다. 이를 통해 광 원 정보를 참조하여 영상의 다이나믹 레인지 최적화 및 전역 콘트라스트 향상 과정에서 발생 할 수 있는 후광 효과를 효과적으로 방지할 수 있게 한다.

 ^{  }^×^ × ∗^{ }×^ × ∗ (4)

식 (4)에서  는 현재 화소의 위치가 주변 영역들과 유사한 밝기를 갖는 영역인지 판단하는 가중치 값으로, 유사한 밝기를 지닌 영역에 대해서는 작은 가중치 값을 갖게 되고 밝기 차이가 큰 영역에 대해서는 큰 값을 갖 게 된다. 와 는 각각 저주파 통과 필터의 크기를 나 타내며, 는 9 이상의 값을 가지게 되어 영상을 강하게 평탄화 시키게 된다. 는 3 또는 1의 값을 가지게 되어 밝기 차이가 큰 영역에서는 평탄화가 되지 않거나 현재 화소만을 사용하도록 한다.

앞에서 언급한 광원 정보를 추정하기 위한 밝기 영상 의 평탄화 과정은 유사 밝기를 갖는 영역에 한해서만 이루어져야 하며, 밝기 차가 큰 영역에서는 평탄화가

그림 2. 제안하는 광원 정보 추정 방법의 블록도 Fig. 2. Block diagram of the proposed estimation

method of illumination information.

되지 않고 밝기 차를 유지하여야 한다는 광원 정보의 조건을 만족시키기 위해 제안하는 방법에서는 식(5)를 통해 _ 값을 결정하였다.

_ _

^ × ∗  

 (5)

식 (5)에서 _은 입력 영상이 가질 수 있는 최댓값을 나타낸다 (8비트 영상의 경우 255). 제안하는 방법에서 는 강하게 평탄화가 된 값과 밝기 영상 값과의 차이 값 을 이용하여 해당 영역이 밝기 차가 큰 영역인지 아닌 지를 판단하게 된다. 유사한 밝기를 지니고 있는 영역 이라면 강하게 평탄화가 되어도 영상의 밝기 값과의 차 이가 크지 않게 된다. 하지만 밝기 차가 큰 영역에서는 강하게 평탄화가 된 값과 영상의 밝기 값이 큰 차이가 나게 된다. 이러한 과정을 통해 광원 정보를 추정하면 밝기차가 큰 영역에서는 평탄화가 되는 것을 방지하면 서 유사 밝기 영역에서는 강하게 평탄화를 시킬 수 있 다. 그림 2는 앞에서 설명한 제안하는 광원 정보 추정 과정을 도식화한 것이다. 입력 영상의 밝기 성분으로부 터 각각 강하게 평탄화 된 값과 약하게 평탄화 된 값을 추출한 후, 두 값을 약하게 평탄화된 값과 밝기 영상간 의 차이 값을 가중치로 하여 융합시키게 된다. 이러한 방법을 통해 입력 영상의 광원 정보를 추정할 수 있게 된다.

2. 광원 정보를 이용한 다이나믹 레인지 최적화 및 콘트라스트 향상 방법

이번 장에서는 Ⅱ.1에서 추정한 광원 정보를 활용하 여 영상의 다이나믹 레인지를 최적화시키는 방법을 제 안한다. 또한, 이 과정에서 주변 화소 및 광원 정보를 참조하여 전역 및 국부 콘트라스트를 동시에 향상시키 는 방법을 제안한다.

먼저, 영상의 암부 영역을 증폭시켜 암부 영역에 묻 혀있는 정보를 복원한다. 증폭 함수로는 일반적으로 널 리 사용되는 감마 보정 커브^[1]를 사용한다.

   _×







여기서  는 커브의 세기를 조절하는 파라미터이다.  값은 1보다 작을수록 입력 값이 크게 증폭되고, 값이 1보다 클수록 입력 값이 감소하게 된다. 제안하는 방법 에서는 암부 영역을 증폭하는데 사용되기 때문에 1보다 작은 값을 사용한다. 또한 영상에 맞는 적정 값은

Ⅱ.1에서 구한 광원 정보 중  보다 작은 값을 갖 는 영역들의 평균값을 참고하여 결정된다.

식 (6)에서 설계한 증폭 커브를 광원 정보를 고려하 여 밝기 적응적으로 적용하면, 영상의 명부는 보존하면 서 암부를 증폭시켜 영상의 다이나믹 레인지를 최적화 시킬 수 있다.

    _×   (7)

여기서 는 결과 영상의 밝기 값이며 _ 는 영상의 증 폭 정도를 각 영역의 밝기 적응적으로 적용하기 위해 결정되는 가중치 값이다. 명부 영역에서는 가중치 값이 크게 설정되어 현재의 영상 밝기를 유지하도록 하는 반 면, 암부 영역에서는 증폭된 결과를 사용하도록 가중치 값이 작게 설정된다. 이 때, 영역의 밝기를 결정하는 파 라미터로 Ⅱ.1에서 추정한 광원 정보 값을 사용한다. 추 정된 광원 정보는 강하게 평탄화 되어있기 때문에, 증 폭된 값과 현재 영상의 값의 가중치 합 결과가 자연스 럽게 융합될 수 있게 한다.

일반적으로 톤 맵핑 함수는 입력 화소의 값과 출력 화소의 값이 일대일로 대응된다. 하지만 앞에서 디자인 한 감마 커브와 같은 증폭 함수가 현재 화소와 일대일

그림 4. ^값 변화에 따른 제안하는 콘트라스트 향상 결과 비교 (a) ^ , (b) ^ , (c) ^ 

Fig. 4. Comparison of the proposed contrast enhancement results as changing the value of

_ (a) ^ , (b) ^ , (c) ^ 

그림 3. ^값 변화에 따른 제안하는 국부 콘트라스트 향 상 결과 비교 (a)   , (b)   , (c)

  

Fig. 3. Comparison of the proposed local contrast enhancement results as changing the value of ^ (a)   , (b)   , (c)   .

대응을 통해 출력 값을 얻게 되면 영상의 국부 콘트라 스트가 크게 떨어지게 된다. 어두운 화소값과 밝은 화 소 값이 모두 있는 영역에서 각 화소별로 증폭 커브가 적용되면, 어두운 화소는 증폭이 크게 되지만 밝은 화 소는 증폭이 적게 된다. 이러한 현상은 국부 영역에서 의 밝은 값과 어두운 값의 차이를 크게 줄이게 되기 때 문에 국부 콘트라스트 감소 효과로 나타난다. 따라서 제안하는 방법에서는 현재 화소에 증폭 커브가 적용 될 시, 현재 화소의 밝기를 참조하는 대신 현재 화소와 더 불어 주변 영역의 밝기를 같이 참조하여 증폭 세기를 결정한다. 주변 영역을 참조함으로써 주변 밝기를 고려 한 증폭이 이루어져 기존 일대일 대응을 통한 결과보다 국부 콘트라스트를 향상 시킬 수 있다. 이러한 과정을 수식으로 나타내면 다음과 같다.

  

 _

×^×^

× ^{  }

 (8)

여기서 _^{× }은  ×  국부 영역  안에서의 최댓값 을 나타내며, 는 위 방법을 통한 국부 콘트라스트 향 상 정도를 조절하는 파라미터이다.  는 톤 맵핑 함수 적용 시 광원 정보 참고 비율, 즉 현재 화소만의 밝기가 아닌 주변 영역 밝기를 참조하는 비율을 결정하는 가중 치 값이다. 본 논문의 실험에서는 국부 영역의 크기를

 ×  으로 설정하고 이 영역에서의 최댓값을 사용하였 다. _값이 0이고 값이 1일 경우 식 (6)과 같은 결과 를 나타내게 된다. _값을 0으로 고정한 상태에서 값 이 증가할수록 그림 3에서와 같이 국부 콘트라스트가 증가하게 되지만 너무 큰 값으로 설정 할 경우 부자연

스러운 결과를 초래하게 된다. 본 논문에서는 값으로 1.5를 실험적으로 결정하여 사용하였다. 톤 맵핑 함수 적용 시에 광원 정보를 고려함으로써 영상의 콘트라스 트가 향상되는 효과를 보기 위해 값은 1로 고정한 상 태에서 값을 변화한 결과는 그림 4와 같다. 값이 커질수록 주변 영역을 참조하는 비율이 커지게 된다.

이렇게 되면 밝은 곳은 더 밝게, 어두운 곳은 더 어둡게 출력되어 영상의 콘트라스트가 향상되게 된다. 본 논문 에서는 _ 값으로 0.3을 실험적으로 결정하여 사용하였다.

Ⅲ. 실험 결과

제안하는 알고리즘의 성능을 확인하기 위하여 본 논 문에서는 역광 영상과 적정 노출보다 작은 노출 값으로 촬영된 노출 부족 영상들에 대해 제안하는 알고리즘을 적용하여 실험하였다. 암부 영역을 정하는  값은 8비트 영상 기준으로 50으로 설정하였다. 이 값은 여러 영상에 대해 실험한 후 결정한 값이다.  ,  ,  값들은 여러 영상에 대해 테스트를 진행 한 후 결정된 값이지만, 사용자의 성향에 따라 조절 가능한 변수이다.

콘트라스트는 객관적 평가지표들보다 주관적 평가가 더 욱 중요한 지표이기 때문에 이러한 값들을 영상 특성에 따라 자동으로 정하도록 하지 않고 바꿀 수 있도록 변 수로 설정하였다.

제안하는 알고리즘과 성능을 비교한 알고리즘은 다 음과 같다. Jobson 외 2명이 제안한 MSRCR 알고리즘

[7]과 Pan 외 2명이 제안한 반복적인 처리를 통해 광원 정보를 추정하는 레티넥스 이론 기반 방법^[10], Schettini 외 5명이 제안한 톤 맵핑 기반 방법^[3], 그리고 상용 프 로그램^[11]내의 그림자/하이라이트 기능을 이용하여 처리 하는 방법이다. 그림 5는 제안하는 방법의 결과와 앞에

그림 5. 제안하는 알고리즘과 기존 알고리즘의 결과 비교 (a) 원본 영상, (b) MSRCR 방법, (c) 반복 과정을 통한 레티넥 스 방법, (d) 톤 맵핑 방법, (e) 상용 프로그램, (f) 제안하는 방법

Fig. 5. Comparison of the proposed algorithm with conventional algorithms (a) original images, (b) MSRCR results, (c) results of iterative Retinex method, (d) tone mapping method, (e) commercial software function, (f) proposed results.

그림 6. Fig. 5 영상의 일부 영역 확대 비교

Fig. 6. Comparison of the enlarged regions of the Fig. 5.

서 설명한 기존 알고리즘들을 이용하여 획득한 결과를 비교한 것이다. 그림 5(a)는 입력영상으로 각각 탑과 나 무 부분이 그림자가 생겨서 어둡게 나타나고 있으며 배 경인 하늘에는 구름이 보인다. MSRCR 결과인 그림 5(b)에서는 그림자가 발생했던 영역은 그림자가 없어진 것을 확인할 수 있다. 하지만 명부 영역의 처리가 매우 부자연스러우며 오른쪽 영상의 나뭇잎 주변으로는 후광 효과가 발생한 것을 확인 할 수 있다. 그림 5(c)는 반복 과정을 통해 광원 정보를 정교하게 추정하여서 앞에서 발생한 후광 효과는 발생하지 않은 것을 확인 할 수 있

다. 하지만 원본 영상에 비해 명부 영역의 콘트라스트 가 떨어진 것을 볼 수 있다. 톤 맵핑 기반 방법으로 획 득한 그림 5(d)는 앞선 레티넥스 기반 방법의 결과들보 다 안정적인 결과를 보이고 있다. 하지만 톤 맵핑 방법 의 한계인 국부 콘트라스트가 좋지 않은 것을 확인 할 수 있다. 상용 프로그램내의 보정 기능을 이용하여 획 득 한 그림 5(e)는 성능이 매우 뛰어나다. 명부 영역 처 리 및 암부 영역 증폭이 매우 잘 된 것을 볼 수 있다.

하지만 제안하는 방법의 결과인 그림 5(f)와 비교했을 시 국부 콘트라스트가 좋지 않으며 전역 콘트라스트 역 시 제안하는 방법의 결과가 우수한 것을 확인 할 수 있다.

그림 6는 그림 5의 결과들의 일부를 확대 비교한 영 상이다. 좌측 영상은 탑의 상단 부분을 확대한 것이고 우측 영상은 나무의 하단 부분을 확대하여 나타내었다.

기존 방법들의 결과들을 보면, 모두 현재 화소의 값만 을 이용하여 처리하였기 때문에 국부 콘트라스트가 좋 지 않은 것을 확인 할 수 있다. 이에 반해, 제안하는 알 고리즘의 결과인 그림 6(f)를 보면 국부 콘트라스트가 매우 향상된 것을 확인 할 수 있다.

그림 7은 다양한 영상들에 대해 제안하는 알고리즘 을 적용하여 결과를 나타낸 것이다. 그림 7의 윗줄은 원본 영상들이며, 아랫줄은 각 영상들에 제안하는 알고 리즘이 적용된 결과들이다. 모든 영상들에서 명부가 더 밝아져 포화되는 현상이 발생하지 않으면서도 암부 영 역을 효과적으로 증폭시켜 영상의 품질이 크게 향상 된 것을 확인 할 수 있다. 또한 동시에 국부 및 전역 콘트 라스트가 향상되어 원본 대비 화질이 크게 향상된 것을

그림 8. 기존 방법들과 제안하는 방법으로 획득한 결과 영상들에 대한 RME 값 비교

Fig. 8. Comparison of the RME value between conventional methods and the proposed method.

그림 7. 다양한 실험 영상에 대한 제안하는 알고리즘의 결과 영상들 Fig. 7. Results of the proposed algorithm for various images.

MSRCR Retinex iteration

Tone mapping

Proposed method Processing

time (s) 2.16 2.14 1.91 2.06 표 1. 기존 방법들과 제안하는 방법의 평균 동작 시간 Table 1. Averaging processing time of the proposed and

conventional methods.

확인 할 수 있다.

다음으로, 제안하는 알고리즘 결과와 기존 알고리즘 들의 결과를 객관적 평가 지표를 이용하여 측정한 후 비교하였다. 본 논문에서 사용한 객관적 평가지표는 향 상 평가에 대한 제곱근 (root mean enhancement:

RME) 값^[12]이다. 이 값을 제안한 논문에 따르면, RME 값은 주관적 평가 지표인 평균 의견 점수 (mean opinion score: MOS)와 높은 상관성을 나타낸다. 따라 서 본 논문에서는 RME 값을 주관적 성능평가 지표인 MOS 값을 포함하는 객관적 성능평가 지표로 이용하였다.

RME 값은 식 (9)를 통해 측정한다.

영상을 _×_개의 서브 블록으로 쪼갠 후, 각 블록의 중심 화소인 _와 해당 서브 블록 내의 모든 화소값과 의 합과 차를 구한다. 이를 사람 눈의 반응과 유사하도 록 log 단위로 변환한 후 값을 측정한다. 따라서 콘트라

E  k_k_









__⋯_



log



__⋯_

 

스트가 향상 될수록 RME 값은 큰 값을 갖게 된다. 그 림 8은 제안하는 알고리즘과 기존 알고리즘의 결과에 대하여 식 (9)를 이용해 RME 값을 측정한 것을 나타낸 것이다. 총 30장의 영상에 대하여 각 알고리즘의 RME 값을 비교하였다. 각 라인은 앞에서 Ⅲ장 시작에서 설 명한 기존 방법들에 대한 결과이다. MSRCR이 가장 좋 지 않은 성능을 보이며, 상용 프로그램의 결과가 기존 에 발표된 방법들보다 좋은 성능을 나타내었다. 제안하 는 알고리즘의 성능은 상용 프로그램 및 기존에 발표된 방법들보다 대다수의 영상에 대해 우수한 성능을 나타 내고 있으며 30장의 영상 전체에 대해 평균적으로 약 0.4 정도 RME 높은 RME 값을 갖고 있다.

제안하는 알고리즘의 복잡도를 기존 알고리즘들과 비교하기 위해 다양한 크기의 영상들에 대하여 동작 시 간을 측정하였다. 표 1은 이러한 다양한 크기의 영상들 에 대한 평균 동작 시간을 나타낸 값이다. 톤 맵핑 기반 방법이 비교적 예산이 간단하기 때문에 다른 방법 대비

약간의 계산 속도가 빠르지만 제안하는 방법을 포함한 모든 방법들이 연산속도가 큰 차이가 발생하지는 않았 다. 이러한 결과는 제안하는 알고리즘이 유사한 연산속 도를 갖으면서도 다이나믹 레인지 최적화 및 콘트라스 트 향상이 효과적으로 이루어진다는 것을 보여준다.

Ⅳ. 결 론

본 논문에서는 영상의 다이나믹 레인지 최적화를 통 해 품질을 개선시키면서 전역 및 국부 콘트라스트를 효 과적으로 향상시키는 알고리즘을 제안하였다. 제안하는 방법에서는 후광 효과 억제를 고려하여 광원 정보를 추 정하였고 이를 이용하여 명부 보존과 암부 증폭이 동시 에 이루어지는 다이나믹 레인지 최적화 과정을 수행한 다. 또한 기존 톤 맵핑 방법에서 입력 화소의 밝기만을 사용하기 때문에 발생하는 국부 콘트라스트 및 전역 콘 트라스트 감소 문제를 주변 영역의 밝기 및 추정한 광 원 정보를 동시에 고려함으로써 해결하였다. 이러한 톤 맵핑 방법은 본 논문에서 사용한 톤 맵핑 함수 외에 모 든 톤 맵핑 함수에 적용 가능하다. 실험 결과에서는 제 안하는 알고리즘의 결과가 기존 방법들의 결과보다 객 관적, 주관적 측면에서 모두 좋은 성능을 나타내었다.

REFERENCES

[1] R. C. Gonzalez and R. E. Woods, Digital Image Processing (3rd Edition) (Prentice-Hall, Inc., Upper Saddle River, NJ, USA, 2006).

[2] N. Moroney, “Local color correction using non-linear masking,” in Color Imaging Conference, 108-111.

[3] R. Schettini, A. Capra, A. Castorina, F.

Gasparini, S. Corchs, and F. Marini, “Contrast image correction method,” Journal of Electronic Imaging 19(2), 023005–023005–11 (2010).

[4] Edwin H Land, “The Retinex Theory of Color Vision,” Scientific American, 1977, 237, pp.

108-128.

[5] D. Jobson, Z.-u. Rahman, and G. Woodell,

“Properties and performance of a center/surround retinex,” Image Processing, IEEE Transactions on 6, 451-462 (1997).

[6] Z.-u. Rahman, D. Jobson, and G. Woodell,

“Multi-scale retinex for color image enhancement,”

in Image Processing, 1996. Proceedings., International Conference on, 3, 1003-1006 (1996).

[7] D. Jobson, Z.-u. Rahman, and G.Woodell, “A

multiscale retinex for bridging the gap between color images and the human observation of scenes,” Image Processing, IEEE Transactions on 6, 965-976 (1997).

[8] R. Kimmel, M. Elad, D. Shaked, R. Keshet, and I. Sobel, “A variational framework for retinex,”

International Journal of Computer Vision 52, 7-23 (2003).

[9] J. J. McCann, C. Parraman, and A. Rizzi,

“Reflectance, illumination, and appearance in color constancy,” Frontiers in Psychology 5 (2014).

[10] S. Pan, X. An, and H. He, “Adapting iterative retinex computation for high-dynamicrange tone mapping,” Journal of Electronic Imaging 22(2), 023006-023006 (2013).

[11] Adobe Systems Inc., “Adobe photoshop cs6 version 13.0.1,”.

[12] K. Panetta, C. Gao, and S. Agaian, “No reference color image contrast and quality measures,” Consumer Electronics, IEEE Transactions on 59, 643-651 (2013).

저 자 소 개 송 기 선(학생회원)

2009년 연세대학교 전기전자 공학 과 학사 졸업.

2009년∼연세대학교 전기전자 공 학과 석박사 통합과정.

<주관심분야 : 콘트라스트 향상, 다이나믹 영역 확장, 컬러 보간, 영상 품질 향상>

김 민 섭(학생회원)

2014년 연세대학교 전기전자 공학 과 학사 졸업.

2014년∼연세대학교 전기전자 공 학과 석박사 통합과정.

<주관심분야 : 콘트라스트 향상, 다 이나믹 영역 확장, 영상 평가 지표>

강 문 기(정회원)-교신저자 1986년 서울대학교 전자공학과 학사

졸업.

1988년 서울대학교 전자공학과 석사 졸업.

1994년 Northwestern University 박사 졸업.

1994년∼1997년 Assistant Professor. (University of Minnesota, Duluth)

1997년∼1999년 연세대학교 전기전자공학과 조교수.

1999년∼2004년 연세대학교 전기전자공학과 부교수.

2004년∼연세대학교 전기전자공학과 정교수.

<주관심분야 : 영상복원, 초해상도 영상복원, 비선 형 필터링, 비디오 분석 및 처리, 부화소단위의 움 직임 추정>