1. 서 론
영상을 획득하는 데 있어서 광원의 역할은 매우 중요하다. 카메라와 광원의 위치 관계나 광원의 세기 에 따라 영상의 화질이 좌우된다. 광원이 역광이거나 세기가 약한 경우 영상 전체가 어둡거나, 부분적으로 어두워져 영상의 열화가 발생한다. 근본적인 해결책 은 광원의 위치나 세기를 조절하여 영상의 화질을 향상시키는 것이지만, 실외 영상(outdoor image)의 경우 태양이라는 조절 불가능한 광원에 의해 원하지
않는 열화를 얻게 된다. 따라서 그런 열화를 개선하 기 위한 여러 방법들이 제안되어 활용되고 있는데, 대표적으로 히스토그램 평활화[1]나 감마 보정[2], 레티넥스(Retinex) 알고리즘[2, 3] 등이 있다. 히스토 그램 평활화는 밝기에 대한 히스토그램 작성 후, 누 적 분포 함수(Cumulative Distribution Function, CDF)를 구하여 대조가 향상된 영상을 얻는 방법이 다. 감마 보정은 지수함수를 이용해서 밝기 분포를 비선형적으로 변형시켜 밝기를 향상시키는 방법이 다. 앞서 두 방법은 구현은 비교적 간단하지만, 영상
HSV 컬러 공간에서의 레티넥스와 채도 보정을 이용한 화질 개선 기법
강한솔†, 고윤호††
Image Quality Enhancement Method using Retinex in HSV Color Space and Saturation Correction
Han-Sol Kang†, Yun-Ho Ko††
ABSTRACT
This paper presents an image quality enhancement algorithm for dark image acquired under poor lighting condition. Various retinex algorithms which are human perception-based image processing methods were proposed to solve this problem. Although MSR(Multi-Scale Retinex) among these algorithm works well under most lighting condition, it shows color degradation because their separate nonlinear processing of RGB color channels. To compensate for the loss of the color, MSRCR(Multi-Scale Retinex with Color Restoration) was proposed. However, it requires high computational load and has additional parameters that need to be adjusted according to input image. In order to overcome this problem, a new retinex algorithm based on MSR is proposed in this paper. The proposed method consists of V channel MSR, saturation correction, and separate contrast enhancement process. Experimental results show that the subjective and objective image quality of the proposed method better than those of the conventional methods.
Key words: Retinex, MSR, HSV Color Space, Intensity Enhancement, Image Quality Enhancement.
※ Corresponding Author : Yun-Ho Ko, Address: (305- 704) Deahak-ro, Yuseong-gu, Deajeion, Korea, TEL : +82-42-821-6860, FAX : +82-42-823-4919, E-mail : koyh@
cnu.ac.kr
Receipt date : May 19, 2017, Revision date : Jul. 11, 2017 Approval date : Jul. 19, 2017
††
Dept. of Mechatronics Engineering, Chungnam National University (E-mail : [email protected])
††
Dept. of Mechatronics Engineering, Chungnam National University
※ This work was supported by the National Research
Council of Science & Technology (NST) grant by the
Korea government (MSIP) (No.CRC-15-06-KIGAM).
전체에 대해 보정을 수행하여 배경 정보가 소실될 우려가 있다. 레티넥스 알고리즘은 조명 성분(Lumi- nance)과 반사 성분(Reflectance)을 고려하여 밝기 를 향상 시키는 방법이다. 따라서 앞서의 배경 정보 가 소실되는 문제를 줄일 수 있다. 하지만 히스토그 램 평활화와 감마 보정에 비해 상대적으로 연산량이 많아 처리시간이 많이 소요된다.
레티넥스는 망막을 의미하는 Retina와 대뇌 피질 을 의미하는 Cortex가 합쳐진 용어이다. 인간이 눈을 통해 대상체를 인지할 때 눈은 단순히 물체로부터 반사된 빛만을 받아들이지만, 대뇌에서는 주변의 조 명 성분까지 고려하여 해석하게 된다. 이 점을 이용 한 것이 레티넥스 알고리즘이다. 레티넥스 알고리즘 은 Edwin Land에 의해 처음으로 제안된 기법으로 조명 성분을 추정하여 그 영향을 줄여 화질을 개선하 는 알고리즘이다[4]. 이후 조명을 추정하는 방법으로 공간적 역수기반의 주변 함수(inverse square spatial surround)를 이용한 추정 방법을 제안하였다[5].
Hurlbert는 가우시안 함수 기반의 주변함수를 제안 하였고[6], 기존 Land의 기법보다 성능이 우수한 것 으로 알려진 단일 주변 함수를 이용한 레티넥스 알고 리즘이 활발히 연구되었다[7, 8, 9]. 이처럼 단일 주변 함수를 이용하는 레티넥스 알고리즘을 SSR(Single Scale Retinex)이라 한다. 이후 단일 주변 함수를 이 용하는 것이 아닌 다수의 주변 함수를 이용하는 MSR (Multi Scale Retinex)이 제안되었다[10, 11]. 하지만 기존 레티넥스 알고리즘들은 채널 각각의 색상 정보 를 고려하지 않고 적용하여 색감이 왜곡되는 문제가 발생하고, 이를 보정하기 위해 MSRCR(MSR with Color Restoration)이 제안되었다.[12] 하지만 MSRCR 역시 조명 성분 추정 과정에서 RGB 각 채널에 대해 연산을 수행하기에 처리 시간이 많이 소요되고, MSR 에 비해 조절해야 할 변수가 많아 사용에 어려움이 존재한다. 또한 RGB 채널의 비율을 유지하지 못하 여 잘못된 색상으로 변화시키거나, 밝기 증가로 채도 가 자연스럽지 못한 현상이 발생한다.[13] 본 논문에 서는 HSV 컬러 공간에서 기존의 MSR을 적용하고, 추가적인 채도 보정과 대조 향상을 통해 화질을 개선 시키는 방법을 제안한다.
한편 기존의 밝기 보정 알고리즘들을 평가하기 위 한 객관적인 지표가 없어, 주관적인 평가를 이용해 성능을 평가하였다. 본 논문에서는 원 영상의 정보를
이용하는 객관적인 평가 지표를 제안하고, 이를 이용 해 성능을 평가한다. 제안하는 평가 지표는 DLD (Distinction between Light and Dark region) 스코 어로, 영상 내 밝은 부분과 어두운 부분을 나누고 원 본 영상과의 비교를 통해 개선 정도를 평가하는 지표 이다.
본 논문의 구성은 2장에서 기존의 레티넥스 알고 리즘인 SSR, MSR, MSRCR을 소개한다. 3장에서는 제안하는 알고리즘인 채도 보정을 이용한 HSV 컬러 공간의 레티넥스 알고리즘(MSR with Modified Saturation, MSRMS)을 소개한다. 4장에서는 기존 의 레티넥스 알고리즘과 제안한 알고리즘의 성능을 DLD 스코어와 처리 시간을 이용해 평가한다. 마지 막으로 5장에서 향후 연구 방향 제안하고, 결론을 맺 는다.
2. 기존의 레티넥스(Retinex) 알고리즘
2.1 SSR(Singe Scale Retinex)
SSR은 가장 기초적인 레티넥스 알고리즘으로 하 나의 주변 함수를 통해 조명 성분을 추정하고, 이를 보정하는 기법이다. 영상은 식 (1)과 같이 조명 성분 과 반사 성분의 곱으로 표현된다.
는 최종적으 로 얻어지는 영상 정보이고,
와
는 각 각 반사 성분과 조명 성분을 의미한다.
는 채널을 의미하며, 대부분의 경우 RGB 채널에 기반하여
의 범위를 가진다.
×
(1) 레티넥스 알고리즘은 조명의 영향을 줄여 화질을 향상시키는 기법으로, 식 (1)의 반사 성분을 중심으 로 표현하면 식 (2)와 같다. 앞서 서론에서 소개한 것처럼 레티넥스는 사람의 시각 인지 모델을 기반으 로 구성된 알고리즘이다. 실제 가해진 자극치와 인지 된 감각 사이에는 로그 관계를 가진다는 베버 페히너 의 법칙(Weber-Fechner’s law)을 이용하여 레티넥 스 알고리즘에서는 식 (2)를 다시 식 (3)과 같이 변형 한다.
(2)
log
(3)앞서의 식 (3)을 로그의 뺄셈 법칙과 주변 함수를 이용해 나타내면 식 (4)와 같다. 여기서
는 주 변 함수로 조명 성분을 추정하는데 사용된다. 는 컨볼루션 기호로, 원 영상과 주변 함수를 컨볼루션하 여 조명 성분을 추정한다. 주변함수로는 식 (5)와 같 은 가우시안을함수를 주로 이용한다. 여기서
는 정 규화 계수이고, 는 가우시안 상수이다.
log
log
(4)
(5) 최종적으로 출력되는 SSR의 결과는 식 (4)에서 얻어진 값의 게인-오프셋(Gain-offset)조절을 통해 0∼255의 값을 갖도록 정규화 시킨 것이다. SSR에서 하나의 주변 함수만을 이용하기에 가우시안 상수 값 에 따라 매우 다른 결과를 얻게 되어 입력 영상에 따른 적절한 가우시안 상수를 설정해야한다.2.2 MSR(Multi Scale Retinex)
SSR의 경우 조명 성분을 하나의 주변 함수를 통 해 추정하였다면, MSR은 이와 달리 다수의 주변 함 수를 통해 조명 성분을 추정하고 이를 가중합하여 화질을 개선하는 알고리즘이다. MSR은 식 (6)과 같 다.
(6)여기서
는
번째 채널에 대한
번째 주변 함수를 이용해 만든 SSR 결과이다.
은 각 채널에 따른 가중치로 모두 더하면 합이 1이 된다. Fig. 1은 가우시안 상수 값에 SSR 결과이다. (a)와 같이 가우 시안 상수가 작은 값을 가질 때는 가우시안 상수가 큰 값에 비해 경계가 선명하지만 밝은 영역과 어두운 영역의 차이가 크진 않다. 이에 비해 (c)와 같이 가우시안 상수가 큰 값일 때는 밝은 영역과 어두운 영역 의 차이가 좀 더 명확해지지만 경계 부분의 정보가 손실되고, 특히 밝은 영역의 정보가 많이 손실된다.
최종적인 MSR은 여러 개의 주변 함수를 이용해 SSR이 가질 수 있는 단점을 보완했지만, 각 채널을 독립적으로 연산하여 원본의 색상 정보를 왜곡한다 [13].
2.3 MSRCR(Multi Scale Retinex with Corlor Resto- ration)
MSRCR은 SSR의 단점을 보완한 MSR에 컬러복 원(Color restoration)을 추가하여 좀 더 자연스러운 영상을 얻을 수 있는 방법이다. MSRCR은 식 (7)과 같이 나타낼 수 있다.
는
번째 채널에 대한 컬러 복원 함수로 식 (8)과 같다.
는 게인 상수이고,
는 비선형성 정도를 조절한다.
는 채널의 개수로, RGB 채널을 이용하는 경우
는 3이다. MSRCR이 MSR의 단점을 보완하였지만, 개선된 화질을 얻기 위해 각 영상에 대하여 적용적으로 결정해야 하는 변수가 많고, SSR이나 MSR보다 처리 시간이 느리 다는 단점이 있다.
×
(7)
log
log
(8)3. 제안한 방법
3.1 제안한 알고리즘의 개요
기존 MSR의 경우 MSRCR에 비해 성능이 떨어지 지만, 조절해야하는 계수가 적어 별다른 설정 없이 적용이 가능하다는 장점이 있다. MSR과 MSRCR 모 두 R, G, B 각 채널의 밝기값을 이용해 조명 성분을 추정하기에 다소 많은 시간이 걸린다는 단점이 있다.
(a) (b) (c)
Fig. 1. SSR results. (a) c=10, (b) c=25, (c) c=150.
본 논문에서는 기존의 MSR을 이용해 앞서의 처리 시간을 단축시키면서 성능을 개선할 수 있는 알고리 즘을 제안한다. 제안하는 알고리즘은 MSRMS(MSR with Modified Saturation)로 V 채널을 이용해 MSR 을 적용하고, S 채널에 대한 보정 및 추가적인 후처 리를 수행하는 알고리즘이다. 구체적인 알고리즘 동 작 순서는 Fig. 2와 같다.
입력 영상은 RGB 컬러 공간에서 HSV 컬러 공간 으로 변환된다. 밝기를 의미하는 V 채널에 3의 주변 함수를 갖는 MSR을 수행한다. 점선으로 표시된 영 역이 V 채널에 대해 MSR을 적용한 부분이다. MSR 에서 가중치는 1/3로 동일하게 설정하였다. 구해진 MSR 결과를 이용해 V 채널을 갱신한다. 이때 MSR 의 결과가 로그값이므로 0∼255의 값을 갖도록 범위 를 수정하여 V 채널을 갱신한다. 이후 색 선명도를 높이기 위해 갱신된 V 채널과 이전의 V 채널의 정보 를 이용해 채도 보정을 수행한다. 또한 갱신된 V 채
널의 표준편차가 임의 값
보다 작으면 대조를 더욱 향상시키기 위해 히스토그램 평활화를 수행한다. 이 후 HSV 컬러 공간에서 RGB 컬러 공간으로 다시 변 환하여 최종적인 출력을 얻는다. 이어지는 절에서 구 체적인 알고리즘에 대해 설명한다.3.2 HSV 컬러 공간
RGB 컬러공간은 빛의 3원색인 Red, Green, Blue 의 형태로 표현되는 컬러 공간이다. 가장 접하기 쉽 고 이용하기 편한 공간이지만 각 채널을 별도의 과정 으로 처리하는 경우 색상의 왜곡이 발생할 수 있다. 인간이 컬러로 된 물체를 인식할 때, 색상(Hue), 채도 (Saturation), 밝기(Intensity, Value)로 나누어 받아 들이게 되는데 이를 잘 반영한 컬러 공간이 HSV 컬 러 공간이다[14]. RGB 컬러공간과 HSV 컬러 공간은 식 (9), (10), (11)의 관계를 가진다. 여기서
와
함수는
,
,
값 중 최댓값과 최솟값을 각가Fig. 2. Flowchart of MSRMS.
반환하는 함수이다.
cos
(9)
(10)
(11)
기존의 MSR은 RGB 채널간의 색상정보를 고려하 지 않아 원본의 색상을 왜곡시킨다는 문제가 있다. 제안된 방법은 RGB 공간에서의 채널별 독립적 MSR이 아닌 HSV 공간에서 색상정보는 유지한 채 밝기 성분에 대해서만 MSR을 적용하고, 이어지는 채도 보정과 대조 향상을 진행한다.
3.3 V 채널을 이용한 MSR
MSRCR은 기존의 MSR에 컬러 복원 함수를 추가 하여 MSR이 가지는 색상 왜곡의 문제를 해결하였 다. 하지만 MSRCR의 경우 MSR과 달리 식 (8)과 같이 컬러 복원에 사용되는 상수를 추가적으로 설정 해야한다. 이는 입력 영상의 특징에 따라 달라져 설 정하는 것이 쉽지 않다. 본 논문에서는 기존의 MSR 을 RGB 컬러 공간이 아닌 HSV 컬러 공간으로 변환 후 V 채널에 대해서만 적용하여 성능을 개선하였다.
V 채널은 밝기 성분을 의미하여 색상 왜곡의 문제가 적고, V 단일 채널에 대해 연산을 수행하여 처리속도 가 RGB 채널 각각에 적용할 때보다 빠르다.
영상이 입력으로 들어오면 식 (9), (10), (11)을 통 해 RGB 컬러 공간에서 HSV 컬러 공간으로 변환할 수 있다. V 채널에 대해 3개의 다른 가우시안 상수를 가지는 주변 함수를 이용하여 MSR을 적용한다. 가 중치는 동일하게 1/3로 설정하였다. 레티넥스의 결
과는 로그 값이므로 게인-오프셋을 조절하여 0∼255 의 값을 갖도록 정규화 시켜 V채널을 갱신한다. V 채널에 대해 MSR을 수행하면 Fig. 3과 같은 결과를 얻는다. 원 영상은 타이어 안쪽에 있는 사람의 얼굴 부분이 그림자에 의해 어둡게 관측되고, 몸 부분은 광원에 의해 밝게 관측되고 있다. 이 영상의 V 채널 에 대한 MSR을 수행하였을 경우, Fig. 3(b)와 같이 영상 내 어두운 부분이었던 얼굴 부분의 밝기가 개선 된다. 하지만 전체적인 밝기가 밝아져 타이어 부분의 색이 탁해지고, 전체적인 대조 또한 낮아진 것을 확 인할 수 있다.
3.4 채도 보정
앞서 Fig. 3과 같이 V 채널에 대해서 MSR을 수행 하게 되면 색의 선명도가 낮아지게 된다. 이러한 문 제를 해결하기 위해 채도(S) 채널의 값을 보정해 주 게 된다. 보정은 식 (12)와 같이 이루어진다.
′
(12)
와′
는 각각 보정 전과 후의 채도 값을 의미한다.
는 채도의 보정 정도를 결정하는 변수로 써 밝기의 차 성분에 따라 식 (13)에서와 같이 정해진 다. ′ ′
′ ≤
(13)여기서
′
는 앞서 3.3절에서 설명된 V채널을 이용한 MSR의 결과를 나타내고,
는 입력 영 상의 밝기 성분에 대한 값을 의미한다. 기존의 밝기 와 같거나 어두워진 부분에 대해서는
를 0으로 주어 채도 보정을 수행하지 않고, 기존의 밝기보다 밝아진 부분에 대해서만 채도 보정을 수행한다. 이는 Fig.3에서처럼 타이어 부분이나 사람의 얼굴 부분과 같
(a) (b)
Fig. 3. MSR results for V channel. (a) Original image, (b) MSR for V channel.
이 기존 밝기보다 밝아져 색의 선명도가 낮아진 것을 보정하기 위함이다. 즉, 식 (12)의 채도 보정은 밝기 보정의 폭이 클수록 값이 커지고, 채도의 증가량을 높여주는 보정이 이루어지며 최대 2배의 채도 값으 로 보정된다. 채도 보정의 결과는 Fig. 4와 같다. 채도 보정 전에는 얼굴 주변 및 타이어의 전반적인 색 선 명도가 낮은 현상을 보이지만, 식 (12)의 채도 보정을 적용하여 상대적으로 색 선명도가 높아졌다.
3.5 대조 향상
앞서 3.3과 3.4에서의 과정을 수행하면, 일정 수준 의 밝기 보정 효과를 볼 수 있다. 하지만 경우에 따라 영상이 전체적으로 밝아져 대조가 다소 떨어지는 경 우가 존재한다. 따라서 이러한 현상을 방지하기 위해 갱신된 V 채널의 표준 편차를 구하고 이 값이 기준 (
)보다 작은 값일 때 추가적인 히스토그램 평활화 과정을 수행한다. 즉, 식으로 표현하면 식 (12)와 같 다.″ ′ ′
′ ′ ≥
(14)′
는 앞서와 마찬가지로 V 채널의 MSR 결과 를 의미한다.
는 히스토그램 평활화를 의미하며,
는 해당 채널의 표준 편차를 의미한다.
는 대조 향상 수행 여부를 결정하기 위한 기준 값으로 본 연 구에서는 50으로 설정하였다. Fig. 5는 히스토그램 평활화를 통해 대조를 향상 시킨 결과이다. V채널에 대해 MSR 이후 채도 보정만 수행했을 때는 타이어 와 얼굴부분의 대조가 뚜렷하지 않았지만, 히스토그 램 평활화 이후 보다 개선되었음을 확인할 수 있다.4. 실험 결과 및 고찰
4.1 주관적 평가
제안된 MSRMS의 밝기 보정 성능을 평가하기 위 해 기존의 레티넥스 방법들과 비교 실험을 진행하였 다. 실험은 Fig. 6 (a)와 Fig. 7 (a)를 포함하는 총 30장 의 영상을 이용해 실험을 진행하였다. 30장의 실험 결과는 다음의 주소에서 확인할 수 있다(https://goo.
gl/aXQhZe). 앞서 3.5절에서 언급한 것과 같이 대조 향상은 선택적으로 수행하게 되는데, 본 실험에서는
(a) (b)
Fig. 4. Saturation correction result. (a) MSR for V channel before saturation correction,(b) MSR for V channel after saturation correction.
(a) (b)
Fig. 5. Contrast enhancement result. (a) Saturation correction without histogram equalization, (b) Saturation correction
with histogram equalization.
90%의 영상이 제안된 레티넥스와 채도 보정 이후 대조 향상을 수행하였다. 나머지 10%는 대조 향상 없이 제안된 레티넥스와 채도 보정만을 수행하였다. Fig. 6, 7의 (a)는 입력 영상, (b)는 MSR 결과, (c)
MSRCR 결과, (d)는 제안한 MSRMS 결과이다. 기 존 MSR의 경우 어두운 영역의 밝기는 보정되었지 만, 채도가 낮아 회색조에 가까운 결과를 보인다. 이 는 RGB 각 채널에 적용하여 색상이 왜곡된 형태이
(a) (b)
(c) (d)
Fig. 6. Evaluation of the performance of the proposed algorithm. (a) Input image 1, (b) MSR result, (c) MSRCR result, (d) MSRMS result.
(a) (b)
(c) (d)
Fig. 7. Evaluation of the performance of the proposed algorithm. (a) Input image 2, (b) MSR result, (c) MSRCR result,
(d) MSRMS result.
다. MSRCR의 경우 MSR에 비해 색상은 비교적 잘 보존되었지만, 여전히 밝은 영역과 어두운 영역의 대 조가 낮다. 하지만 MSRMS의 경우 V 채널에 대해서 만 MSR을 적용하였고, 후처리로 채도 보정 및 대조 를 향상 시켜 어두운 영역과 밝은 영역의 값들이 균 형 있게 보정되었다.
4.2 객관적 평가
본 논문에서는 주관적 화질 평가 이외에 객관적으 로 화질 개선 여부를 평가하기 위한 지표를 추가적으 로 제안한다. 영상 내에서 Fig. 8과 같이 어두운 영역 과 밝은 영역을 나누어[15] 그 비율을 평가 지표로 하는 DLD(Distinction between Light and Dark re- gion) 스코어를 제안한다. 어두운 영역과 밝은 영역 은 각각 영상내의 최소, 최댓값을 포함하고 사용자가 정의한 윈도우 크기를 가지는 영역이다. Fig. 8에서 빗금으로 표시된 곳이 밝은 영역과 어두운 영역으로 설정된 영역이다. 본 논문에서는 (a)와 (b)의 광원이 각각 가로와 세로로 분포한다고 고려하여 밝은 영역 의 윈도우를 설정하였다. (a)의 어두운 영역의 윈도 우는 밝은 영역의 윈도우와 너비만 동일하게 설정하 였고, (b)의 어두운 영역의 윈도우는 밝은 영역의 윈 도우와 높이만 동일하게 설정하였다. 이 영역들을 기 반으로 DLD 스코어는 식 (15)와 같이 정의된다.
×
×
(15)
는 어두운 영역에 대하여 입력과 출력 영상의 평균값 차이를 의미하고,
은 밝은 영역에 대하여 입력과 출력 영상의 평균값 차이를 의미한다.
과
는 각각 밝은 영역과 어두운 영역에 대한 입력 영 상과 출력 영상의 표준편차 비율을 의미한다.
과
의 정의는 각각 식 (16), (17)과 같다.
(16)
(17)
과
은 각각 입력 영상과 출력 영상의 평균 을 의미한다. 이에
와
은 각각 어두운 영역의 평균 차이와 밝은 영역의 평균 차이를 의미하게 된 다. 식 (15)에서
과
은 입력 영상과 출력 영상 의 표준 편차를 각각 의미한다. 따라서 DLD 스코어 는 어두운 영역의 밝기 보정 정도는 크고, 밝은 영역 의 밝기 보정은 포화가 일어나지 않도록 하며, 대조 또한 원 영상과 비슷한 수준으로 유지하거나 조금 향상된 결과일수록 좋다고 생각하여 고안된 스코어 이다.(a) (b)
Fig. 8. Light and dark region. (a) Light and dark region of Fig. 6, (b) Light and dark region of Fig. 7.
Table 1. Comparison of DLD score of the proposed method with those of MSR and MSRCR
Image Algorithm
MSR MSRCR MSRMS
Fig. 5(a) 13.41 15.44 20.97 Fig. 6(a) 23.78 28.28 50.45 Average of
30 images 30.71 32.01 68.77
Table 2. Comparison of processing time of the pro- posed method with those of MSR and MSRCR
Resolution Algorithm
MSR MSRCR MSRMS
600×394 0.523 sec 0.536 sec 0.186 sec
1280×720 2.642 sec 2.674 sec 0.974 sec
1920×1080 8.672 sec 8.842 sec 3.528 sec
Table 1은 Fig. 6과 7의 DLD와 Fig. 6과 7이 포함 된 30장 영상에 대한 DLD의 평균을 나타낸다. MSR 을 적용했을 때 Fig. 6(a)와 Fig. 7(a) 각각에서 13.41, 23.78로 측정되었다. MSRCR의 경우 MSR보다는 향 상된 15.44, 28.28로 각각 측정되었다. 제안한 방법인 MSRMS의 경우 20.97, 50.45로 기존의 MSR과 MSRCR보다 향상된 DLD 스코어로 측정되었다. 30 장의 평균에 대해서도 68.77로 제안한 방법이 가장 높게 측정되었다. 이는 MSRMS를 이용했을 때 어두 운 영역은 밝기 향상이 되는 동시에, 밝은 부분은 포 화가 일어나지 않도록 화질이 개선되었기 때문이다. Table 2는 제안된 MSRMS와 기존 레티넥스의 해 상도 별 평균적인 처리 시간을 비교한 것이다. 실험 용 PC 구성은 CPU는 Intel Core i5-2500k(3.30GHz, 4CPUs), RAM은 4GB, OS는 Window7 64bit로 이루 어졌다. 기존의 방법보다 약 3배 정도의 속도 개선이 있음을 확인할 수 있다.
Table 3는 Full HD 영상 기준 제안된 MSRMS의 주요 구성 과정들에 대한 처리 시간을 나타낸 것이 다. Table 3으로부터 MSR 과정에서 전체 처리시간 의 약 99% 이상이 소요됨을 알 수 있다. 기존 레티넥 스 알고리즘에서는 RGB 채널 각각에 대하여 이러한 MSR 과정을 수행하는 반면 제안된 알고리즘에서는 V 채널에 대해서만 MSR 과정을 수행한다. 따라서 제안된 방법은 추가적인 채도 보정과 대조 향상 과정 을 포함함에도 불구하고 기존 방법들에 비해 약 3배 의 처리 속도 개선 효과를 보일 수 있다.
5. 결 론
본 논문에서는 기존 레티넥스 알고리즘을 개선한 MSRMS라는 알고리즘을 제안하였다. 제안된 방법 은 기존의 MSR이 가지는 색 왜곡의 단점을 보완하 고자 HSV 컬러 공간에서 V 채널에 대해서만 MSR 을 수행하도록 하고, 별도의 채도 보정이 이루어진
다. 또한 상황에 따라 대조를 높이는 방식을 채택해 성능을 개선하였다. 주관적 평가에서는 MSR과 MSRCR 에 비해 MSRMS가 대조나 색 선명도가 뚜렷해 대상 체의 파악이 용이해진 것을 확인할 수 있었다. 또한 개선된 영상을 밝은 영역과 어두운 영역으로 나누어 입력 영상과의 비교를 통해 화질 개선 정도를 객관적 으로 평가할 수 있는 지표인 DLD 스코어를 제안하 였다. DLD 스코어를 이용해 기존 MSR과 MSRCR 기법을 제안된 방법과 비교했을 때 제안된 방법의 성능이 우수함을 확인하였다. 또한 처리 시간에 있어 약 3배의 성능 개선을 확인하였다. 이러한 처리 시간 은 향후 NVIDIA의 CUDA나 OpenMP와 같은 병렬 프로그래밍을 이용해 보다 단축될 것으로 예상된다.
REFERENCE
[ 1 ] D.Y. Hyun, J.H. Heu, C.S. Kim, and S.U. Lee,
“Video Backlight Compensation Algorithm Based on Reliability of Brightness Variation.”
J ournal of the Institute of Electronics Engi- neers of Korea, Vol. 47, No. 6, pp. 117-126, 2010.
[ 2 ] L. Meylan,Tone Mapping for High Dynamic Range Images, Doctor’s Thesis of Ecole Polytechnique Federale de Lausanne,Lausanne, 2006.
[ 3 ] K.P. Han, “A Fast MSRCR Algorithm Using Hierarchical Discrete Correlation,”J ournal of Korea Multimedia Society, Vol. 13, No. 11, pp. 1621-1629, 2010.
[ 4 ] E.H. Land and J.J. McCann, “Lightness and Retinex Theory,” J ournal of the Optical Society of America, Vol. 61, No. 1, pp. 1-11, 1971.
[ 5 ] E.H. Land, “An Alternative Technique for the
Table 3. Processing time of principal functional procedures of the proposed method
Operation Processing time Percentage
Color space transformation (RGB to HSV) 0.005 sec 0.144 %
MSR for V channel 3.505 sec 99.28 %
Saturation correction 0.014 sec 0.393 %
Histogram Equalization 0.001 sec 0.032 %
Color space transformation (HSV to RGB) 0.005 sec 0.150 %
Computation of the Designator in the Retinex Theory of Color Vision,” Proceeding of National Academy of Sciences of the United States of America, Vol. 83, No. 10, pp. 3078- 3080, 1986.
[ 6 ] A.C. Hurlbert and T.A. Poggio, “Synthesizing a Color Algorithm from Examples,” Science, Vol. 239, No. 4839, pp. 482-485, 1988.
[ 7 ] Z. Rahman, “Properties of a Center/Surround Retinex Part One: Signal Processing Design,”
National Aeronautics and Space Administra- tion Technical Memorandum, 198194, 1995.
[ 8 ] D.J. Jobson and G.A. Woodell, “Properties of a Center/Surround Retinex Part Two: Sur- round Design,” National Aeronautics and Space Administration Technical Memoran- dum, 110188, 1995.
[ 9 ] D.J. Jobson, Z. Rahman, and G.A. Woodell,
“Properties and Performance of a Center/Sur- round Retinex,”IEEE Transactions on Image Processing: Special Issue on Color Process- ing, Vol. 6, No. 3, pp. 451-462, 1997.
[10] Z. Rahman, G.A. Woodell, and D.J. Jobson,
“Multiscale Retinex for Color Image Enhance- ment,” Proceeding of IEEE International Conference Image Processing, pp. 1003-1006, 1996.
[11] Z. Rahman, G.A. Woodell, and D.J. Jobson, “A Comparison of the Multiscale Retinex with other Image Enhancement Techniques,” Pro- ceeding of the Information Systems and Techonology 50th Anniversary Conference, pp. 426-431, 1997.
[12] D.J. Jobson, Z. Rahman, and G.A. Woodell, “A Multiscale Retinex for Bridging the Gap be- tween Color Images and the Human Obser- vation of Scenes.” IEEE Transactions on Image Processing, Vol. 6, No. 7, pp. 965-976, 1997.
[13] H.S. Cha and S.H. Hong, “Advanced Retinex Algorithm for Image Enhancement,” Journal of Korea Multimedia Society, Vol. 16, No. 1, pp. 29-41, 2013.
[14] R.C. Gonzalez, R.E. Woods, and S.L. Eddins, Digital Image Processing Using MATLAB®, McGraw Hill Education, Columbus, Ohio, 2010.
[15] B.H. Kang, C.W. Jeon, and H.S. Ko, “K- Retinex Algorithm for Fast Back-light Comp- ensation,”Journal of the Institute of Electronics Engineers of Korea, Vol. 44, No. 2, pp. 126- 136, 2007.
강 한 솔
2015년 충남대학교 메카트로닉스 공학과 학사 졸업 2015년∼현재 충남대학교 메카트
로닉스공학과 석사 과정 관심분야 : 영상신호처리, 영상인
식 , 화질개선
고 윤 호
