논문 2014-51-11-21
LCD 디스플레이를 위한 무작위 화소 추출 기반 백라이트 디밍
( Random Pixel Sampling-based Backlight Dimming for Liquid Crystal Display )
강 석 주*, 김 영 환***
( Suk-Ju Kang and Young Hwan Kimⓒ)
요 약
본 논문에서는 인지 화질을 고려할 수 있는 측정 방법인 structural similarity (SSIM)기반의 백라이트 디밍에서 높은 계산량을 저감할 수 있는 무작위 화소 샘플링 기법을 제안한다. 제안한 방법에서는 우선 전체 프레임에서 미리 정의된 개수만큼의 화소를 무작위로 선택한 후 이를 블록 형태로 결합한다. 이 후 해당 블록에서 SSIM 계산에 필요한 변수들을 추정하기 때문에 한 프레임을 사용하는 기존 방법 대비 계산 시간을 큰 폭으로 줄일 수 있다. 실험 결과에서 기존 방법과 비교했을 때 제안한 방법은 평균 SSIM 은 거의 유지하면서도 평균 파워 소모와 평균 계산 시간을 각각 38.1766 %, 99.5828 % 까지 줄일 수 있었다.
Abstract
In this paper, we propose the random pixel sampling technique to solve the high computational complexity in the perceptual SSIM-based backlight dimming. Specifically, the proposed algorithm selects pixels in a total frame considering the pre-defined number, and generates the block by combining these pixels. Then, it estimates parameters, which are required in the SSIM calculation, in the combined block, and hence, it can reduce the computation time significantly. In the experimental results, the proposed algorithm reduced the average power consumption and computation time by up to 38.1776 % and 99.5828 %, respectively while preserving the average SSIM., compared with the conventional algorithm.
Keywords: Liquid crystal display, random pixel sampling, backlight dimming
Ⅰ. 서 론
디스플레이 산업은 부품 및 소재 산업의 발전과 함께
* 정회원, 동아대학교 전기공학과
(Electrical Engineering, Dong-A University)
** 정회원, 포항공과대학교 전자전기공학과 (Electronicand Electrical Engineering, Pohang University of Scienceand Technology)
ⓒ Corresponding Author (E-mail: [email protected])
※ 본 연구는 동아대학교 교내연구비 지원에 의하여 연구되었음.
접수일자: 2014년08월11일, 수정일자: 2014년09월29일 게재확정: 2014년11월03일
큰 폭으로 발전하였으며, 새로운 종류의 다양한 디스플 레이들이 연구 및 개발되고 있다. 특히 가장 최근에 개 발된 organic light-emitting diode (OLED) 디스플레이 의 경우 기존의 flat panel display인 liquid crystal display (LCD)나 plasma display panel (PDP) 디스플레 이보다 높은 색 재현율이나 명암비를 갖으면서도 소비 전력은 감소시킬 수 있는 디스플레이이기 때문에 다양 한 분야에 적용되고 있다[1]. 또한 최근 각광받고 있는 플렉서블 디스플레이로 제작이 용이하다는 장점을 갖기 때문에 다양한 연구가 진행되고 있다[2]. 하지만 OLED 디스플레이의 경우 현재까지 대형화에 대한 기술적인
문제로 인해서 저 가격화가 어렵기 때문에 핸드폰과 같 은 모바일 용의 디스플레이에 주로 쓰이고 있다. 때문 에 TV와 같은 대형 디스플레이에서는 LCD가 주로 쓰 이며, 또한 많은 연구 개발이 꾸준히 이루어지고 있다.
이러한 LCD에서는 OLED나 PDP 디스플레이와 달리 자발광 소자가 아니기 때문에 백라이트라는 광원이 필 요하다. 하지만 일반적으로 백라이트는 영상의 밝기와 상관없이 항상 켜져 있기 때문에 어두운 영상의 경우 불필요한 소비 전력을 소모하게 된다. 이를 해결하기 위한 방법으로 백라이트 디밍이라는 방법이 개발되었다 [3]. 해당 방법은 백라이트 밝기를 영상의 특성을 고려 하여 줄일 수 있는 방법으로 이를 이용하여 소비 전력 을 큰 폭으로 줄일 수 있다.
이러한 백라이트 디밍 방법으로 다양한 연구[3～4]가 이루어졌지만 기존 방법들이 영상의 특성을 정확히 고 려할 수 없다는 문제가 있기 때문에 최근에는 이를 해 결하기 위한 방법들이 주로 연구되고 있다. [5]에서 개 발한 방법은 peak signal-to-noise ratio (PSNR)이라고 하는 정량적 화질 측정 방법을 사용하여 화질을 특정 레벨로 유지할 수 있는 방법이다. 구체적으로 해당 방 법은 상위 그레이 레벨을 갖는 화소들이 백라이트 디밍 에 의해 결정된 그레이 레벨로 변환되면서 발생하는 클리핑 에러에 의한 화질 저하의 양을 PSNR 수치로 조절할 수 있는 방법이다. 하지만 해당 방법의 경우 클 리핑 에러를 단순 PSNR 기반으로 고려하기 때문에 실 제 인간의 인지적 화질 저하를 고려할 수 없다는 단점 이 발생한다. 이를 해결하기 위해서 최근 structural similarity (SSIM) preservation 기반 백라이트 디밍 (SPBD)[7]가 새롭게 개발되었다. 해당 방법은 기존 PSNR 대신 인지 화질을 고려할 수 있는 SSIM[6]을 사 용하여 이를 특정 레벨로 유지시킬 수 있기 때문에 기 존의 방법보다 높은 인지 화질 고려가 가능하다. 이를 위해서 SPBD 방법은 우선 SSIM과 mean square error (MSE) 사이의 상관 관계를 계산하여 허용 가능한 최대 에러를 계산하는 전처리 부를 필요로 한다. 하지만 이 를 계산할 때 필요한 다양한 변수들을 추출하기 위해서 매우 높은 계산량을 필요로 하며 이는 전체 백라이트 디밍의 계산량을 높이게 된다. 이를 해결하기 위한 방 법으로 [8]에서 전체 프레임의 일부 화소를 규칙적으로 샘플링하여 계산량을 큰 폭으로 줄이면서도 화질과 파 워 소모는 기존 SPBD 알고리즘과 비슷하게 유지할 수
있는 방법들을 개발하였다. 본 논문에서는 이러한 계산 량을 더욱 줄일 수 있는 방법으로 화소의 샘플링을 무 작위로 추출하면서 추출된 화소의 개수는 줄여 기존 규 칙적 샘플링 방법 대비 계산 시간을 추가적으로 줄이는 방법을 제안한다.
Ⅱ. 제안한 무작위 화소 추출 기반 백라이트 디밍
제안한 방법은 그림 1과 같이 기본적으로 SPBD [7]
와 유사한 구조를 가지고 있다. 하지만 전처리 부분에 서 계산 량을 줄이기 위해서 제안한 무작위 화소 샘플 링을 사용하여 최종 허용 가능한 목표 에러 값을 계산 하게 된다. 이 경우 [8]에서의 방법과 달리 제안한 방법 은 무작위 화소 샘플링 모듈과 샘플링된 화소들을 합치 는 부분인 화소 결합부가 추가되어 최종 값을 계산하게 된다. 구체적으로 제안한 방법은 우선 입력된 RGB 영 상과 목표 수치인 SSIM값을 입력 받은 후 RGB 영상 은 YCbCr 색공간으로 변환되어 Y값만을 추출하게 된 다. 이 때 Y 값만 추출하는 이유는 해당 값이 제안한 방법에서 필요로 하는 밝기 정보를 포함하고 있기 때문 이다. 다음으로 추출된 Y 기반의 프레임에서 무작위 화 소 추출이 이루어지게 된다. 이를 위해 수식 (1)과 같이 먼저 전체 프레임의 해상도 범위 내의 임의의 수평 및 수직 위치에 대한 값 2개를 찾게 된다.
≤ ≤
≤ ≤ (1) 위의 수식에서 Px와 Py는 각각 수평과 수직 방향으 로 샘플링 될 화소의 좌표에 대한 위치를 나타내며, RS 는 무작위 샘플링 함수이다. 해당 함수는 일반적으로 사용되는 random number 생성 함수를 사용하였다.
Nhor과 Nver은 각각 수평과 수직 방향으로 최대 해상도 를 나타낸다. 이렇게 샘플링 될 화소의 위치를 찾은 후 해당 위치의 화소들을 추출하게 된다. 다음으로 그림 1 에서와 같이 화소 결합 모듈에서는 해당 화소들을 SSIM 계산에 필요한 변수 값을 추출할 수 있도록 그림 2에서와 같이 블록으로 결합하게 된다. 이를 통해서 기 존 SPBD 방법이나 [8]에서 제안한 규칙적 샘플링 방법 에 비해 연산이 필요한 화소의 개수를 줄임으로써 큰 폭으로 계산 량을 줄일 수 있게 된다. 이렇게 결합된 블
그림 1. 제안한 방법의 전체 블록 다이어그램
Fig. 1. Overall block diagram of the proposed method.
록을 사용하여 SSIM 계산을 위해 필요한 입력 영상의 블록 기반 표준 편차를 계산하게 된다. 구체적으로 SPBD에서와 같이 SSIM을 계산하기 위해 필요한 MSE-SSIM 수식은 다음과 같다[7～9].
(2)
위의 수식에서 VSSIM과 VMSE는 SSIM 값과 MSE 값 이고, σx는 원본 영상의 블록 단위 편차이고, ρ 은 안정 성 상수이다. 제안한 방법은 기존 방법에서 전체 영상 에 대해서 해당 변수들을 계산한 것과 달리 샘플링 된 블록에 대해서 이를 진행하기 때문에 계산량을 크게 줄 이게 된다. 마지막으로 수식 (2)의 역변환을 통해서 최 종 출력 영상에 대한 허용 가능한 에러 값을 계산하게 된다. 이렇게 계산된 에러 값은 그림 1에서와 같이 기 존의 SPBD의 메인 모듈로 입력되어 최종적인 인지 화 질을 고려한 영상을 출력하게 된다.
Ⅲ. 실험 결과
제안한 방법의 성능 평가 지표는 크게 3가지로 영상
의 화질 측정, 파워 측정, 계산 시간 측정을 통해서 기 존의 방법들과 비교하였다. 우선 첫 번째로 영상의 화 질 측정은 2개의 샘플 영상에 대한 인지 화질을 비교하 는 방법과 여러 샘플 영상과 동영상에 대해서 SSIM 값 을 계산하여 이를 객관적으로 비교하였다. 두 번째로 영상들에 대해 [5], [10]에서 사용된 파워 모델을 이용하 여 파워 소모를 계산하였다. 다음으로 기존 방법과 제 안한 방법 간의 전처리 부에서 소모되는 계산 시간을 측정하여 이에 대한 비교를 진행하였다. 전체 실험에서
그림 2. 변수 추출을 위한 제안한 무작위 화소 결합 Fig. 2. The proposed random pixel combination for
parameter extraction.
그림 3. 제안한 방법과 기존 방법들 간 Full HD 영상에서의 결과 비교:
(a) 기존 SPBD 방법, (b) 추출 비율=1/4, (c) 추출 비율=1/9, (d) 추출 비율=1/16, (e) 무작위 화소 추출 개수=12, (f) 무작위 화소 추출 개수=20
Fig. 3. Result comparison between the proposed and benchmark methods in the Full HD image.
(a) the conventional SPBD method, (b) Sampling ratio=1/4, (c) Sampling ratio=1/9, (d) Sampling ratio=1/16, (e) the number of the randomly sampled pixels=12, (f) the number of the randomly sampled pixels=20.
그림 4. 제안한 방법과 기존 방법들 간 Kodak 영상에서의 결과 비교: (a) 기존 SPBD 방법, (b) 추출 비율=1/4, (c) 추출 비율=1/9, (d) 추출 비율=1/16, (e) 무작위 화소 추출 개수=12, (f) 무작위 화소 추출 개수=20 Fig. 4. Result comparison between the proposed and benchmark methods in the Kodak image (a) the
conventional SPBD method, (b) Sampling ratio=1/4, (c) Sampling ratio=1/9, (d) Sampling ratio=1/16, (e) the number of the randomly sampled pixels=12, (f) the number of the randomly sampled pixels=20.
사용된 테스트 영상은 5가지로 3개의 샘플 영상 세트와 2개의 동영상 세트를 사용하였다. 구체적으로 샘플 영 상 세트는 Kodak 영상 (24장), Full HD 영상 (50장),
ISO 12640 영상 (12장)이고, 동영상 세트는 Future of Transportation (100장)과 Expert Panel and Question (100장)이다[11～13]. 제안한 방법과의 성능 비교를 위한
표 1. 제안한 방법과 기존 방법들 간 평균 SSIM 비교
Table 1. Average SSIM comparison between the proposed and benchmark methods.
표 2. 제안한 방법과 기존 방법들 간 평균 파워 소모 비교
Table 2. Average power consumption comparison between the proposed and benchmark methods.
표 3. 제안한 방법과 기존 방법들 간 평균 계산 시간 비교
Table 3. Average computation time comparison between the proposed and benchmark methods.
기존 방법으로는 SPBD[7]과 규칙적 샘플링 방법[8] 방법 이 사용되었다.
첫 번째로 제안한 방법과 기존 방법들 간에 샘플 영 상들에 대한 인지 화질 비교를 진행하였다. 먼저 그림 3에서는 Full HD 샘플 영상에 대해 비교하였다. 기존 SPBD 방법 (그림 3 (a))의 경우 꽃잎의 세부 경계 영 역까지 잘 묘사하는 것을 확인할 수 있었다. 규칙적으 로 샘플링을 하는 경우 (그림 3(b) - 그림 3(d)) 역시 SPBD와 눈으로 차이를 느낄 수 없을 만큼 유사한 영 상을 출력할 수 있었다. 마지막으로 무작위 추출 영상
(그림 3(e) - 그림 3(f))에서도 세부 영역에서 거의 차이 가 없을 만큼 유사한 영상을 출력할 수 있었다. 다음으 로 그림 4에서는 Kodak 영상에 대한 결과를 비교하였 다. 해당 영상에서도 그림 3에서와 마찬가지로 모든 방 법들이 시각적으로 거의 차이가 발생하지 않는 것을 확 인할 수 있었다. 다음으로 표 1에서는 기본 방법과 제 안한 방법간의 평균 SSIM 측정을 통한 정량적인 화질 비교를 하였다. 기존 SPBD 방법 대비 규칙적인 샘플링 방법은 최대 0.7665% 차이가 발생하였다. 제안한 무작 위 화소 샘플링 방법 역시 최대 1.6313%로 거의 차이가
(a)
(b)
그림 5. 제안한 방법과 기존 방법 간의 계산 시간에 대한 그래프 비교 (왼쪽: 모든 방법 비교, 오른쪽: 샘플링 기법 들간 비교): (a) Kodak 영상, (b) Full HD 영상
Fig. 5. Graph comparison for computation time between the proposed and benchmark methods (left: comparison for all methods, right: comparison for the sampling techniques): (a) Kodak images, (b) Full HD images.
발생하지 않았다.
두 번째로 제안한 방법과 기존 방법들 간의 평균 파 워 소모를 계산하였다. 기존의 규칙적 샘플링 방법의 경우 샘플링 비율을 높일 수로 파워 저감이 커지는 것 을 확인할 수 있었다. 구체적으로 샘플링 비율이 1:4, 1:9, 1:16인 경우 각각 16.5567%, 24.6868%, 31.2278%까 지 줄일 수 있는 것을 확인할 수 있었다. 이에 반해 제 안한 방법의 경우 샘플링 화소수의 증감에 크게 민감하 지 않았으며, 최대 38.1766%를 저감하여 기존 방법보다 저전력 소모가 가능하였다.
세 번째로 제안한 방법과 기존 방법들 간의 평균 계 산량 비교를 수행하였다. 이는 앞서 언급한 바와 같이 전처리 부에서 필요로 하는 계산 시간을 측정하여 이를 비교하였다. 실험 결과 기존의 규칙적인 샘플링 방법은 샘플링 비율이 1:4, 1:9, 1:16인 경우 각각 91.8617%, 95.9736%, 96.7966%의 계산 시간을 줄일 수 있었다. 제 안한 방법의 경우 샘플링 화소 수에 비례하지 않았으 며, 최대 99.5828 %의 계산 시간을 줄임으로써 기존의 SPBD 방법에서 문제되었던 전처리 부의 높은 계산 시
간을 해결할 수 있었다. 그림 5에서는 영상의 특성이 서로 다른 Kodak 영상와 Full HD 영상에 대한 개별 프 레임에 대해 계산 시간 차이가 어떻게 발생하는지를 파 악할 수 있도록 그래프 비교를 수행하였다. 그림에서 확인 할 수 있듯이 기존 방법 대비 샘플링 방법들이 큰 폭으로 계산 시간을 감소시키는 것을 확인할 수 있었 다. 특히 제안한 방법의 경우 적은 샘플링 화소 수를 사 용하기 때문에 기존의 규칙적 샘플링과 비교했을 때에 도 계산 시간을 감소시킬 수 있었다.
Ⅳ. 결 론
본 논문에서는 SSIM을 이용하여 인지 화질을 고려 한 백라이트 디밍에서 계산량 저감을 위한 무작위 화소 샘플링 기법 제안하였다. 기존의 방법에서는 SSIM 계 산을 위해서 필요한 변수 계산을 위해 많은 시간을 소 모하기 때문에 이를 해결하기 위해서 전체 프레임이 아 닌 무작위 샘플링 화소를 이용하여 계산 시간을 큰 폭 으로 줄일 수 있었다. 실험 결과 제안한 방법은 기존 방
저 자 소 개 강 석 주(정회원)
2006년 서강대학교 전자공학과 학사 졸업
2011년 포항공과대학교 전자전기 공학 박사 졸업
2011년∼2012년 LG Display 회로 및 알고리즘 선임연구원 2012년∼현재 동아대학교 전기공학과 조교수
<주관심분야 : 동영상 부호화, 멀티미디어 신호 처리, 디스플레이 시스템 설계>
김 영 환(정회원)
1977년 경북대학교 전자공학과 공학사
1985년 Univ. of California, Berkeley 공학석사 1988년 Univ. of California,
Berkeley 공학박사 1988년∼현재 포항공과대학교 교수
<주관심분야 : 디스플레이 시스템 설계, 멀티미디 어 회로 설계, SoC 설계 방법론>
법 대비 평균 SSIM은 유지하면서도 평균 파워 소모는 38.1766 %를 줄일 수 있었고, 계산 시간은 99.5828 % 줄여 전처리 부분에서 문제를 크게 개선할 수 있었다.
REFERENCES
[1] S. W. Choi, Y. H. Kim, and S.-J. Kang,
“Histogram Matching-based Power Reduction Technique for OLED Display,” Journal of The Institute of Electronics Engineers of Korea, vol.
51, no. 1, pp. 137-144, 2014.
[2] Y. H. Kim, S. H. Kwon, S. K. Park, W. K. Kim, and J. I. Han, “Flexible Display Technology and Trend,” Journal of The Institute of Electronics Engineers of Korea, vol. 35, no. 8, pp. 84-91, 2008.
[3] N. Chang, I. Choi, and H. Shim, “DLS: dynamic backlight luminance scaling of liquid crystal display,” IEEE Trans. on Very Large Scale Integration Systems, vol.12 issue 8, pp. 837-846, Aug. 2004.
[4] C.-C. Lai and C.-C. Tsai, “Backlight power reduction and image contrast enhancement using adaptive dimming for global backlight applications,” IEEE Trans. Consumer Electronics, vol. 54, no. 2, pp. 669-674, May 2008.
[5] S.-J. Kang and Y. H. Kim, “Image Integrity-based gray-level error control for low power liquid crystal displays,” IEEE Trans. Consumer Electronics, vol. 55, no. 4, pp. 2401-2406, Nov.
2009.
[6] Z. Wang, A. C. Bovik, H. R. Sheikh, and E. P.
Simoncelli, “Image quality assessment: From error visibility to structural similarity,” IEEE Trans. Image Processing, Vol. 13, pp. 600-612, Apr. 2004.
[7] S.-J. Kang, “SSIM preservation-based backlight dimming,” Journal of Display Tech., vol.10, no.4, pp.247-250, April 2014.
[8] S.-J. Kang, “High Image Quality-based Backlight Dimming Using Low Computational Technique,” IEEK Summer conference, pp.
675-677, 2014.
[9] T. H. Li, L. Zhengguo, T. Y. Han, S. Rahardja, and Y. Chuohuo, “A perceptually relevant MSE-based image quality,” IEEE Trans. Image Processing, vol. 22, no. 11, pp. 4447-4459, Nov. 2013.
[10] Iranli, H. Fatemi, and M. Pedram, “HEBS:
Histogram equalization for backlight scaling,”
Proc. of the conference on Design, Automation and Test in Europe, pp.346-351, March 2005.
[11] Kodak Image Suite. http://r0k.us/graphics/kodak/.
[12] ISO12640-2. http://www.iso.org/.
[13] G. Marchionini and G. Geisler, “The open video digital library,” Digital Library Mag., vol. 8, no. 12, Dec. 2002.
