Low-Power Backlight Control and Its Acceleration Based on Image Resizing for Mobile LCD Displays

논문 2015-52-7-12

모바일 LCD 디스플레이의 저전력 Backlight 제어 및 영상 크기 조절을 이용한 가속화 기법

( Low-Power Backlight Control and Its Acceleration Based on Image Resizing for Mobile LCD Displays )

이 규 호^*, 배 진 곤^*, 김 재 우^*, 김 종 옥^***

( Kyu-Ho Lee, Jin-Gon Bae, Jae-Woo Kim, and Jong-Ok Kim

)

요 약

본 논문은 모바일 LCD 디스플레이를 위한 저전력 화질 개선의 가속화 기법을 제안한다. 제안 기법에서는 고해상도 영상을 분석 및 보정 시에 영상의 공간 해상도를 변환하고, 변환된 저해상도에서 영상의 특성을 분석하고 개선함으로써 필요한 연산 량을 감소시킨다. 변환된 저해상도에서 영상에 적응적인 최적의 dimming rate을 찾아 적용함으로써 소비전력을 절감한다. 실 제 안드로이드 디바이스 상에서 동작하는 어플리케이션 형태로 절전 및 화질 개선 가속화 알고리즘을 구현하였다. 디바이스상 의 화질 평가 및 알고리즘 수행속도 측정을 통해 제안하는 기법이 영상의 화질저하를 최소화하는 동시에 연산량을 95% 이상 감소시킴을 확인하였다.

Abstract

In this paper, we propose a fast algorithm for low-power image enhancement method for mobile LCD. In the proposed fast algorithm, the spatial resolution of the input image is significantly reduced, and the image characteristics are analyzed on the reduced resolution image to find a dimming rate adaptive to the image content, thereby saving power. The proposed fast adaptive dimming and image enhancement algorithm is implemented as an application that runs on an Android device. Image quality evaluation and running time analysis experiments on the device indicate that the proposed fast algorithm jointly minimizes the quality degradation and power consumption, reducing the required computation load by over 95%.

Keywords: LCD backlight, power reduction, adaptive dimming, fast algorithm, image resizing

* 학생회원, ^** 정회원, 고려대학교 전기전자공학과 (School of Electrical Engineering, Korea University)

ⓒ Corresponding Author(E-mail: [email protected])

※ 본 연구는 삼성전자 GTC(Global Technology Center)의 지원을 받아 수행되었음.

※ 본 연구는 미래창조과학부 및 정보통신기술진흥센 터의 대학ICT연구센터육성 지원사업의 연구결과로 수행되었음. (IITP-2015-H8501-15-1017)

Received ; May 6, 2015 Revised ; June 16, 2015 Accepted ; July 3, 2015

Ⅰ. 서 론

최근 휴대용 디바이스가 보편화 된 이후, 휴대용 디 바이스의 소비 전력을 감소시키고자 하는 노력이 학계 와 산업계 모두에서 지속되어 왔다. 휴대용 디바이스의 특성상 소비전력 절감은 가장 필요한 핵심기술 중 하나 이다. 사용자들은 한 번의 충전으로 보다 많은 작업을 할 수 있기를 원한다. 특히 휴대용 태블릿이나 배터리

그림 1. LED backlight LCD의 구조

Fig. 1. A simplified structure of LED backlit LCD.

를 교체 할 수 없는 일체형 휴대용 디바이스의 경우 배 터리가 모두 소모되면 사용을 하지 못하거나 보조 배터 리와 같은 외부 전력으로 충전을 해야 하는 불편함이 있다.

최근 TFT-LCD (Thin Film Transistor Liquid Crystal Display)를 디스플레이로 사용하고 있는 휴대 용 디바이스들은 대부분 LED (Light Emitted Diode) backlight를 사용하고 있다. 그림 1은 간략한 LED backlight LCD의 구조를 나타낸다. 그림에서 LED backlight는 모든 화소에 대해 동일한 양의 빛을 전달한 다. 한편, 각 화소에서의 액정의 투과율은 표시하고자 하는 영상의 해당 위치의 화소 값에 따라 결정된다. 결 과적으로, 각 화소의 밝기는 backlight의 세기와 각 화 소 위치별 액정의 투과율의 곱으로 나타난다.

    ∙ 

(1)

위 식은 LCD의 밝기를 LED backlight 밝기(b)와 투 과율 t의 함수로 나타낸 모델이다. 이 때, backlight 밝 기 b는 각 위치 x에서 표시 하고자 하는 화소의 밝기와 상관없는 상수이다. 이와 같이 어두운 화소에서도 동일 한 backlight를 사용하므로 소수의 밝은 화소를 표시하 기 위해서는, 나머지 대다수의 어두운 화소들에서 많은 backlight 광량이 낭비된다. 즉, 표시해야 하는 화소값 보다 매우 큰 backlight를 켜게 된다. 그림 2는 휴대용 디바이스의 전력소비 비율을 나타낸다. 휴대용 디바이 스의 전력소비 중 디스플레이가 30%로 RF Link 다음 으로 전력을 많이 소비한다^[1∼2].

전력소모를 감소시키는 보편적이며 효과적인 방법은 LED backlight의 세기를 줄이는(backlight dimming) 것이다. 기존 휴대용 디바이스의 경우 잔여 배터리가 정해진 수준 이하로 내려가면, 디스플레이의 backlight 의 밝기를 조절하여 배터리 소모를 줄이도록 하고 있 다. 선행 연구로 DR(dimming rate)를 영상 히스토그램

그림 2. 휴대용 기기 전력소모 비율^[2]

Fig. 2. Mobile device power consumption breakdown.

의 특정 지점으로 설정하여 RGB를 보상하는 연구 방법 과 히스토그램 평활화를 통한 밝기 보상이 있다^[3-4]. 이 러한 영상의 히스토그램을 이용하는 방법에서 어두운 부분과 밝은 부분을 같은 값으로 정의하여 나머지 부분 의 대조비를 증가하는 방식과, 밝기의 평균과 최대값으 로 DR을 계산하고 보상 함수를 중간지점에서 기울기를 높여 광포화 현상을 방지하는 방법으로 발전되었다^[5∼6]. 단순하게 디스플레이의 backlight만을 조절할 경우 대조비가 현저히 떨어지는 문제가 발생하여 시인성 및 가독성이 떨어지며, 이로 인해 사용자 경험에 악영향을 끼친다. 이러한 대조비 저하의 문제를 해결하기 위하여 현재 디스플레이의 영상 정보를 바탕으로 backlight의 dimming 수준을 정하고, 화소 값을 보상하는 연구가 활발히 진행되어 왔다. 영상의 화소 분포에 따라 동일 한 backlight dimming에서도 체감 화질 저하가 다르기 에 영상에 적응적인 절전 연구가 있었으며, backlight를 dimming한 이후 화소 값 보상 과정에서의 광포화 (Light Saturation) 현상으로 인해 영상의 화질이 크게 저하되기 때문에 화질 개선을 위한 보상 곡선을 세분화 하여 광포화 현상을 크게 줄이는 보상 기법이 연구되어 왔다^[7].

휴대용 디바이스의 전력 소비를 감소시키기 위하여 제안된 여러 기법들이 영상을 분석하고 보상하는 기법 을 실험할 시 해상도가 낮은 LCD를 이용하고 있기 때 문에 실생활에서 현재 사용되고 있는 디바이스들의 해 상도와는 차이가 있다. 실험용으로 사용되고 있는 LCD

의 해상도에서는 연산속도나 연산의 복잡성을 크게 고 려하지 않아도 되었지만, 휴대용 LCD디스플레이의 해 상도가 점점 증가함에 따라 연산량의 증가로 실시간 적 용을 위한 연산속도의 가속화가 필요하다.

Ⅱ. 본 론

1. Backlight Dimming Level 최적화 모델 본 논문에서는 화질 저하를 최소화하면서 효과적으 로 전력소비를 감소시킬 수 있는 Backlight dimming level을 찾기 위하여 아래와 같은 모델을 이용하였다.

     

  

(2)

    

(3)

그림 3. backlight 세기별 측정 전력 모델 및 선형 모델

Fig. 3. Measured and linear fit model of power consumption vs. backlight intensity.

  ×

















 (4)

수식 (4)에서 H, W는 영상의 height와 width이고, I(i,j)와 Idim(i, j)은 원본영상과 backlight level 조절로 dimming된 영상을 나타낸다.

LED Backlight의 밝기를 낮춤으로써 발생하는 대조 비 저하를 ContrastLoss항으로 나타내었다. Backlight level의 변화로 발생하는 휘도 저하 영역의 화소값과 주 변 화소값의 차를 이용하여 추정하며 아래와 같다^[8].

 



(5)

LED Backlight의 밝기를 낮추어 LCD의 투과하는 빛 을 줄이게 되면, LCD가 표현하는 최대 밝기가 제한되 므로 [0,255]의 각 화소의 값들에 대응되는 실제 밝기간 의 폭이 좁아지게 되고, 따라서 대조비가 감소하게 된 다. 또한 LED backlight의 밝기가 global하게 감소하면 기존 밝기 대비 화소의 밝기가 낮아져 화질 저하가 발 생하게 된다. 이러한 화질 저하를 적응적인 영상 분석 을 통해 최소화 할 수 있는 DR 검색 및 보상 기법이 필요하다.

위의 세 항에서 측정된 값을 하나의 목적함수로 수식 화하고, 이 목적함수에 대해 콘벡스 최적화를 하여 b의 값을 찾는다. 최적화 된 b의 값을 찾음으로써 소비 전 력을 감소시킴과 동시에 화질, 특히 밝기 및 대조비 저 하를 동시에 최소화 할 수 있다.

Power항은 선형모델로 backlight의 밝기에 따라 기 울기가 양의 상수 값을 갖게 된다. Contrastloss항과 brightloss항은 backlight의 밝기가 높을 때는 영상의 왜곡이 없으므로 0에 가까운 음의 기울기를 갖게 되고, backlight의 밝기가 낮아질수록 영상의 왜곡이 발생하 여 기울기가 단조 증가하게 된다. Backlight 밝기에 따 라 양의 상수 값 기울기를 갖는 power항과 음의 기울 기를 갖는 contrastloss 항, brightloss 항으로 구성된 목 적 함수는 영상에 따라 특정 밝기에서 최소값을 갖게

된다. 목적 함수의 값이 최소가 되는 지점을 찾을 때 까 지 backlight의 밝기를 낮추어 영상에 적응적인 DR을 찾을 수 있다.

2. 영상 크기조절을 이용한 가속화 기법

본론 1장의 저전력 화질개선 기법을 실제 디바이스 에서 구동하기 위해서는 연산량을 감소시키는 고속화 알고리즘이 필요하다. 해상도가 2560 x 1600인 고해상 도 영상의 경우 한 장당 400만 이상의 화소를 갖는다.

기존의 기법들은 저해상도 영상과 LCD를 이용하여 실 험을 하였기 때문에 실제 디바이스에 적용하기 위한 고 속화는 이루어 지지 않았다. 고해상도 영상을 화소마다 분석하거나 보정하면 많은 연산량으로 한 장의 영상을 보여주려면 10초 이상의 시간이 소요된다.

본 연구에서는 영상의 크기를 조절하여 가속화 하는 기법을 제안한다. 해상도가 2560 x 1600인 고해상도 영 상을 256 x 160의 해상도로 변환하고, 식 (2)를 이용하 여 최적의 DR를 찾는다. 영상을 분석하고 보상하기 위 한 기법이 각 영상 크기별로 다르지 않아야 한다. 기존 영상의 크기를 10%로 감소시키면 영상이 갖는 화소는 기존 영상 대비 1%까지 감소한다. 영상을 각 화소마다 분석하고 보정하기 때문에 영상의 크기 감소로 연산량 도 크게 감소한다. 원본 영상의 크기가 클수록 영상 크 기 조절로 인한 연산량의 감소폭이 크고, 실제 기법 적 용 시간도 크게 감소한다. 그림 4는 Kodak 실험 영상의 배율별 평균 DR검색 시간을 나타낸다. 배율이 줄어들 수록 DR검색 시간이 원본 영상 대비 10%이하로 크게 줄어들었다.

그림 5는 본 연구의 전체 과정을 나타낸다. 고해상도

그림 4. Kodak 영상의 배율별 평균 DR 검색 소요시간 Fig. 4. Average DR search time on Kodak images vs.

spatial resizing factor.

그림 5. 영상크기 조절을 이용한 가속화 기법 Fig. 5. Accelerated implementation based on image

resizing.

원본 영상을 축소하여 최적의 DR를 검색하고, 이를 적 용하여 고해상도 보정 영상을 보상한다. 영상 축소를 이용하여 DR의 검색시간을 크게 줄일 수 있다.

영상의 크기를 감소시켜 연산량을 감소시키는 경우 기존 영상과 변환된 저해상도 영상간의 영상정보 차이 로 인한 최적 DR의 차이가 없어야 한다. 영상의 특성 을 고려하여 최적의 DR를 찾기 때문에 크기 조절로 인한 영상의 특성은 변함이 없어야 한다. 본 연구에서 는 변환된 저해상도 영상과 원영상의 최적 DR의 차이 와 저전력 기법 적용을 통한 영상의 특성변화를 최소 화하였다.

Ⅲ. 실 험

본 논문에서는 제안한 기법을 평가하기 위해 24장의 영상 배율별 DR (Dimming Rate)와 검색시간을 측정

그림 6. Exynos5250과 10.1 인치 LCD 탑재 보드 Fig. 6. Test Android device featuring 10.1’ LCD and

Exynos5250.

그림 7. 실험에 사용한 Kodak 테스트 영상

Fig. 7. Kodak test images used in the experiments.

하였다. 사용 디바이스로는 그림 6의 Exynos5250과 10.1인치 LCD를 탑재한 실험 보드를 사용하였다. 실험 에 사용한 영상은 디바이스가 지원하는 최대 해상도인 2560 x 1600의 Kodak 테스트 영상을 사용하였다.

그림 8은 실험 디바이스에서 그림 7의 Kodak 테스 트 영상들을 이용한 영상 배율별 DR 검색 시간을 나 타낸다. 영상의 특성에 따라 DR 검색시간의 차이가

그림 8. Kodak 테스트영상을 이용한 배율별 DR검색 시 간

Fig. 8. DR search time for Kodak test images vs.

resizing factor.

그림 9. 5개 영상 배율별 DR 비교

Fig. 9. Comparison of output DR values vs. resizing factor.

크게 나타난다. 영상의 원본 배율을 이용하여 DR을 검 색했을 때 19번 영상이 가장 긴 29초가 소요되었고, 7 번 영상이 8.9초로 가장 적게 소요되었다. 영상의 배율 을 절반으로 낮추었을 때 동일한 영상의 DR 검색시간 이 7초와 3.7초로 크게 낮아졌다. DR 검색시간의 편차 가 원본 배율일 때 20.2초, x0.1 배율일 때 0.21초로 크 게 줄어들었다.

그림 9는 배율별 영상의 DR값을 나타낸다. 19번 영 상을 제외한 대부분의 영상들은 배율이 낮아져도 원 영 상에서와 동일한 최적의 DR값이 결정됨을 알 수 있다.

19번 영상은 배율 x0.2와 x0.25에서 원영상보다 1% 낮 은 DR값을 갖는다. 전체 영상의 배율별 DR 평균값을 표 1에서 확인 할 수 있다. 원 영상의 평균 DR값이 배 율이 작아짐에 따라 변화하지 않고 유지 되는 것을 알 수 있다. 배율 x0.2와 배율 x0.25에서 1%미만으로 원 영상보다 작은 DR 평균값을 가진다. 전체 영상의 평균

영상 크기별 DR 평균값

x0.1 0.6925

x0.2 0.692083

x0.25 0.692083

x0.5 0.6925

x1 0.6925

표 1. 영상 크기별 DR 평균값

Table 1. Average DR for different resizing factors.

그림 10. 배율별 DR 검색 소요시간 감소량 Fig. 10. DR search time reduction ratio vs. resizing

factor.

배율 DR 검색시간

평균 감소량(%)

x0.1 96.5

x0.2 90.7

x0.25 87.9

x0.5 67.7

x1 0

표 2. 영상 배율별 DR 검색 시간 평균 감소량 Table 2. Average DR search time reduction for different

resizing factors.

배율별 DR 평균오차는 0.000417 이하로 원영상과 배율 을 낮추어 실험한 영상의 DR 값은 차이가 거의 없다.

그림 10은 테스트 영상들의 배율별 DR 검색시간 감 소량을 나타내고, 표 2는 영상 배율별 평균 DR 검색시 간 감소량을 나타낸다. 원본 영상을 이용하여 DR을 검 색하는 것을 기준으로 배율을 절반으로 낮추었을 때 평 균 67.8%의 DR 검색 시간 감소가 측정되었고, 배율을 10%로 낮추었을 때 평균 96.5%의 DR검색 시간 감소가 측정되었다.

(a)

(b) 그림 11. 기법 적용 결과 영상 비교

(a) 원본 영상 (b) 기법 적용 영상

Fig. 11. Comparison of original and proposed algorithm result images (a) Original (b) Proposed.

그림 11은 원 영상과 본 연구의 기법이 적용된 영상 의 결과를 나타낸다. (a)는 기법이 적용 되지 않은 원 영상이며, (b)는 기법이 적용 된 보정 영상이다.

Ⅳ. 결 론

본 논문에서는 LCD 디스플레이를 위한 저전력 기법 과 영상 크기 조절을 이용한 가속화를 제안하였다. 제 안하는 저전력 기법에서는 화질 저하를 최소화하면서 효과적으로 전력소모를 감소시키는 DR를 찾음으로써 휴대용 디바이스의 전력소모를 최소화 할 수 있도록 하 였다.

제안하는 저전력 기법의 높은 연산량을 감소시키기 위해 영상의 크기조절을 이용한 가속화 기법을 제안하 였다. 실험 디바이스를 이용하여 가속화 기법을 적용하 지 않은 저전력 기법과 가속화 기법을 적용한 저전력

저 자 소 개 이 규 호(학생회원)

2014년 한국외국어대학교 전자공 학과 학사 졸업.

2014년 3월∼현재 고려대학교 전기전자공학과 신호 및 멀티미디어 전공 석박사 통합과정.

<주관심분야 : 영상신호처리>

김 재 우(학생회원)

2012년 고려대학교 전기전자전파 공학부 학사 졸업.

2012년 9월∼현재 고려대학교 전기전자전파공학과 신호 및 멀티미디어 전공 석박 사 통합과정.

<주관심분야 : 영상신호처리>

배 진 곤(학생회원)

2014년 고려대학교 전기전자전파 공학부 학사 졸업.

2014년 3월∼현재 고려대학교 전기전자공학과 신호 및 멀티미디어 전공

석사 과정.

<주관심분야 : 영상신호처리>

김 종 옥(정회원)-교신저자 1994년 고려대학교 전자공학과

학사 졸업.

2000년 고려대학교 전자공학과 석사 졸업

2006년 오사카대학교 정보네트 워크학과 박사 졸업.

<주관심분야 : 영상신호처리, 컴퓨터비전>

기법과의 비교를 통하여 가속화 기법을 검증하였고, 가 속화 기법을 적용함으로써 발생하는 DR의 오차가 현저 히 적고 원본영상과 기법적용 영상의 화질차이가 적음 을 확인하였다.

REFERENCES

[1] C. T. Liu, “Revolution of the TFT LCD technology,” Journal of Display Technology, vol.

3, no. 4, pp. 342-350, Dec. 2007.

[2] P.-S. Tsai, C.-K. Liang, T.-H. Huang, and H.

H.Chen, “Image enhancement for backlight -scaled TFT-LCD displays,”

IEEE Trans.

Circuits and Syst. Video Technology, vol. 19, no.

4, pp. 574-583, Apr. 2009.

[3] C.-C. Lai and C.-C. Tsai, “Backlight power reduction and image contrast enhancement using adaptive dimming for global backlight

applications,” IEEE Trans. Consum. Electron, vol. 54, no. 2, pp. 669-674, May 2008.

[4] A. Iranli, H. Fatemi, and M. Pedram. “HEBS:

Histogram equalization for backlight scaling.”

Proceedings of the conference on Design, Automation and Test in Europe, pp. 346-351,

[5] W. C. Cheng, Y. Hou, and M. Pedram. “Power

minimization in a backlit TFT-LCD display by concurrent brightness and contrast scaling.”

Proceedings of the conference on Design, automation and test in Europe, vol. 1, pp. 10252,

[6] H. Cho and O. K. Kwon. “A backlight dimming algorithm for low power and high image quality LCD applications.”

IEEE Trans. Consum.

Electron, vol. 55, no. 2, pp.839-844, 2009.

[7] Y. K. Lai, Y. F. Lai, and P. Y. Chen.

“Content-based LCD backlight power reduction with image contrast enhancement using histogram analysis.”

Journal of Display Technology, vol. 7, no. 10, pp. 550-555, 2011.

[8] A. Rizzi, T. Algeri, G. Medeghini, and D. Marini.

“A proposal for contrast measure in digital images” Proceedings of

the conference on Colour in Graphics, Imaging, and Vision, vol.

2004, no. 1, pp. 187-192, 2004.

[9] 이규호, 배진곤, 김재우, 김형근, 김종옥, “LCD 디스 플레이를 위한 저전력 가속화 기법”, Proceedings of

a workshop on Image Processing and Image Understanding (IPIU), Feb. 2015.

[10] 배진곤, 김재우, 이규호, 김형근, 김종옥, “LCD 백라 이트 제어 알고리즘에서의 군집도 적용에 관한 연 구”, Proceedings of a workshop on Image

Processing and Image Understanding (IPIU),