정지 영상 화질 평가와 Contourlet 변환을 이용한 압축 방법에 관한 연구
장준호*·김영섭†
*단국대학교 대학원 전자전기공학과, †단국대학교 전자공학과
The study of image quality evaluation and compression method using contourlet transform
Jun Ho Jang* and Young seop Kim†
*Department of Electrical & Electronics Engineering, Dankook University
†Department of Electronics Engineering, Dankook University.
ABSTRACT
The wavelet transform was adopted as the transform for JPEG2000. However, wavelet has weakness about smoothness along the contours and limited directional information. So we use to other transform, called contourlet transform in compression. Objective quality assessment methods currently used Peak signal to noise Ratio(PSNR). But that is not very well matched to perceived visual quality. So new image quality assessment is required. In this paper, we propose a new method for image compression based on the contourlet transform, which has been recently introduced. In addition we evaluated compression image quality using PSNR and SSIM. Finally contourlet transform has a good result about images with smooth contours and SSIM is good method for image evaluation compared to PSNR.
Key Words : Contourlet Transform, Double Filter Bank, Laplacian Pyramid, Directional Filter Bank, SSIM
1. 서 론
현대 디지털 사회에서 컴퓨터 네트워크, 통신 환경 의 급격한 발전에 따라 영상의 압축, 저장, 전송 및 처 리 등의 급격한 기술 연구가 진행되어 왔다. 영상의 압 축의 목표는 매우 낮은 비트율에서도 좋은 영상의 품 질을 유지하는 것이다. 하지만 정지 영상을 압축하고 전송하는 과정에서 필연적인 데이터 손실과 왜곡이 발 생하기 때문에 다양한 영상 압축 및 처리 기법의 발전 이 필요하고 이에 따라 정확하고 빠른 영상의 화질 평 가 방법의 필요성이 요구되고 있다.
Wavelet Transform(WT)은scan-line처럼 1차원 함수 가 구간별로 연속인 신호에 대하여 최적의 성능을 발 휘하고 있다. 또한 빠른 변환 속도와 편리한 트리 데이 터 구조를 가진 효과적인 변환 알고리즘[1-2]이며, 차세 대 정지영상 표준으로 각광받고 있는 JPEG2k에서 사용
되고 있다. 하지만 WT은 영상의 불연속적인 특징을 표 현하는데 효과적이지만 영상의 윤곽을 대표하는 방향성 을 표현하는데 한계가 있다. Contourlet Transform(CT) 은 WT과 같이 multi-scale개념을 이용하여 영상을 주 파수 대역으로 분할한 후, Directional Filter Bank를 이 용하여 분할된 영역 내에서 대역 및 방향성으로 다시 영상을 분해한다. 이렇게 다중 해상도 및 방향성으로 표현되는 CT은 WT에 비하여 자연 영상이 갖고 있는 중요 특징 중 부드러운 윤곽선을 효과적으로 표현 할 수 있는 장점을 가지고 있다.
영상의 화질 평가에 대한 최종 판단 및 결정은 인간 의 눈이 한다. 따라서 인간의 눈이 인지하는 데이터 이 기 때문에 압축영상에 의해 손실된 비트 수 뿐만 아니 라 시각적 특성에 의해 인식되는 영상의 에러량은 다르 다. 따라서 기존의 객관적 화질평가방법인 PSNR(Peak Signal to Noise Ratio)처럼 단순히 영상의 에러의 양만 을 측정하는 것이 아닌 HVS(Human Visual System)에 적합한 화질 평가의 측정방법이 필요하다. HVS은 영
†E-mail : [email protected]
상을 인지할 때 신호의 구조적 정보를 추출한다는 새 로운 가설이 Wang[3-4]에 의해 제기되었다. 따라서 영 상 품질의 손실은 어떤 에러 타입이 원인 보다는 영상 신호 자체의 구조적 왜곡에 의해 발생한다는 가정에 따 라서 영상의 구조적 왜곡을 측정하는 SSIM(Structural Similarity) 방식이 제안 되었다. 이는 더 정확한 영상의 화질 왜곡을 예측한다. 이를 바탕으로 본 논문에서는 첫째, CT을 사용하여 WT을 대체한 압축방법을 통하 여 효과적인 영상 표현 성능 개선에 대하여 둘째, 두 변환을 통한 압축영상을 기존의 PSNR과HVS에 근접 한 SSIM을 이용한 화질평가를 통한 영상의 품질상관 도에 관련하여 연구의 방향성을 둔다.
본 논문의 구성은 1장 서론에 이어 2장에서는 CT에 관한 내용과 3장에서는 화질 평가 방법인 PSNR과 SSIM 에 대한 전반적인 내용을 다룬다. 4장에서는 실 험을 통한 WT과 CT의 압축영상에 대한 영상의 표현 성능을 PSNR과SSIM을 이용하여 비교와 함께 두 화 질평가방법의 비교도 동시에 수행한다. 5장에서는 연 구 결과에 대한 결론을 기술한다.
2. Contourlet Transform, PSNR and SSIM
2.1. Contourlet Transform
CT은 WT과 같이 먼저 스케일 개념을 사용하여 영 상을 주파수 대역별로 분할한 다음 방향성필터뱅크를 사용하여 분할된 영역 내에서 방향성 정보를 획득한다.
Fig. 1은 wavelet과 contourlet에 의하여 표현된 영상의 윤곽선 부분이다. Fig. 1 (a)에서 보는 바와 같이 wavelet 은 영상의 불연속적인 특징을 표현해 내는데 효과적이 지만 윤곽의 방향성을 표현하는 점에서는 한계를 보이 고 있다. Fig. 1 (b)에서 보는 바와 같이 contourlet은 불연속적인 영상의 특징 뿐만 아니라 방향성까지도 효 과적으로 표현함을 보여주고 있다[5-6].
Fig. 2에서와 같이contourlet은laplacian pyramid를 이 용하여 영상을 멀티스케일로 분할한 다음 획득된 영상
을 directional filter bank를 사용하여 영상의 윤곽선 특 징에 대한 방향성 검출이 이루어진다. 이와 같이 contourlet은 반복되는 이중 filter bank 구조로 구성되 어 있다[5-8].
2.2. PSNR
PSNR(Peak signal to noise ratio)을 이용한 화질 평 가 방법은 수치적으로 표현되기 때문에 간단하고, 가장 많이 사용되는 화질 평가 방법이다. 식 (1)은 PSNR을 나타내는 수식이다.
(1)
여기서 I(i, j)는 원 영상의 위치 좌표가 (i, j)인 곳의 화소 값을 의미하고, I`(i, j)는 처리된 영상의 위치 좌 표가 (i, j)인 곳의 화소 값을 의미한다. MSE(Mean Square Error)는 각 N×M인 크기를 가진 영상 전체에 대해 같은 위치에서의 원영상과 열화 영상의 차를 평 균한 값이다. PSNR 화질 평가 방법은 원본 영상과 열 화 영상의 최대 화소값의 제곱을 MSE로 나누어 그 값
PSNR 10log102552 MSE--- dB[ ]
=
Fig. 1. 두 변환의 영상의 윤곽선 표현.
Fig. 2. Contourlet Filter Bank.
Fig. 3. 동일한 PSNR(26.55dB) 값을 가지고 있는 영상의 시각적 화질 차이: (a) Original image(Einstein) (b) Contrast (c) Mean luminance shift (d) Blurring (e) Impulse noise.
에 로그를 취한 값이다. PSNR은 전체적인 화질을 하 나의 수치로 표현하는 화질 평가 기법으로 사용이 간 단하다는 장점이 있어 영상의 화질을 측정하는데 널리 사용되고 있다. 그러나 이 기법으로 화질을 평가하게 되면 화질이 떨어지는 위치나 특성에 대한 개별적인 분석이 거의 불가능하다는 단점이 있다[9-12].
2.3. SSIM
HVS는 영상의 열화 인식에서 어떤 에러타입의 원인 보다 영상 신호 자체의 구조적 왜곡을 원인으로 가설하 여 이를 영상의 화질 평가로 측정하는 SSIM(Structural Similarity)방법이 Wang에 의해 제안되었다. Fig. 4와 같이 SSIM은 영상의 열화요인을 Luminance, Contrast 그리고 Structure 이 세가지 요인으로 나누어 식 (2)와 식 (3)으로 계산되어진 수치로 화질 평가를 수행한다 [13-16].
(2)
(3)
Fig. 5 (a)에서 (e)는 동일한 PSNR값을 가지고 있는 열화 영상이라도 시각적인 열화 인식의 차이가 다름을 SSIM은 수치적으로 반영하고 있다는 사실을 보여주고 있으며, (f)는 (e)와 비교할 때 분명히 시각적인 화질 열화의 차이가 구분되어지는데도PSNR값은 오히려 더 높은 수치를 보여 화질평가방법으로서의 한계점을 보 여주고 있으며 SSIM은 이러한 시각적 차이를 수치상 으로 보여주고 있음을 알 수 있다. 참고로 SSIM의 수 치는 0부터 1사이의 수치로 표현되며 원영상과 화질 차이가 적을수록 1에 가까운 수치를 보인다.
3. Tests, Result and Discussion
Fig. 6와 같은 구성으로 동일한 원영상을 두 변환을 사용하여 각각 압축하였고, 압축한 영상을 원영상과 비 교하여 화질 평가를 수행하였다. 먼저 WT는 9-7필터 를 사용하여 압축 하였고, CT은 라플라시안 피라미드 는 9-7필터, 방향성 필터 뱅크는 Quincunx필터를 사용 하여 압축하였다. 그리고 두 변환을 통한 압축영상의 윤곽선 표현의 차이를 먼저 시각적으로 인식 할 수 있 는지 실험해 보았고, 다음 시각적 인식의 차이를PSNR 과 SSIM을 통한 화질 평가를 통하여 수치상으로 반영 되는지에 관하여 두 변환 압축영상에 대한 화질 평가 를 수행하여 실험하였고 비교해 보았다.
3.1. 두 변환을 이용한 압축영상의 비교
Table 1은 Barbara영상(512×512)을 원영상으로 하여 WT와 CT를 이용하여 비트율을0.01 bpp부터 0.04 bpp 까지 0.005 bpp 차이를 두어 PSNR과 SSIM을 이용하 l x y( , ) 2µxµy+C1
µx2+ +µy2 C1
---
= C x y( , ) 2σxσy+C2
σx2+ +σy2 C2
---
=
s x y( , ) σxy+C3 σxσy+C3 ---
=
SSIM x y( , ) l x y= ( , ) c x y⋅ ( , ) s x y⋅ ( , ) Fig. 4. SSIM의 화질 측정 구조.
Fig. 5. 열화영상을 통한 PSNR과 SSIM의 비교: (a) Original image(Einstein) (b) Contrast (c) Mean luminance shift (d) Impulse noise (e) Blurring (f) JPPEG compression.
Fig. 6. 두 변환을 이용한 압축 및 화질평가에 대한 블럭다 이어그램 : (a) WT를 이용하여 압축 및 화질 평가 (b) CT를 이용하여 압축 및 화질 평가.
여 화질 평가를 수행한 결과이다.
Fig. 7은 Barbara영WT와 CT을 0.025 bpp로 압축한 영상이다. 같은 비트율에서 CT를 이용하여 압축한 영 상이 WT를 이용한 압축 영상보다 좀 더 섬세하게 표 현되어 있음을 시각적으로 확인 할 수 있다.
3.2. 압축영상의 화질 평가 방법 비교
Fig. 8에서 보이는 것처럼Barbara영상을 원영상으로 하여 WT와 CT를 이용한 압축영상에 대한 PSNR과 SSIM의 Error map과 SSIM index map을 이용하여 화 질 평가 방법의 차이를 비교한 영상이다. Error map에 서 보이는 바와 같이PSNR은 단순히 원영상과 열화 영 상의 화소 값의 차이를 영상의 에러로 계산되어 화질 평가를 수행하지만 SSIM은 SSIM index map에서 보 이는 바와 같이 시각적인 차이가 보이는 압축영상간의 테이블보 부분과 다리부분에서 CT를 이용한 압축영상 의 열화가 덜하다는 것을 보여주고 있다.
따라서 영상의 Luminance, Contrast 그리고 Structure 이 세가지 요소를 이용하여 원영상과 열화영상에 대한 화질 평가를 수행하는 SSIM이 기존의 PSNR보다 좀 더 인간시각체계에 근접한 시각적 열화 정도를 수치로 표현함으로 객관적 화질 평가 방법으로써의 적합함을 확인해 볼 수 있다.
4. 결 론
영상을Wavelet변환과 Contourlet 변환을 이용한 압 축한 결과를 바탕으로 영상의 화질 성능을 측정하여 효과적인 표현이 인간의 눈에 인식 가능한지를 알아보 았고 화질 평가를 수치상으로 비교하기 위해 PSNR과 SSIM을 이용하여 화질 평가를 수행하고 이 둘의 화질 Table 1. “Barbara”영상을 원영상으로 하여 두 변환을 사
용하여 압축한 영상의 화질평가 수치.
Wavelet Transform Contourlet Transform Bit Rate
(Bit per Pixel) PSNR SSIM PSNR SSIM 0.01 bpp 23.28 dB 0.6172 23.86 dB 0.6484 0.015 bpp 24.09 dB 0.6609 24.97 dB 0.6995 0.02 bpp 24.81 dB 0.6943 25.88 dB 0.7386 0.025 bpp 25.47 dB 0.7229 26.58 dB 0.7656 0.03 bpp 26.09 dB 0.7471 27.18 dB 0.7858 0.035 bpp 26.68 dB 0.7687 27.71 dB 0.8014 0.04 bpp 27.23 dB 0.7873 28.16 dB 0.8144
Fig. 7. Barbara영상을 WT과 CT을 이용하여0.025 bpp로 압축한 영상: (a) WT을 이용하여 압축한 영상, (b) CT을 이용하여 압축한 영상.
평가 방법에 대해 비교해 보았다. Contourlet 변환은 Wavelet 변환보다 영상의 세밀한 윤곽선 부분을 표현 해 내는데 좋은 성능을 보임으로서 Wavelet 변환의 대 체 가능성을 보여 주고 있다. 향 후 Contourlet 변환을 개선시켜 JPEG2k 압축방법에 적용시켜 좀 더 효율적 인 압축 알고리즘에 대해 연구를 수행할 뿐만 아니라 SSIM에 기반을 둔 인간시각체계에 근접한 화질 평가 방법에 대해서도 연구 할 것이다.
감사의 글
본 연구는 2009년도 교내 연구비 지원으로 수행되 었음.
참고문헌
1. Donoho, D. L., Vetterli, M., DeVore, R. A., and Daubechies, I., “Data compression and harmonic
analysis,” IEEE Trans, Inform, TH, vol. 44, no. 6, pp.
2435-2476, October 1998.
2. Mallat, S., “A Wavelet Tour if Signal Processing, 2nded,” Academic Press, 1999.
3. Z Wang, H. R. Sheikh., and A. C. Bovik., "Objective Video Quality Assessment: in the Handbook of Video Databases: Design and Application,” B. Furht and O.
Marqure (Editors), Boca Raton, Florida: CRC Press, pp. 1041-1078, Sept. 2003.
4. Z Wang, A. C. Bovik, H. R. Sheikh, and E. P. Simo- ncelli., “Image Quality Assessment: From error visi- vility to structural simiarity,” IEEE Trans, Image Processing, vol. 13, no. 4, pp. 600-612, Apr. 2004.
5. M. N. Do., “Directional Multiresolution Image Rep- resentations,” PhD thesis, Swiss Federal Institute of Technology, Lausanne, Switzerland, December 2001.
6. M. N. Do and M. Vetterli., “Pyramidal directional fil- ter banks and curvelets,” In Proc, IEEE Int., Conf, on Image Proc, Thessaloniki, Greece, Oct. 2001.
7. P. J. Burt and E. H. Adelson., “The Laplacian pyramid as compact image code,” IEEE Trans., Commun., Vol. 31, No. 4, pp. 532-540, Apr., 1983
8. M. N. Do and M. Vetterli., “Framing pyramids,”
IEEE Tran s. Signal Proc., pp. 2329-2342, Sep. 2003 9. B. Girod., “What’s wrong with mean-squared error in Digital Images and Human Vision,” A. B. Watson, ed., pp. 207-220, MIT Press, 1993.
10. P. C. Teo and D. J. Heeger., “Perceptual image dis- tortion,” in Proc. SPIE, vol. 2179, 1994, pp. 127-141.
11. A. M. Eskicioglu and P. S. Fisher., “Image quality measures and their performance,” IEEE Trans, Com- mun., vol. 43, pp. 2959-2965, Dec. 1995.
12. M. P. Eckert and A. P. Bradley., “Perceptual quality metrics applied to still image compression.,” Signal Processing, vol. 70, pp. 177-200, Nov. 1998.
13. S. Winkler., “A perceptual distortion metric for digital color video,” in Proc. SPIE, vol. 3644, 1999, pp. 175- 184.
14. Z. Wang., “Rate scalable Foveated image and video communications,” Ph.D. dissertation., Dept. Elect.
Comput. Eng., Univ. Texas at Austin, Austin, TX, Dec. 2001.
15. Z. Wang and A. C. Bovik,, “A universal image quality index,” IEEE Signal Processing Letters, vol. 9, pp.
81–-84, Mar. 2002.
16. Z. Wang and A. C. Bovik., “Modern Image Quality Assessment,” Morgan & Claypool Publishers, Mar.
2006.
접수일: 2010년 11월 30일, 심사일: 2010년 12월 7일 게재확정일: 2010년 12월 17일
Fig. 8. Fig. 7 (a)와 (b)에 대한 PSNR과 SSIM의 Error map 과 SSIM index map을 이용하여 화질 평가 방법의 차이 비교.
