쿼드트리 분할 기술을 이용한 컬러 영상 암호화 기술
Color Image Encryption Technique Using Quad-tree Decomposition Method
최 현 준
목포해양대학교 전자공학과
Hyunjun Choi
Department of Electronic Engineering, Mokpo Maritime University, Jeollanam-do 58628, Korea
[요 약]
최근 다양한 형태의 영상 콘텐츠가 제작되고 있고, 이를 위한 저작권 보호기술에 대한 관심이 높아지고 있다. 본 논문에서는 컬 러 영상을 위한 영상암호화 기술을 제안한다. 이 기술은 영상을 RGB 색차성분으로 분할한 후, 윤곽선을 기준으로 쿼드트리 분할 을 수행한다. 쿼드트리 분할 후, 선정된 블록들을 대상으로 암호화를 수행한다. 색차성분을 대상으로 암호화를 수행하여 암호화 효율을 측정하고, 컬러 영상으로 재구성한 후에도 암호화 효율을 측정한다. 암호화 효율은 시각적인 측정방식과 객관적인 화질평 가 방식을 이용한다. 실험결과 PSNR 수치는 색차성분의 경우 7~10[dB], 컬러 영상의 경우 16~19[dB]로 측정되었다. 본 논문에서 제안한 영상암호화 기술은 향후 다양한 디지털 영상 콘텐츠의 저작권 보호에 사용될 것으로 보인다.
[Abstract]
Recently, various types of image contents are being produced, and interest in copyright protection technology is increasing. In this paper, we propose an image encryption technology for color images. This technique divides the image into RGB color components and then performs quad-tree decomposition based on the edge of image. After the quad-tree partitioning, encryption is performed on the selected blocks. Encryption is performed on color components to measure encryption efficiency, and encryption efficiency is measured even after reconstitution into a color image. The encryption efficiency uses a visual measurement method and an objective image quality evaluation method. The PSNR values were measured as 7~10 dB for color difference components and 16~19 dB for color images. The proposed image encryption technology will be used to protect copyright of various digital image contents in the future.
Key word :
Digital contents, Copyright, Image encryption, Quad-tree decomposition, Color image.https://doi.org/10.12673/jant.2016.20.6.625
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons .org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
Received 29 November 2016 Revised 5 December 2016 Accepted (Publication) 29 December 2016 (30 December 2016)
*Corresponding Author; HyunJun Choi Tel: +82-61-240-7273
E-mail: [email protected]
Ⅰ. 서 론
최근 다양한 통신매체의 발달로 디지털 콘텐츠 (digital contents)의 무분별할 배포 및 공유가 이뤄지고 있다. 따라서 디 지털 콘텐츠 제작에 상당한 비용과 시간 등이 소요되는 디지털 영화, 디지털 음원, 디지털 작품사진 등의 저작권을 보호할 수 있는 기술의 개발이 요구되고 있다[1].
영상암호화 (image encryption)는 디지털 영상 데이터의 전 부 혹은 일부분만을 암호화하여 원래의 영상정보(시각적 정보) 를 은닉하는 기술이다[2]. 영상암호화 기술은 영상 콘텐츠를 암 호화한 후 허용된 콘텐츠 이용자들에게만 복호화 키 (decryption key)를 제공하여 원래의 영상 콘텐츠를 감상할 수 있도록 하는 기술로 다양한 디지털 콘텐츠 서비스 분야에 사용 될 수 있다 .
영상 암호화 기술은 영상의 공간영역 (spatial domain)과 주 파수영역(frequency domain)에서 수행할 수 있다. 공간영역에 서의 암호화 기술은 영상정보 전체 암호화와 영상의 윤곽선과 같은 일부 데이터만을 선별하여 암호화하는 기술 등이 개발되 었다[3]. 주파수영역에서의 암호화 역시 주파수 영역 전체를 암 호화하는 기술과 주파수 영역에서의 일부 주파수 정보만을 선 별하여 암호화하는 기술이 있다[4]. 특히, 이산여현변환 (DCT;
discrete cosine transform), 이산웨이블릿변환 (DWT; discrete wavelet transform), 이산푸리에변환 (DFT; discrete fourier transform)와 같은 다양한 주파수 변환 방식[5]을 이용한 암호화 기술들이 소개되고 있다. 또한, 주파수 변환 방식의 암호화 기 술은 디지털 콘텐츠의 압축 기술과 연동하는 방식으로 수행할 수 있다. 예를 들어 DCT 변환을 기반으로 하는 JPEG (joint photographic experts group) 혹은 DWT를 기반으로 하는 JPEG2000과 같은 정지영상 압축 기술과 다양한 블록 크기를 지원하는 MPEG (moving picture expert group) 계열의 동영상 압축 기술 등에 주파수 변환 방식과 연동하는 암호화 기술을 적 용할 수 있다 [3]-[6].
본 논문에서는 주파수 변환 방식을 사용하지 않고 디지털 영 상의 공간영역에서 수행되는 영상암호화 기술을 제안한다. 이 기술은 컬러영상 (color image)을 대상으로 수행이 된다. 입력 된 컬러영상을 R(red), G(green), B(blue) 색차성분 (color components)으로 분할한 후 각각의 색차성분을 대상으로 화소 들의 평균값(mean value)을 측정한다. 이중에서 가장 큰 값을 가진 색차성분을 대상으로 암호화 과정을 진행한다 . 암호화는 영상 내에서 객체를 표현하는데 있어 가장 중요한 성분 중 하나 인 윤곽선(edge)과 그 주위의 화소들을 선택하여 암호화하는 방식을 사용한다 . 암호화 결과는 객관적인 화질측정 방식과 주 관적인 화질측정 방식을 병행하여 암호화 효율을 측정한다.
본 논문의 구성은 다음과 같다. 2장에서는 제안하는 영상암 호화 알고리즘에 대하여 설명하고 , 3장에서 구현 및 실험결과 를 보인다. 마지막으로 4장에서 실험결과 및 분석결과를 토대 로 결론을 맺는다.
Ⅱ. 영상암호화 기술
영상암호화 기술은 영상을 구성하는 데이터의 전체 혹은 일 부분만을 암호화하여 전달하고자 하는 영상의 시각적인 정보 의 전체 혹은 일부분을 은닉하는 기술이다. 그림 1에서 공간영 역 암호화 기술과 주파수영역 암호화 기술의 전체적인 진행절 차를 보이고 있다. 그림 1(a)와 같이 공간영역에서 수행되는 영 상암호화의 경우 암호화 대상이 되는 영역 혹은 화소를 선택하 는 문제가 가장 중요하다. 영상의 윤곽선, 밝은 부분, ROI (region of interest) 등이 주요 암호화 대상이 된다. 그림 1(b)의 주파수영역의 암호화의 경우에는 먼저 주파수변환을 수행한 다. 주파수변환 후 생성되는 주파수 계수들을 대상으로 암호화 를 수행할 수 있다. 주파수 변환 도구로 DCT를 이용하는 경우 에는 DC 혹은 DC 인근의 AC 계수들이 적절한 암호화 대상이 된다. DWT의 경우에는 주파수영역에서 공간영역의 위치정보 를 갖고 있어 공간영역과 주파수영역에서 소개된 기술들을 융 합하여 암호화를 수행하는 기술들이 소개되고 있다.
그림 2에서 영상 암호화 기술의 예를 보이고 있다. 그림 2(a) 는 원본 영상, 2(b)는 공간영역에서 화소 값 전체를 암호화한 결 과이다. 그림 2(c)와 2(d)는 DCT 변환 후에 DCT 계수를 대상으 로 암호화를 수행한 결과인데, 2(c)는 주파수 계수 전체를 암호 화 한 결과, 2(d)는 DC 값만을 선별하여 암호화 한 결과이다. 그 림 2(e)와 2(f)는 DWT 변환 후 암호화를 수행한 결과들을 보이 고 있다. 2(e)는 DWT 변환 후 LL4 부대역만을 선택하여 암호화 한 결과이고, 2(f)는 packetized DWT를 이용하여 주파수 계수 일부분만을 암호화 한 결과이다[2-4]. 이와 같은 주파수영역 암호화 방식들은 암호화량 대비 암호화 효율이 높다는 장점을 가지고 있지만, 주파수 변환하는 과정이 추가되어 암호화에 소 요되는 비용이 증가한다는 문제점을 가진다. 그림 2의 (b)~(f) 까지의 암호화 결과를 보면, 기존의 영상암호화 기술들은 영상 의 일부 데이터를 선택하여 영상전체의 정보를 은닉하는 방식 으로 암호화를 수행하였다. 하지만, 인간이 시각시스템을 통해 정보를 얻는 경우 특정한 영역에 더 많은 관심을 갖는다. 일반 적으로 영상 내의 객체가 그 대상이 되고, 객체 주변으로 많은 양의 윤곽선이 존재할 확률이 높아진다. 이와 같은 특성을 하 여 본 논문에서는 영상 내의 윤곽선을 추출한 후 그 주변 화소 들을 주 암호화 대상으로 선택한다.
(a)
(b)
그림
1. 영상암호화 절차; (a) 공간영역, (b) 주파수영역
Fig. 1. Procedure of image encryption; (a) spatial domain,
(b) frequency domain.(a) (b)
(c) (d)
(e) (f)
그림
2. 영상암호화 결과; (a) 원본 영상, (b) 공간영역 암호화,
(c) DCT 암호화(전체), (d) DCT 암호화(일부분), (e) DWT 암호화(LL4), (f) DWT 암호화(일부분)Fig. 2. Procedure of image encryption; (a) original image,
(b) spatial domain encryption, (c) DCT encryption (whole), (d) DCT encryption (partial), (e) DWT encryption (LL4), (f) DWT encryption (partial).Ⅲ. 제안하는 영상암호화 기술
3장에서는 본 논문에서 제안하는 영상암호화 기술에 대하여 기술한다.
3-1 전체적인 영상암호화 기술
본 논문에서 제안하는 영상암호화 기술의 전체적인 순서를 그림 3에서 보이고 있다. 그림 3의 순서대로 영상암호화 과정을 살펴보면, 먼저 컬러 영상을 입력받은 후 이를 R, G, B의 세 가 지 색차성분으로 분할하는 과정과 영상의 윤곽선을 구하는 과 정을 거친다. 분할한 색차성분을 대상으로 화소들의 평균값을 계산하여 가장 큰 값을 갖는 색차성분을 선정한다. 실제 암호화 는 이 색차성분을 대상으로 수행한다. 선택한 색차성분을 대상 으로 미리 구해 놓은 윤곽선 정보를 이용하여 암호화를 수행한 다. 암호화된 색차성분과 나머지 두 개의 색차성분을 합쳐 암호 화된 컬러 영상을 얻는다 . 그림 3에서 소개하는 영상암호화 절 차 중에서 RGB 분할과 윤곽선 추출과정의 자세한 설명 참고문 헌 [6]을 참고하기 바란다. 그림 3의 mean value computation, RGB component selection, encryption 과정은 3-2, 3-3절에서 자 세하게 설명한다.
그림
3. 제안하는 영상암호화 순서
Fig. 3. Procedure of proposed image encryption.
3-2 RGB 색차성분 분리 및 선택
본 절에서는 그림 3의 세부 블록 중에서 RGB decomposition, mean value computation, RGB component selection에 대하여 설 명한다.
그림 3의 RGB decomposition은 입력된 컬러 영상을 RGB의 세 가지 색차성분들로 분할하는 과정이다. Mean value computation 과정에서는 색차성분으로 분할 후 각 성분을 대상 으로 평균값을 계산한다. 예를 들어 그림 4에서 보이고 있는 영 상의 경우 평균값이 Red (170.254), Green (176.253), Blue (135.693)로 계산되었고, RGB component selection 과정에서 가 장 큰 값을 갖는 Green 색차성분을 암호화 대상으로 선정한다.
그림 4의 입력 영상을 보면 알 수 있듯이 평균값 계산에 의해 선 정된 Green 성분이 영상을 구성하는 색상 중에서 시각적으로 가장 높은 비율을 차지한다. 본 논문에서는 영상에서 가장 높은 비율을 차지하는 색상성분을 대상으로 암호화를 수행하여 암 호화 효율을 높이고자 한다. 컬러 영상을 색차성분으로 분리하 는 방식은 여러 방법들이 소개되고 있다. 이런 변환방식들의 특 성을 분석하여 암호화에 적용한다면 본 논문의 방식보다 더 향 상된 암호화 기술을 개발해 낼 수 있을 것으로 보인다.
그림
4. 색차성분 분리 및 선택
Fig. 4. Color component decomposition and selection.
3-3 암호화
본 절에서는 그림 1의 블록 중에서 encryption 내용에 대해 설명한다. 암호화 과정은 다시 그림 5와 같이 세분화하여 진행 된다. 3-2절에서 설명한 절차에 의해 선정된 색차성분을 대상 으로 쿼드트리 분할을 수행한다 . 이때, 컬러 영상을 대상으로 계산했던 윤곽선 정보 (edge map)를 이용한다. 윤곽선 정보를 기반으로 쿼드트리 분할을 수행하고 , 분할된 블록 중에서 윤곽 선이 포함되어 있는 블록이 암호화 대상이 된다.
앞서 언급하였듯이 쿼드트리 분할 후 암호화를 수행할 블록 을 선정하여 암호화를 수행한다. 그림 5의 세부 블록 중에서 quad-tree decomposition에 대한 자세한 절차를 그림 6에서 보이 고 있다. 쿼드트리 분할은 선정된 색차성분 영상을 일괄적으로 64×64 pixel
2크기로 분할하는 것으로 시작한다 . 분할된 블록을 대상으로 블록 내에 윤곽선이 포함되어 있는지를 조사하여 더 세분화 할지를 결정한다. 이와 같은 방식으로 쿼드트리 분할은 8×8 pixel
2까지 수행한다 . 즉, 암호화를 수행하는 블록의 크기는 8×8 ~ 64×64 pixel
2까지가 되고 , 최대 4-레벨 분할이 이루어진 다.
Ⅲ. 실험결과 및 검토
3장에서 설명한 영상암호화 기법을 그림 7에서 보이고 있는 영상에 적용하여 암호화 결과를 확인하였다 . 그림 7에서 보이 고 있는 영상들은 Middlebury[7]에서 제공하는 실험영상들로 영상 내의 고주파수 성분과 저주파수 성분들이 적절히 포함되 어 있어 암호화 효율을 시각적으로 판단하기에 적절한 영상들 이다.
본 논문에서 제안하는 영상암호화 기술의 성능평가를 위해 암호화된 영상의 주관적 화질평가와 함께 정량적인 평가 (SSIM; structural SIMilarity, PSNR; peak signal-to-noise Ratio, RMSE; root mean square error)[8]를 수행하였다. 정량적인 평기 지표 중에서 SSIM의 경우 영상의 구조적 유사도를 측정하는 것으로 인간의 시각에서 주요 내용으로 인식하는 휘도 (luminance), 명암비(contrast), 구조(structure)로 식을 구성하여 영상의 화질을 측정한다[8]. 이 방식의 결과는 ‘1’에 근접할수 록 원본 영상과 유사해지고, ‘0’에 근접할수록 원본 영상과 다 르다. RMSE는 MSE의 절대값인 표준 에러로 ‘0’에 가까울수록 원본 영상과 유사하다는 것을 의미한다 .
SSIM과 RMSE를 구하기 위한 수식은 아래의 식 (1), (2)와 같다.
(1)
그림
5. 암호화 절차
Fig. 5. Encryption procedure.
그림
6. 쿼드트리 분할 절차
Fig. 6. Procedure of quad-tree decomposition.
여기서,
,
는 x, y의 평균값,
,
는 분산을 의미한다 .
C1, C2는 고정된 상수값이다.
(2)
RMSE는 식 (2)의 MSE 값에 제곱근을 취해주면 얻을 수 있 다. N, M은 영상의 크기, m, n은 화소의 좌표 값을 의미한다.
그림
7. 실험 영상; (a) Aloe (427×370), (b) Bowling
(512×384), (c) Cones (512×394), (d) Laundry (512×384)Fig. 7. experimental images; (a) Aloe, (b) Bowling, (c)
Cones, (d) Laundry.표 1은 실험영상들을 색차성분으로 분할한 후 각 성분의 평 균값을 구한 결과이다. 앞서 언급하였듯이 시각적으로 가방 높 은 비율을 차지하는 색상성분의 평균값이 가장 크게 측정된다.
실제로 표 1을 보면 그림 5(a)는 Green, 5(b)는 Green, 5(c)는 Red, 5(d)는 Red 성분의 평균값이 가장 큰 것으로 측정되었다.
그림 8에서는 그림 7의 실험 영상들을 대상으로 R, G, B 색 차성분 분할을 수행한 후 평균 값이 가장 큰 성분을 대상으로 암호화를 수행한 결과를 보이고 있다. 즉, 그림 8의 결과는 그림 5의 세부블록 중 마지막 encrypted R/G/B image에 해당한다. 그 림 8(a), (b)의 영상들은 Green 성분의 비율이 가장 높았고, 8(c), (d)의 영상들은 Red 성분의 비율이 가장 높아 암호화 대상으로 선정이 되었다. 그림 8의 Th 값은 윤곽선을 구할 때 사용한 화 소 값의 임계치(threshold)를 의미한다. Th 값이 작을수록 더 많 은 양의 윤곽선이 찾아지고, 반대로 Th 값이 클수록 윤곽선의 양은 줄어들게 된다. 그림 8(b)의 Th=40인 경우의 결과를 살펴 보면, 영상 내에 저주파성분의 비율이 높은 볼링공의 내부에는 윤곽선이 거의 존재하지 않아 암호화가 이루어지지 않는다. 그 림 8(d)의 경우에도 그림 하단의 가로방향 나무판과 좌측 하단 의 세제통의 경우에는 윤곽선을 찾을 수 없어 암호화가 이루어 지지 않았다. 하지만 대부분의 주요 객체와 그 주변 부위는 상 당히 효과적으로 암호화가 이루어 진 것을 확인할 수 있다.
그림 9에서는 그림 8의 결과와 암호화를 수행하지 않은 나머 지 색차성분들을 합쳐서 원래의 컬러 영상으로 복원한 결과이 다. Green 색차성분을 암호화의 대상으로 선정했던 그림 8(a), (b)의 영상들은 상당히 효과적으로 암호화가 이루어 졌지만, Red 성분을 선정했던 그림 8(c), (d)의 경우에는 상대적으로 낮 은 암호화 효율을 보이고 있다. 그 이유는 실험 영상들의 색차 성분 평균 값의 차이에서 찾아볼 수 있다 . 표 1을 보면 Aloe와 Bowling 영상의 경우에는 각각의 색차성분들이 112~176 사이 의 상당히 높은 평균 값을 가지고 있다. 반면 Cones와 Laundry 영상은 평균 값의 크기가 82~132 정도로 상대적으로 낮은 값을 갖고 있다. 즉, 밝은 값의 비율이 상대적으로 높은 영상의 경우 에는 본 논문에서 제안한 영상암호화 기술이 상당히 효과적임 을 알 수 있다.
Image Mean
Aloe
R 170.254
G 176.253
B 135.69
Bowling
R 150.876
G 151.751
B 112.625
Cones
R 132.591
G 130.219
B 82.316
Laundry
R 130.103
G 118.833
B 93.569
표
1. 색차성분별 평균값
Table 1. Mean value for color components.
(a)
(b)
(c)
(d)
그림
8. 색차성분 암호화 결과; (a) Aloe, (b) Bowling, (c)
Cones, (d) LaundryFig. 8. Encryption results of color component; (a) Aloe, (b)
Bowling, (c) Cones, (d) Laundry.(a)
(b)
(c)
그림
9. 암호화 결과; (a) Aloe, (b) Bowling, (c) Cones, (d) (d)
LaundryFig. 9. Encryption results; (a) Aloe, (b) Bowling, (c) Cones,
(d) Laundry.표 2에서는 객관적인 화질측정 방식들을 이용하여 암호화 효율을 측정한 결과를 보이고 있다. PSNR과 SSIM 값은 높은 수록 원본 영상에 가까워지고, RMSE는 낮을수록 원본 영상에 가까운 영상이 된다. 모든 수치가 뚜렷한 경향성을 보이고 있지 는 않지만, 전반적으로 Th값이 높아질수록 PSNR과 SSIM은 증 가하는 것을 확인할 수 있다.
Ⅳ. 결 론
본 논문에서는 공간영역에서 수행되는 영상암호화 기술을 제안하였다. 이 기술은 컬러 영상을 RGB 색차영상으로 분할하 여 세 가지 색차성분 중에서 가장 큰 평균 화소 값을 갖는 성분 만을 선정하여 암호화 하는 것이다. 제안한 암호화 절차는 컬러 영상에서 구한 윤곽선 정보를 이용하여 영상 내에 존재하는 객 체들의 윤곽선과 그 주위의 화소들을 선별하고 암호화를 수행 하는 것이다.
실험결과 색차성분 만을 암호화할 경우 PSNR 수치가 7~10 dB 정도로 측정되었고, 컬러 영상으로 재구성한 후 측정한 수 치는 16~19 dB로 측정되었다. 일반적으로 인간의 시각계가 화 질차이를 인지할 수 있는 PSNR 수치의 범위가 30 dB 전후로 보고되고 있어, 본 논문의 암호화 결과는 우수하다고 볼 수 있 다.
Image Th Color Component Color Image PSNR SSIM RMSE PSNR SSIM RMSE Aloe
10 10.9141 0.1918 70.3054 19.4657 0.5952 25.416 20 10.9071 0.1938 70.362 19.4514 0.5943 25.4581 30 10.8964 0.1916 70.4491 19.4143 0.5955 25.567 40 10.7984 0.1956 71.2485 19.3474 0.5949 25.7647 Bowling
10 8.5729 0.2963 94.6646 17.7402 0.5523 32.9472 20 9.6126 0.3288 83.9845 18.7546 0.5723 29.3159 30 10.26 0.3977 77.95 19.3569 0.6224 27.3518 40 10.4654 0.4252 76.1313 19.6165 0.6459 26.5465
Cones
10 7.5749 0.1803 106.6086 16.1117 0.6436 35.0477 20 7.5008 0.1876 107.5219 16.0404 0.6592 35.3366 30 7.5221 0.1839 107.2593 16.0594 0.6487 35.2595 40 7.5896 0.1847 106.4287 16.1263 0.6472 34.989
Laundry
10 7.1837 0.2395 111.5203 16.3867 0.6559 36.6843 20 7.3031 0.2398 109.998 16.5042 0.6604 36.1911 30 7.3829 0.2513 108.9914 16.5813 0.6653 35.8715 40 7.4245 0.2403 108.4713 16.6224 0.6604 35.7018
표2. 객관적인 화질측정 결과
Table 2. Result of objective image quality assessment.
참고 문헌
[1] W. Stallings, Cryptography and Network Security,
Principles and Practices, New Jersey, NJ: Prentice Hall2003.
[2] Y. H. Seo, H. J. Choi, J. S. Yoo and D. W. Kim, “Selective and adaptive signal hiding technique for security of JPEG2000,” International Journal of Imaging Systems and
Technology, Vol.23, No. 3, pp. 277-284, Aug. 2010.[3] Y. H. Seo, E. S. Choi, and D. W. Kim, “Efficient encryption technique of image using packetized discrete wavelet transform,” Journal of Korea Institute of Information and
Communication Engineering, Vol.17, No. 3, pp. 603-611,Mar. 2013.
[4] S. H. Park, H. J. Choi, Y. H. Seo, and D. W. Kim,
“Ciphering scheme and hardware implementation for MPEG-based image/video security,” Journal of the Institute
of Electronics and Information Engineers, Vol. 42, No. 2, pp.27-36, Mar. 2005.
[5] R. C. Gonzalez and R. E. Woods, Digital Image Processing, New Jersey, NJ: Prentice Hall, 2002.
[6] F. Stajano and H. Isozaki, “Security issues for Internet applications,” in Proceedings of Applications and the Internet
(SAINT) Workshop, Nara: JP, pp. 18-24, 2002.[7] Middlebury Stereo Vision Page [Internet]. Available:
http://vision.middlebury.edu/stereo/.
[8] J. S. Jeong and Y. J. Kim, “Structural Similarity Index for Image Assessment Using Pixel Difference and Saturation Awareness,” Journal of The Korean Institute of Information
Scientists and Engineers, Vol. 41, No. 10, pp. 847-858, Oct.2014.
최 현 준 (Hyun-Jun Choi)
