Image Forensic Decision Algorithm using Edge Energy Information of Forgery Image

논문 2014-51-3-8

위·변조 영상의 에지 에너지 정보를 이용한 영상 포렌식 판정 알고리즘

( Image Forensic Decision Algorithm using Edge Energy Information of Forgery Image )

이 강 현^** ( Kang Hyeon RHEE^ⓒ)

요 약

디지털 영상의 배포에서, 저작권 침해자에 의해 영상이 불법으로 위·변조되어 유통되는 심각한 문제가 대두되어 있다. 이러 한 문제를 해결하기 위하여, 본 논문에서는 위·변조된 디지털 영상의 에지 에너지 정보를 이용한 영상 포렌식 판정 알고리즘 을 제안한다. 제안된 알고리즘은 SA (Streaking Artifacts)와 SPAM (Subtractive Pixel Adjacency Matrix)을 이용하여, 원 영 상의 JPEG 압축률 (QF=90, 70, 50, 30)에 따른 에지정보와 질의영상의 에지정보를 추출하고, 이를 각각 비교하여 위·변조 여부 를 판정한다.

원 영상과 질의영상의 에지정보 매칭은 JPEG 압축률 조합의 임계치 (TCJCR : Threshold by Combination of JPEG Compression Ratios)에 따라 이루어진다. 실험을 통하여, TP (True Positive)와 FN (False Negative)은 87.2%와 13.8%이며, 산 출된 최소평균 판정 에러는 0.1349이다. 그리고 제안된 알고리즘의 성능평가에서 민감도 (Sensitivity)와 1-특이도 (1-Specificity)의 AUROC (Area Under Receiver Operating Characteristic) 커브 면적은 0.9388로 ‘Excellent(A)’ 등급임을 확인 하였다.

Abstract

In a distribution of the digital image, there is a serious problem that is distributed an illegal forgery image by pirates.

For the problem solution, this paper proposes an image forensic decision algorithm using an edge energy information of forgery image. The algorithm uses SA (Streaking Artifacts) and SPAM (Subtractive Pixel Adjacency Matrix) to extract the edge energy informations of original image according to JPEG compression rate(QF=90, 70, 50 and 30) and the query image. And then it decides the forge whether or not by comparing the edge informations between the original and query image each other.

According to each threshold in TCJCR (Threshold by Combination of JPEG Compression Ratios), the matching of the edge informations of original and query image is excused. Through the matching experiments, TP (True Positive) and FN (False Negative) is 87.2% and 13.8% respectively. Thus, the minimum average decision error is 0.1349. Also, it is confirmed that the performed class evaluation of the proposed algorithm is 'Excellent(A)' because of the AUROC (Area Under Receiver Operating Characteristic) curve is 0.9388 by sensitivity and 1-specificity.

Keywords: Forgery image, SA(Streaking Artifacts), SPAM(Subtractive Pixel Adjacency Matrix), TP and NP, JPEG compression.

* 평생회원, 조선대학교 전자정보공과대학 전자공학과

(Chosun University, College of Electronics and Information Eng., Dept. of Electronics Eng.)

ⓒ Corresponding Author (E-mail: [email protected])

※ 본 논문은 조선대학교 2013 교비지원(322386)으로 수행되었습니다.

접수일자: 2014년1월16일, 수정완료일: 2014년3월3일

Ⅰ. 서 론

인터넷의 발달로 멀티미디어 데이터의 공유 및 배포 는 계속 확장되어 가고 있다. 이에 따라 미디어 데이터 는 일상생활 속에 깊숙이 침투하여 영상, 비디오, 오디 오, 애니메이션 등의 디지털 콘텐츠의 사용이 급증하면 서, 불법 복제 및 배포도 성행하여 디지털 콘텐츠를 보 호하는 기술개발이 시작되었다.

또한 디지털 영상의 제작자 및 저작권자의 정보를 제 거하기 위하여 영상 자체를 위·변조하는데, 이러한 문 제는 디지털제작자와 저작권자에 대한 경제적 손실을 야기함으로 위·변조된 영상을 판정할 수 있는 신뢰성 있고 효율적인 알고리즘 개발의 필요성이 요구되고 있 다^[15,16].

원 영상의 위·변조에 사용되는 방법으로 영상압축, 회전, 모자이크 편집, 스케일링 등 다양한 방법들이 사 용되고 있는데, 이를 해결하고자 Fredrich^[1]는 SPAM (Subtractive Pixel Adjacency Matrix)을, Kirchner와 Fredrich^[2]는 SA (Streaking Artifacts)와 SPAM을, Yuan^[3]은 MFF (Median Filtering Forensics)를, Liu^[4]

는 MFR (Median Filter Residual)과 AR (Autoregressive) 방법들을 사용하였다. 그리고 영상 포 렌식에 대한 연구는 MFD (Median Filtering Detector)

[2,3,5,6]와 Resampling^[7,8], 그리고 JPEG 압축 ^9] 여부 판정 이 주로 수행되고 있다.

MFD는 JPEG 압축률이 낮아짐에 따라 성능이 저하 하는 단점이 있고, SPAM은 중간정도 이상의 JPEG 압 축률에서 이용할 수 있는데 특히 FP (False Positive)의 낮은 확률에서 참(true)이다. SPAM에서 다루는 조건부 의 1차 픽셀주변의 차분분포의 좋은 평가를 위해서는 픽셀 주위의 큰 윈도우 사이즈 크기가 요구된다^[5].

본 논문에서는 위·변조된 영상이 낮은 JPEG 압축률 에서도 영상의 위·변조 여부를 판정할 수 있도록, SA와 SPAM 기법으로 영상의 에지 에너지 정보를 이용하는 영상 포렌식 판정 알고리즘을 제안한다.

제안된 알고리즘은 원 영상과 위·변조가 의심이 되는 질의영상을 SA와 SPAM을 통하여, 각각의 에지 에너지 정보가 큰 픽셀 좌표를 구하고, JPEG 압축률 조합의 임 계치 (Threshold by Combination of JPEG Compression Ratios : 이하 TCJCR)를 만든다. 위·변조 영상 판정 실험 은 TCJCR의 각 임계치에 의해서 원 영상과 질의영상의

에지정보 매칭에 의한 TP (True Positive)와 FN (False Negative)을 산출하여, 위·변조된 영상의 JPEG 압축률을 판정한다. 그리고 제안된 알고리즘의 성능평가를 위하여 TP와 FN에 따른 영상의 위·변조 판정의 민감도 (Sensitivity)와 1-특이도 (1-Specificity)의 AUROC (Area Under Receiver Operating Characteristic) 커브 면적을 산출한다.

본 논문의 구성은 Ⅱ장에서 영상의 에지 에너지 정보 산출의 이론적 배경을 설명하고, Ⅲ장에서는 위·변조된 영상의 판정을 위한 제안된 알고리즘을 기술한다. 그리 고 Ⅳ장에서 실험을 통한 위·변조된 영상의 JPEG 압축 률의 판정 결과의 검토와 제안된 알고리즘의 성능평가 를 하고 마지막으로 Ⅴ장에서 결론을 맺는다.

Ⅱ. 이론적 배경

디지털 영상의 위·변조를 위해서, 원 영상을 JPEG 압 축과 미디언 필터링 처리를 하는 기본의 프레임워크는 그림 1과 같이 4가지 방법으로 진행된다. 원 영상을 JPEG 압축을 한 다음 미디언 필터링 처리를 하든지, 아 니면 미디언 필터링을 한 후에 JPEG 압축을 한다. 그리 고 원 영상에 대하여 미디언 필터링 또는 JPEG 압축을 한번만 시도하는 경우도 있다. 대부분의 위·변조된 영상 포렌식을 판정하는 알고리즘은 미디언 필터링 검출 [1-6]에 대한 연구이다.

미디언 필터는 비선형 공간적 필터링 특성으로 주변 화소들의 부정적 요인을 해소하는 스무싱(smoothing) 효과가 있으면서, 에지 정보 또한 보존할 수가 있다.

Kirchner와 Fridrich는 [2]에서 Bovik의 [10]에서 다루

그림 1. JPEG 압축과 미디언 필터링에 의한 영상 위·변 조 프레임워크

Fig. 1. Framework of forgery image by JPEG compression and median filtering.

어진 SA (Streaking Artifacts)로 부터 MFD (Median Filter Detector)를 제안하여 미디언 필터링으로 변조된 영상을 검출하였다. 영상의 1차 픽셀 차분의 통계적 특 성은 (1)과 같다.

_{ }^{ }         (1) 여기서 (k,l)∈ {(0,1),(0,-1),(1,0),(-1,0),

(1,1),(1,-1),(-1,1),(-1,-1)} 이다.

그리고 x(i,j)는 영상의 픽셀 좌표이며, i,j는 영상의 요 소로 i,j∈x 이다.

_{ }^{ } 값의 히스토그램은 {_{ }^{  }_^{ }_^{  }}으 로 정의되고, SPAM 특성을 이용한 강인성 MFD가 제안 되었다. [12]에서 SPAM 특성 요소는 픽셀주변의 차분 에 대한 각각의 가능한 값에서 제약되는 1차 픽셀 차분 값의 분배 요소이다.

Ⅲ. 영상 포렌식 판정 알고리즘 제안

본 논문에서는, 위·변조된 영상 포렌식의 판정을 위하 여, 위·변조돤 영상과 원 영상의 에지 에너지 정보를 각 각 비교한 후, JPEG 압축률을 판정한다. 제안된 알고리 즘의 흐름도는 그림 2와 같고, 각 단계별 수행은 다음과

그림 2. 제안된 위·변조 영상의 판정 알고리즘 Fig. 2. Proposed decision algorithm of forgery image.

같다.

[Step 1] 위·변조된 질의영상 z가 선택된다.

[Step 2] z의 각 영상픽셀 주위의 윈도우 범위 w를 3×3 에서 에지정보를 나타내는 영상 y^z는

_{ }^  ^





   ⌊⌋

⌊⌋

   ⌊⌋



⌊⌋

_{ } (2)

(w=3 그리고 i,j는 픽셀좌표)

이며, 에지 에너지 정보가 큰 픽셀 좌표 _{ }^를 구한 다.

[Step 3] 원 영상 x에 대해서는 픽셀 주위의 w를 3×3, 5×5, 9×9 윈도우 범위 3가지에서, 에지정보를 나타내 는 영상 ^는

_{ }^ 

^

    ⌊⌋



⌊⌋

   ⌊⌋



⌊⌋

_{ } (3)

(여기서 n=3,5,9 그리고 i,j는 픽셀좌표)

이며, 그림 3과 같다. 그리고 각각의 에지 에너지 정보 가 큰 픽셀 좌표 _{ }^을 구한다. x는 3가지의 w에서 에지 에너지 정보가 큰 픽셀 좌표를 각각 구하므로, x에 대한 z의 에지정보 픽셀좌표 매칭의 범위를 확장 한다.

그림 3. SA 와 SPAM의 윈도우 크기 Fig. 3. Window sizes of SA and SPAM.

[Step 4] _{ }^와 _{ }^가 w 범위 내에서 오버래핑 되지 않 는 w 범위 밖의 영역에서 매칭 탐색을 표 1의 TCJCR 의 각 임게치(A∼P)에 따라 실행한다. 각각의 임계치 에서, 픽셀좌표 매칭의 TP와 FN을 산출하여 질의영 상의 임계치를 결정한다.

[Step 5] 임계치로부터 원 영상에 대한 질의영상의 JPEG 압축률을 추정한다.

[Step 6] 위·변조된 영상의 사양을 판정한다.

그림 4. 제안된 알고리즘의 실행 과정(UCID 영상 No. 660)

Fig. 4. Execution procedure of the proposed algorithm (UCID Image No. 660).

TCJCR JPEG QF=90

JPEG QF=70

JPEG QF=50

JPEG QF=30

A - - - -

B - - - ○

C - - ○ -

D - - ○ ○

E - ○ - -

F - ○ - ○

G - ○ ○ -

H - ○ ○ ○

I ○ - - -

J ○ - - ○

K ○ - ○ -

L ○ - ○ ○

M ○ ○ - -

N ○ ○ - ○

O ○ ○ ○ -

P ○ ○ ○ ○

표 1. TCJCR Table 1. TCJCR.

Ⅳ. 실험 및 성능평가

제안된 위·변조의 영상 포렌식 판정과 알고리즘의 성 능평가를 위하여, UICD^[10]의 1,388개 영상에 적용하여 실 험하였다. 제안된 알고리즘의 [Step 5]를 위하여, 우선 원 영상 DB의 전체에 대하여, JPEG 압축률 (QF=90, 70,50,30)에 따른 위·변조 영상을 만들어 영상 포렌식 판 정 실험에 테스트를 위한 질의영상으로 사용한다.

제안된 알고리즘의 실행에서, 그림 4는 UCID 영상 No.

660의 실행과정을 보여준다. 그림 4에서 질의영상 z (3 행)의 에지정보 영상 y를 구하고 에지 에너지가 큰 좌표 를 5개 구한다. 그림 5와 표 2는 [Step 3]의 (3)에 의한 그 림 4의 2행 2열의 에지정보가 큰 좌표 5개를 보여준다.

그리고 UCID 영상 DB (1행)에서 각 영상의 에지정보 영상 y를 윈도우 크기 w (3×3, 5×5, 9×9)에 따라 3개를 구 한 다음, 에지 에너지 정보가 큰 픽셀을 5개씩 구해서(2 행) 총 15개의 픽셀좌표를 선택한다.

그림 5. 그림 4의 2행 2열의 에지 에너지가 큰 픽셀좌 표

Fig. 5. Pixel coordinates of a large edge energy (2nd row and 2nd column in Fig. 4).

좌표번호 픽셀행좌표 픽셀열좌표

1 200 432

2 241 76

3 146 304

4 329 139

5 279 174

표 2. 그림 5의 픽셀 좌표 Table 2. Pixel coordinates in Fig. 5.

그림 6. JPEG 압축률에 따른 질의영상의 UCID 영상 매칭

Fig. 6. Query image matching to UCID images by JPEG compression ratios.

각각의 1,338개 영상에 대한 에지 에너지가 큰 x의 픽 셀좌표와 z의 픽셀좌표를 매칭하여 그림 4의 3행 4열의

TCJCR TP FN FP rate

TP

rate Pe (4)

A 36 99 1 1 0.5

B 15 12 0.4210 0.9691 0.2259

C 17 6 0.3508 0.9562 0.1972

D 11 2 0.3157 0.9417 0.1870

E 23 15 0.3040 0.9323 0.1858

F 13 0 0.2163 0.9125 0.1518

G 26 2 0.2163 0.9014 0.1574

H 22 0 0.2046 0.8791 0.1627

I 70 23 0.2046 0.8603 0.1721

J 30 4 0.0701 0.8003 0.1349

K 49 0 0.0467 0.7746 0.1360

L 51 0 0.0467 0.7326 0.1570

M 86 8 0.0467 0.6889 0.1789

N 83 0 0 0.6152 0.1923

O 148 0 0 0.5441 0.2279

P 487 0 0 0.4173 0.2913

합 계 1,167 171 총 계 1,338

표 3. 제안된 알고리즘의 성능평가

Table 3. Performance evaluation of the proposed algorithm.

질의영상과 매칭되는 원 영상을 찾아낸다.

그림 6은 UCID 1,338개 전체 영상에 대해서 JPEG 압 축률에 따른 No. 660 영상의 에지정보가 큰 픽셀 좌표의 매칭된 수(y축)를 보여주는데, QF=90,70,50에서는 TP (True Positive)로, QF=30에서는 No. 227에 매칭되어 FN (False Negative)으로 판정되는 경우에 해당한다.

표 3의 TCJCR (A∼P) 기준으로, 원 영상(UCID 1,338 개)과 JPEG 압축된 영상의 픽셀좌표 매칭에 대한 TP와 FN의 측정된 결과에 따라 민감도 (TP rate)와 1-특이도 (FP rate)의 ROC 커브는 그림 7과 같다.

AUROC (Area Under ROC)는 0.9338로써, ‘Excellent (A: 0.9이상)’로 판정이 되며, 제안된 알고리즘의 최소평 균 판정 에러 Pe는 (4)로부터 0.1349이다.

_ min 

_   _

 (4)

여기서 Pfp는 FP rate, Ptp는 TP rate 이다.

이는 제안된 알고리즘이 JPEG 압축률 조합의 임계치 J에서(표 1의 QF=90과 30의 조합, 표 3의 음영부분) 영상

그림 7. TCJCR에 따른 ROC 커브 및 ROC 면적 Fig. 7. ROC curve and AUROC by TCJCR.

Schemes 위·변조 영상의 특징 추출 방법 AUROC

[3]

Median filtering detection

Post-sharpened 0.923 Counter-filtering 0.924

[5] Post-sharpened 0.525

Counter-filtering 0.679

[13] Post-sharpened 0.706

Counter-filtering 0.709

제안된 알고리즘

Decision of JPEG compression ratios

1. Pixel detection of Large edge energy by SA and SPAM 2. TCJCR.

0.9338 표 4. 제안된 알고리즘과 기존의 영상 포렌식 판정

방법의 AUROC 비교.

Table 4. Comparison of Image forensic decision schemes and AUROCs between the proposed algorithm and the conventional schemes.

위·변조 판정 성능이 가장 우수하다.

그리고 표 4는 본 논문에서 제안된 영상 포렌식 판정 알고리즘과 [14]에서 레포트된 기존 방법의 AUROC 비 교 값이다.

표 4로 부터, 제안된 JPEG 압축률 판정이 기존의 미 디언 필터링 검출방법 (Post-sharpened와 Counter- filtering)보다 성능이 우수함을 확인되었다.

V. 결 론

본 논문에서는 위·변조된 영상의 포렌식 판정을 위한

알고리즘이 제안되었다. 위·변조의 가장 용이한 방법으 로 원 영상과의 시각적 구별이 어렵고, 영상변환에 용이 한 JPEG 압축을 통한 질의영상에 적용하여 실험을 하였 다. 기존의 위·변조된 영상의 판정은 미디언 필터링 처리 를 검출하는 방법으로 접근하였지만, 제안된 알고리즘은 JPEG 압축률을 판정하였다.

영상의 에지 에너지가 큰 픽셀 좌표는 SA와 SPAM으 로 구하고, 원 영상과 위·변조된 질의영상의 에지 에너지 가 큰 픽셀 좌표 매칭은 JPEG 압축률 조합에 의한 임계 치에 따라 TP와 FN으로 구분하여 JPEG 압축률을 판정 하였다.

실험을 통하여 제안된 알고리즘의 성능은 4가지의 JPEG 압축률 조합의 임계치 (TCJCR)에 의하여, TP와 FN의 비가 0.872 : 0.138 그리고 이에 따른 AUROC는 0.9338로 ‘Excellent(A)’로 평가되었다.

앞으로의 연구는 다양한 영상 공격과 위·변조 영상을 실시간으로 네트워크 상에서 연동되어 효율적으로 추정 할 수 있는 영상 포렌식 판정 알고리즘 개발 연구가 진행 되어야겠다.

REFERENCES

[1] T. Pevny, P. Bas, and J. Fridrich, “Steganalysis by subtractive pixel adjacency matrix,” in MM&Sec'09, Proceedings of the Multimedia and Security Workshop 2009, September 7-8, 2009, Princeton, NJ, USA, pp. 75-84, ACM Press, (New York, NY, USA), 2009.

[2] M. Kirchner and J. Fridrich, “On detection of median filtering in digital images,” in Proc.

SPIE, Electronic Imaging, Media Forensics and Security II, vol. 7541, San Jose, CA, pp.

1-12, Jan. 2010.

[3] G. Cao, Y. Zhao, R. Ni, L. Yu, and H. Tian,

“Forensic detection ofmedian filtering in digital images,” in Proc. 2010 IEEE Int. Conf.

Multimedia and EXPO, pp. 89-94, Jul. 2010.

[4] Xiangui Kang, Matthew C. Stamm, Anjie Peng, and K. J. Ray Liu, “Robust Median Filtering Forensics Using an Autoregressive Model,”

IEEE Trans. on Information Forensics and Security, vol. 8, no. 9, pp. 1456-1468, Sept.

2013.

[5] H. Yuan, “Blind forensics of median filtering in digital images,” IEEE Trans. Inf. Forensics

저 자 소 개 이 강 현(평생회원)

대한전자공학회논문지, 50권7호( 2013. 07) 참조.

Security, vol. 6, no. 4, pp. 1335-1345, Dec. 2011.

[6] C. Chen, J. Ni, R. Huang, and J. Huang, “Blind median filtering detection using statistics in difference domain,” in Proc. of Information Hiding 2012, May 2012.

[7] A. C. Popescu and H. Farid, “Exposing digital forgeries by detecting traces of resampling,”

IEEE Trans. Signal Process, vol. 53, no. 2, pp.

758-767, Feb. 2005.

[8] Y. T. Kao, H. J. Lin, C. W. Wang, and Y. C.

Pai, “Effective detection for linear up-sampling by a factor of fraction,” IEEE Trans. Image Process., vol. 21, no. 8, pp. 3443-3453, Aug.

2012.

[9] R. Neelamani, R. de Queiroz, Z. Fan, S. Dash, and R. Baraniuk, “JPEG compression history estimation for color images,” IEEE Trans.

Image Process., vol. 15, no. 6, pp. 1365-1378, Jun. 2006.

[10] A. C. Bovik, “Streaking in median filtered images,” IEEE Trans. on Acoust., Speech and Signal Processing, vol. 35, no. 4, pp. 493-503, Apr. 1987

[11]http://vision.cs.aston.ac.uk/datasets/UCID/ucid.html [12] T. Pevny and J. Fridrich, “Detection of

double-compression in JPEG images for applications in steganography,” IEEE Trans. Inf.

Forensics Security, vol. 3, no. 2, pp. 247-258, Jun. 2008.

[13] Matthias Kirchner and Rainer Bhme, “Tamper hiding: Defeating image forensics.,” in Information Hiding’07, pp. 326-341, Jun. 2007.

[14] M. Fontani and M. Barni, “Hiding Traces of Median Filtering in Digital Images,” 20th European Signal Processing Conference (EUSIPCO 2012), pp. 1239-1243, Aug. 2012.

[15] Kang Hyein RHEE, “A Design on the Multimedia Fingerprinting code based on Feature Point for Forensic Marking,” IEEK, Journal-CI 48(4), pp. 27-34, 2011.7.

[16] Kang Hyein RHEE, “An Implementation on the XOR-ACC of Multimedia Fingerprinting using Neural Network,” IEEK, Journal-CI 48(6), pp.

1-8, 2011.11