한국정보통신학회논문지 Vol. 25, No. 5: 645~651, May. 2021
복합 영상 잡음 환경에서 변형된 퍼지가중치 및 결합가중치를 사용한 디지털 스위칭 필터 알고리즘
천봉원1·김남호2*
Digital Switching Filter Algorithm using Modified Fuzzy Weights and Combined Weights in Mixed Image Noise Environment
Bong-Won Cheon1 · Nam-Ho Kim2*
1Ph. D. student, Dept. of Smart Robot Convergence and Application Eng., Pukyong National University, Busan, 48513 Korea
2*Professor, Dept. of Control and Instrumentation Eng., Pukyong National University, Busan, 48513 Korea
요 약
현대 사회는 4차 산업혁명의 영향에 의해 다양한 디지털 통신 장비가 사용되고 있다. 이에 따라 데이터 전송 과정 에서 발생하는 잡음제거에 관심이 높아지고 있으며, 효율적으로 영상을 복원하기 위한 연구가 진행되고 있다. 하지 만 복합적인 잡음에 훼손된 영상을 복원하는데 어려움을 겪고 있으며, 잡음의 특징에 따라 효과적으로 영상을 복원 하는 디지털 필터가 요구되고 있다. 본 논문에서는 디지털 영상 전송 과정에서 발생하는 복합잡음을 제거하기 위한 디지털 스위칭 필터 알고리즘을 제안한다. 제안한 알고리즘은 잡음판단을 통해 필터링 과정을 스위칭하며 마스크 내 부의 화소값들을 기준으로 퍼지가중치 및 결합가중치를 사용하여 영상을 복원한다. 제안한 알고리즘을 평가하기 위 해 기존 필터 알고리즘들과 시뮬레이션을 통하여 비교하였다. 시각적인 평가를 위해 필터링 결과를 확대하여 비교하 였으며, 정량적인 평가를 위해 PSNR 비교를 사용하여 분석하였다.
ABSTRACT
With the advent of the Fourth Industrial Revolution, modern society uses a diverse pool of devices. In this context, there is increasing interest in removing various kinds of noise arising in data transmission. However, it is difficult to restore image that damaged by mixed noise, and a digital filter that effectively restores an image according to the characteristics of the noise is required. In this paper, we propose a digital switching filter algorithm to remove mixed noise generated during digital image transmission. The proposed algorithm switches the filtering process through noise judgment and reconstructs the image using fuzzy weights and combined weights based on the pixel values inside the mask. To evaluate the proposed algorithm, we compared it with existing filter algorithms through simulation. Filtering results were expanded and compared for visual evaluation, and PSNR comparison was used for quantitative evaluation.
키워드 : 복합 영상 잡음, 퍼지가중치, 결합가중치, 영상처리
Keywords : Mixed image noise, Fuzzy weights, Combined weights, Image processing
Received 26 February 2021, Revised 13 March 2021, Accepted 1 April 2021
* Corresponding Author Nam-Ho Kim(E-mail:[email protected], Tel:+82-51-629-6328)
Professor, Dept. of Control and Instrumentation Eng., Pukyong National University, Busan, 48513 Korea
Open Access http://doi.org/10.6109/jkiice.2021.25.5.645 print ISSN: 2234-4772 online ISSN: 2288-4165
Ⅰ. 서 론
현대 사회는 IoT 기술의 발전으로 수많은 디지털 통 신매체가 사용되고 있다. 하지만 데이터 통신 과정에서 다양한 원인으로 잡음이 발생하여 시스템의 성능에 영 향을 미치고 있다. 영상의 잡음제거는 영상을 기반으로 물체를 감지하거나 인식, 추적 등의 알고리즘을 사용하 는 시스템에서 전처리 단계로 사용하는 중요한 과정으 로, 영상의 품질 개선과 우수한 영상 인식을 위해 다양 한 잡음제거에 관한 다양한 필터링 기술들이 연구되고 있다[1-3].
영상에 나타나는 대표적인 잡음으로 AWGN (Additive White Gussian Noise)[4-5]과 임펄스 잡음[6]이 있다. 이 가운데 AWGN은 영상 전체에 걸쳐 나타나며 잡음에 훼 손된 화소값이 원영상에 대한 정보를 포함하는 특징을 가지고 있다. 임펄스 잡음은 영상의 임의의 위치에 영상 에서 가질 수 있는 화소값의 최댓값 혹은 최솟값으로 나 타나는 잡음으로, 백색 또는 흑색의 점 형태로 나타나는 특징에 따라 Salt and Pepper 잡음[7-8]으로도 표현된다.
이러한 잡음을 제거하기 위하여 다양한 필터가 제시되 었으나, 기존의 필터들은 두 종류 이상의 잡음이 혼재된 환경에서 다소 미흡한 성능을 보이는 단점을 가지고 있 다[9-10].
본 논문은 복합잡음에 훼손된 영상을 복원하기 위해 변형된 퍼지가중치와 결합가중치를 사용한 스위칭 필 터를 제안한다. 제안한 알고리즘은 입력 화소가 AWGN 인 경우 입력 화소값을 기준으로 퍼지가중치를 계산하 여 출력을 구한다. 임펄스 잡음으로 판단된 경우 결합가 중치를 사용하여 출력을 구하며, 화소간격과 화소값 차 이에 따라 가중치를 계산하여 필터 출력을 구한다.
Ⅱ. 제안한 알고리즘
디지털 영상은 카메라를 통해 샘플링과 양자화 단계 를 거쳐 획득하며, 2차원 공간에 밝기 및 색상의 강도 등 을 수치화하여 나타낸다. 이 때, 획득한 영상이 잡음에 훼손된 경우, 양자화된 데이터는 원영상의 정보뿐만 아 니라 잡음신호를 포함하게 된다. 영상의 잡음제거는 획 득한 잡음영상에서 잡음성분을 최소화하며 원영상을 복구하는 것을 목표로 한다.
영상에 나타나는 잡음은 형태와 특징에 따라 다양한 종류로 분류되며, 복합잡음은 영상은 복수의 잡음이 혼 재된 상태를 의미한다. 복수의 잡음이 영상에 나타나는 경우, 서로 다른 잡음의 특징이 필터링 과정에 간섭하여 원하지 않은 결과를 나타낼 수 있으므로 잡음의 종류에 따라 구분하여 필터링을 진행할 필요가 있다. 입력된 화 소값 를 대상으로 잡음판단변수 를 구할 때 다음 과 같이 표현할 수 있다[11-13].
(1)
잡음판단 이후 잡음제거를 위해 영상의 각 화소의 좌 표 를 중심으로 필터링 마스크 를 설정한다. 이 때, 효율적인 잡음제거를 위해 중심 화소값의 잡음 종류 에 따라 필터링 과정을 스위칭하여 진행한다.
Case 1. 인 경우
입력 화소가 임펄스 잡음이 아닌 경우 AWGN에 훼 손된 화소로 판단하여 잡음제거를 진행한다. 잡음제거 를 위해 필터링 마스크 에 속한 화소를 대상으로 가 중치를 계산한다. 이 때, 가중치는 입력화소를 중심으로 유사한 화소값에 높은 가중치를 두기 위해 퍼지 멤버쉽 함수를 설정하여 구한다. 입력화소를 기준으로 필터링 마스크 의 요소 중 최솟값 및 최댓값에 대해 삼각 퍼 지함수를 구하면 그림 1의 실선과 같이 구할 수 있다.
Fig. 1 Modified fuzzy membership function
그림 1에서 와 는 필터링 마스 크의 요소 중 최솟값과 최댓값을 의미한다.
입력화소 와 필터링 마스크의 최솟값의 차이를 ,
최댓값과의 차이를 라 하고, 입력화소와 더 큰 차이를 가지는 값을 화소값 거리로 정한다. 과 , 화소값 거 리 는 다음과 같다.
(2)
(3)
(4)
을 사용하여 구한 변형된 퍼지가중치 는 다음과 같다.
(5)
여기서 는 필터링 마스크 내부의 화소 좌표를 의 미한다. 변형된 퍼지가중치는 그림 1의 점선과 같이 표 현할 수 있다.
변형된 퍼지가중치를 사용하여 구한 출력 는 다 음과 같다.
∗ (6) 여기서 ∗는 컨볼루션을 의미한다.
Case 2. 인 경우
잡음판단 결과 임펄스 잡음으로 분류된 경우 영상을 복원하기 위해 화소의 화소간격과 화소값 차이를 바탕 으로 결합가중치를 계산한다.
화소간격은 마스크 내부 화소와 중심화소와 간 거리를 기반으로 계산하며, 화소값 차이를 계산하기 위해 먼저 필터링 마스크의 잡음이 아닌 화소의 평균 계산한다.
화소값 차이는 와 필터링 마스크 내부의 화소값 을 비교하여 계산한다. 화소간격을 , 화소값 차 이를 라고 할 때 각각 다음과 같이 구한다.
(7)
(8)
여기서 는 필터링 마스크의 표준편차에 대한 평균 을 의미하며, 필터링 마스크에서 임펄스 잡음이 아닌 화 소값의 표준편차를 라 하고, 필터링 과정에서 계산 된 의 평균값으로 계산한다. 는 영상의 AWGN이 약하게 나타나거나 영상의 픽셀값 변화가 상대적으로 적게 나타나는 저주파영역에서 낮아진다. 반대로 영상 의 잡음이 강하게 나타나거나 에지성분이 나타나는 영 역에서 높아지는 특징이 있다.
결합가중치는 입력화소를 기준으로 화소의 화소간격 과 화소값 차이가 작을수록 높은 값을 가지며, 가중치가 높게 설정된다.
와 를 사용하여 구한 결합가중치
는 식 (9)와 같다.
(9)
결합가중치로 구한 최종출력 는 다음과 같다.
(10)
그림 2는 제안한 알고리즘의 플로우차트를 나타낸 것이다.
Fig. 2 Flowchat of proposed algorithm
Ⅲ. 시뮬레이션 및 결과
제안한 알고리즘의 성능을 평가하기 위해 기존 잡음 제거 알고리즘과 비교하여 시뮬레이션을 진행하였다.
시뮬레이션을 위해 × 사이즈의 8bit 그레이 영상인 Boat영상과 Barbara 영상을 사용하였다. 잡음영 상에 사용된 잡음 중 AWGN은 일반적으로 잡음제거 비 교에 많이 사용되는 표준편차 의 범위인 ∼ 의 중 간값으로 를 사용하였으며, 임펄스 잡음은 잡음 확률 ∼ 을 대상으로 시뮬레이션을 진행하 였다. 그림 3과 4의 (a), (b)는 각각 Boat 영상과 Barbara 영상의 원영상과 잡음영상이다.
기존 방법 및 제안한 알고리즘의 결과를 시각적으로
비교하기 위해 시뮬레이션한 결과 영상을 사용하여 평 가하였다. 그림 3과 4에서 (c)는 CWMF(Center Weighted Median Filter)[14]로 처리한 결과를, (d)는 ASMF (Adaptive Switching Median Filter)[15]의 결과를 나타 낸 것이며, (e)는 FLBF(Fuzzy Logic Based Filter)[16]의 결과를, 그리고 (f)는 제안한 필터 알고리즘(PFA : Proposed Filter Algorithm)으로 처리한 결과 및 확대영 상을 나타낸 것이다. ASMF로 처리한 경우 임펄스 잡음 의 영향은 최소화하였으나, AWGN의 영향이 강하게 나 타나며 다소 미흡한 결과를 보였다. FLBF로 처리한 경 우 AWGN과 임펄스 잡음 모두 효과적으로 처리하는 결 과를 보였으나, Boat 영상의 와이어 부분과 Barbara 영 상의 줄무늬 영상과 같이 에지성분이 강하게 나타나는
(a) (b)
(c) (d)
(e) (f)
Fig. 3 Simulation result (Boat image)
(a) Original image (b) Noisy image( , ) (c) CWMF (d) ASMF (e) FLBF (f) PFA
(a) (b)
(c) (d)
(e) (f)
Fig. 4 Simulation result (Barbara image)
(a) Original image (b) Noisy image( , ) (c) CWMF (d) ASMF (e) FLBF (f) PFA
영역에서 스무딩 현상이 발생하는 모습을 보였다.
제안한 알고리즘으로 처리한 경우 AWGN과 임펄스 잡음의 영향을 최소화하였으며 기본 방법에 비해 선명 한 결과를 나타내며 우수한 성능을 보였다.
시뮬레이션 결과의 정량적인 비교를 위해 PSNR (Peak Signal-to-Noise Ratio)[17-18]과 SSIM(Structural Similarity Index Measure)[19-20]을 사용하여 분석하였 다. 표 1과 2는 임펄스잡음의 밀도 변화에 따른 잡음영 상을 처리한 시뮬레이션 결과의 PSNR을 나타낸 것이 며, 표 3과 4는 SSIM을 결과를 나타낸 것이다. 비교 결 과 CWMF는 임펄스 잡음의 밀도가 비교적 작은 영상에 서 우수한 결과를 보였으나, 잡음의 밀도가 높아짐에 따 라 PSNR과 SSIM이 크게 낮아지며 미흡한 성능을 보였 다. ASMF로 처리한 경우 임펄스 잡음의 영향이 비교적 적었으나, AWGN의 영향에 의해 전체적으로 낮은 PSNR과 SSIM을 보였다. FLBF로 처리한 경우 Boat 영 상에서는 비교적 우수한 성능을 보였으나 에지성분이 자주 나타나는 Barbara 영상에서 전체적으로 낮은 PSNR을 보였다. 제안한 알고리즘 PFA(Proposed Filter Algorithm)은 기존 방법에 비해 AWGN의 잡음세기에 대한 영향을 적게 받았으며, 특히 잡음의 세기가 강한 영상에서 높은 PSNR과 SSIM을 보이며 우수한 성능을 보였다. 제안한 알고리즘은 임펄스 잡음의 잡음확률
인 Salt and Pepper 잡음에 훼손된 Boat 영상을
복원하였을 때, PSNR은 27.20[dB]을 나타내며 기존 방 법인 CWMF, ASMF, FLBF 비해 각각 8.09[dB], 2.22[dB], 1.60[dB] 개선된 모습을 보였다. 그리고 Barbara 영상에서는 SSIM이 0.6469를 나타내었으며, 기존 방법 에 비해 각각 0.2648, 0.0981, 0.1006 개선되었다.
Ⅳ. 결 론
본 논문은 복합잡음 환경에서 변형된 퍼지가중치와 결합가중치를 사용하여 영상을 복원하는 알고리즘을 제 안한다. 제안한 알고리즘은 잡음판단을 통해 AWGN과 임펄스 잡음을 구분하여 필터링을 진행하였으며, AWGN 인 경우 퍼지 멤퍼쉽 함수에 따라 입력화소값을 기준으 로 변형된 퍼지가중치를 계산하여 출력을 구한다. 임펄 스 잡음으로 판단된 경우 화소간격과 화소값 차이에 따 라 계산한 결합가중치를 사용하여 출력을 구한다.
시뮬레이션 결과 제안한 알고리즘은 우수한 성능을 보였으며, 잡음의 영향을 최소화하며 효과적으로 영상 을 복원하였다.
본 논문에서 제안한 알고리즘은 다양한 잡음 환경에 서 사용되는 시스템에서 효과적으로 사용되리라 사료 된다.
Table. 1 PSNR comparison of Boat image ( ) Table. 3 SSIM comparison of Boat image ( ) Noise
density () [%]
PSNR [dB] Noise
density () [%]
SSIM
CWMF ASMF FLBF PFA CWMF ASMF FLBF PFA
10 26.89 24.86 26.29 28.09 10 0.6664 0.5437 0.6416 0.6959
20 23.19 24.96 25.74 27.67 20 0.5579 0.5489 0.6150 0.6839
30 19.11 24.98 25.60 27.20 30 0.3977 0.5519 0.6130 0.6673
40 15.56 24.82 25.34 26.63 40 0.2417 0.5494 0.6073 0.6455
50 12.90 24.04 24.39 25.99 50 0.1361 0.5312 0.5782 0.6196
Table. 2 PSNR comparison of Barbara image ( ) Table. 4 SSIM comparison of Barbara image ( ) Noise
density () [%]
PSNR [dB] Noise
density () [%]
SSIM
CWMF ASMF FLBF PFA CWMF ASMF FLBF PFA
10 24.74 24.42 23.49 26.61 10 0.6387 0.5572 0.5708 0.6852
20 22.02 24.19 23.19 26.00 20 0.5336 0.5547 0.5484 0.6675
30 18.47 23.86 23.09 25.36 30 0.3821 0.5488 0.5463 0.6469
40 15.30 23.50 23.01 24.76 40 0.2349 0.5391 0.5425 0.6208
50 12.65 22.70 22.50 23.98 50 0.1308 0.5133 0.5193 0.5863
REFERENCES
[ 1 ] T. K. Kim, I. H. Song, and S. H. Lee, “Noise Reduction of HDR Detail Layer using a Kalman Filter Adapted to Local Image Activity,” Journal of Korea Multimedia Society, vol.
22, no. 1, pp. 10-17, Jan. 2019. DOI: 10.9717/kmms.2019.
22.1.010.
[ 2 ] P. S. V. S. Sridhar and R. Caytiles, “Efficient Cloud Data Hosting Availability,” Asia-pacific Journal of Convergent Research Interchange, vol. 3, no. 2, pp. 11-19, Jun. 2017.
10.21742/APJCRI.2017.06.02.
[ 3 ] J. H. Cha, Y. W. Woo, and I, G. Lee, “An Effective Method for Generating Images using Genetic Algorithm,” Journal of the Korea Institute of Information and Communication Engineering, vol. 23, no. 8, pp. 896-902, Aug. 2019. DOI:
10.6109/jkiice.2019.23.8.896.
[ 4 ] S. Calderón, A. Sáenz, R. Mora, F. Siles, I. Orozco, and M.
E. Buemi, “DeWAFF: A Novel Image Abstraction Approach to Improve the Performance of a Cell Tracking System,” in 2015 4th International Work Conference on Bioinspired Intelligence, San Sebastian : Spain, pp. 81-88, 2015. DOI: 10.1109/IWOBI.2015.7160148.
[ 5 ] Y. Zeng, Z. Zhang, X. Zhou, and Y. Liu, “High Dynamic Range Infrared Image Compression and Denoising,” in 2019 International Conference on Information Technology and Computer Application, Guangzhou : China, pp. 65-69, 2019.
DOI:10.1109/ITCA49981.2019.00022.
[ 6 ] P. Bottonia and M Ceriani, “Using Blocks to Get More Blocks: Exploring Linked Data Through Integration of Queries and Result Sets in Block Programming,” in 2015 IEEE Blocks and Beyond Workshop, Atlanta, GA : USA, pp.
99-101, 2015. DOI: 10.1109/BLOCKS.2015.7369012.
[ 7 ] G. Pok and K. H. Ryu, “Efficient Block Matching for Removing Impulse Noise,” IEEE Signal Processing Letters, vol. 25, no. 8, pp. 1176-1180, Jun. 2018. DOI:10.1109/
LSP.2018.2848846.
[ 8 ] R. Lai, Y. Mo, Z. Liu, and J. Guan, “Local and Nonlocal Steering Kernel Weighted Total Variation Model for Image Denoising,” Symmetry 2019, vol. 11, no. 3, pp. 1-16, Mar.
2019. DOI: 10.3390/sym11030329.
[ 9 ] J. M. Mendel, H. Hagras, H. Bustince, and F. Herrera,
“Comments on Interval Type-2 Fuzzy Sets are Generalization of Interval-Valued Fuzzy Sets: Towards a Wide View on Their Relationship,” Journal of the IEEE Transactions on Fuzzy Systems, vol. 24, no. 1, pp. 249-250, Feb. 2016. DOI:
10.1109/TFUZZ.2015.2446508.
[10] L. M. Herrera, M. I. C. Murguia, D. A. P. Urrutia, and J. A.
R. Quintana, “Human Image Complexity Analysis using a Fuzzy Inference System,” in 2019 IEEE International Conference on Fuzzy Systems, New Orleans, LA : USA, pp.
1-6, 2019. DOI: 10.1109/FUZZ-IEEE.2019.8858966.
[11] K. Kai, L. Tingting, X. Xianchun, Z. Guoquan, and Z.
Jianxin, “Study of Infrared Image Denoising Algorithm based on Steering Kernel Regression Image Guided Filter,”
in 2019 18th International Conference on Optical Communications and Networks (ICOCN), Huangshan : China, pp. 1-3, 2019. DOI: 10.1109/ICOCN.2019.8934701.
[12] A. K. Seghouane, A. Iqbal, and K. A. Meraim, “A Sequential Block-Structured Dictionary Learning Algorithm for Block Sparse Representations,” IEEE Transactions on Computational Imaging, vol. 5, no. 2, pp. 228-239, Jun.
2019. DOI: 10.1109/TCI.2018.2884809.
[13] Y. Feng, S. Li, and M. Dai, “An Image Matching Algorithm based on Sub-Block Coding,” in 2009 Second International Workshop on Computer Science and Engineering, Qingdao : China, pp. 599-603, 2009. DOI: 10.1109/WCSE.2009.740.
[14] P. Srisaiprai, W. Lee, and V. Patanavijit, “An Alternative Technique using Median Filter for Image Reconstruction based on Partition Weighted Sum Filter,” in 2016 13th International Conference on Electrical Engineering /Electronics, Computer, Telecommunications and Information Technology, Chiang Mai : Thailand, pp. 1-6, 2016. DOI: 10.1109/
ECTICon.2016.7561367.
[15] B. W. Cheon and N. H. Kim, “Noise Removal Algorithm Considering High Frequency Components in AWGN Environments,” Journal of the Korea Institute of Information and Communication Engineerin, vol. 22, no. 6, pp. 867-873, Jun. 2018. DOI: 10.6109/jkiice.2018.22.6.867.
[16] S. Trambadia and P. Dholakia, “Design and Analysis of an Image Restoration using Wiener Filter with a Quality based Hybrid Algorithms,” in 2015 2nd International Conference on Electronics and Communication Systems (ICECS), Coimbatore : India, pp. 1318-1323, 2015. DOI: 10.1109/
ECS.2015.7124798.
[17] D. Chowdhury, S. K. Das, S. Nandy, A. Chakraborty, R.
Goswami, and A. Chakraborty, “An Atomic Technique for Removal of Gaussian Noise from a Noisy Gray Scale Image using LowPass-Convoluted Gaussian Filter,” in 2019 International Conference on Opto-Electronics and Applied Optics (Optronix), Kolkata : India, pp. 1-5, 2019. DOI:
10.1109/OPTRONIX.2019.8862330.
[18] C. Deng, S. Wang, A. C. Bovik, G. B. Huang, and B. Zhao,
“Blind Noisy Image Quality Assessment using Sub-Band Kurtosis,” IEEE Transactions on Cybernetics, vol. 50, no. 3,
pp. 1146-1156, Mar. 2020. DOI: 10.1109/TCYB.2018.
2889376.
[19] H. Zhang, T. Arslan, and B. Flynn, “Wavelet De-noising based Microwave Imaging for Brain Cancer Detection,” in 2013 Loughborough Antennas & Propagation Conference, Loughborough : UK, pp. 482-485, 2013. DOI: 10.1109/
LAPC.2013.6711946.
[20] Y. Chen, Y. Zhang, H. Shu, J. Yang, L. Luo, J. L. Coatrieux, and Q. Feng, “Structure-Adaptive Fuzzy Estimation for Random-Valued Impulse Noise Suppression,” IEEE Transactions on Circuits and Systems for Video Technology, vol. 28, no. 2, pp. 414-427, Feb. 2018. DOI: 10.1109/
TCSVT.2016.2615444.
천봉원(Bong-Won Cheon)
2018년 2월 부경대학교 제어계측공학과 졸업 2020년 2월 부경대학교 제어계측공학과 공학석사
2020년 3월~현재 부경대학교 대학원 스마트로봇융합응용공학과 박사과정
※관심분야 : 영상처리
김남호(Nam-Ho Kim)
제11권 제1호 참조
1992년 3월~현재 부경대학교 공과대학 제어계측공학과 교수
※관심분야 : 영상처리, 통신시스템, 적응필터와 웨이브렛을 이용한 잡음제거 및 신호복원
