한국정보통신학회논문지 Vol. 25, No. 8: 1039~1045, Aug. 2021
임펄스 잡음 환경에서 분할 마스크와 표준편차에 기반한 영상 복원 알고리즘
천봉원1·김우영2·사공병일3·김남호4*
Image Restoration Algorithm based on Segmented Mask and Standard Deviation in Impulse Noise Environment
Bong-Won Cheon1 · Woo-Young Kim2 · Byung-Il Sagong3 · Nam-Ho Kim4*
1Ph. D. student, Dept. of Smart Robot Convergence and Application Eng., Pukyong National University, Busan, 48513 Korea
2Graduate student, Dept. of Control and Instrumentation Eng., Pukyong National University, Busan, 48513 Korea
3Ph.D. student, Dept. of Control and Instrumentation Eng., Pukyong National University, Busan, 48513 Korea
4*Professor, Dept. of Control and Instrumentation Eng., Pukyong National University, Busan, 48513 Korea
요 약
4차 산업 혁명과 IoT 기술의 발전으로 카메라 센서와 영상에 기반한 자동화 시스템이 다양한 분야에서 사용되고 있으며, 영상 및 신호처리의 관심이 높아지고 있다. 본 논문은 임펄스 잡음에 훼손된 영상을 복원하기 위한 디지털 필 터 알고리즘을 제안한다. 제안한 알고리즘은 영상에 설정된 로컬 마스크를 기준으로 수직, 수평, 대각선 방향으로 8 개의 마스크로 분할하며, 각 분할 마스크의 표준편차를 비교하여 기준값을 구한다. 최종 출력은 공간적 거리에 따른 가중치와 기준값을 사용한 가중치를 로컬 마스크에 적용하여 계산한다. 제안한 알고리즘을 평가하기 위해 기존 알고 리즘과 시뮬레이션하였으며, 확대영상과 PSNR 등을 이용하여 성능을 비교하였다.
ABSTRACT
In modern society, due to the influence of the 4th industrial revolution, camera sensors and image-based automation systems are being used in various fields, and interest in image and signal processing is increasing. In this paper, we propose a digital filter algorithm for image reconstruction in an impulse noise environment. The proposed algorithm divides the image into eight masks in vertical, horizontal, and diagonal directions based on the local mask set in the image, and compares the standard deviation of each segmentation mask to obtain a reference value. The final output is calculated by applying the weight according to the spatial distance and the weight using the reference value to the local mask. To evaluate the performance of the proposed algorithm, it was simulated with the existing algorithm, and the performance was compared using enlarged images and PSNR.
키워드 : 영상처리, 임펄스 잡음, 분할 마스크, 표준편차
Key word : Image processing, Impulse noise, Segmented mask, Standard deviation
Received 23 June 2021, Revised 24 June 2021, Accepted 22 July 2021
* Corresponding Author Nam-Ho Kim(E-mail:[email protected], Tel:+82-51-629-6328)
Professor, Dept. of Control and Instrumentation Eng., Pukyong National University, Busan, 48513 Korea
Open Access http://doi.org/10.6109/jkiice.2021.25.8.1039 print ISSN: 2234-4772 online ISSN: 2288-4165 Communication Engineering
Ⅰ. 서 론
현대 사회는 디지털 통신 매체의 발전과 4차 산업 혁 명의 영향으로 폭넓은 분야에서 자동화 시스템이 도입 되고 있으며, 영상과 카메라 기반의 물체인식에 대한 중 요성이 높아지고 있다. 하지만 디지털 영상은 센서의 오 작동, 전송 오류, 데이터를 아날로그-디지털 변환하는 과정과 같이 다양한 이유로 잡음에 훼손될 수 있다. 손 상된 영상은 영상처리를 통해 복원하지 않으면 시스템 에 유용한 정보를 얻기 곤란하며, 이미지 분할, 물체 인 식, 에지 검출 및 영상 분석과 같은 하위 시퀸스 과정에 영향을 미친다. 따라서 잡음 제거는 영상처리에서 가장 근본적인 기술로써 광범위하게 연구되고 있으며, 영상 의 세부적인 특징을 보존하며 원본에 가까운 복원 영상 을 획득하기 위한 연구가 활발하게 진행되고 있다[1-2].
디지털 영상에서 나타나는 대표적인 잡음 중 하나인 임펄스 잡음(impulse noise)은 영상에서 최솟값 또는 최 댓값의 형태로 나타나는 잡음으로[3-4], 영상처리의 전 처리 과정에서 필수적으로 제거하는 잡음이다. 임펄스 잡음을 제거하기 위해 다양한 기법과 알고리즘들이 제 시되었으며, 대표적인 기법으로 multi-stage median filter(MMF)[5], modified hybrid median filter(MHMF) [6], median filter(MF)[7]가 있다. 하지만 기존의 필터들 은 임펄스 잡음에 훼손된 영상에서 화소값들의 크기 및 순서와 같은 상관관계에 따라 영상을 복원하고 있으며, 에지성분과 텍스트 등 화소값이 크게 바뀌는 영역을 처 리할 경우 원영상과 차이가 크게 나타나는 단점이 있다.
본 논문에서는 임펄스 잡음 환경에서 분할 마스크와 표준편차에 기반한 영상 복원 알고리즘을 제안한다. 제 안한 알고리즘은 필터 가중치를 계산하기 위해 로컬 마 스크를 수직, 수평, 대각선 방향에 대해 8개로 분할하며, 화소의 표준편차가 최솟값인 분할 마스크의 메디안 값 을 기준값으로 정한다. 필터 가중치는 로컬 마스크의 화 소값을 기준값과 서로 비교하여 계산하며, 기준값과 비 슷한 화소에 더 높은 가중치를 부여한다.
Ⅱ. 제안한 알고리즘
2.1. 임펄스 잡음 판단
영상에서 나타나는 임펄스 잡음은 영상의 임의의 좌
표에 확률적으로 나타나며, 화소의 최솟값 및 최댓값을 가지는 특징이 있다. 8bit 그레이 영상에서 잡음에 훼손 된 영상 의 임펄스 잡음 판단은 다음과 같다.
(1)
여기서 는 입력 영상에서 화소의 공간적 좌표를 의미한다. 제안한 알고리즘은 입력화소에 대해 잡음판 단을 사용하여 잡음으로 분류된 화소인 경우 필터링을 진행한다. 잡음이 아닌 경우 영상의 세부정보를 보존하 기 위해 입력화소의 화소값을 출력으로 사용한다.
2.2. 로컬 마스크와 분할 마스크 설정
제안한 알고리즘은 임펄스 잡음 제거를 위해 입력된 영상의 화소를 중심으로 로컬 마스크를 설정한다. 로컬 마스크 는 다음과 같다.
≤ ≤ (2)
여기서 은 로컬 마스크의 크기를 결정하는 상수를 의미하며, 인 경우 로컬 마스크는 × 크기를 가 진다. 는 로컬 마스크 내부의 화소 좌표를 나타내며, 로컬 마스크에서 입력화소는 으로 나타낼 수 있다.
필터 가중치의 기준값을 계산하기 위해 분할 마스크 를 설정한다. 분할 마스크는 로컬 마스크를 기준으로 8 방향으로 설정하며, 각각 수직, 수평, 대각선 방향에 위 치한 화소의 집합으로 나타낸다. 수직, 수평 방향에 대 한 분할 마스크 ∼는 다음과 같다.
≤ ≤ ≤ ≤(3)
≤ ≤ ≤ ≤ (4)
≤ ≤ ≤ ≤ (5)
≤ ≤ ≤ ≤ (6)
로컬 마스크의 대각선 방향에 대한 분할 마스크
∼은 다음과 같다.
≤ ≤ ≤ (7)
≥ ≤ ≤ (8)
≤ ≤ ≤ (9)
≥ ≤ ≤ (10)
여기서 은 각 분할 마스크에 포함된 화소의 수를 의미하며, 은 각 분할 마스크에 할당된 번호를 의미한다.
로컬 마스크와 분할 마스크는 그림 1과 같이 나타낼 수 있다.
Fig. 1 Local mask and segmented mask
2.3. 필터 가중치의 기준값 계산
필터의 가중치를 구하기 위해 임펄스 잡음에 훼손된 입력화소값을 유추하여 기준값을 계산한다. 서로 비슷 한 화소값으로 구성된 저주파 영역의 경우, 8방향의 분 할마스크가 모두 비슷한 화소 분포를 가지고 있기 때문 에 입력화소값을 간단하게 유추할 수 있다. 하지만 에지 성분과 텍스트와 같이 화소값의 변화가 강한 영역에서 는 분할마스크의 방향에 따라 화소값의 차이가 나타난 다. 따라서 제안한 알고리즘은 화소값의 변화가 가장 적 은 영역으로부터 기준값을 유추하였으며, 기준값 계산 을 위해 화소값의 표준편차가 가장 작은 분할 마스크를 선택한다.
분할 마스크의 표준편차 는 다음과 같다.
(11)
여기서 은 분할 마스크 에 포함된 화소값의 평균을 의미한다. 이 때, 분할마스크의 표준편차는 잡음 판단을 이용하여 비잡음 화소를 대상으로 계산한다.
분할 마스크의 표준편차 비교에 따른 기준값 는 다음과 같다.
(12)
여기서 은 분할마스크 중 표준편차가
가장 낮은 마스크를 의미하며, 은 메디안 값 을 반환하는 함수를 의미한다.
2.4. 필터의 가중치와 최종 출력 계산
필터 가중치를 구하기 위해 화소값이 떨어진 거리에 에 따른 공간가중치와 화소가중치를 계산한다. 공간가 중치는 로컬 마스크 내부의 화소간 공간적 거리에 따라 가중치를 설정하기 위해 계산한다.
공간적 거리에 따른 가중치 와 화소가중치
는 다음과 같다.
(13)
(14)
(15)여기서 는 로컬 마스크에 속한 화소값이 마 스크의 중심에 근접한 정도를 의미하며, 중심에 가까운 화소일수록 높은 값을 가진다. 식 (14)에서 공간가중치
는 입력화소에 근접한 화소일수록 서로 비슷한 화소일 가능성이 높기 때문에 마스크의 중심에 가까운 화소값에 높은 가중치를 설정한다. 식 (15)에서 화소가 중치 는 기준값과 로컬 마스크에 속한 화소값 을 서로 비교하였을 때, 기준값과 차이가 작은 화소일수 록 원영상에 가까운 화소로 판단하여 높은 가중치를 부 여한다. 는 로컬 마스크 의 화소 가운데 임 펄스 잡음이 아닌 화소값의 표준편차를 의미한다.
필터의 최종 출력은 로컬 마스크에 공간가중치와 화 소가중치를 적용하여 구한다. 최종가중치 와 최종출력 는 다음과 같다.
(16)
(17)
Ⅲ. 시뮬레이션 및 결과
3.1. 시뮬레이션 과정
제안한 필터 알고리즘을 평가하기 위해 × 크 기의 8bit 그레이 영상인 Boat와 Lena에 대해 시뮬레이 션을 진행하였으며, 잡음확률 ∼ 인 임펄스 잡음에 훼손된 영상을 기존방법과 제안한 알고리즘으 로 필터링하여 결과를 비교하였다.
시뮬레이션은 기존 방법인 multi-stage median filter, modified hybrid median filter, median filter와 비교하여 진행하였으며, 기존 방법과 제안한 필터 알고리즘(PFA : proposed filter algorithm)은 모두 × 크기의 마스크 를 사용하여 영상을 복원하였다.
(a) (b)
Fig. 2 Test image (Boat) (a) Original image (b) Noisy image
(a) (b)
Fig. 3 Test image (Lena) (a) Original image (b) Noisy image
그림 2와 3은 시뮬레이션에 사용된 Boat와 Lena의 원 영상과 잡음확률 인 임펄스 잡음에 훼손된 영 상이다.
그림 4와 5는 잡음 영상을 기존방법과 제안한 알고리 즘으로 복원한 결과를 나타낸 것이며, 확대 영상을 사용 하여 평가하였다.
3.2. 결과영상 및 성능분석
MMF로 처리한 경우, MF에 비해 영상의 디테일한 부분의 처리 성능이 우수하였으나, 임펄스 잡음이 밀집 된 영역에서는 잡음의 영향이 나타나며 다소 미흡한 성 능을 보였다. MHMF로 처리한 결과 화소값이 크게 변 하는 고주파 영역에서 영상을 효과적으로 복원하였다.
하지만 잡음이 강하게 나타나는 영역에서 임펄스 잡음 의 영향이 나타나며 다소 부족한 성능을 보였다. MF로 처리한 결과, 임펄스 잡음의 영향을 최소화하며 우수한 성능을 보였으나, 영상의 디테일한 정보가 크게 훼손된 모습을 볼 수 있었다.
제안한 방법으로 처리한 결과, 임펄스 잡음의 영향을 최소화하여 영상을 복원하였으며 기존 방법에 비해 선 명한 결과 영상을 보였다. 특히 Boat 영상의 텍스트 및 와이어 부분과 Lena 영상의 모자 장식과 같은 세밀한 부 분에서 뚜렷한 결과를 나타내었다.
표 1, 2, 3, 4는 임펄스 잡음에 훼손된 영상의 잡음확 률을 ∼ 로 변화하였을 때, 잡음영상을 각 필터로 처리한 결과의 PSNR[8-10]을 나타낸 것이다.
PSNR 비교 결과, MMF로 처리한 경우 임펄스의 밀 도가 낮은 영상에서 우수한 결과를 보였으나, 잡음이 강 한 영상일수록 성능이 크게 낮아지는 결과를 보였다.
MHMF로 처리한 경우, MMF와 MF에 비해 잡음의 밀 도가 낮은 영상에서 PSNR이 높게 나타났으나, 잡음확 률이 높아짐에 따라 성능이 크게 낮아지는 모습을 볼 수 있었다. MF로 처리한 결과의 PSNR은 잡음확률이 높은 영상에서 MMF 및 MHMF에 비해 높은 결과를 보였으 나, 잡음확률이 낮은 영상에서 다소 낮은 PSNR을 보 였다.
Multi-stage median filter Modified hybrid median filter Median filter Proposed filter algorithm
Fig. 4 Simulation result and enlarged image (Boat, )
Multi-stage median filter Modified hybrid median filter Median filter Proposed filter algorithm
Fig. 5 Simulation result and enlarged image (Lena, )
Noise density [%]
PSNR [dB]
MMF MHMF MF PFA
10 28.28 27.04 26.92 37.26
20 26.74 26.14 26.53 34.31
30 23.64 24.23 25.94 32.28
40 19.72 21.42 25.06 30.80
50 16.03 18.23 22.87 29.36
60 12.97 15.01 18.59 27.68
Table. 1 PSNR comparison of Boat image
Noise density [%]
PSNR [dB]
MMF MHMF MF PFA
10 32.32 31.14 30.87 40.92
20 29.60 29.63 30.24 37.68
30 24.77 26.36 29.50 35.60
40 20.07 22.42 27.89 33.99
50 16.02 18.48 24.05 32.63
60 13.02 15.29 19.45 29.92
Table. 2 PSNR comparison of Lena image
Noise density [%]
PSNR [dB]
MMF MHMF MF PFA
10 31.50 32.12 32.85 37.71
20 31.08 30.55 30.08 35.24
30 30.37 26.95 25.13 33.24
40 28.77 22.78 20.23 31.74
50 24.72 18.72 16.17 30.41
60 19.65 15.36 13.08 28.88
Table. 3 PSNR comparison of Girl image
Noise density [%]
PSNR [dB]
MMF MHMF MF PFA
10 31.70 31.94 33.00 41.09
20 30.90 29.77 29.53 38.04
30 29.91 26.25 24.69 36.09
40 28.14 22.32 19.78 34.73
50 24.14 18.22 15.79 33.16
60 18.91 14.86 12.65 30.73
Table. 4 PSNR comparison of Peppers image
반면 제안한 알고리즘은 기존 방법에 비해 높은 PSNR을 나타내었으며, 특히 잡음확률이 낮은 환경에서 기존 방법에 비해 우수한 잡음 제거 성능을 보였다. 제 안한 알고리즘은 인 임펄스 잡음에 훼손된 Boat 영상을 복원한 결과 29.36[dB]의 PSNR을 보였으 며, MMF, MHMF, MF에 비해 13.33[dB], 11.13[dB], 6.49[dB] 개선되었다. Lena 영상의 경우 32.63[dB]를 나 타내며 기존 방법과 비교하였을 때, 각각 16.61[dB], 14.15[dB], 8.58[dB] 개선되었다.
Ⅳ. 결 론
본 논문은 임펄스 잡음에 훼손된 영상을 복원하기 위 한 분할 마스크와 표준편차에 기반한 필터 알고리즘을 제안한다.
제안한 알고리즘은 영상의 화소를 중심으로 설정된 로컬 마스크를 수직, 수평, 대각선 방향에 대한 분할 마 스크로 구분하였으며, 분할 마스크의 표준편차를 비교 하여 기준값을 계산하였다. 필터의 출력을 구하기 위해 공간 가중치와 화소가중치를 구하였으며, 로컬 마스크 에 두 가중치를 적용하여 최종출력을 구하였다.
필터링 영상과 확대영상을 분석한 결과, 제안한 방법 은 영상의 기존 방법에 비해 임펄스 잡음 제거 성능이 우수하였으며, 영상의 경계선 부분과 같이 디테일한 영 역에서 뛰어난 영상 복원 성능을 보였다.
제안한 알고리즘은 임펄스 잡음 환경에서 사용되는 다양한 영상 시스템에서 유용하게 적용될 것으로 사료 된다.
REFERENCES
[ 1 ] C. Yu, M. W. Chen, J. Y. Chen, and J. H. Tang, “Peer Group and Hybrid Vector Filter for Removal of Impulse Noise in Color Images,” in 2019 IEEE International Conference on Consumer Electronics, Yilan : Taiwan, pp. 1-2, 2019. DOI:
10.1109/ICCE-TW46550.2019.8992008.
[ 2 ] P. S. V. S. Sridhar and R. Caytiles, “Efficient Cloud Data Hosting Availability,” Asia-pacific Journal of Convergent Research Interchange, vol. 3, no. 2, pp. 11-19, Jun. 2017.
DOI: 10.21742/APJCRI.2017.06.02.
[ 3 ] G. C. Pok and K. H. Ryu, “Efficient Block Matching for Removing Impulse Noise,” IEEE Signal Processing Letters, vol. 25, no. 8, pp. 1176-1180, Aug. 2018. DOI:
10.1109/LSP.2018.2848846.
[ 4 ] C. H. Hsieh, P. C. Huang, and Q. Zhao, “Impulse Noise Replacement with Adaptive Neighborhood Median Filtering,”
in 2018 International Conference on Machine Learning and Cybernetics, Chengdu : China, pp. 491-496, 2018. DOI:
10.1109/ICMLC.2018.8527058.
[ 5 ] W. S. Lee and Y. S. Choi, “Impulse Noise Immune Bayer Image Compression with Direction Estimation for Imaging Sensor,” in 2019 26th IEEE International Conference on Electronics, Circuits and Systems, Genoa : Italy, pp.
670-673, 2019. DOI: 10.1109/ICECS46596.2019.8965111.
[ 6 ] C. Lin, Y. Li, S. Feng, and M. Huang, “A Two-Stage Algorithm for the Detection and Removal of Random- Valued Impulse Noise based on Local Similarity,” IEEE Access, vol. 8, no. 1, pp. 222001-222012, Nov. 2020. DOI:
10.1109/ ACCESS.2020.3040760.
[ 7 ] M. Mafi, H. Rajaei, M. Cabrerizo, and M. Adjouadi, “A Robust Edge Detection Approach in the Presence of High Impulse Noise Intensity Through Switching Adaptive Median and Fixed Weighted Mean Filtering,” IEEE Transactions on Image Processing, vol. 27, no. 11, pp.
5475-5490, Nov. 2018. DOI: 10.1109/TIP.2018.2857448.
[ 8 ] P. Satt, N. Sharma, and B. Garg, “Min-Max Average Pooling based Filter for Impulse Noise Removal,” IEEE Signal Processing Letters, vol. 27, no. 1, pp. 1475-1479, Aug. 2020. DOI: 10.1109/LSP.2020.3016868.
[ 9 ] P. L. Shui and F. P. Wang, “Anti-Impulse-Noise Edge Detection via Anisotropic Morphological Directional Derivatives,” IEEE Transactions on Image Processing, vol.
26, no. 10, pp. 4962-4977, Jul. 2017. DOI: 10.1109/TIP.
2017.2726190.
[10] R. Abiko and M. Ikehara, “Blind Denoising of Mixed Gaussian-impulse Noise by Single CNN,” in IEEE International Conference on Acoustics, Speech and Signal Processing, Brighton : UK, pp. 1717-1721, 2019. DOI:
10.1109/ICASSP.2019.8683878.
천봉원(Bong-Won Cheon)
2018년 2월 부경대학교 제어계측공학과 졸업 2020년 2월 부경대학교 제어계측공학과 공학석사
2020년 3월~현재 부경대학교 대학원 스마트로봇융합응용공학과 박사과정
※관심분야 : 영상처리
김우영(Woo-Young Kim)
2012년 2월 부경대학교 제어계측공학과 졸업 2012년 1월~현재 대우조선해양
2020년 3월~현재 부경대학교 대학원 제어계측공학과 석사과정
※관심분야 : 영상처리, 머신러닝, 딥러닝
사공병일(Byung-Il Sagong)
2017년 2월 동명대학교 메카트로닉스공학과 졸업
2019년 8월 부산대학교 기계공학부 제어자동화시스템전공 공학석사 2021년 3월~현재 부경대학교 대학원 제어계측공학과 박사과정 ※관심분야: 영상처리(로봇), IoT 융합
김남호(Nam-Ho Kim)
제11권 제1호 참조
1992년 3월~현재 부경대학교 공과대학 제어계측공학과 교수
※관심분야 : 영상처리, 통신시스템, 적응필터와 웨이브렛을 이용한 잡음제거 및 신호복원
