Salt and Pepper 잡음 환경에서 히스토그램의 분포를 이용한 스위칭 필터
백지현 1 , 박준모 2 , 김남호 3*
1 부경대학교 스마트로봇융합응용공학과
2 동명대학교 전자및의용공학부
3 부경대학교 제어계측공학과
Switching Filter using Distribution of Histogram in Salt and Pepper Noise Environments
Ji-Hyeon Baek 1 , Jun-Mo Park 2 , Nam-Ho Kim 3*
1 Dept. of Smart Robot Convergence and Application Engineering, Pukyong National University
2 School of Electronic and Biomedical Engineering, Tongmyong University
3 Dept. of Control and Instrumentation Engineering, Pukyong National University
요 약 최근 통신장비가 발달함에 따라 통신장비의 수요가 점차 늘어나고 있는 추세이다. 이에 따라 다양한 신호 처리가 연구 되어져 왔다. 그 중 영상은 전처리 과정에서 잡음을 제거하지 않으면 오류의 전파라는 문제를 야기할 수 있기 때문에 잡음 제 거가 필수불가결한 단계이다. Salt and Pepper 잡음의 경우 두 개의 극값을 가지는 대표적인 임펄스 잡음이다. 이러한 잡음을 제거하기 위해 다양한 연구가 진행되어 왔으며 CWMF, MF, MMF 등이 있다. 하지만 기존의 방법들은 고밀도 잡음 영역에서 다 소 미흡한 모습을 보인다. 따라서 본 연구에서는 7×7 마스크 내부의 잡음개수에 따라 마스크의 크기를 다르게 하고, 영상의 히 스토그램 분포를 이용하여 변형된 스위칭 필터로 필터링하는 알고리즘을 제안하였다. 제안한 알고리즘의 경우 고밀도 잡음 영 역에서 효과적으로 잡음을 제거할 수 있으며, 객관적인 판단을 위해 PSNR을 이용하여 기존의 알고리즘들과 비교, 분석하였다.
• 주제어 : Salt and Pepper 잡음, 잡음 제거, 히스토그램, 스위칭 필터, PSNR
Abstract With the recent development of communication equipment, the demand for communication equipment is
gradually increasing. Accordingly, various signal processing has been studied. In the case of an image, noise removal is an indispensable step because noise propagation problems may occur if noise is not removed in the pre-processing process. Salt and Pepper noise is a typical impulse noise with two extremes. Various studies have been conducted to remove such noise, and there are CWMF, MF and MMF. However, the existing methods are somewhat insufficient in the high-density noise region. Therefore, in this study, we have proposed an algorithm that filters the size of the mask according to the number of noises inside the 7x7 mask and filters it with a modified switching filter using the histogram distribution of the image. In the case of the proposed algorithm, noise can be effectively removed in a high-density noise region. For objective judgment, PSNR was used to compare and analyze with existing algorithms.• Key Words : Salt and Pepper noise, Noise removal, Histogram, Switching filter, PSNR
Received 12 June 2020, Revised 20 August 2020, Accepted 25 September 2020
* Corresponding Author Nam-Ho Kim, Dept. of Control and Instrumentation Engineering, Pukyong National University, Busan, 48513,
Korea. E-mail: [email protected]Ⅰ. 서론
현재 통신 기기 장치의 수요가 증대되면서, 이러한 기기들의 노이즈 캔슬링 연구가 활발히 진행되고 있다.
노이즈는 불필요한 정보를 의미하며 통신 기기의 기능 에 지장을 초래할 수 있다. 그 중 영상 통신 기술에서 노이즈는 데이터를 송, 수신 하는 과정에서 발생하게 되며 잡음을 제거하지 않으면 오류의 전파라는 문제점 을 야기할 수 있으므로 영상 통신에서 잡음제거는 필 수적인 과정 중 하나이다[1-4].
대표적인 임펄스 잡음인 Salt and Pepper 잡음의 제 거하기 위해 다양한 연구가 진행되어 왔다. 대표적인 방법으로 CWMF(center weighted median filter)[5], MF(median filter)[6], MMF(modified median filter)[7] 등 이 있다. 하지만 이러한 방법들은 저밀도 잡음 영역에 서는 우수한 성능을 보이지만, 고밀도 잡음 영역에서 는 잡음 제거 성능이 다소 미흡하게 나타난다. 따라서 본 연구에서는 고밀도 잡음 영역에서도 효과적으로 잡 음을 제거하는 방법을 제안한다.
원 영상의 보존률을 높이기 위해 잡음판단 부분과 잡음제거 부분으로 나누어 잡음이 아니라고 판단된 경 우 그대로 대치하고, 잡음이라고 판단된 경우 7×7 마 스크 내부의 잡음 개수를 이용하여 잡음 제거에 이용 하게 될 마스크의 크기를 정한 뒤, 해당 마스크의 유 효화소의 분포를 세분화 하여 histogram의 수치에 따 라 다르게 가중치를 부여하는 스위칭 필터링 방법을 제안한다.
본 연구의 타당성을 입증하기 위해 시뮬레이션 결 과 영상과, 정형화된 수치인 PSNR(peak signal to noise ratio)[8-10]의 그래프를 이용하여 실험 결과를 비교, 분 석하였다.
Ⅱ. 제안한 알고리즘
본 연구에서는 잡음의 개수에 따라 마스크의 크기 를 결정하고, 마스크 내의 유효화소의 분포를 세분화 하여 histogram의 수치에 따라 가중치를 부여하는 스 위칭 필터 알고리즘을 제안하였다. 원 화소의 보존률 을 높이기 위해, 잡음판단 영역과 잡음제거 부분으로 나누어 필터링을 진행하였다. 두 개의 극값을 가지는 Salt and Pepper 잡음의 특징을 이용하여 마스크의 중
이외의 값일 경우 원 화소라고 판단하여 출력값을 그 대로 대치하였다.
2.1 Histogram
8비트 그레이 영상의 경우 의 밝기레벨을 가지는 히스토그램은 식 (1)과 같다.
(1)여기서
의 값을 가지며,
는 의 값을 가지는 화소의 개수를 의미한다.2.2 잡음 판단
잡음의 판단은 플래그 마스크로 판단하였으며, 영상 의 에 위치한 화소의 플래그 마스크를
라고 할 때, 식 (2)와 같이 표현 가능하다.
i f
min
or max
(2)
여기서
는 에 위치한 잡음 영상의 화소를 의 미하고 min
max
는 각각 0과 255의 값을 가진다. 따라 서 플래그 마스크의 값이 1이라면 잡음이 아니라고 판 단하여 값을 그대로 대치하고, 0이라면 잡음이라고 판 단하고 필터링을 진행한다.2.3 잡음 제거
잡음 판단 부분에서 잡음이 아니라고 판단된 경우 출력값을 그대로 대치하고, 잡음이라고 판단된 경우 잡음을 제거하는 과정을 거치게 되며 순서는 다음과 같다.
Step 1. 잡음제거에 이용할 마스크의 크기를 결정하 기 위해 7×7 마스크를 설정하여 내부의 잡음 개수를 구한다. 잡음의 개수가 작다면 작은 크기의 마스크로 도 충분한 정보를 얻을 수 있다고 판단하여 마스크의 크기를 줄였고, 잡음의 개수가 많다면 마스크를 크게 키워 해당 픽셀의 주변 정보를 최대한 얻을 수 있게
Fig. 1. Rearrangement example
≤ ≤ (3)7×7 마스크 내부의 잡음 개수를
이라고 할 때,
의 값에 따라 의 값이 달라지며 조건은 식 (4)와 같다.
× ≤
≤
×
×
≤
×
×
≤
× (4)
식 (4)에서 의 값을 가진다.
Step 2. Step 1.에서 정해진 마스크 내부의 유효화소 들의 집합을
이고,
는 분할된 영역이라고 할 때 , 식 (5)와 같이 네 가지 영역으로 나눈다.
≤
×
× ≤
×
× ≤
×
× ≤
× (5)
여기서 는 ≤ ≤ 의 값을 가진다.
Step 3.
가
에 해당하는 화소들의 개수를 의미 할 때, 식 (6)과 같이 정렬한다.′
(6)여기서 ∙는 오름차순 정렬 함수를 의미한다.
Step 4. 가장 많은 화소를 가진
에 해당하는 값인′ 와 비교 기준이 되는 식 (7)에 따라 다음과 같이 처리한다.
(7)case 1)
≤ ′ 인 경우′ 에 해당하는
값을
′
이라고 할 때, 해 당 집합의 요소들을 식 (1)의 에 대입하여,
값을 구 한다.
의 크기 순서에 따라 그림 1과 같이 재배열 하 고, 재배열한 유효화소의 집합을
′
이라고 할 때, 최종 출력 식은 다음과 같다.
′
×
(8)
⋯ (9)여기서
의 요소개수는 개를 가지며, 는
′
의 요소개수와 같다.
case 2)
′ 인 경우′ 과 ′ 에 각각 해당하는
값을 합하여
′′
를 구하고, case 1)과 동일한 방법으로
′′
를 재배열 하고, 재배열한 값을
′′
라고 할 때, 최종 출 력 식은 다음과 같다.
(10)
′
′′
(11)′
⋯ (12)여기서 ′
의 요소개수는 개를 가지며, 는
′′
의 요소개수와 같고, ∙ 는 메디안 함수를 의미한다. 만약 요소개수가 홀수라면 중앙값이 출력되 고, 짝수라면 중앙 2개의 값을 평균한 값이 출력된다.그림 2는 본 논문에서 제안하는 알고리즘의 Flow chart를 나타낸 것이다.
Fig. 2. Flow chart of proposed filter algorithm
Ⅲ. 시뮬레이션 및 결과
본 연구에서 8bit gray 영상인 Lena와 barbara의 영 상에 임의로 Salt and Pepper 잡음을 입혀 시뮬레이션 을 진행하였다. 제안한 알고리즘의 우수성을 객관적으 로 입증하기 위해 기존의 알고리즘인 CWMF, MF, MMF 와 제안한 알고리즘(PFA : proposed filter algorithm)의 결과 영상을 비교하였으며, PSNR을 이용하여 정확한 수치로 나타내었다. MSE와 PSNR은 식 (13), (14)에 나 타내었다.
(13)
log
(14)
식 (13)에서
는 영상의 가로와 세로의 크기를 의미하고,
는 원 영상을 의미한다.그림 3에서 (a)는 Lena의 원 영상이며 (b)는 Barbara 의 원영상이다. 그림 4는 잡음 밀도 30%에 훼손된 Lena의 결과 영상을 나타내었으며 (a)는 잡음 영상이 고 (b), (c), (d), (e)는 각각 CWMF, MF, MMF, PFA로 처리한 결과 영상이다. 그림 5, 6은 각각 잡음밀도 50%, 70% 일 때 처리 결과를 나타내었으며 구성은 그 림 4와 동일하다. 그림 7, 8, 9는 Barbara 영상의 결과
를 나타내었으며 구성은 그림 4, 5, 6과 동일하게 나타 내었다.
본 연구에서 기존의 알고리즘의 마스크 크기는 3×3 로 통일 하였고, 제안한 알고리즘은 로 처리하였 다.
시뮬레이션 한 결과 영상으로부터 CWMF, MF, MMF 모두 저밀도 잡음인
에서 우수한 잡음 제거 성능을 나타내었다. 하지만 잡음 밀도가 높아질수록 성능이 미흡해지는 특성을 나타내었다. 하지만 PFA의 경우 저밀도 잡음 영역과 고밀도 잡음영역 모두 우수 한 결과를 나타내었다.표 1, 2는 Lena와 Barbara영상의 시뮬레이션 결과를 PSNR로 나타내었다.
CWMF의 경우 고주파 성분이 많은 Barbara영상 보 다 비교적 고주파 성분이 적은 Lena영상에서 좀 더 우 수한 결과를 나타내었다.
(a) (b)
Fig. 3. Original image (a) Lena (b) Barbara
(a) (b) (c) (d) (e) Fig. 4. Filtering result of Lena (P=30%) (a) Noisy image (b) CWMF (c) MF (d) MMF (e) PFA
(a) (b) (c) (d) (e)
Fig. 5. Filtering result of Lena (P=50%) (a) Noisy image (b) CWMF (c) MF (d) MMF (e) PFA
(a) (b) (c) (d) (e)
Fig. 6. Filtering result of Lena (P=70%) (a) Noisy image (b) CWMF (c) MF (d) MMF (e) PFA
Table 1. Each PSNR result of Lena image
P[%] PSNR[dB]
CWMF MF MMF PFA
10 33.39 33.63 40.66 39.70
20 25.64 29.38 32.58 36.37
30 19.98 23.73 26.00 33.67
40 16.17 19.27 21.03 31.44
50 13.08 15.31 16.75 30.01
60 10.87 12.37 13.57 28.70
70 9.02 10.01 10.91 27.03
80 7.61 8.17 8.78 25.85
90 6.40 6.63 6.94 23.07
Table 2. Each PSNR result of Barbara image
P[%] PSNR[dB]
CWMF MF MMF PFA
10 26.63 24.59 32.94 32.41
20 23.17 23.49 28.41 29.26
30 19.03 21.01 23.97 27.01
40 15.63 17.93 19.98 25.36
50 12.85 14.73 16.28 24.23
60 10.70 12.08 13.30 23.45
70 8.93 9.85 10.75 22.84
80 7.52 8.05 8.65 22.11
90 6.39 6.61 6.92 20.64
(a) (b) (c) (d) (e) Fig. 7. Filtering result of Barbara (P=30%) (a) Noisy image (b) CWMF (c) MF (d) MMF (e) PFA
(a) (b) (c) (d) (e)
Fig. 8. Filtering result of Barbara (P=50%) (a) Noisy image (b) CWMF (c) MF (d) MMF (e) PFA
(a) (b) (c) (d) (e)
Fig. 9. Filtering result of Barbara (P=70%) (a) Noisy image (b) CWMF (c) MF (d) MMF (e) PFA
MF의 경우 Barbara영상과 Lena영상 모두 공통적으 로 저밀도 잡음 영역에서는 우수한 결과를 나타내었지 만 고밀도 잡음 영역에서 다소 미흡한 모습을 보였다.
MMF의 경우 CWMF와 MF보다 우수한 성능을 보였 지만, 잡음밀도가
P
=80%인 극한의 상황에서 적합하지 않은 모습을 나타내었다.PFA의 경우 Lena영상에서 잡음 밀도
P
=10%일 때 MMF보다 0.96[dB] 낮게 나타났지만, 이 후 고밀도 잡 음 영역에서 우수한 성능을 나타내었다. Barbara영상에 서 잡음 밀도P
=50%일 때 24.23[dB]로 기존 방법인 CWMF, MF, MMF보다 각각 11.38[dB], 9.5[dB], 7.95[dB]개선되었다.
Ⅳ. 결론
본 연구에서 영상 통신에서 오류의 전파라는 문제 점을 개선하기 위해 Salt and Pepper 잡음을 효과적으 로 제거하는 방법을 연구하였다. 원 영상의 화소 보존 율을 높이기 위해 잡음판단 부분과 잡음제거 부분으로 나누어 잡음이라고 판단된 경우만 필터링을 진행하는 알고리즘을 제안하였다. 만약 잡음이라고 판단된 경우 7×7마스크 내부의 유효화소 개수에 따라 필터링 마스 크의 크기를 결정한 후, 필터링 마스크 내부의 유효화 소 집합의 영역을 세분화한 뒤, 특이점을 제거하고 화 소의 histogram 분포에 따라 가중치를 다르게 적용하 는 알고리즘을 제안하였다. 또한 잡음을 제거할 때 빈
분포도가 높고 낮음에 따라 필터링 방식을 다르게 처 리하였다.
Histogram에 따른 가중치의 성능을 판단하기 위하여 기존의 대표적인 가중치 필터인 CWMF, MF, MMF로 비교하였다. 또한 잡음 밀도를 30%, 50%, 70%, 총 세 가지로 다양한 실험 결과를 비교하여 시뮬레이션의 타 당성을 입증하였다.
시뮬레이션 결과로부터 CWMF, MF, MMF 모두 저밀 도 잡음 영역에서는 우수한 성능을 보이지만 고밀도 잡음 영역에서 잡음 제거 성능이 다소 부족한 모습을 보인다. 하지만 제안한 알고리즘의 경우 기존의 알고 리즘보다 연산량이 많아 처리 시간 면에서 다소 느리 게 나타내었지만, 고밀도 잡음 영역에서 우수한 성능 을 나타내었다.
따라서 본 연구는 영상 통신, 영상 처리 분야 등 Salt and Pepper 잡음을 완화시켜 운용되어지는 모든 영상 시스템에서 유용하게 적용될 것으로 사료된다.
REFERENCES
[1] B. W. Cheon, N. H. Kim, “Image restoration filter for preserving high frequency components in impulse noise environments,” Journal of the Korea Institute of Information and Communication Engineering, vol. 23, no. 4, pp. 394-400, 2019.
[2] N. H. Dang, V. B. Thanh, L. T. Surya Prasath, Thanh,
“Total variation L1 fidelity salt-and-pepper denoising with adaptive regularization parameter,” in International Conference on Information and Computer Science(NICS), Ho Chi Minh City, Vietnam, 2018.
[3] N. H. Dang, L. T. Thanh, V. B. Thanh, Surya Prasath, U. Erkan, “An improved BPDF filter for high density salt and pepper denoising,” in International Conference on Computing and Communication Technologies(RIVF), Danang, Vietnam, 2019.
[4] A. Narendra Babu, "Enhanced filter based access control for web based cloud", Asia-pacific Journal of Convergent Research Interchange, HSST, vol. 2, no. 2, pp. 43-50, 2016.
[5] S. Vishaga, S. L. Das, “A survey on switching median filter for impulse noise removal,” in International Conference on Circuits, Power and Computing
Technologies, Nagercoil, India, 2015.
[6] K. R. Jeong, "Switching median filter for restoring highly corrupted image by impulse noise," in International Conference on Institute of Electronics and Information Engineers, JeJu, Korea, pp. 1031-1034, 2012.
[7] M. S. A. Alias, N. Ibrahim, Z. M. Zin, “Salt and pepper noise removal by using improved decision based algorithm,” in International Conference on Research and Development(SCORD), Putrajaya, Malaysia, pp. 487-492, 2017.
[8] S. I. Kwon, N. H. Kim, “A study on modified switching filter using fegion segmentation,” Journal of the Korea Institute of Information and Communication Engineering, vol. 41, no. 10, pp. 1284-1289, 2016.
[9] S. I. Kwon, N. H. Kim, “Salt and pepper noise removal using histogram,” Journal of the Korea Institute of Information and Communication Engineering, vol. 20, no.2, pp. 394-400, 2016.
[10] J. H. Baek, J. M. Park, N. H. Kim, “High density salt and pepper noise removal using interpolation,” Journal of the Institute of Convergence Signal Processing, vol.
20, no. 3, pp. 31-36, 2019.
저자 소개
백 지 현 (Ji-Hyeon Baek)
2019년 2월 : 동명대학교 전자및의용공학부(공학사) 2019년 3월~현재 : 부경대학교
스마트로봇융합응용공학과(공학석 사)
관심 분야 : 신호처리, 영상처리
박 준 모 (Jun-Mo Park)
1993년 2월 : 인제대학교 의용공학과(공학사) 1996년 2월 : 인제대학교
의용공학과(공학석사) 2008년 8월 : 부산대학교
의공학협동과정(공학박사) 2018년 3월~현재 : 동명대학교 전자및의용공학부 교수
관심 분야 : 신호처리, 뇌 신경계 신호 분석
김 남 호 (Nam-Ho Kim)
1992년 3월~현재 : 부경대학교 제어계측공학과 교수
관심 분야 : 영상처리, 통신시스템, 적응필터와 웨이브렛을 이용한 잡음제거 및 신호복원
