논문 2014-51-8-10
사전 학습과 공간-주파수 분석을 사용한 방향 적응적 에일리어싱 및 잡음 제거
( Directionally Adaptive Aliasing and Noise Removal Using Dictionary Learning and Space-Frequency Analysis )
채 은 정*, 이 은 성*, 정 혜 진*, 백 준 기**
*
( Eunjung Chae, Eunsung Lee, Hejin Cheong, and Joonki Paik ⓒ )
요 약
본 논문은 다양한 영상 획득 과정에서 발생하는 에일리어싱 성분과 잡음을 동시에 제거하기 위하여 공간-주파수 분석 기반 사전 학습(dictionary learning)을 사용한 방향 적응적 영상 개선 알고리듬을 제안한다. 제안된 기술은 i) 학습된 사전과 결합된 웨이블릿-푸리에 변환을 이용하여 에일리어싱 및 잡음 영역을 검출하는 단계와, ii) 검출된 영역에서 방향 적응적 계수 축소 기법을 이용하여 에일리어싱을 제거하는 동시에 잡음을 억제하는 단계로 구성된다. 제안한 방법은 공간-주파수 성분을 동시에 분석하여 특정 위치와 특정 주파수 성분을 선택적으로 제거하기 때문에, 검출된 영역에서 에지 성분을 보존하면서 에일리어싱 제거와 잡음 억제를 가능하게 한다. 실험 결과를 근거로 제안된 방법은 기존 알고리듬들과 비교할 때 주요 고주파 성분들의 억제 및 아티펙트 발생을 최소화하며 에일리어싱과 잡음을 제거함으로써 디지털 영상의 리샘플링, 초고해상도 영상 생성, 로봇 비전 등과 같은 다양한 영상 획득 장치에 적용될 수 있다.
Abstract
In this paper, we propose a directionally adaptive aliasing and noise removal using dictionary learning based on space-frequency analysis. The proposed aliasing and noise removal algorithm consists of two modules; i) aliasing and noise detection using dictionary learning and analysis of frequency characteristics from the combined wavelet-Fourier transform and ii) aliasing removal with suppressing noise based on the directional shrinkage in the detected regions. The proposed method can preserve the high-frequency details because aliasing and noise region is detected. Experimental results show that the proposed algorithm can efficiently reduce aliasing and noise while minimizing losses of high-frequency details and generation of artifacts comparing with the conventional methods. The proposed algorithm is suitable for various applications such as image resampling, super-resolution image, and robot vision.
Keywords
:안티에일리어싱, 잡음제거, 웨이블릿-푸리에 변환, 방향 적응적 계수 축소, 사전 학습
*
학생회원,
**평생회원, 중앙대학교 첨단영상대학원 (Dept. of Image Engineering, Graduate School of Advanced Image Science, Multimedia, and Film, Chung-Ang University)
ⓒ Corresponding Author(E-mail: [email protected])
※ 본 연구는 서울시 산학연협력사업(PA130170)과 2014년도 미래창조과학부 재원인 “소프트웨어 그랜 드 챌랜지 프로젝트”의 지원을 받아 수행된 연구입 니다 (과제 번호. 14-824-09-002).
접수일자: 2014년05월19일, 수정일자: 2014년07월07일 수정완료: 2014년07월30일
Ⅰ. 서 론
디지털 영상은 일반적으로 렌즈를 통하여 들어오는 빛을 집적하여 디지털화하는 샘플링 과정을 수행하게 된다. 그러나 샘플링 과정에서 고주파 성분이 조밀하게 존재하는 영역에서는 주파수 간의 겹침 현상으로 새로 운 주파수 성분이 발생하는 에일리어싱(aliasing) 현상 이 발생한다. 이러한 에일리어싱 현상은 영상의 화질을
크게 저하시켜서 정량적인 지표를 나쁘게 하는 동시에 반복되는 고주파 성분들로 인하여 눈의 피로를 증가시 켜서 주관적이고 감성적인 화질 평가에도 나쁜 영향을 준다. 최근에는 디지털 카메라 및 캠코더 등과 같은 디 지털 영상 입력 장치의 대중화와 함께 고해상도, 고화 질 영상을 획득할 수 있는 기술에 대한 수요가 증가함 에 따라서 에일리어싱을 제거하는 방법에 대한 다양한 연구가 이루어지고 있다
[1～2]
. 이와 같은 이유로 영상 렌 더링(image rendering) 분야에서도 에일리어싱 문제를 해결하기 위한 많은 연구가 이루어져 왔다[3]
.효과적인 에일리어싱 제거는 다음과 같은 세 가지 요 소를 만족시켜야 한다: i) 반복되는 에지나 패턴 등과 같은 고주파 신호의 주파수 중첩으로 발생하는 새로운 주기 신호들이 충분히 억제되어야 하고, ii) 에일리어싱 을 제거하면서 영상의 주요 성분들의 손실과 부작용 (artifact)의 발생을 최소화되고, iii) 잡음이 포함된 영상 에서도 에일리어싱 추정이 가능한 동시에 잡음이 제거 되어야 한다.
전통적인 에일리어싱 제거 방법은 공간 영역(spatial domain)에서 저 대역 통과 필터를 이용하는 방법이 있 다
[4]
. 이러한 방법은 영상 전체에 저대역 통과 필터를 사용함으로써 처리 속도가 빠르고 처리 방법이 간단하 다는 장점이 있지만, 영상의 에지 성분들이 손실되고 주파수 선택적인 에일리어싱 제거가 불가능한 단점이 있다. Gan은 영상의 고주파 성분 손실로 인한 화질 저 하 현상을 개선하기 위하여 이산 웨이블릿 변환 (discrete wavelet transform)과 패킷 리프팅(packet lifting)을 이용하는 방법을 제안하였다[5～6]
. 보다 구체적 으로는, 이산 웨이블릿 변환 결과, LH 부대역에서 다른 부대역들보다 많은 에일리어싱이 존재한다고 가정하고, 상대적으로 에일리어싱이 적게 존재하는 HL 부 대역을 치환하여 필터링함으로써 에일리어싱 성분을 제거한다.전통적인 방법에 비하여 영상의 에지 성분들이 손실되 지 않는 장점이 있지만, 에일리어싱이 제거된 영역에서 아티펙트가 발생하는 단점이 있다. Coulange는 아티펙 트의 발생을 최소화하면서 에일리어싱을 제거하기 위하 여 주파수 영역(frequency domain)에서 에일리어싱을 검출하고 제거하는 방법을 제안하였다
[7]
. Coulange의 방법은 이산 푸리에 변환(discrete fourier transform) 결과, 수직, 수평 방향의 스펙트럼 근처에 주요 성분 중 대칭 관계를 이루는 스펙트럼을 에일리어싱으로 가정하고, 이 성분을 제거한다. 주파수 선택적으로 에일리어싱 성분을 검출하고 제거하기 때문에 고주파 성분의 손실 을 최소화 하는 장점이 있지만, 에일리어싱 성분을 한 정된 스펙트럼 영역에서 분석하기 때문에 검출 오차가 발생하는데다가, 잡음 성분을 고려하지 않고 에일리어 싱을 제거하는 과정에서 오차가 증가하는 단점이 있다.
최근에는 논-로컬 필터(non-local filter)를 이용하여 에 일리어싱을 제거하는 방법을 Yang이 제안하였다
[8]
. Yang의 방법은 에일리어싱이 발생한 영상 전체에 논- 로컬 필터를 적용함으로써 잡음과 에일리어싱을 동시에 제거할 수 있다는 장점이 있지만, 영상 전체에 필터링 을 수행함으로써 영상의 고주파 성분들이 전반적으로 손실되는 단점이 있다.기존의 에일리어싱 제거 방법들의 공통적인 문제점 은 i) 중요한 고주파 성분의 손실, ii) 잡음으로 인한 에 일리어싱의 제거 성능 저하, iii) 원하지 않는 부작용의 발생 등으로 요약할 수 있다. 본 논문에서는 학습된 사 전(dictionary)
[9]
과 결합된 웨이블릿-푸리에 기반의 공 간 주파수 분석을 이용하여 에일리어싱과 잡음을 검출 하고 방향 적응적 계수 축소를 이용하여 에일리어싱과 잡음을 동시에 제거하는 방법을 제안한다. 결합된 웨이 블릿-푸리에 분석 방법은 위성 영상이나 현미경 영상에 서 줄무늬 잡음(stripe noise)을 제거하는 데도 효과적 으로 사용된 바 있다[10]
.제안된 방법은 입력된 영상을 1-레벨 웨이블릿 변환 하고 LL 부 대역의 계수들을 이용하여 사전을 생성한 다. 생성된 사전을 이용하여 LL 부대역의 에일리어싱과 잡음 성분들을 제거하고, 이 과정에서 손실된 주요 에 지 성분들은 지역분산 기반의 에지-맵을 이용하여 보상 한다. 다음 단계로, 입력 영상의 LL 부 대역과 에일리 어싱 및 잡음이 제거된 LL 부 대역을 각각 푸리에 변 환한 후 각각의 주파수 성분들을 비교하여 에일리어싱 과 잡음의 영역을 추정한다. 그리고 검출된 에일리어싱 영역에 해당하는 LH, HL, HH 부대역 영역에서 에지의 방향성을 이용하여 웨이블릿 변환 계수들을 방향 적응 적으로 축소한다. 최종적으로 역웨이블릿 변환을 수행 하여 에일리어싱과 잡음이 동시적으로 제거된 영상을 획득한다.
일반적으로 푸리에 변환과 웨이블릿 변환은 영상의 주파수 성분을 분석하는 잘 알려진 방법들이다. 푸리에 변환은 사인(sine)과 코사인(cosine) 함수를 기저로 하
여 영상을 진폭과 위상 신호로 표현하기 때문에 영상의 전체 영역에 존재하는 특정 주파수를 검출하는데 효과 적인 반면, 특정한 패턴의 위치 및 공간 정보를 가지고 있지 않기 때문에, 에일리어싱과 같은 영상의 특정한 영역에 존재하는 패턴들을 분석하기 어렵다는 단점이 있다
[11]
. 반면에 웨이블릿 변환은 주파수 성분과 함께 공간 정보를 함께 가지고 있어 공간 주파수 해석이 용 이하지만, 변환 과정에서 사용되는 필터링에 의하여 원 본 영상에 대한 손실이 발생하는 단점이 있다[10]
. 본 논 문에서는 결합된 웨이블릿-푸리에 변환을 이용하여 공 간 주파수를 분석하기 때문에 특정 주파수 성분의 반복 으로 발생하는 에일리어싱과 랜덤한 고주파 성분으로 구성된 잡음 성분들을 효과적으로 검출할 수 있다. 또 한 제안된 방법은 학습된 사전을 이용하여 공간 주파수 분석의 에러를 최소화하면서 에일리어싱과 잡음 영역을 검출하고 제거하기 때문에 기존의 제거 방법들과 비교 하여 잡음에 의한 성능 저하, 고주파 손실, 아티펙트 발 생 등의 문제점들을 최소화하면서 리샘플링된 영상의 에일리어싱과 잡음을 동시에 제거할 수 있다.본 논문은 Ⅱ장에서 결합된 웨이블릿-푸리에 변환 (combined wavelet-Fourier transformation)을 이용한 신호 해석 방법에 대해 설명하고, Ⅲ장에서는 결합된 웨이블릿-푸리에 변환과 학습된 사전을 이용한 에일리 어싱과 잡음 영역 검출 방법에 대하여 설명한다. Ⅳ장 에서는 방향 적응적 계수 축소 기반의 에일리어싱과 잡 음 제거 방법에 대하여 설명하고 Ⅴ장에서는 제안한 알 고리듬의 실험결과를 보이며, Ⅵ장에서 결론을 맺는다.
Ⅱ. 결합된 웨이블릿-푸리에 변환을 사용한 신호 해석 방법
일반적으로 푸리에 변환은 신호의 전체 영역에 평균 적으로 포함된 특정 주파수 성분들의 분석이 용이한 반 면, 공간 정보를 포함하고 있지 않기 때문에 특정 위치 에만 존재하는 신호의 선택적인 분석에는 한계가 있다.
이에 반해 웨이블릿 변환은 변환된 계수들이 공간 정보 를 포함하고 있다는 장점이 있지만 주파수 성분을 공간 과 주파수 스케일 성분으로 나타내므로 특정 주파수 값 을 갖는 신호를 검출하는 데 어려움이 있다
[12]
. 영상의 공간 정보와 주파수 정보를 동시에 분석하기 위하여 본 논문에서는 결합된 웨이블릿-푸리에 변환을 이용한다.이산 웨이블릿 변환은 정해진 주파수 대역을 갖는 필 터를 사용하여 입력 신호를 분석하는 방법이다
[13]
. 입력 영상
는 저대역 통과필터와 고대역 통과필터를 각각 통과한 근사(approximation) 성분
과, 세밀한(detail) 성분
으로 다음과 같이 분리 된다.
(1)
여기서
는 웨이블릿 변환의 시작 단계,
계 수는 단계
에서
의 근사 (approximation) 성분,
과
은 차례로 입력 영상의 세로 및 가로 크기,
는 공간 영역의 좌표,
는∈HVD
에 대해서 차례로 수평, 수직, 대각선에 방향의 고주파 부대역의 계수를 나타낸다. 그리고
는 배율 조정 함수(scaling function)이고,
는 웨이블릿 함수 (wavelet function)이다[14～15]
.웨이블릿 변환은 각각의 배율조정 함수와 웨이블릿 함수를 이용하여 신호를 계층적으로 분석할 수 있고 공 간 특성과 주파수 특성을 동시에 해석할 수 있지만 식 (1)에서 보듯이 입력 신호의 저주파와 고주파 두 성분 으로만 분리하기 때문에 임의의 특정 주파수 성분을 선 택적으로 분석하는데 한계가 있다.
푸리에 변환은 주파수 성분을 분석하기 위하여 널리 사용되는 방법이다. 푸리에 변환은 사인 함수(sine function)와 코사인 함수(cosine function)를 기저(basis) 로 하여 입력 신호를 변환하여 신호의 주파수 성분을 분석한다
[15]
. 입력 영상
의 이산 푸리에 변환 (DFT)는 다음과 같이 정의된다.
exp
(2)
여기서
와
는 주파수 변수를 나타낸다.결합된 웨이블릿-푸리에 변환은 웨이블릿 변환의 공 간 특성 분석 성능과 푸리에 변환의 주파수 분석의 특 성을 활용하여 신호를 분석하는 방법이다
[16]
. 결합된 웨 이블릿-푸리에 변환과, 역 변환을 다음과 같이 표현할 수 있다.(a) (b)
그림 1. 웨이블릿-푸리에 변환을 수행한 결과: (a) 1-레 벨 이산 웨이블릿 변환을 수행한 결과, (b) 각 웨이블릿 부대역을 푸리에 변환한 결과 Fig. 1. Result of wavelet-Fourier transform: (a) the
result image by 1-level DWT, (b) the result image in each subbands by FT.
(3)
여기서
는 입력 신호,
는 푸리에 변환,
는 웨이블릿 변환,
와
는 차례로 공간 및 주파수 영역의 좌표를 나타낸다. 그림 1에서 보듯이, 웨이블릿 변환과 각 부대역의 푸리에 변환 결과를 보인다.첫 번째 단계로 웨이블릿 변환을 통하여 영상에 존재 하는 수평, 수직, 대각선 방향의 따른 에지를 검출하고, 다음으로는 검출된 에지들을 기반으로 관심 영역의 신 호를 분석한다. 이러한 방식으로 관심 영역의 특정 주 파수를 선택적으로 조절하여 잡음 제거, 영상복원, 및 주파수 분석을 통한 패턴 인식 등의 다양한 영상처리가 가능하다.
Ⅲ. 결합된 웨이블릿-푸리에 변환 기반의 학습된 사전을 사용한 에일리어싱 및 잡음 영역 검출
기존의 에일리어싱 제거 방법들은 영상 전체에 동일 한 필터를 적용하기 때문에 에일리어싱 제거와 동시에 에지 및 에지 성분과 같은 고주파 성분들이 손실된다.
특히 잡음에 의한 에일리어싱 제거 성능이 저하되고 에 일리어싱 영역의 추정 과정에서 오차가 발생하여 고화 질의 영상 획득이 불가능하다. 이러한 문제점들을 해결 하기 위해서 본 논문에서는 결합된 웨이블릿-푸리에 변 환과 학습된 사전을 사용하여 에일리어싱과 잡음 영역 을 추정하고 방향 적응적 계수 축소를 수행하여 세밀한 정보를 표현하는 고주파 성분의 손실을 최소화하면서
그림 2. 제안된 사전 학습과 공간-주파수 분석을 사용한 방향 적응적 에일리어싱 및 잡음 제거 블록도 Fig. 2. Block diagram of the proposed directionally
adaptive aliasing and noise removal using dictionary learning and space-frequency analysis.
에일리어싱을 제거하는 방법을 제안한다.
제안된 방법은 그림 2와 같이 공간-주파수 분석과 학습된 사전을 이용하여 에일리어싱과 잡음을 추정하는 단계와 방향 적응적 계수 축소를 이용하여 에일리어싱 과 잡음을 동시에 제거하는 단계로 구성된다.
본 절에서는 공간-주파수 분석과 학습된 사전을 이 용하여 에일리어싱 및 잡음의 주파수 특성을 분석하고 이를 기반으로 에일리어싱과 잡음을 검출하는 방법에 대하여 설명한다. 제안된 방법은 다른 부 대역들보다 에지, 밝기 성분 등의 정보가 많은 LL 부대역에서 고주 파 성분인 에일리어싱과 잡음을 제거하고 원본 영상의 LL 부대역과 비교하여 에일리어싱 및 잡음 영역을 추 정한다. 에일리어싱과 잡음에 의한 LL 부대역의 영상 열화 모델은 다음과 같다.
∗ (4)
여기서
는 LL 부대역을 나타내며,
는 에일리어싱 및 잡음이 제거된 LL 부대역 계수, 그리고
는 잡음,
는 열화 함수,∗
는 컨볼루션 연산자이다. 본 논문에서 사전의 생성은 Aharon이 제안한 스파스 신호(sparse signal)를 이용한 방법을 사용하였다[9]
. 생성된 사전을 바탕으로 에일리어싱 및 잡음을 제거하기 위하여 다음과 같이 비용 함수(cost function)가 최소가 되는 패치 를 찾아 복원한다.
min
∀ ≤
(5)
여기서
는 0이 아닌 원소의 개수이며,
는 프로베니 우스 노름(frobenius norm),
는 패치의 인덱스,
는 사 전 행렬,
은 업데이트된 사전 행렬,
는 에일리어싱 과 잡음이 제거된 LL 부 대역이다. 실험을 위하여 본 논문에서는 블록 크기와 사전 크기를 각각 ×, ×를 사용하였다.
에일리어싱과 잡음은 고주파 특성을 가지기 때문에 이들을 제거하는 과정에서 에지와 같은 주요한 성분들 도 함께 손실된 LL 부대역을 획득하게 된다. 따라서 손 실된 LL 부 대역의 주요한 고주파 성분들을 보상해주 기 위하여 원본 LL 부대역의 에지-맵을 계산하고 처리 전후의 LL 부 대역 계수들을 적응적으로 융합하여 보 상한다
[14]
.본 논문에서는 다음과 같이 지역 분산값을 바탕으로 에지-맵을 생성하여 주요한 에지 성분들을 추정한다
[15]
.
(6)
여기서
는 매개 변수 조절 파라미터를 나타내고,
는
를 중심으로 하는 ×
블록의 분산 값을 나타낸다. 본 논문에서는 지역 분산을 계산하기 위하여 ×
블록을 사용하였다. 계산된 에지-맵을 기반으로 식 (7)과 같이 원본 영상의 LL 부대역과 학습 된 사전을 이용하여 에일리어싱과 잡음이 동시에 제거 된 LL 부 대역의 계수들을 적응적으로 융합하여 에지 와 같은 영상에서 중요한 고주파 성분들의 손실을 보상 한다. (7)
상기의 단계들을 수행한 결과 LL 부 대역에서 고주 파 성분의 손실을 최소화하면서 에일리어싱과 잡음이 제거된 계수들을 획득할 수 있다.
에일리어싱과 잡음은 고주파 성분이므로 주파수 특 성의 분석을 통하여 추정이 가능하다. 보다 구체적으로 는 원본 영상의 LL 부 대역(
)과 에일리어싱과잡음이 제거된 LL 부대역(
)을 각각 푸리에 변 환한다. 그리고 원본 영상의 LL 부대역과 에일리어싱 및 잡음이 제거된 LL 부대역의 차분을 계산한다. 차분 된 결과는 원본 영상에서의 에일리어싱과 잡음이 발생 한 영역이기 때문에 검출된 영역에 대하여 역푸리에 변환함으로써 에일리어싱과 잡음이 발생한 영역을 추 정한다. (8)
여기서
∙
는 푸리에 변환, ∙
은 역푸리에 변환, 그리고
는 에일리어싱과 잡음이 발생한 영역이다.Ⅳ. 결합된 웨이블릿-푸리에 변환 기반의 학습된 사전을 사용한 에일리어싱 및 잡음 영역 검출
본 절에서는 에일리어싱 및 잡음의 주파수 특성을 바 탕으로 추정된 영역을 방향 적응적 계수 축소 방법을 이용하여 에일리어싱을 제거하고 동시에 잡음을 억제하 는 방법에 대하여 설명한다. 일반적으로 에일리어싱은 에지들이 밀집되어 있는 영역에서 고주파 성분의 중첩 으로 새로운 주파수가 생성되는 것으로 기존 에지들의 방향과 직교하는 방향의 고주파 성분이 생성되는 특징 을 가진다. 그러므로 우리는 조밀한 에지 영역의 방향 성을 추정하고, 에지의 방향과 다른 방향을 가지는 계 수를 축소하여 에일리어싱 성분을 제거한다. 그리고 잡 음의 불규칙(random)한 특성을 활용하여 특정 방향성 을 가지지 않는 계수들도 축소하여 에일리어싱 성분을 제거하면서 동시에 잡음을 억제한다. 본 논문에서는
×
의 방향성 필터를 사용하여 에지의 방향성을 추정 하였다.
(9)
여기서 는 수평 방향 필터, 는 수직 방향 필터,
는 45도의 대각선 방향 필터이며, 는 135도 대 각선 방향 필터이다. 에지의 방향은 다음과 같이 LL 부
(a) (b)
(c) (d)
그림 3. LL 부대역의 방향 필터링 결과: (a) 수직 방향 필터링 결과, (b) 수평 방향 필터링 결과, (c) 45 도 방향 필터링 결과, (d) 135도 방향 필터링 결 과
Fig. 3. The results of directional filtering in the LL subband: (a) the result of horizontal filtering, (b) the result of vertical filtering, (c) the result of 45 degree filtering, and (d) the result of 135 degree filtering.
대역에 각각의 방향성 필터를 적용하여 최대값을 가지 는 방향으로 결정된다.
max ∗ ∗
∗ ∗ (10)
여기서
∗
는 컨볼루션 연산자를 나타낸다. 그림 3은 LL 부 대역에 각각의 방향 필터를 적용한 결과 영상이다.에일리어싱과 잡음이 존재하는 영역은 인접해 있는 화소 값들과 차이가 발생하기 때문에 에일리어싱 및 잡 음 영역과 인접해 있는 화소 값들을 평균하여 웨이블릿 계수를 축소한다. 에일리어싱과 잡음 영역의 웨이블릿 계수 축소는 식 (11)-(14)을 이용하여 계산한다.
(11)
(12)
(13)
(14)
여기에서 , , 는 각각 LH, HL, HH 부대역 들을 나타내며,
는 LH 부대역 계수들을 웨이블릿 계수 축소한 결과, 는 HL 부대역 계수들을 웨이블 릿 계수 축소한 결과, 는 에지의 방향성이 45도일 때 HH 부대역 계수들을 웨이블릿 계수 축소한 결과, 는
에지의 방향성이 135도일 때 HH 부 대역 계수 들을 웨이블릿 계수 축소한 결과이다.
에일리어싱과 잡음이 제거된 영상은 역정규화 과정 과 역 웨이블릿 변환을 거쳐서 최종 영상을 획득한다.
그림 4는 제안한 에일리어싱 제거와 동시에 잡음을 억 제하는 알고리듬의 각 단계를 보여준다. 그림 4(a)와 같 이 에일리어싱과 잡음이 존재하는 영상은 사전과 에지-
(a) (b)
(c) (d)
그림 4. 에일리어싱 및 잡음 제거 결과 영상:
(a) 원본 영상, (b) 에지-맵,
(c) 에일리어싱 및 잡음 영역 검출 결과, (d) 결과 영상
Fig. 4. The results of aliasing and noise removal :
(a) the input image, (b) the edge-map,
(c) the result of aliasing and noise region, and
(d) the result image.
맵을 이용한 에일리어싱 및 잡음 영역 검출, 방향 적응 적 계수 축소 과정을 거쳐서 최종적으로 그림 4(d)와 같은 에일리어싱 제거와 동시에 잡음이 억제된 영상을 획득한다. 그림 4(a)와 4(d)를 비교하면 유리창 부분의 에지가 많은 영역에서 에일리어싱과 잡음이 발생하였 고, 제안된 방법을 통해서 이들을 에지 성분의 손실을 최소화하면서 효과적으로 제거할 수 있다.
Ⅳ. 실험 결과
본 장에서는 제안된 알고리듬의 성능 평가를 위하여
(a) (b)
(c) (d)
(e) (f)
그림 5. 에일리어싱 제거 결과: (a) 원본 영상 (b) 에일 리어싱을 추가한 영상, (c) Gan의 방법 [5] 의 결 과, (e) Coulange의 방법 [7] 의 결과, (f) Yang의 방법의 결과 [8], (g) 제안한 방법의 결과
Fig. 5. The result of anti-aliased image: (a) input image, (b) aliased image, (c) the result of Gan’s method [5] , (d) the result of Coulange’s method [7] , (e) the result of Yang’s method [8] , (f) the result of the proposed method.
표준 영상과 스마트폰 카메라로 촬영된 영상을 이용하 여 다른 에일리어싱 제거 알고리듬과 주관적인 화질 평 가와 객관적인 화질을 평가하였다. 객관적 화질 평가는 화질 손실 정보를 평가하는 peak-to-peak signal-to-noise ratio (PSNR)과 mean structural similarity (MSSIM)을 이용하였다.
그림 5(b)는 실험을 위하여 그림 5(a)를 잡음 표준편 차
인 가우시안 잡음을 추가하였고 2배로 다운 샘플링 및 업 샘플링을 수행하여 인위적으로 에일리어 싱을 생성한 영상이다. Gan의 방법[5]
은 수평 방향에 에(a) (b)
(c) (d)
(e) (f)
그림 6. 에일리어싱 및 잡음 제거 결과: (a) 원본 영상, (b) 저 대역 통과 필터의 결과 [4] , (c) Gan의 방법
[5] 의 결과, (d) Coulange의 방법의 결과 [7] , (e) Yang의 방법의 결과 [8] , (f) 제안한 방법의 결과 Fig. 6. The results of the anti-aliased image: (a) input
image, (b) the result of low-pass filtering [4] , (c)
the result of Gan’s method [5] , (d) the result of
Coulange’s method [7] , (e) the result of Yang’s
method [8] , and (f) the result of the proposed
method.
입력 영상
에일리어싱 제거 기법
잡음 표준편차(
) 10 15 20 25 평균
열화 영상 16.21 16.20 16.18 16.15 16.18 저대역 통과
필터
[4]16.38 16.35 16.31 16.26 16.32 Gan
[5]18.68 16.93 15.28 13.79 16.17 Coulange
[7]19.28 17.47 15.78 14.28 16.70 Yang
[8]24.53 24.29 24.03 23.58 24.10 제안한 방법 25.01 24.75 24.67 24.21 24.66 열화 영상 15.88 15.86 15.82 15.75 15.82 저대역 통과
필터
[4]15.92 15.86 15.78 15.68 15.81 Gan
[5]16.27 14.12 12.22 10.60 13.30 Coulange
[7]16.94 14.25 12.09 10.31 13.39 Yang
[8]23.05 22.69 22.25 21.50 22.37 제안한 방법 23.72 23.69 22.88 22.20 23.12 열화 영상 9.00 8.99 8.98 8.95 8.98 저대역 통과
필터
[4]9.01 9.00 8.98 8.96 8.98 Gan
[5]12.05 11.11 10.06 9.00 10.55 Coulange
[7]14.31 12.76 11.24 9.84 12.03 Yang
[8]18.55 18.32 17.99 17.36 18.05 제안한 방법 19.58 19.23 18.87 18.52 19.05 표 1. 실험 영상의 PSNR 비교
Table 1. PSNR comparison of test images.
일리어싱이 많다는 가정에서 영상을 처리하므로 수직이 나 다른 방향의 에일리어싱은 효과적으로 제거할 수 없 다. 그리고 Coulange의 방법
[7]
은 푸리에 변환을 이용하 여 에일리어싱 영역을 검출하고 제거하므로 잡음이나 복잡한 영역에서 검출 에러가 증가하여 에일리어싱의 제거 성능이 떨어지게 된다. Yang의 방법[8]
은 논-로컬 필터를 영상 전체에 적용함으로써 에일리어싱과 잡음이 제거되었지만 아코디언의 베이스 부분과 같은 영역의 고주파 성분이 손실되었다. 반면에 제안된 알고리듬은 고주파 성분의 손실을 최소화하면서 에일리어싱 제거와 동시에 잡음을 억제할 수 있다.그림 6은 스마트폰으로 촬영한 영상을 이용하여 기 존의 에일리어싱 제거 방법과 제안된 방법의 성능을 비 교하였다. 그림 6(f)에서 보듯이 스마트폰으로 촬영된 영상에서도 제안된 알고리듬이 다른 에일리어싱 제거 알고리듬과 비교하여 에일리어싱 제거와 동시에 잡음을 억제하면서 고주파 성분을 보존하고 있음을 확인할 수 있다. 표 1과 표 2는 제안하는 알고리듬의 객관적인 화 질을 평가하기 위하여 제안된 방법과 기존의 에일리어
입력 영상
에일리어싱 제거 기법
잡음 표준편차(
) 10 15 20 25 평균
열화 영상 0.815 0.807 0.799 0.787 0.802 저대역 통과
필터
[4]0.822 0.813 0.800 0.785 0.805 Gan
[5]0.889 0.836 0.778 0.719 0.805 Coulange
[7]0.886 0.831 0.769 0.709 0.798 Yang
[8]0.943 0.935 0.926 0.914 0.929 제안한 방법 0.947 0.946 0.945 0.931 0.942 열화 영상 0.810 0.802 0.787 0.765 0.791 저대역 통과
필터
[4]0.832 0.823 0.811 0.796 0.815 Gan
[5]0.844 0.759 0.680 0.610 0.723 Coulange
[7]0.817 0.721 0.635 0.562 0.683 Yang
[8]0.963 0.956 0.948 0.936 0.950 제안한 방법 0.965 0.963 0.962 0.953 0.960 열화 영상 0.643 0.637 0.625 0.608 0.628 저대역 통과
필터
[4]0.642 0.639 0.635 0.629 0.636 Gan
[5]0.845 0.808 0.768 0.729 0.787 Coulange
[7]0.891 0.846 0.800 0.755 0.823 Yang
[8]0.937 0.933 0.929 0.922 0.930 제안한 방법 0.969 0.965 0.955 0.906 0.948 표 2. 실험 영상의 MSSIM 비교
Table 2. MSSIM comparison of test images.
싱 제거 방법들의 PSNR과 MSSIM을 비교하였다. 제안 된 알고리듬의 PSNR과 MSSIM이 기존의 알고리듬과 비교하여 높게 나왔음을 볼 수 있다.
Ⅳ. 결 론
제안된 기술은 에일리어싱이 발생한 영상에서 에지 와 같은 주요한 고주파 성분들의 손실을 억제하면서 에 일리어싱과 잡음을 동시에 억제할 수 있음을 확인하였 다. 실험 결과에서 나타나는 바와 같이 제안된 방법은 주요 콘텐츠의 에지 성분을 보존하면서 리샘플링 (resampling) 과 리타케팅(retargeting) 분야에서 발생하 는 아티펙트와 잡음을 제거할 수 있을 것으로 기대된 다. 이러한 결과를 바탕으로 제안된 기술은 에일리어싱 제거와 동시에 잡음을 억제하여 고주파 성분의 손실 없 이 동시에 제거함으로써 고화질, 고해상도 영상을 생성 할 수 있고 반복되는 고주파 성분으로 발생하는 눈의 피로감을 감소할 수 있다.
REFERENCES
[1] P. Vandewalle, S. Susstrunk, and M. Vetterli, “A Frequency domain approach to registration of aliased images with application to super-resolution,”
EURASIP Journal on Applied Signal Processing,
vol. 2006, pp. 1-14, 2006.[2] G. C. K. Abhayaratne, “Reducing aliasing in wavelets based downsampling for improved resolution scalability,” Proc. IEEE International Conference on
Image Processing, vol. 2, pp. 898-901, September
2005.[3] A. Mammen, “Rendering: Transparency and antialiasing algorithms implemented with the virtual pixel maps techniques,” IEEE Computer Graphics
and Application, vol. 9, no. 4, pp. 43-55, July 1989.
[4] S. Martucci, “Image resizing in the discrete cosine transform domain,”
Proc. IEEE International Conference on Image Processing, vol. 2, pp. 244-247,
October 1995.[5] J. Gan and D. Taubman, “A content-adaptive wavelet-like transform for aliasing suppression in image and video compression,”
Proc. IEEE International Conference on Image Processing, pp.
3821-3824, November 2009.
[6] J. Gan and D. Taubman, “Non-separable wavelet-like lifting structure for image and video compression with aliasing suppression,” Proc. IEEE International
Conference on Image Processing, vol. 6, pp. 65-68,
October 2007.[7] B. Coulange and L. Moisan, “An aliasing detection algorithm based on suspicious colocalizations of fourier coefficients,” Proc.
IEEE International Conference on Image Processing, pp. 2013-2016,
September 2010.[8] L. Yang and P. Sander, “Antialiasing Recovery,”
Journal ACM Transaction on Graphics, vol. 30, no. 3,
pp. 1-9, May 2011.[9] M. Aharon, M. Elad, and A. Bruckstein, “K-SVD: An algorithm for designing overcomplete dictionaries for sparse representation,” IEEE Transaction on Signal
Processing, vol. 54, no. 11, pp. 4311-4322, November
2006.[10] B. Munch, P. Trtik, F. Marone, and M. Stampanoni,
“Stripe and ring artifact removal with combined wavelet-Fourier filtering,” Optics Express, vol. 17, no. 10, pp. 8567-8591, May 2009.
[11] C. Parameswariah and M. Cox, “Frequency characteristics of wavelets,” IEEE Transactions on
Power Delivery, vol. 17, no. 3, pp. 800-804, July 2002.
[12] O. Rioul and M. Vetterli, “Wavelets and signal processing,” IEEE Signal Processing Magazine, vol.
8, no. 4, pp. 14-38, October 1991.
[13] A. Ovanesova and L. Suarez, “Applications of wavelet transforms to damage detection in frame structures,”
Engineering Structures, vol. 26, no. 1, pp. 39-49,
January 2004.[14] S. Kim, W. Kang, E. Lee and J. Paik,
“Wavelet-domain color image enhancement using filtered directional bases and frequency-adaptive shrinkage,”
IEEE Transactions on Consumer Electronics, vol. 56, no. 2, pp. 1063-1070, May 2010.
[15] E. Lee, W. Kang, S. Kim, and J. Paik, "Image enhancement using adaptive region-based histogram equlization for multiple color-filter aperture system,"
Journal of the Institute of Electronics and Information Enginneers, vol. 48, no. 2, pp. 65-73,
March 2011.[16] R. Gonzales and R. Woods, Digital image processing, 2nd ed., Prentice Hall, 2001.
[17] T. Xiao, S. Hu, and Y. Xiao, “2-D Hybrid Wavelet-Fourier Transformation,” Proc. International
Conference on Signal Processing, vol. 1, pp. 109-111,
November 2006.[18] K. Dabov, A. Foi, V. Katkovnik, and K. Egiazarian,
“Image denoising with block-matching and 3D filtering,” Proc. SPIE Electronics Imaging, no.
6064A-30, January 2006.
[19] P. Chatterjee, and Peyman Milanfar, “Patch-Based Near-Optimal Image Denoising,” IEEE Transactions
on Image Processing, vol.21, no.4, April 2012.
[20] G. Abhayaratne, “Reducing aliasing in wavelets based downsampling for improved resolution scalability,”
Proc. IEEE International Conference on Image Processing, vol. 2, pp. 898-901, September 2005.
[21] A. Buades, C. Bartomeu, and M. Jean-Michel, “A non-local algorithm for image denoising,” Proc.
IEEE Computer Society Conference on Computer Vision and Pattern Recognition, vol. 2, pp. 60-65, Jun
2005.[22] S. Sardy, D. Percival, A. Bruce, H. Gao and W.
Stuetzle, “Wavelet shrinkage for unequally spaced data,” Statistics and Computing, vol. 9, no. 1, pp.
65-75, April 1999.
저 자 소 개 채 은 정(학생회원)
2012년 중앙대학교 물리학과 학사 졸업.
2014년 중앙대학교 첨단영상 대학원 석사 졸업.
2014년 현재 중앙대학교 첨단영상 대학원 박사과정 재학중.
<주관심분야 : 영상복원, 영상개선, 장소인식>
이 은 성(학생회원)
2009년 중앙대학교 전자전기 공학부 학사 졸업.
2011년 중앙대학교 첨단영상 대학원 석사 졸업.
2014년 현재 중앙대학교 첨단영상 대학원 박사과정 재학중.
<주관심분야 : 영상복원, 영상개선, 계산 이미징>
정 혜 진(학생회원)
2010년 가톨릭대학교 미디어 공학과 학사 졸업.
2014년 현재 중앙대학교 첨단영상 대학원 석사과정 재학중.
<주관심분야 : 영상복원, 영상개 선, 영상안정화>
백 준 기(평생회원)-교신저자 1984년 서울대학교 제어계측 공학과 학사 졸업.
1987년 노스웨스턴대학교 전기 및 컴퓨터 공학과 석사 졸업.
1990년 노스웨스턴대학교 전기 및 컴퓨터 공학과 박사 졸업.
2014년 현재 중앙대학교 첨단영상대학원 영상학과 교수.
<주관심분야 : 영상 복원, 신호처리, 반도체>
![Fig. 5. The result of anti-aliased image: (a) input image, (b) aliased image, (c) the result of Gan’s method [5] , (d) the result of Coulange’s method [7] , (e) the result of Yang’s method [8] , (f) the result of the propo](https://thumb-ap.123doks.com/thumbv2/123dokinfo/5070934.559513/7.892.466.798.413.1071/result-aliased-aliased-result-method-result-coulange-method.webp)
