Enhanced Weighted Directional Demosaicking using Edge Indicator

(1)

a)한양대학교 Hanyang University

‡교신저자 : 류지만 ([email protected])

※본 연구는 서울시 산학연 협력사업(10570)으로 구축된 서울 미래형 콘 텐츠 컨버전스 클러스터 지원으로 수행되었습니다.

․접수일(2009년12월14일),수정일(2009년2월3일),게재확정일(2010년2월3일)

에지 지시자를 이용한 향상된 방향 가중치 디모자이킹 알고리듬

류 지 만â)^‡, 양 시 영â), 임 태 환â), 정 제 창â)

Enhanced Weighted Directional Demosaicking using Edge Indicator

Jiman Ryuâ)^‡, Siyoung Yangâ), Taehwan Limâ), Jechang Jungâ)

요 약

디지털 영상에서 색을 표현하기 위해서는 최소 세 개 이상의 색 채널이 필요하다. 하지만 디지털 카메라에서 영상을 얻기 위해 사 용되는 영상 센서는 빛의 밝기 정보만을 받아들일 뿐 색 정보를 분리해낼 수 없으므로 각 화소당 세 개의 영상 센서를 배치 한 뒤 색 필터를 사용하여 색 영상을 얻어내게 된다. 대다수의 디지털 카메라는 제품의 크기를 최소화 하고 제조 단가를 절감하기 위하여 단일 영상 센서 배열을 사용한다. 이런 단일 영상 센서를 통해 얻어진 영상들은 각 화소당 하나의 색 정보만을 포함하고 있기 때문에, 사람 이 본래의 색으로 영상을 보기 위해서는 각 화소당 나머지 두 개의 손실된 색 정보를 복원해야 하며 이 과정을 색 필터 보간(color filter array interpolation) 혹은 디모자이킹(demosaicking) 과정이라 부른다. 본 논문에서는 두 차례에 걸친 디모자이킹 단계를 통해 여 러 가지 기법을 복합적으로 사용함으로써 더 정확한 색을 복원하는 기법을 제안하고 있으며, 에지 기반 보간법, 2차 미분값을 보정값 으로 사용하는 기법, 색차를 이용하는 기법, 가중치 합을 이용한 기법 등이 사용되어서 화질을 개선하고 있다. 기존의 기법들과 객관 적, 주관적 비교를 수행하여 제안하는 기법이 다른 기법들에 비해 더 좋은 성능을 보여주는 것을 확인하였다.

Abstract

A color image requires at least three color channels to obtain the full color image. However the image sensor obtains only the intensity of the brightness, that is, three image sensors are required for every pixel to capture the full color image. Since the image sensor is quiet expensive, most of digital still cameras adopt single image sensor array with color filter array (CFA) to reduce the size and the cost. Since the image obtained using single sensor array has only one color component per pixel, we need to reconstruct the missing two color components to obtain the full color image. We call this process as color filter interpolation or demosaicking. In this paper, demosaicking algorithm composed of two large step is proposed. Proposed algorithm is combined with several different algorithms such as Edge-directed demosaicking, Second-order gradients as correction terms, Smooth hue transition Interpolation, etc. The simulation results show that the proposed algorithm performs much better than the state-of-the-art demosaicking algorithms in terms of both subjective and objective qualities.

Keywords : demosaicing, demosaicking, color filter interpolation, Bayer pattern.

Ⅰ. 서 론

디지털 카메라가 소개되면서 사용의 편의성, 디지털 데 이터화 된 사진의 반영구적인 보존, 사진을 찍은 후 바로 확인이 가능하다는 점, 필름을 지속적으로 구입하지 않아 도 된다는 점 등의 여러 가지 이점으로 인해 대중에게 급속 일반논문-10-15-2-12

(2)

그림 1. 3영상 센서 기반 디지털 카메라 구조 Fig 1. Structure of a three-sensor digital camera

그림 2. 단일 영상 센서 기반 디지털 카메라 구조 Fig 2. Structure of a single-sensor digital camera 도로 보급되었다. 디지털 카메라에는 한가지의 명암 혹은 색을 표현할 수 있는 최소한의 크기가 존재하고 이를 화소 (Pixel)라고 부른다. 각 화소에서 색을 표현하기 위해서는 최소 3개 이상의 색 채널이 필요하지만 디지털 카메라에서 영상을 얻기 위해 사용되는 센서인 전하 결합 소자(charge- coupled device, CCD) 혹은 상보성 금속 산화막 반도체 (complementary metal oxide semiconductor, CMOS)는 빛 의 밝기 정보만을 받아들일 뿐 색 정보를 분리해낼 수 없으 므로 그림 1에서와 같이 각 화소 당 세 개의 영상 센서를 배치 한 뒤 각 위치에 대하여 특정 파장만을 통과시키는 색 필터를 사용하여 색 영상을 얻어내게 된다. 하지만 영상 센서 배열은 디지털 카메라에서 가장 비싼 부분에 속하기 때문에 전문가용을 제외한 대부분의 디지털 카메라에서는 그림 2에서와 같이 단일 영상 센서 배열을 사용해서 영상을 얻어낸다.

이렇게 단일 센서 배열을 사용해서 얻어진 영상은 각 화 소당 하나의 색 정보만을 가지고 있기 때문에 사용자가 원 하는 색 영상으로 만들기 위해서는 잃어버린 두 개의 색 정보를 복원해야 할 필요가 있으며, 이 과정을 색 필터 배열 보간(Color Filter Array Interpolation) 혹은 디모자이킹

(Demosaicking) 이라 부른다^[3].

그림 3은 색 필터 배열(Color Filter Array, CFA)에 사용 되는 패턴의 예를 나타내었다. 순서대로 베이어(Bayer)^[4],

그림 3. 색 필터 배열 패턴의 예

Fig 3. Examples of color filter array patterns

(3)

CMMY^[5], Sony 4-color^[6], RGBW ver.1 from Kodak^[7]패 턴을 나타내며, 그 중 가장 많이 사용되는 색 필터 배열은 베이어 패턴이다. 베이어 색 필터 배열은 반복되는 2x2 패 턴 크기 안에 빨간색 화소나 파란색 화소가 하나씩인 반면 에 녹색 화소가 두 개씩 배치되어 있는 것을 확인할 수 있는 데, 이는 사람의 눈이 다른 색에 비해 녹색에 가장 민감하 고, 녹색이 영상의 휘도 성분과 가장 비슷한 성격을 지니기 때문이다.

디모자이킹은 크게 영상의 특성을 고려하지 않는 비적응 적인 기법과 영상특성에 적응적인 기법으로 분류 할 수 있 다. 영상의 특성을 고려하지 않는 기법들은 각각의 픽셀 위 치에서 일정한 참조픽셀을 이용하여 연산을 함으로써 빠른 연산이 가능하다. 반면, 영상에서 픽셀 값의 변화가 심한 경 계나 패턴이 있는 영역에서는 그림 4와 같이 지퍼(Zipper- ing) 현상이나 색 이동(Color Shift) 현상이 나타나서 화질 에 큰 영향을 주는 단점이 있기 때문에 단독적으로 사용하

(a) (b)

(c) (d)

그림 4. 색 오류의 예

Fig 4. Examples of color artifact

기에는 어려움이 있는 기법들이다. 가장 기본적이면서 널 리 알려진 인접 화소 보간법, 쌍선형 보간법, 고등 차수 보 간법이 영상의 특성을 고려하지 않는 기법에 포함된다. 영 상 특성을 고려하지 않는 기법을 통해서도 편평한 영역이 나 화소값이 크게 변하지 않는 영역에서는 만족할 만한 결 과를 얻을 수 있지만, 주파수가 높은(경계부근이나 화소값 의 변화가 심한) 영역에서는 화면이 흐려지거나, 없던 색이 나타나는 등 만족스러운 결과를 얻지 못하는 경우가 많다.

하지만 영상 특성에 적응적인 기법을 사용함으로써, 이런 문제점들을 상당부분 해결할 수 있다. 널리 알려진 에지 기 반 보간법이나 이를 일반화 한 가중치 합을 이용한 보간법 은 영상특성에 적응적인 기법에 포함된다.

그 외에도 디모자이킹에 중첩적으로 사용되는 다양한 기 법들이 있다. Cok은 색비 신호는 빠르게 변화하지 않는다 는 점을 발견하였고, 잃어버린 녹색 화소는 쌍선형 보간법 으로 보간한 뒤 빨간색과 파란색 화소는 보간된 녹색 화소 와 빨간색(파란색) 화소 사이의 색비를 이용하여 보간하는 기법을 제시하였으며^[8], Pei etal은 자연계의 영상에서는 색 차 신호도 색비 신호와 동일한 성질을 가지는 것을 발견하 였고, 이를 이용한 디모자이킹 기법을 제시하였다^[9]. 그러 나 이 기법들 역시 경계 부근에서의 색 오류 현상을 충분히 개선할 수 없었다. 이 같은 오류 현상을 줄이기 위해서 변화 도를 이용한 에지 기반 보간법과 같은 영상 특성에 적응적 인 기법들이 소개되었다^[8-21].

본 논문에서는 다양한 패턴의 방향성을 고려한 가중 치를 이용해서 베이어 색필터 배열을 이용하여 얻어진 영 상을 기존의 색 영상으로 복원하는 기법을 제안하고 있 다. 제안하는 기법은 기존에 사용된 12개의 방향 외에

±45˚, ±135˚의 4개 방향을 더 사용함으로써 기존의 기법들 보다 더 좋은 성능을 보이게 된다. 논문의 구성은 다음과 같다. 제 2장에서는 디모자이킹 기법의 이론들에 대해 개 괄적으로 정리하고 기술한다. 제 3장에서는 제안하는 디 모자이킹 기법에 대해 상세하게 설명한다. 제 4장에서는 다양한 실험 영상에 대한 실험 결과를 보이고 기존의 디 모자이킹 기법들과 성능을 비교하고, 마지막으로 제 5장 에서 결론을 맺는다.

(4)

Ⅱ. 디모자이킹에 사용되는 주요 기법들

대부분의 디모자이킹 기법들은 영상 적응적인 기법에 다 른 여러 기법들을 중첩적으로 사용함으로써 성능을 향상시 켜왔다. 그 중 자주 사용되는 기법들로 에지 기반 보간법, 색조를 이용하는 기법, 2차 미분값 보간법, 반복적인 연산을 이용하는 기법을 이번 장에서 소개하였으며, 몇몇 기법들은 제안하는 디모자이킹 기법에도 중첩적으로 사용 되었다.

1. 에지 기반 보간법

에지 기반 보간법은 대표적인 영상 적응적 기법으로 인 접한 화소들의 변화도를 이용해서 경계를 가로지르는 방향 을 피하고 경계를 따라 보간하는데 이용할 화소들을 선택 함으로써, 경계에서 주로 나타나는 색 오류들을 피하는 방 법들을 일컫는다. 그림 5를 기준으로 가운데 위치한 Ri,j 의 위치에서 Gi,j 의 값을 보간하기 위한 가장 기본적인 에지 기반 보간법은 다음과 같다.

우선 해당 위치에서 경계면의 여부와 방향을 판단하기 위해서 수직, 수평 변화도를 다음과 같이 구한다.

, , 1 , 1

i j i j i j

dv = G _- -G ₊

(1)

, 1, 1,

i j i j i j

dh =G_- -G₊

수직 변화도(dvi,j)와 수평 변화도(dhi,j)를 비교해서 변화 도가 작은 쪽을 경계의 방향으로 결정하고 다음의 식(2)를 통해 Gi,j를 보간한다.

1, 1,

, 1 , 1

,

, 1 1, , 1 1,

( ) / 2,

( ) / 4

i j i j

i j i j

i j

i j i j i j i j

G G if dh dv

G

G G G G otherwise

- +

- + + -

+ <

ì

ï + >

= í

ï + + +

î

(2)

경계의 방향이 수직이면 보간 하려고 하는 Gi,j의 위쪽과 아래쪽에 위치한 Gi,j-1와 Gi,j+1을 이용해서 보간하고, 수 평이면 좌우에 위치한 Gi-1,j와 Gi+1,j을 이용해서 보간한 다. 경계가 아니라고 판단되면 인접한 4개의 화소를 모두

사용해서 보간한다.

하지만 수직, 수평 변화도의 상대적 비교만으로 경계 방 향을 결정하게 되면, 절대적 비교기준이 없기 때문에 비교 적 편평한 지역에서도 어느 한쪽 방향으로만 보간이 진행 될 수도 있다. 그러므로 수직, 수평 변화도를 일정한 크기의 경계값과 비교해서 어느 한쪽만 경계값보다 작을 때, 해당 방향을 경계 방향으로 판단하고 수직, 수평 변화도가 모두 경계값보다 작거나, 클 경우에는 경계가 아니라고 판단해 서 인접한 모든 화소를 사용해서 보간을 진행한다^[10].

또한 자연 영상에서 각 색 채널의 경계는 서로 큰 연관성 을 가지기 때문에 그림 5와 같은 5x5 베이어 패턴 블록에서 R 이나 B채널의 2차 미분값이 Gi,j의수직, 수평 변화도를 결정하는데 인접한 녹색 화소들 대신 사용되었으며 이는 식 (3)과 같다^[11].

그림 5. 5x5 베이어 패턴 블록 Fig 5. 5x5 Bayer pattern block

, ( , 2 , 2) / 2 ,

i j i j i j i j

dv = R _- +R ₊ -R

(3)

, ( 2, 2, ) / 2 ,

i j i j i j i j

dh = R_- +R₊ -R

2. 색조를 이용하는 기법

디모자이킹에서 보편적으로 사용되는 가정 중에 한가지 는 어떤 객체의 색조는 거의 변하지 않는다는 것이다. R.

Kimmel은 단색으로 이루어진 객체라면 다양한 조명 때문 에 밝기기 변하더라도 각 색의 비율은 변하지 않는다는 것 을 가정하였다^[13]. 이 가정은 점차 색의 비율뿐만 아니라 색

(5)

그림 6. 색의 차이를 이용한 R 채널 보간 방법

Fig 6. Interpolation of red channel using color difference 의 차이 및 색비의 로그값 등도 마찬가지로 변하지 않는다 는 가정으로 발전하였고 급격히 색조가 변하는 것을 방지 하기 위해 주로 사용되었으며, 이후에 R, B 채널을 보간하 는데 다양한 기법에서 널리 사용되어 왔다[8-11],[13],[14]

. 우선 이 기법들은 쌍선형 보간법이나 에지 기반 보간법 등을 사용해서 G 채널을 먼저 보간한 후에 R, B 채널을 보간할 때 R의 색조(R과 G의 비율)와 B의 색조(B와 G의 비율)를 보간한다. 보간된 R, B의 색조는 해당 위치의 G 성분을 곱함으로써 잃어버린 R, B 값을 최종적으로 구한다.

이와 비슷하게 색의 차이를 보간한 후에 해당 위치의 화소 값을 더해서 잃어버린 색을 구할 수도 있으며, 그림 6은 색 차를 이용해서 잃어버린 R 화소값을 복원하는 과정을 나타 내었다. 색조를 보간하는 기법은 비적응적 기법, 적응적인 기법 등 모든 방법에 적용할 수 있다.

3. 2차 미분값 보간법

Hamilton과 Adams는 2차 미분값을 보정에 사용하는 기 법을 사용하였다^[14],[15]. 잃어버린 G 화소값을 보간하기 위 해 에지 기반 보간법을 사용하는데, 수직, 수평 변화도는 G 채널의 1차 변화도와, R(B) 채널의 2차 미분값의 합을 이용해서 구하였다. (i,j) 위치에서 구해진 수평 변화도 (dhi,j)와 수직 변화도(dvi,j)를 이용해서 에지 기반 보간법

을 사용하는데 Gi,j는 해당 방향의 인접한 G 화소의 간단한 쌍선형 보간법에 같은 방향의 R(B) 화소의 2차 미분값이 Gi,j의 보정값으로 사용된다. 이는 아래 식 (4)와 같고, 이러 한 보정값을 사용함으로써 간단한 쌍선형 보간으로 인한 색 오류들을 줄일 수 있다.

1, 1, , 2, 2,

, ,

, 1 , 1 , , 2 , 2

, ,

,

1, 1, , 1 , 1

, 2, 2, , 2 , 2

2 ,

2 4

2 ,

2 4

. 4

4 ,

8

i j i j i j i j i j

i j i j

i j i j i j i j i j

i j i j

i j

i j i j i j i j

i j i j i j i j i j

G G R R R

if dh dv

G G R R R

if dh dv

G G G G G

otherwise

R R R R R

- + - +

+ - -

ì + <

ï

ï + - -

ï + >

ïï

= íï + + + +

ï

ï - - - -

ï ïî

(4)

4. 반복적인 연산을 이용하는 기법

색차나 색비를 이용하기 위해서는 기존의 없는 정보를 이용해야 하기 때문에, 임시로 필요한 정보를 복원해서 해 당 값을 색차나 색비를 구하는데 사용하게 된다. 보통 계산 복잡도가 낮은 쌍선형 보간법 등을 이용해서 임시로 보간 을 하게 되는데, 성능이 좋지 않기 때문에 많은 색 오류를 포함하고 있다. 그러므로 최근 많은 논문들에서 디모자이 킹 과정을 일정 횟수 이상 반복적으로 거치는 기법을 사용

(6)

하고 있다[13][17][18]

.

Kimmel은 복원 과정과 재보정 과정으로 이루어진 2단계 반복 디모자이킹 기법을 제안했다. 주위에 인접한 8개의 화 소를 이용해서 8방향의 변화도를 구하고 이 정보들을 이용 해서 해당 위치에서의 색조를 구한 다음 색비를 이용해서 녹색, 빨간색, 파란색 성분을 반복적으로 보정하는 기법을 사용했다^[13].

Gunturk etal.은 또 다른 반복적인 연산을 이용한 디모자 이킹 기법을 제안한다. 일반적인 자연 영상에서 세개의 색 채널은 서로 큰 연관성을 갖고 있다는 사실을 전제로, 제한 된 예측 집합(constraint sets)에 초기 예측값을 대입함으로 써 색을 복원하게 된다. 우선 쌍선형 보간법이나 에지 기반 보간법을 이용해서 보간을 진행한 다음에, 빨간색과 파란색 채널의 고주파 정보를 이용해서 녹색을 보정하게 된다^[17]. Li는 위치에 따라 정해진 각각의 방향으로 색차를 이용 한 보간을 반복적으로 수행해서 초기 예측값을 보정하게 된다. 뿐만 아니라 Li는 색 이동 오류나 지퍼 오류 등의 발 생 여부를 조사해서 해당 오류들을 효과적으로 감소 시키 기 위한 공간 적응적인 반복 임계점을 결정하는 기법을 제 안하였다^[18].

이러한 반복적인 연산을 사용하는 디모자이킹 기법들은 비반복적인 연산을 이용하는 기법들보다 좋은 성능을 기대 할 수 있는 반면, 높은 계산 복잡도를 갖는다.

Ⅲ. 제안하는 디모자이킹 기법

제안하는 디모자이킹 기법에서는 색차 성분을 이용해서 빨간색(파란색) 위치에 있는 녹색 성분을 보간하기 때문에 녹색 위치의 빨간색(파란색)을 필요로 한다. 그리고 기존의 방향에 따른 가중치 합을 이용한 기법인 DWCI^[16]에서 녹 색 성분을 보간할 때 사용되는 12개의 방향 외에 ±45˚,

±135˚의 4개의 방향을 더 사용하기 위해서는 빨간색(파란 색) 위치의 나머지 잃어버린 두 개의 색 채널도 필요하게 되기 때문에 제안하는 기법에 의해 녹색 성분을 구하기 위 해서 모든 색 채널을 한번 복원해야 한다. 또한 앞서 임시로 구한 빨간색(파란색) 성분도 제안하는 기법에 의해서 다시

복원하는 과정을 거치기 때문에 결과적으로 두 번의 디모 자이킹 과정을 거치게 된다.

본문에서는 두 번의 디모자이킹 과정을 1, 2단계 디모자 이킹 과정이라 기술하였으며, 각각 2단계와 3단계로 나누 어 설명하였다. 각 단계의 1단계에서는 동일하게 빨간색(파 란색) 위치의 잃어버린 녹색을 복원하고 1-2단계에서는 모 든 위치의 빨간색(파란색)을 복원하는 반면 2-2단계에서는 녹색 위치의 빨간색(파란색)을 복원한다. 그리고 마지막으 로 2-3단계에서는 남은 빨간색(파란색) 위치의 파란색(빨간 색)을 복원한다.

본문에서는 1단계 디모자이킹 과정의 세부과정 1, 2단계 를 편의상 1-1, 1-2단계로 표현하였으며, 마찬가지로 2단계 디모자이킹 과정의 세부과정 1, 2, 3단계는 2-1, 2-2, 2-3단 계로 표현하였다.

1. 1단계 디모자이킹 과정

1단계 디모자이킹 과정은 2단계 디모자이킹 과정을 위한 임시 단계이며 비교적 간단한 기법을 사용하게 된다. 1-1단 계에서는 2단계 디모자이킹 과정에서 ±45˚, ±135˚의 변화 도를 판단하기 위해 사용되는 녹색을 보간한다. 이 때, 에지 기반 보간법인 ACPI[15]와 동일하게 수직, 수평 변화도와 2차 미분값을 이용해서 경계의 방향을 결정하고, 이에 따라 보간을 진행하게 된다. 그리고 1-2단계 에서는 빨간색과 파 란색을 복원하게 된다. 기존의 기법들은 대부분 색비나 색 차를 이용하기 위해서 부족한 빨간색(파란색) 성분을 쌍선 형 보간법을 통해 임시로 사용하지만 제안하는 방법에서는 1-1단계에서 녹색이 복원되어 있기 때문에 인접한 블록의 해당 색 채널과 녹색 채널과의 차이를 보간하는 기법을 사 용하였다.

1.1 잃어버린 녹색 성분의 복원

1-1단계에서 복원되는 녹색은 2차 디모자이킹 과정에서

±45˚, ±135˚의 변화도를 판단하기 위해 사용되기 때문에 일 반적인 쌍선형 보간법이나 영상에 비적응적인 기법을 사용 하면 오류가 누적되어 결과의 주관적, 객관적 화질에 크게 영향을 미치게 된다. 그래서 제안하는 기법에서는 에지 기

(7)

반 보간법인 ACPI[15]에서와 유사하게 경계의 방향을 판 단한다. 복원하려는 화소가 빨간색 위치일 때, 수직 변화도 (dvi,j)와 수평 변화도(dhi,j)는 식 (5)와 같다.

, , 1 , 1 , , 2 , , 2

i j i j i j i j i j i j i j

dv = G _- -G ₊ + R -R _- +R -R ₊

(5)

, 1, 1, , 2, , 2,

i j i j i j i j i j i j i j

dh =G_- -G₊ + R -R_- +R -R₊

식 (5)를 이용해서 구해진 수직, 수평 변화도를 기준으로 다음의 식 (6)과 같이 잃어버린 녹색 성분을 2차 미분값을 보정값으로 사용해서 복원하며 수직, 수평 변화도의 차이 가 경계값(TH)보다 작으면 경계가 아니라고 판단해서 수 직, 수평 성분을 모두 이용해서 복원하게 된다.

, ,

1, 1, , 2, 2,

, 1 , 1 , , 2 , 2

,

1, 1, , 1 , 1

2 ,

2 4

2 ,

2 4

i j i j

i j i j i j i j i j

i j i j i j i j i j

i j

i j i j i j i j

if dh dv and dh dv TH if dh dv and dh dv TH

G G R R R

G

G G G G

- + - +

<

- >

>

- >

+ - -

+

+ - -

+

=

+ + +

, 2, 2, , 2 , 2

4

4 ,

8

i j i j i j i j i j

otherwise R R_- R₊ R _- R ₊

ì ï ï ï ïï í

ï +

ï

ï - - - -

ï ïî

(6)

1.2 잃어버린 빨간색(파란색) 성분의 복원

기존에 대부분의 기법에서 색비나 색차를 위해 부족한 빨간색(파란색) 성분을 쌍선형 보간법을 통해 임시로 사용 하지만 제안하는 방법에서는 1-1단계에서 녹색이 복원되어 있기 때문에 인접한 블록의 해당 색 채널과 녹색 채널과의

(a) (b)

그림 7. 1-1단계 후의 R과 G 채널: (a) R채널 (b) 보간된 G 채널 Fig 7. Illustration of R and G channel after 1-1 step: (a) R channel (b) Interpolated G channel

차이를 보간하는 기법을 사용하였다. 이와 같이 색차를 이 용한 보간법은 그림 6에서 간단히 표현하였으며 그림 7과 같이 녹색이 모두 복원된 상태에서 색차를 이용해 잃어버 린 빨간색 성분을 복원하는 방법은 해당 위치에 따라 식 (7-9)과 같다.

{ }

, 1 , 1 ( 1, 1 1, 1) ( 1, 1 1, 1) / 2

i j i j i j i j i j i j

R _- =G _- + R_- _- -G_- _- + R₊ _- -G₊ _- ₍₇₎

{ }

1, 1, ( 1, 1 1, 1) ( 1, 1 1, 1) / 2

i j i j i j i j i j i j

R_- =G_- + R_- _- -G_- _- + R_- ₊ -G_- ₊ ₍₈₎

, , 1, 1 1, 1 1, 1 1, 1

1, 1 1, 1 1, 1 1, 1

{( ) ( )

( ) ( )}/ 2

i j i j i j i j i j i j

i j i j i j i j

R G R G R G

R G R G

- - - - + - + -

- + - + + + + +

= + - + -

+ - + - ⁽⁹⁾

Ri,j+1성분은 식(7)과 유사하게 좌우에 위치한 Ri-1,j+1, Ri+1,j+1를 이용하고 Ri+1,j성분은 식(8)와 유사하게 상하 에 위치한 Ri+1,j-1, Ri+1,j+1를 이용한다. 파란색도 빨간색 과 동일한 방법을 통해 복원한다.

2. 2단계 디모자이킹 과정

2단계 디모자이킹 과정에서는 1단계 디모자이킹 과정을 통해 임시로 구해진 색 정보들을 이용하게 된다. 각 방향에 따라 변화도를 구하고 이를 이용해서 가중치를 얻어낸 뒤 에 다시 이를 이용해서 색차와의 곱의 합을 구하는 가중치 합을 이용한 보간법을 사용해서 빨간색(파란색) 위치에 있 는 녹색과 파란색(빨간색)을 다시 복원한다. 반면에 녹색 위치에서 빨간색(파란색)을 복원할 때는 녹색을 보간 할 때 구한 방향에 따른 가중치를 사용할 수 없고 인접한 빨간색 (파란색) 화소가 두개씩 밖에 없으므로 해당 위치에서 빨간 색(파란색)의 고주파 성분을 분해한 후에 본래 해당 위치에 있던 녹색 성분의 고주파 성분으로 대체하는 기법을 사용 해서 색을 보정하게 된다.

2.1 녹색 성분의 재복원

1-1단계에서 복원된 녹색은 2단계 디모자이킹 과정에서

±45˚, ±135˚의 변화도를 판단하기 위해 사용되며 DWCI^[16]

에서 사용되는 기법과 유사한 방식으로 각 방향에 따른 변 화도를 판단한다. DWCI에서는 녹색을 보간하기 위해 12

(8)

개의 방향이 사용되고 빨간색과 파란색을 보간하기 위해 4 개의 방향이 사용되는 반면, 제안하는 기법에서는 빨간색 (파란색) 위치에 잃어버린 녹색과 파란색(빨간색) 성분의 보간을 위해 대각선 ±45˚, ±135˚도의 방향을 포함해서 총 16개의 방향을 고려하기 때문에 보다 좋은 성능을 보여주 게 된다. 여기서 사용되는 16개의 방향은 그림 8과 같다.

그림 8. 보간에 사용되는 16개의 방향

Fig 8. 16 directions of nearby pixels for interpolation

보간하려는 화소에서 ^번째 방향에 놓여있는 이웃 화소 까지의 수평, 수직 상대위치 hn과 vn은 표 1에 나타나 있다.

1-4번 방향은 중요도가 가장 큰 인접한 4개의 화소의 수직, 수평 방향이며, 5-12번 방향은 ⁵거리에 있는 녹색화소 방 향이다. 마지막으로 추가된 ±45˚, ±135˚방향을 가리키는 13-16번 방향은 1-1에서 복원된 녹색을 사용해서 보간을 하 지만 변화도를 구할 때 그림 8의 경우에는 기존에 원본값이 존재하는 빨간색도 동시에 사용하기 때문에 13-16방향의

표 1. 16 방향 이웃 화소들의 수평, 수직 상대위치 Table 1. The offsets of nearby pixels in 16 directions

n hn vn n hn vn

1 0 -1 9 -1 2

2 1 0 10 -2 1

3 0 1 11 -2 -1

4 -1 0 12 -1 -2

5 1 -2 13 1 1

6 2 -1 14 1 -1

7 2 1 15 -1 -1

8 1 2 16 -1 1

변화도도 다른 변화도와 거의 동등하게 비교가 가능하다.

녹색은 16 위치의 색차 정보 가중치 합을 이용해서 보정 하게 되고, 각 위치의 가중치는 각 방향으로의 변화도에 반 비례 하게 된다. 이 때 각 방향의 변화도 Dn은 다음과 같이 정의된다.

, , n, n n, n 2n, 2n ,

n i j i h j v i h j v i h j v i j

D =G₊ ₊ -G_- _- +P₊ ₊ -P ₍₁₀₎

여기서 는 (i,j) 위치의 밝기 값을 의미하며, 위치에 따 라 빨간색 혹은 파란색 값을 이용하게 된다. 그림 9에서는 변화도 D1, D14를 구할 때 사용되는 화소의 예를 들었으 며, 방향 14에서 인접한 대각선 위치에 있는 녹색 성분은 1-1단계에서 임시로 보간된 녹색을 나타낸다. 인접한 8개 화소 방향인 1-4, 13-16 방향은 해당 위치를 중심으로 5x5 크기의 블록, 5-12 방향은 해당 위치를 중심으로 7x7 크기 의 블록의 정보를 변화도를 구하는데 필요로 하게 된다.

Ri,j

Ri+2,j+2

G'i-1,j-1

G'i+1,j+1

14

(a) (b)

그림 9. 변화도를 구할 때 사용되는 화소의 예: (a) D1 (b) D14 Fig 9. Examples of pixels used for obtaining gradients of specific directions : (a) D1 (b) D14

식 (10)을 이용해서 계산한 변화도를 이용하여 각 방향에 대한 가중치 ^를 다음과 같이 계산한다.

, ,

1

n i j 1

n i j

w = D

+ ⁽¹¹⁾

변화도가 작으면 해당 방향의 화소가 구하고자 하는 화 소와 상관도가 높은 것을 의미하기 때문에 가중치가 커져

(9)

서 상대적으로 결과값에 많은 영향을 주게 되고, 변화도가 커지면 이에 반비례해서 가중치가 작아지고 상대적으로 결 과값에 적은 영향을 주게 된다. 잃어버린 녹색 값은 가중치 를 이용하여 식 (12)에서와 같이 계산한다.

16

, , , ,

1

, , 16

, , 1 k i j k i j k

i j i j

k i j k

w Kr

G R

w

=

= +

å å

(12)

이 때 ^는 n번째 위치에서의 녹색 화소와 빨간색 화소 사이의 색차를 의미한다. 파란색 위치에서는 녹색 성분을 복원할 때는 ^ 대신 녹색과 파란색 화소 사이의 색차 (^)를 사용하게 되며, 이를 식으로 표현하면 다음과 같다.

, , _n, _n _n, _n

n i j i h j v i h j v

Kr =G₊ ₊ -R₊ ₊

, , n, n n, n

n i j i h j v i h j v

Kb =G₊ ₊ -B₊ ₊ ⁽¹³⁾

이 단계에서는 1-2단계에서 복원된 빨간색과 파란색 정 보를 이용해서 색차를 계산하게 된다. 파란색 위치의 잃어 버린 녹색도 ^를 이용해서 동일한 방식으로 구한다. 쌍 선형 보간법이나 비적응적 기법으로 빨간색과 파란색을 복 원해서 사용해면 이 단계에서 오류가 누적되어서 좋은 결 과를 얻기 힘들다.

2.2 녹색 위치의 빨간색(파란색) 보정

녹색 위치에 복원된 빨간색과 파란색은 1-2단계에서 방 향성을 전혀 고려하지 않고 인접한 화소의 색차성분을 이 용해서 복원했기 때문에 색 이동 오류, 지퍼 오류 등을 포함 하고 있을 수 있다. 이러한 오류들은 색의 급격한 변화가 있는 고주파 영역에서 주로 발생하게 되는데, 고주파 영역 에서의 색 채널간의 상관 관계를 이용해서 이를 보정하였 다. 각 색 채널을 저주파 성분과 고주파 성분으로 나누면 고주파 성분은 색 채널간의 상관도가 높지만, 저주파 성분 은 색 채널간의 상관도가 작기 때문에 본래 해당 위치에 원본으로 존재하던 녹색 채널 외 다른 두 색 채널의 고주파 성분을 녹색의 고주파 성분으로 대체하는 기법을 사용하였

다. 예를 들어 (i,j)위치에 있는 녹색 성분은 다음과 같이 저 주파 성분과 고주파 성분으로 분해할 수 있다.

, , ,

l h

i j i j i j

G =G +G ₍₁₄₎

_^ 와  는 각각 의 저주파성분과 고주파성분을 나 타내며 빨간색과 파란색은 식 (15)와 같이 Rh와 Bh를 Gh 로 대체함으로써 성능을 향상 시킬 수 있다.

, , ,

l h

i j i j i j

R =R +G

, , ,

l h

i j i j i j

B =B +G ⁽¹⁵⁾

각 색 채널의 저주파 성분을 구하기 위해서 저주파 대역을 통과 시키는, 즉 인접한 화소와의 평균을 구하는 저주파 통 과 1-D FIR 필터([1/3 1/3 1/3])를 인접한 화소의 본래 있는 색 위치에 따라 적용하였으며 본래의 색 값에서 구해진 저주 파 값을 빼는 방식을 통해서 고주파 영역을 분리하였다. 상 하로 빨간색, 그리고 좌우로 파란색 화소가 인접한 녹색 위 치 (i,j)를 기준으로 식 (14)을 다시 나타내면 식 (16)와 같다.

{ }

, , ( , 1 , , 1) ( , 1 , , 1) / 3

i j i j i j i j i j i j i j i j

R =G - G _- +G +G ₊ - R _- +R +R ₊

{ }

, , ( 1, , 1,) ( 1, , 1,) / 3

i j i j i j i j i j i j i j i j

B =G - G_- +G +G₊ - B_- +B +B₊

(16)

2.3 빨간색(파란색) 위치의 파란색(빨간색) 재복원

빨간색(파란색) 위치에서는 2-1단계에서 구한 16방향에 대한 가중치를 그대로 사용한다. 파란색(빨간색)을 다시 한번 복원하기 위해 2-1단계와 유사하게 식 (17-18)를 이용 한다.

16

, , , ,

1

, , 16

, , 1 k i j k i j k

i j i j

k i j k

w Kb

B G

w

=

= -

å å

(17)

16

, , , ,

1

, , 16

, , 1 k i j k i j k

i j i j

k i j k

w Kr

R G

w

=

= -

å å

(18)

(10)

Kr과 Kb는 각각 빨간색과 파란색의 녹색과의 색차정보 를 의미하며 식 (13)을 통해 얻어낸다. 해당 위치에 있던 원본 정보는 녹색이 아니지만 이전의 여러 단계들을 통해 많은 보정을 거친 값이며, 녹색과의 색차정보를 이용함으 로써 참조되는 16개의 화소 중 12개 화소에 존재하는 녹색 원본 정보를 사용하게 되기 때문에, 빨간색과 파란색의 색 차정보를 이용하는 것보다 좋은 성능을 낼 수 있다.

Ⅳ. 실험 및 결과 1. 실험 환경

실험에는 그림 10에 나타나 있는 24개의 Kodak 실험 영 상을 사용하였다. 각각의 영상을 베이어 패턴에 투영시켜 서 단일 영상 센서 기반 카메라를 통해 얻은 영상과 동일한 영상을 얻고, 이를 각각의 기법들을 사용해서 복원한 영상 을 원본 영상과 비교하는 방법을 통해 실험을 수행하였다.

제안하는 기법의 성능을 확인하기 위해 다양한 기법들과 객관적 및 주관적 화질비교를 수행하였다. 2-1단계에서 사 용된 경계값(TH)은 20으로 설정하였다. 제안하는 기법과 성능 비교를 위해 사용된 기존의 기법들은 다음과 같다.

Bilinear Interpolation(BI), the edge-directed interpolation (EDI)^[11], Adaptive color plane interpolation (ACPI)^[15], Lu’s method (LM)^[12], Directionally weighted color interpolation (DWCI)^[16], the normalized color-ratio modeling (NCRM)^[19], the data-adaptive filters for demosaicking (DAFD)^[20], the adaptive homogeneity-directed demosaicking (AHDD)^[21].

2. 객관적 화질 비교

화질의 객관적인 비교를 위해 빨간색, 녹색, 파란색 각 채널에 대한 PSNR, PSNR의 평균, color PSNR (CPSNR), 그리고 normalized color difference (NCD)를 비교하였다.

각 채널에 대한 PSNR은 식 (19)를 통해 구하였다.

그림 10. 실험에 사용된 영상들 : 왼쪽 위에서 오른쪽 아래 순서로 1-24 Fig 10. Set of images used in simulations : Images are numbered from 1 to 24, in order of left-to-right, top-to-bottom.

2

, ,

10 log 255 , { , , }

1 ( )

K W H

O

i j i j

i j

PSNR K R G B

K K

WH

= Î

åå

- ⁽¹⁹⁾

K는 각각의 색 채널을 의미하며,  와 는 각각 원 본값과 복원 된 값을 의미한다. 그리고 PSNR의 평균은 식 (20)와 같이 , _, _의 산술적인 평균을 의미한다.

(11)

3

R G B

avg

PSNR PSNR PSNR

PSNR + +

= ₍₂₀₎

Color PSNR은 RGB 색 영상의 객관적 화질비교를 위한 기준으로 다음과 같이 정의한다.

2

, ,

10 log 255

1 ( )

3

W H

O

i j i j

K R G B i j

CPSNR

K K

WH =

=

å åå

- ⁽²¹⁾

NCD^[19-21]는 사람이 주관적으로 보기에 영상이 서로 얼

마나 비슷한지를 객관적으로 수치화한 기준으로 다음과 같 이 정의된다.

, , , , , ,

, , ,

2 2 2

( ) ( ) ( )

i j i j i j i j i j i j

i j i j i j

W H

O Y O Y O Y

i j

W H

O O O

i j

L L u u v v

NCD

L u v

- + - + -

=

+ +

åå åå

(22)

Oi,j = [ROi,j,GOi,j,BOi,j], Yi,j=[Ri,j,Gi,j,Bi,j]은 각각 원본과 복원된 영상의 화소값을 의미한다. L은 CIELUV color space^[3]에서 영상의 밝기 혹은 명도를 나타내며, u,v 는 색차 성분을 의미한다. 원본영상에 가까울수록 분자가 0에 가까워지기 때문에 수치적으로 NCD값이 작을수록 원 본영상에 근접하다는 것을 의미한다.

표 2부터 표 6에는 실험 영상 1, 8, 11, 13, 19에 각기

표 2. 실험 영상 1에 대한 PSNR(dB), NCD(%) 결과

Table 2. PSNR(dB) and NCD(%) results of the different demosaicking methods for Image 1

Method PSNRR PSNRG PSNRB PSNRavg CPSNR NCD BI 25.3277 29.5205 25.0757 26.6413 26.2240 7.2617 EDI 30.1336 31.3718 30.3549 30.6201 30.5875 4.0803 ACPI 31.7631 31.8040 31.5836 31.7169 31.7158 4.2910 LM 35.8148 37.5541 36.0569 36.4753 36.4100 2.2378 DWCI 36.0602 40.3612 36.0286 37.4833 37.0679 2.0944 NCRM 34.7381 37.8842 35.1953 35.9392 35.7350 2.3302 DAFD 35.1994 37.7252 35.6861 36.2036 36.0736 2.5876 AHDD 34.4024 35.9943 34.6312 35.0093 34.9546 3.0321 proposed 37.5195 41.5098 37.9668 38.9987 38.6713 1.7702

Method PSNRR PSNRG PSNRB PSNRavg CPSNR NCD BI 22.5365 27.3967 22.4730 24.1354 23.6131 9.1024 EDI 29.1087 30.3397 29.0576 29.5020 29.4629 4.3965 ACPI 30.5754 30.8888 30.1274 30.5305 30.5192 4.7715

LM 33.8548 36.2427 33.8377 34.6451 34.5082 2.6148 DWCI 32.7376 36.7990 32.3464 33.9612 33.5525 2.7180 NCRM 32.6553 35.9771 32.7504 33.7943 33.5459 2.8642

DAFD 32.6279 35.5833 32.7234 33.6449 33.4465 3.1993 AHDD 33.0360 35.0451 33.1222 33.7344 33.6408 3.4345 proposed 35.0922 39.3942 35.4774 36.6546 36.2717 2.1211

Method PSNRR PSNRG PSNRB PSNRavg CPSNR NCD BI 28.1735 32.2223 28.3399 29.5786 29.2228 5.2232 EDI 31.8990 33.7075 31.9668 32.5244 32.4477 3.1249 ACPI 34.1777 33.9945 34.1485 34.1069 34.1061 3.3326

LM 37.8179 39.9303 38.5784 38.7755 38.6900 1.7754 DWCI 37.2786 39.4934 37.3265 38.0328 37.9176 2.3259 NCRM 36.1159 39.7907 37.0774 37.6613 37.4032 1.9411

DAFD 37.3052 40.4780 38.2608 38.6813 38.4892 1.9822 AHDD 36.3768 38.6197 37.2987 37.4317 37.3362 2.3578 proposed 38.4066 42.3743 39.5041 40.0950 39.7977 1.6047

LM 32.7378 33.3582 31.9019 32.6660 32.6247 3.6702 DWCI 34.1519 37.3008 32.3616 34.6048 34.1599 2.8489 NCRM 32.3446 34.6516 31.3310 32.7757 32.5662 3.4635

(12)

LM 39.0117 40.8562 38.6564 39.5081 39.4067 1.8824 DWCI 37.8137 40.7912 36.8564 38.4871 38.1909 1.9120 NCRM 36.7721 40.2989 36.3381 37.8030 37.4796 1.9284

다른 디모자이킹 기법을 사용해서 복원한 영상의 객관적화 질 비교를 수행한 결과를 PSNR과 NCD를 통해 나타내었 다. 전체 24개의 실험 영상 중, 17개의 영상에 대한 결과의 모든 부분에서 다른 기법들에 비해 우수한 성능을 보였으 며, 나머지 7개의 영상에서 부분적으로 다소 떨어지더라도 NCD 측면에서는 가장 우수하거나 가장 우수한 기법과 차 이가 가장 작은 것을 확인할 수 있었다.

3. 주관적 화질 비교

실험 영상 1, 19의 주관적 화질을 비교한 주관적 결과를 각각 그림 11, 12에 나타내었으며, 고주파 영역에서다른 기 법들에 비해 월등한 성능을 보이는 것을 확인했다.

오류의 정도를 보다 명확하게 확인하기 위해 복원된 영 상과 원본 영상의 각 색 채널의 차이를 구해서 식 (23)과 같이 이를 사람 눈에 가장 민감한 휘도 성분으로 변환한 후에 일정한 비례 상수 k를 이용해서 눈에 잘 띄도록 조정 하였다.