*** 정회원 : 계명대학교 게임모바일콘텐츠학과 부교수
*** 정회원 : 동서대학교 IAI연구소 책임연구원
*** 정회원 : 동서대학교 컴퓨터정보공학부 (교신저자: [email protected])
접수일자 : 2012. 07. 25 심사완료일자 : 2012. 08. 10
커브형집적영상에서DPM기반의비선형상관기를 이용한3D 물체인식향상
이준재* · 신동학** · 이병국***
Improved recognition of 3D objects using nonlinear correlator based on direct pixel mapping in curving-effective integral imaging
Joon-Jae Lee* · Donghak Shin** · Byung-Gook Lee***
이 논문은 2010년도 정부(교육과학기술부)의 재원으로 한국연구재단의 기초연구사업 지원을 받아 수행된 것임(2010-0009003).
요 약
커브형 집적 영상 기술은 렌즈 배열을 이용하여 3D 영상을 공간에 쉽게 표현할 수 있는 기술이며, 넓은 관측각을 제공한다. 본 논문에서는 커브형 집적 영상에서 물체의 인식 향상을 위하여 다이렉트 픽셀 매핑 (DPM) 방법 기반의 비선형 상관기를 제안한다. 제안하는 비선형 상관기는 커브형 집적 영상 시스템에서 장애물에 가려진 물체로부터 픽업된 요소 영상을 DPM 방법을 통하여 해상도가 향상된 새로운 요소 영상을 생성한다. 새로운 생성된 요소 영상을 사용하여 복원한 3D 영상들과 참조 영상간의 비선형 상호상관을 이용하여 3D 물체의 인식 성능 향상시킨다. 제안된 방법의 유용함을 보이기 위하여 기초적인 상관 관계 실험을 수행하고 기존의 방법과의 비교 결과를 보고한다.
ABSTRACT
Curved integral imaging is a simple method to display 3D images in space using lens array and provides wide viewing angle. In this paper, we propose a nonlinear 3D correlator based on the direct pixel-mapping (DPM) method in order to improve the recognition performance of 3D target object in curving-effective integral imaging. With this scheme, the elemental image array (EIA) originally picked up from a partially occluded 3-D target object can be converted into a resolution enhanced new EIA by using DPM method. Then, through nonlinear cross-correlations between the reconstructed reference and the target plane images, the improved pattern recognition can be performed from the correlation outputs. To show the feasibility of the proposed method, some preliminary experiments are carried out and results are presented by comparing the conventional method.
키워드
커브형 집적 영상, 요소 영상, DPM 방법, 비선형 상관기
Key word
Curved integral imaging, elemental images, DPM method, nonlinear correlator
O pen Access
http://dx.doi.org/10.6109/jkiice.2013.17.1.190
Ⅰ. 서 론
집적 영상 (integral imaging) 기술은 최근 유망한 차세 대 3D 디스플레이 기술 중의 하나로서 고려되고 있다
[1-9]
. 이 기술은 홀로그래피 기술과 달리 기계적인 장치나
레이저와 같은 특별한 광원이 필요하지 않으며, 구조적 으로 간단하며 수직과 수평 시차와 연속적인 시점을 가 지는 컬러 3D 영상 디스플레이 등의 장점을 가지고 있기 때문이다. 또한 이러한 3D 구현 원리를 이용하여 현재 집적 영상 기술 기반의 3D 물체를 검출하고 인식하는 연 구들도 활발히 진행되고 있다
[10-16].
집적 영상 기술의 기본 원리는 3D 물체의 광선 정보 를 렌즈배열을 이용하여 CCD와 같은 기록 소자에 기록 하고 이 기록된 영상을 LCD와 같은 디스플레이 장치에 디스플레이 하여 3D 영상을 재생하는 3D 기술이며, 일 반적으로 크게 픽업과 복원의 두 가지 과정으로 나눌 수
있다
[1-9]. 픽업 과정에서는 3D 물체의 정보를 렌즈 배열
또는 핀홀 배열과 CCD 카메라를 이용하여 요소 영상 (elemental image)을 기록한다. 이와 반대로 복원 과정은 픽업 과정의 역 과정으로 기록한 요소 영상을 역으로 렌 즈배열을 통하여 3D 영상을 원 위치와 동일한 위치에서 LCD와 같은 디스플레이 장치에 표현하게 한다. 따라서 디스플레이 장치 앞에 렌즈 배열만을 사용하기 때문에 시스템 구조가 간단하고, 디스플레이 장치에 표시되는 컬러 요소 영상을 그대로 사용하기 때문에 컬러 3D 영상 구현이 가능하다.
하지만 이러한 집적 영상 기술의 장점에도 불구하고 상용화를 위해서는 여전히 극복해야 할 많은 문제점을 가지고 있다. 대표적으로 3D 영상의 낮은 해상도 문제, 좁은 시야각 문제, 적은 깊이감 문제 그리고 깊이 역전 문제 등이 있다.
최근, 해상도가 낮은 문제점을 해결하기 위한 대안으 로 픽업과정에 요소 영상의 샘플링비율 (sampling rate) 을 증가함으로서 복원된 영상의 해상도와 시야각을 향 상할 수 있는 커브형 집적 영상 시스템이 제안되었다
[12-14].
또한 이 시스템에서 3D 물체의 인식 성능을 향상
하기 위하여 다이렉트 픽셀 매핑 (direct pixel mapping:
DPM)
[10]기반의 인식 시스템이 제안되었다. 하지만 이 방법에서는 해상도가 낮은 작은 요소 영상들을 이용하 여 상관 특성을 비교하기 때문에 인식 결과 또한 좁은 상 관 범위 내에서 이루어지는 문제점을 가진다.
따라서 본 논문에서는 이러한 문제점을 극복하기 위 하여 커브형 집적 영상 시스템에서 DPM 기반의 비선형 3D 영상상관기방법을 제안한다. 제안 방법은 커브형 집 적 영상 시스템에서 픽업된 요소 영상을 DPM 방법을 기 반으로 해상도가 향상된 새로운 요소 영상을 생성하고, 비선형 3D 영상 상관기를 이용하여 물체의 인식 성능을 향상하는 목적을 달성한다. 마지막으로, 컴퓨터 시뮬레이 션과기존방법과의비교를통하여 제안방법의 유효성을 검증하였다.
Ⅱ. DPM 기반의 비선형 3D 영상 상관기
2.1. 커브형 집적 영상 기반의 인식 시스템
본 논문의 커브형 집적 영상에서 제안한 DPM 기반의 비선형 3D 영상 상관기 시스템은 그림 1에 나타내었다.
그림1에서보듯이제안한커브형집적영상기반의인식시 스템은 기존 집적 영상 기반의 인식 시스템과 달리 픽업된 요소영상에3D 물체의해상도를향상할수있는DPM 방법 과비선형3D 영상상관기를적용하였다.
제안한 인식 시스템은 우선 커브형 집적 영상 시스템 에서
에 위치한 장애물과 먼 거리
에 위치한 목표 물체를 동시에 하나의 요소 영상으로 픽업한다. 그리고 그림 1과 같이 DPM 방법을 이용하여 픽업된 요소 영상 을 해상도가 향상된 새로운 요소 영상을 생성한다. 마 지막으로, 이 새로운 요소 영상을 이용하여 해상도가 향상된 3D 물체 영상을 재생하게 되고, 비선형 3D 영상 상관기를 이용하여 인식 과정에서 물체의 인식 성능을 향상 시킨다.
그림 1. 제안된 시스템 구성도
Fig. 1 Structure of proposed system
2.2. 다이렉트 픽셀 매핑 (DPM) 방법
그림 2는 해상도 향상을 위한 DPM 방법을 나타냈다.
그림 2에서 볼 수 있듯이 DPM 방법은 픽업한 3D 물체를 컴퓨터를 사용하여 복원한 후 재 픽업하는 과정으로, 해 상도가 향상된 새로운 요소 영상을 생성하게 된다. 이러 한 DPM 방법의 특성을 이용하여 재생된 3D 물체 영상 의 복원거리는 물체와 렌즈 배열과의 원 거리에 비해 감 소하였을 뿐만 아니라, 따라서 재생된 3D 물체 영상의 해상도를 향상시킨다.
그림 2. 다이렉트 픽셀 매핑 (DPM) 방법 Fig. 2 Direct pixel mapping method
일반적으로, 커브형 집적 영상 시스템에서 픽업된 전 체 요소 영상
E는
×
개의
×
픽셀인 단일 요소 영상으로 구성되었다고 가정하면, 그림 2와 같이 DPM 방법으로 거친 후 생성된 새로운 요소 영상은 식 (1)로 표현할 수 있다.
(1) 여기서
⋯,
⋯,
⋯ ⋯
이다.
그림 3(a)은 픽업된 원 요소 영상을 나타내고, 그림 3(b)은 생성된 새로운 요소 영상을 나타낸다. 그림 3(a) 에서 볼 수 있듯이 픽업된 원 요소 영상에서 3D 물체는 렌즈 배열과 멀리 떨어져 있기 때문에 물체의 정보는 거 의 모든 단일 요소 영상에 균일하게 분포 되어 있지만, 식 (1)을 이용하여 DPM 방법을 진행한 후 생성된 그림 3(b)의 새 요소 영상에서 목표 물체는 렌즈 배열과 가까 이에 있는 것과 같이 물체의 일부분 영역만 단일 요소 영상에 픽업된 것처럼 보이기 때문에 이 요소 영상으로
3D 물체를 복원하게 되면 재생 영상의 해상도를 향상 시킬 수 있다.
그림 3. (a) 원 요소 영상 (b) 새로운 요소 영상 Fig. 3 (a) Original elemental images (b) New
elemental images
또한, DPM 방법을 커브형 집적 영상에 이용하여 목 표 물체의 인식성능을 향상시키기 위해 물체와 렌즈릿 배열 사이의 유효거리
는 반드시 식 (2)을 만족해야 한다.
≺
≺ (2)
여기서
f는 커브형 집적 영상 시스템에서 광각렌즈의 초점거리이다. 만약 물체가 식 (2)을 만족하는 유효거리 의 범위에 위치하여 있다고 가정하고, DPM 방법을 거친 후 생성된 새로운 요소 영상으로 목표 물체를 재생하게 되면 식 (3)과 같이 렌즈와 가까운 거리
에서 목표 물 체 영상을 복원 할 수 있고, 따라서 제안 시스템의 인식 성능을 향상 할 수 있다.
(3)
2.3. 커브형 CIIR 방법
다음으로, DPM 방법으로 생성된 새로운 요소영상을
이용하여 커브형 컴퓨터적 집적 영상 재생 (computational
integral imaging reconstruction: CIIR) 방법으로 해상도가
향상된 3D 물체 영상을 복원하게 된다[14]. 그림 4는 커
브형 CIIR 재생 방법을 나타내고 있다. 그림 4에서 (kx,
ky)번째 요소영상에서 (nx, ny)에서 빛이 전송된다고 가
정하면, 재생 평면 거리 z에서 ABCD 매트릭스를 이용하
여 (kx, ky)번째 요소영상과 대응하는 핀홀 배열에 의한 높이 H는 다음과 같다.
·
·
(4)
여기서
와
는 x축에서 kx번째 요소영 상에서 nx번째 픽셀과 y축에서 ky번째 요소영상에서 ny 번째 픽셀을 나타내며, n과 k는 x축과 y축에서 n번째 픽 셀과 k번째 요소영상을 나타낸다. 그 외, P는 렌즈의 사 이즈, d는 픽셀 사이즈, f는 렌즈의 초점거리를 나타낸다.
식 (4)에서 알 수 있듯이, ABCD 매트릭스를 이용하여 요 소영상에서 각 픽셀은 대응하는 재생평면에서 3D 물체 영상으로 한다는 것을 확인 할 수 있다. 따라서 모든 요 소 영상의 픽셀들을 재생 평면으로 매칭하여 중첩함으 로써 3D 영상을 복원할 수 있다.
그림 4. 커브형 CIIR의 원리 Fig. 4 Principle of curved CIIR 2.4. 비선형 상관기를 이용한 인식 개선
마지막 과정은 커브형 CIIR 방법으로 재생된 평면 영 상들을 이용하여 비선형 상관기를 이용하여 3D 물체 인식하는 과정이다. 참조 물체의 기준 평면 영상은 원 3D 물체의 위치인
zL거리에서 복원된 평면 영상이며 이 를
r이라고 한다. 반면에, 재생된 3D 물체의 평면 영상 들은 렌즈 배열부터 거리
z의 변화에 따라 각 출력 평면
에서 복원된다. 이 재생 영상을
gz라고 하고 거리
z에서 복원된 목표 물체의 평면 영상 내에 존재하는 기준 물체 를 인식하기 위해서 참조 템플릿
r과 목표 물체의 평면 영상들
gz간의 상호상관(cross-correlation)을 수행해야 한다. 본 논문에서는 상호상관의 성능 향상을 위하여 비선형 상관(nonlinear correlation) 연산을 사용한다. 본 논문에서 사용한 비선형 상관 연산은
k-th 비선형 상관 연산을 사용한다
[16].
k-th 비선형 상관의 수식은 다음과 같다.
⊗
exp
×
exp
(5)
여기서
k는 비선형 변수이며,
ϕ는 위상성분을 나타낸 다.
k의 범위는 0에서 1까지 가능하며,
k=1이면 기존의 상관 연산이며,
k=0일 때에는 위상만을 사용하는 상관 연산이 된다.
k가 작으면 비선형 특성이 커지면서 상관 피크가 날카로워지면서 우수한 성능을 지니지만 인식 하고자 하는 패턴의 왜곡에 민감해지는 문제가 있다.
Ⅲ. 실험 및 분석
본 논문에서 제안한 인식 시스템의 유효성을 보이기 위해 실험에서 해상도가 900×900 픽셀인 장애물 “Tree”
와 목표 물체 “Car” 두 가지 영상을 이용하여 실험을 진 행하였다. 픽업단계에서는 초점거리가
f= 90 mm 인 광 각렌즈와 핀홀 사이 거리가 1 mm인 30×30 개의 핀홀 배 열을 사용하였고, 핀홀 배열과 요소 영상 사이의 거리 는 3 mm으로 가정하였다. 렌즈 배열로부터 장애물
“Tree”와 목표 물체 “Car” 사이의 거리는
zt와
zc로 설정 하였다.
그림 5에서 보듯이 장애물과 목표 물체는 거리가
zt=
15 mm ,
zc= 75 mm 인 위치에 설정하였다. 그림 6(a)는 제
안된 커브형 집적 영상 인식 시스템에서 그림 5의 실험
구조에 의해 픽업된 900×900 픽셀 크기의 원 요소 영상
을 나타내고, 그림 6(b)은 식 (1)과 같이 DPM 방법을 적
용하여 생성된 새로운 요소 영상을 나타낸다. 그림 6(b)
에서 쉽게 볼 수 있듯이 제안된 인식 시스템에 의해 생성
된 새로운 요소 영상에서 픽업된 3D 물체는 그림 6(a)의 원 요소 영상에서 픽업된 목표 물체보다 해상도가 향상 된 것을 관찰할 수 있다.
그림 5. 실험 구조 Fig. 5 Experimental structure
(a) (b)
그림 6. (a) 원 요소 영상 (b) 새로운 요소 영상 Fig. 6 (a) Original elemental images (b) New
elemental images
그림 7(a)은 그림 6(a)의 원 요소 영상을 이용하여 커 브형 CIIR로부터 재생한 목표 물체의 재생 영상이고, 그림 7(b)은 그림 6(b)의 새로운 요소 영상을 이용하여 재생한 목표 물체 영상이다. 그림 7(a)과 같이 목표 물 체 영상은 픽업 시와 동일하게 먼 거리
zc= 75 mm, 인 위치에서 재생되었지만, 그림 7(b)의 새로운 요소 영 상을 이용하여 재생한 목표 물체 영상은 픽업 시보다 짧은 거리
zc= 15 mm 인 위치에서 재생되었기에 그림 7(b)에 비해 더 선명한 영상을 얻을 수 있음을 확인 할 수 있다.
본 논문에서는 비선형 3D 영상 상관기가
k값에 따른 인식성능을 분석하기 위하여 3D 물체의 패턴 인식 실험 을 하였다. 우선 그림 5의 구조에서 장애물이 없는 상황 에서 재생된 영상을 기준 평면 영상으로 사용하고, 새로
운 요소 영상으로부터 목표 재생 평면 영상을 복원하였 다. 복원된 평면 영상에 대해서 식 (5)을 이용하여 비선 형 상관 연산을 계산하였고, 비선형 상관계수
k에 따른 결과를 그림 8에 나타내었다. 그림 8에서 볼 수 있듯이, 비선형 상관계수
k가 작을수록 계산된 상호상관의 피크 값(peak value)이 샤프(sharp)하게 나타나며, 이는 물체 인식 정확성이 향상된다는 것을 나타낸다.
(a) (b)
그림 7. 재생된 영상 (a) 원 요소 영상 사용 (b) 새로운 요소 영상 사용
Fig. 7 Reconstructed images by (a) original elemental images and (b) new elemental images.
그림 8. 비선형 상관관계 결과 (a) k=1(b) k=0.9 (c) k=0.7 (d) k=0.5
Fig. 8 Results of correlation (a) k=1(b) k=0.9 (c) k=0.7 (d) k=0.5
또한, 본 논문에서는 비선형 3D 영상 상관기의 패턴
인식에 대한 성능을 확인하기 위하여 그림 5의 장애물
에 의해 가려진 3D 물체의 인식 실험을 진행하였다. 그 림 9는 그림 6의 새로운 요소 영상과 원 요소 영상으로 재생된 3D 물체에 대해 비선형 상호상관 연산을 수행 비교한 결과를 나타내었다. 그림 9(a)와 9(b)는 기존방 법인
k=1일 때, 그림 9(c)와 9(d)는 제안방법
k=0.7일 때 새로운 요소 영상과 원 요소 영상을 이용하여 재생한 3D 물체 영상에 대한 상호상관 결과이다. 그림 9에서 알 수 있듯이, 기존방법인
k=1일 때 새로운 요소 영상과 원 요소 영상으로 재생한 3D 물체의 비선형 상호상관 결과가 0.3128과 0.2197로 계산되었으며 DPM기반의 제안방법이 기존 방법보다 1.4배정도 향상되었지만,
k=0.7일 때 새로운 요소 영상과 원 요소 영상으로 재생 한 3D 물체의 비선형 상호상관 결과가 0.2130과 0.1025 로 계산되었으며 DPM기반의 제안방법이 기존 방법보 다 2.1배정도 향상된 것을 확인 할 수 있었다. 따라서 그 림 9의 실험 결과로부터 본 논문에서 사용하는
k차수 비선형 상관기가 패턴인식에서 유용하게 사용될 수 있 음을 보여주고 있다.
그림 9. 비선형 상관기를 이용한 인식 결과 (a) k=1일 때 그림 7(a)의 결과 (b) k=1일 때 그림
7(b)의 결과 (c) k=0.7일 때 그림 7(a)의 결과 (d) k=0.7일 때 그림 7(b)의 결과
Fig. 9 Comparison of the recognition results (a) for Fig. 7(a) when k=1 (b) for Fig. 7(b) when k=1
(c) for Fig. 7(a) when k=0.7 (d) for Fig. 7(b) when k=0.7
Ⅳ. 결 론
본 논문에서는 커브형 집적 영상 시스템에서 3D 물체 인식 향상을 위한 DPM 기반의 비선형 3D 영상 상관기 를 제안하였다. DPM 방법의 사용을 통하여 향상된 물체 의 영상을 복원하였고, 비선형 상관 연산을 사용하여 3D 영상의 인식 성능을 향상 시켰다. 제안하는 DPM기 반의 비선형 3D 영상 상관기에 대한 기조적인 상관관계 실험을 수행하고
k=1인 기존의 인식방법과 비교할 때 상관성을 향상시킴으로서 3D 물체 인식 성능을 개선할 수 있음을 확인하였다. 따라서 제안하는 방법은 3D 패 턴 인식에 유용하게 사용될 것으로 기대된다. 향후 제안 되는 비선형 3D 영상 상관기를 이용하여 커브형 집적 영 상 시스템에서 다양한 왜곡에 대한 패턴 인식 연구를 수 행하고자 한다.
감사의 글
이 논문은 2010년도 정부(교육과학기술부)의 재 원으로 한국연구재단의 기초연구사업 지원을 받 아 수행된 것임(2010-0009003)
참고문헌
[ 1 ] G. Lippmann, “La photographie integrale,”
Comptes- Rendus Academie des Sciences, vol. 146, 446-451, 1908.
[ 2 ] F. Okano, H. Hoshino, J. Arai, and I. Yuyama,
“Real-time pickup method for a three-dimensional image based on integral photography,”
Appl. Opt.,vol.
36, pp. 1598-1603, 1997.
[ 3 ] J.-S. Jang, and B. Javidi, “Improved viewing resolution of three-dimensional integral imaging by use of nonstationary micro-optics,”
Opt. Lett.vol. 27, pp.
324-326, 2002.
[ 4 ] S.-W. Min, B. Javidi, and B. Lee, “Enhanced
three-dimensional integral imaging system by use of
double display devices,”
Appl. Opt.vol. 42, pp.
4186-4195, 2003.
[ 5 ] D.-H. Shin, S.-H. Lee, and E.-S. Kim, “Optical display of true 3D objects in depth-priority integral imaging using an active sensor,”
Opt. Commun.vol. 275, pp.
330-334, 2007.
[ 6 ] R. Martinez-Cuenca, A. Pons, G. Saavedra, M.
Martinez-Corral, and B. Javidi, “Optically-corrected elemental images for undistorted Integral image display,”
Opt. Expressvol. 14, pp. 9657-9663, 2006.
[ 7 ] D. -H. Shin, B. Lee, and E. -S. Kim, "Multidirectional curved integral imaging with large depth by additional use of a large-aperture lens,"
Appl. Opt.,vol. 45, pp.
7375-7381, 2006.
[ 8 ] 신동학, 유훈, "크기가변 확대 기법 기반의 컴퓨터 적 집적 영상 방법을 이용한 3D 영상의 해상도 개 선," 한국정보통신학회논문지, 제12권, 제12호, pp.
2271-2276, 2008.
[ 9 ] 유훈, “컴퓨터 집적 영상 기술에서 픽업 모델 개선 에 의한 복원 화질 개선 방법,” 한국정보통신학회 논문지, 제15권, 제7권, pp.1598-1603, 2011.
[10] Y. Frauel and B. Javidi, "Digital three-dimensional image correlation by use of computer reconstructed integral imaging,"
Appl. Opt. vol. 41, pp. 5488-5496, 2002.
[11] J. Park, J. Kim, and B. Lee, "Three-dimensional optical correlator using a sub-image array,"
Opt. Expressvol.
13, pp. 5116-5126, 2005.
[12] J.-B. Hyun, D.-C. Hwang, D.-H. Shin, and E.-S. Kim,
"Curved Computational integral imaging reconstruction technique for resolution-enhanced display of three- dimensional object images,"
Appl.Opt.,
vol. 46, pp. 7697-7708, 2007.
[13] Y. Piao, D.-H. Shin, and E.-S. Kim, "Computational depth conversion of reconstructed three-dimensional object images in curving-effective integral imaging system,"
Jpn. J. Appl. Phys., vol. 49, pp. 022501, 2010.
[14] Y. Piao and E.-S. Kim, "Resolution-enhanced reconstruction of far 3-D objects by using a direct pixel mapping method in computational curving-effective integral imaging,"
Appl. Opt.vol. 48, pp. H222-230,
2009.
[15] Y. Piao and E.-S. Kim, "Performance-enhanced recognition of a far and partially occluded 3-D object by use of direct pixel-mapping in computational curving-effective integral imaging,"
Opt. Commun.vol. 284, pp. 747-755, 2011.
[16] B. Javidi, “Nonlinear joint power spectrum based optical correlation,”
Appl. Opt. vol. 28, pp. 2358-2367, 1989.
저자소개
