한국컴퓨터정보학회 동계학술대회 논문집 제23권 제1호 (2015. 1)
205
깊이정보 지도 분석을 통한 2D-3D 영상 변환 연구
김인수○, 김형택*,윤주상**, 오세웅***, 서진석***, 김남규***
○입체영상문화기술공동연구센터
*입체영상문화기술공연구센터 경남분소
**동의대학교 멀티미디어공학과
***동의대학교 게임공학과
e-mail:[email protected]○, [email protected]*, {jsyoun**, osw***, jsseo***, ngkim***}@deu.ac.kr
A Study on 2D-3D Image Conversion using Depth Map Chart Analysis
In-Su Kim○, Hyung-Taek Kim*, Joo-Sang Youn**, Se-Woong Oh***, Jin-Seok Seo***, Nam-Gyu Kim***
○Stereoscopic Imaging Research Center(SIRC)
*Kyungnam Office, Stereoscopic Imaging Research Center
**Dept. of Multimedia Engineering, Dong-Eui University
***Dept. of Game Engineering, Dong-Eui University
● 요 약 ●
3D 입체영상을 제작하기 위해서는 2D 영상제작에 비해 오랜 제작 기간과 많은 비용이 발생한다. 비용 절감을 위해 기존의 2D 영상을 3D 입체영상으로 변환하는 연구가 진행되고 있다. 2D 영상을 3D 입체영상으로 변환하는 방식은 자동변환방법과 수동 변환방법으로 구분할 수 있으며, 고품질의 2D-3D 변환 영상을 획득하기 위해서는 깊이정보 지도(Depth map chart)를 활용한 수동변환 방법을 많이 사용되고 있다. 하지만 2D-3D 수동변환에 사용되는 깊이정보 지도의 정량적 분석 데이터가 부족하여 사 용자가 변환한 이미지에 대한 정확한 기준 깊이값 설정이 어려운 단점이 있다. 본 논문에서는 깊이정보 지도의 깊이값 정보에 대한 정량적 분석 데이터를 바탕으로 한 2D-3D 수동변환 변화범위를 제시함으로써 적정한 영상 변화를 유도할 수 있도록 한다.
키워드: 입체영상(Stereoscopy), 2D/3D 변환(2D/3D Converting), 깊이정보지도(Depth Map Chart)
I. 서 론
3DTV는 시청자에게 현실감 및 몰입감을 극대화 할 수 있는 실감형 디스플레이 기술로 널리 보편화되고 있다. 일반적인 3D 입체영상의 원리는 인간이 현실에서 입체로 느낄 수 있는 원리와 동일하다. 인간은 양안 시차로 인하여 오른쪽 눈과 왼쪽 눈이 같은 사물을 바라보면서 다른 이미지를 획득하게 된다. 오른쪽 눈과 왼쪽 눈에 들어온 이미지를 뇌에서 자연스럽게 결합하여 사물의 깊이 및 거리 정보를 알 수 있다. 이러한 방법을 촬영시스템에 적용하여 개발된 것이 리그(Rig) 시스템이며, 리그시스템은 인간의 오른쪽과 왼쪽 눈에 해당하는 카메 라 두 대를 동시에 올릴 수 있는 거치대 역할을 한다. 인간의 양안시차는 약 65mm로 고정되어 있지만, 촬영시스템에서는 촬영환경을 고려하 여 원거리일 경우 65mm보다 널게 설정하며, 근거리일 경우 65mm보
다 좁게 설정하여 촬영하고 있다. 3D 입체영상 이미지를 획득하기 위해서는 2D 영상에 비해 추가되는 장비에 대한 예산 증가와 길어지는 제작 기간 때문에 3D 입체영상을 제작하려는 제작사 입장에서는 2D-3D 변환기술을 활용하여 3D 입체영상 이미지를 획득하는 방법을 사용하고 있다. 또한 2D-3D 변환기술의 경우 기존 콘텐츠를 활용하기 때문에 별도의 3D 입체영상 촬영이 필요하지 않다. 2D-3D 변환기술 은 자동변환기술과 수동변환기술, 자동과 수동을 혼합하여 사용하는 경우로 구분할 수 있다. 아직까지 수동변환기술에 비해 자동변환기술 로 획득한 3D 입체영상은 품질이 많이 부족한 부분이 있지만, 수동변환 기술과 자동변환기술을 혼합하여 사용할 경우, 보다 좋은 3D 입체영상 획득이 가능하다. 본 본문에서는 깊이정보 지도의 정량적 깊이값 분석 결과 및 설정 가능 범위 가이드를 통한 수동변환 기법을 제시한다.
한국컴퓨터정보학회 동계학술대회 논문집 제23권 제1호 (2015. 1)
206
II. 관련 연구
1. 관련연구
자동변환기술의 경우 2D 이미지를 곡선 형태로 인위적인 볼륨을 주어 이미지에 대한 일정한 깊이값을 가질수 있도록 설정한다. 곡선의 형태로 인해 전체적인 이미지가 후퇴영역으로 변환되어 돌출을 원하는 피사체의 단일 변환이 불가능하다. 그로인해 돌출을 원하는 이미지 대한 품질이 낮으며, 사용자가 원하는 깊이값 설정이 불가능한다, 하지만 수동변환의 경우 깊이정보 지도를 활용하여 정성적 깊이값 설정이 가능하며, 제작 시간 및 제작 비용 절감을 위해 효율적으로 사용하고 있다. 그림 2와 3은 현재 많이 사용되고 있는 자동 변환 알고리즘 및 절차 과정을 보여준다.
그림 220. 유투브 서비스상의 3D 자동변환 알고리즘 Fig 1. Auto-Converting Algorithm on Youtube
그림 221. 객체분리 정보를 이용한 자동변환 절차 Fig 2. Auto-Converting Processes based on Object Partitioning
and Layering
수동변환의 경우 왼쪽 이미지를 기준으로 그래픽 및 영상편집 시스템에서 오른쪽영상을 인위적으로 왜곡시켜 입체값을 주는 방법이 다. 오른쪽 영상을 왜곡시키는 과정에서 깊이정보 지도를 활용하여 피사체 및 객체에 대한 깊이값을 그림 3과 같이 범위를 설정하게 된다.
그림 222. 깊이정보 지도 Fig 3. Depth Map Chart
깊이정보 지도의 경우, 객체 경계를 선명화하기 위해 색상분할 알고리즘 중 Mean Shift Segmentation(MSS)알고리즘을 활용한 변환기술을 적용하며, Gray Scale영상의 RGB값에 대해 0~255 각 픽셀값에 해당하는 위치와 정보영상의 픽셀값들의 평균값을 획득하여 깊이 지도를 생성한다. 하지만 깊이정보 지도에 대한 정량적 깊이값 분석에 대한 가이드가 부족하여 사용자들은 경험에 의존하여 2D-3D 변환을 진행하고 있다. 본 논문에서는 깊이정보 지도에 대한 깊이값 정보의 정량적인 결과를 도출하여 2D-3D 변환에 대한 가이드를 제시하고자 한다.
III. 본 론
1. 깊이정보 지도의 정량적 깊이값 도출
우선적으로 깊이정보 지도에 대한 정량적 깊이값 도출을 위하여 RGB값에 해당하는 2D-3D 수동변환 이미지를 제작하였다. 그림 4의 상단 그림과 같이 왼쪽의 원은 RGB값 255에 고정하였으며, 중앙의 원은 RGB값에 127, 오른쪽 원은 RGB값 0~115까지 10단계 로 분류하여 이미지를 제작하였다. 이에 대한 정량적 깊이값(그림 4 하단)은 또OmniTek사의 전문 입체영상 분석 장비 OTR 1001를 통해 도출하였다.
그림 223. 3개의 원과 대응되는 깊이정보 Fig 4. 3D Spheres and Corresponding Depth Map
한국컴퓨터정보학회 동계학술대회 논문집 제23권 제1호 (2015. 1)
207 그림 224. 깊이값 정보 분석
Fig 5. Depth Map Analysis Results
분석한 결과 그림 5와 같이, RGB값 255에 해당하는 정략적 깊이 값은 돌출영역의 약 -0.3의 깊이값을 가지며 RGB값 0~115까지의 깊이값 변화량은 약 0.1%를 가지는 것으로 나타났다 (표 1 참조).
Name Negative(%) Positive(%)
0 -0.32 0.40
13 -0.31 0.39
25 -0.32 0.39
38 -0.32 0.38
51 -0.32 0.35
64 -0.32 0.34
76 -0.32 0.34
89 -0.32 0.32
102 -0.32 0.31
115 -0.32 0.31
표 1. RGB 0~115에 대한 깊이값 분석 Table 1. Depth Range Analysis (RGB 0~115)
다음은 왼쪽에 원은 RGB값 144~255까지 10단계로 분류하였으며, 중앙의 원은 RGB값에 127, 오른쪽 원은 RGB값 0으로 설정하여 이미지를 제작하여 깊이값에 대한 정보를 분석한 결과 RGB 0의 깊이값은 후퇴영역에 해당하는 0.39%의 깊이를 가지며, 114~ 255까 지의 깊이값 변화량은 약 0.2%의 값을 가진다, 이는 후퇴영역에 해당하는 RGB값 깊이변화량 약 0.1%보다 2배의 변화량을 가지는 것을 알 수 있다(표 2 참조).
Name Negative(%) Positive(%)
144 -0.02 0.39
153 -0.02 0.39
166 -0.04 0.39
178 -0.04 0.39
191 -0.05 0.39
204 -0.08 0.39
217 -0.16 0.39
229 -0.16 0.39
242 -0.23 0.39
255 -0.23 0.39
표 2. RGB 144~255에 대한 깊이값 분석 Table 2. Depth Range Analysis (RGB 144~255)
2. 피사체 크기에 따른 정량적 깊이값
구의 RGB 설정은 상기 실험과 동일하게 설정하였으며, 원의 크기를 대, 중, 소를 나누어 이미지를 제작하여 깊이값 변화를 측정하였다.
이미지에 대한 깊이값을 분석한 결과 3개의 원의 크기가 동일한 이미지에서 나타난 결과와 차이를 보였다. 돌출영역에 대한 깊이값 변화는 나타나지 않은 반면, 후퇴영역에 대해서는 동일한 원의 변화량 보다 약 0.6% 정도 감소하는 것으로 나타났다 (표 3 참조).
Name Negative(%) Positive(%)
0 -0.32 0.4
13 -0.32 0.4
25 -0.32 0.32
38 -0.32 0.32
51 -0.32 0.32
64 -0.32 0.32
76 -0.32 0.24
89 -0.32 0.24
102 -0.32 0.24
115 -0.32 0.25
144 -0.02 0.39
153 -0.02 0.39
166 -0.04 0.39
178 -0.04 0.39
191 -0.08 0.39
204 -0.08 0.39
217 -0.16 0.39
229 -0.16 0.39
242 -0.23 0.39
255 -0.24 0.39
표 3. 피사체 크기변화에 대한 깊이값 분석 Table 3. Depth Range Analysis of Size Variation
IV. 결론 및 향후 계획
깊이정보 지도를 이용한 2D-3D 수동 변환기술을 사용할 경우 깊이값 설정을 중요하게 고려해야 한다. 2D- 3D 수동변환으로 획득할 수 있는 전체 깊이값 변화량은 약 1% 미만으로 시청자가 입체를 느끼는 입체감은 다소 부족할 수 있다. 그로인해 2D-3D 변환기술을 활용하여 보다 효과적인 3D 입체영상을 획득하기 위해서는 2D-3D 변환에 적합한 2D 영상인지가 먼저 콘텐츠적 특성을 고려한 후 제작에 들어가는 것이 효과적이다. 본 연구에서는 깊이정보 지도의 RGB값의 정량적 깊이값 및 피사체 크기에 대한 연구가 진행되었으며, 향후 시청자의 깊이감을 충족하기 위해서는 깊이정보 지도가 가지고 있는 깊이 변화량을 높이기 위한 연구를 진행할 계획이다.
Acknowledgement
본 연구는 미래창조과학부 및 정보통신기술진흥센터의 정보통신·
방송 연구개발사업의 일환으로 수행하였음. [2014(15501-14-1013),
한국컴퓨터정보학회 동계학술대회 논문집 제23권 제1호 (2015. 1)
208
3D 입체영상제작 연구개발]
참고문헌
[1] Seo, Jinseok, “Visual Discomfort of DoF Adjustment in Stereoscopic Video,” Journal of Institute of Digital Entertainment, Vol. 2, No. 1, pp. 21-23, Feb, 2014.
[2] Ko, Minwoo. “Depth range configuration based on picture composition of stereoscopic 3D movies,” Journal of Institute of Digital Entertainment, Vol. 2, No. 1, pp. 9-12, Feb, 2014.
[3] Ko, Minwoo. “Analysis of Genre-based shooting technique in stereoscopic 3D Movies,” Journal of Institute of Digital Entertainment, Vol. 2, No. 1, pp. 13-16, Feb, 2014.
[4] Kim, Namgyu “Error Factor Analysis on Stereoscopic Camera Shooting Techniques,” Journal of Institute of Digital Entertainment, Vol. 2, No. 1, pp. 25-28, Feb, 2014.
[5] Sung-Ho Han, “2D/3D conversion method using depth map based on haze and relative height cue”, The Society of Digital Policy&Management, Vol. 10, No. 9, pp 351-356, Oct, 2012.
