Visual Comfort Enhancement of Auto-stereoscopic 3D Display using the Characteristic of Disparity Distribution

(1)

( Visual Comfort Enhancement of Auto-stereoscopic 3D Display using the Characteristic of Disparity Distribution )

김 동 현

^*

, 손 광 훈

^**

( Donghyun Kim and Kwanghoon Sohn

^ⓒ

)

요 약

시청 피로 정도는 3차원 디스플레이의 성능을 평가할 수 있는 여러 요소 중 하나이다. 3차원 디스플레이의 시청 피로도를 개선하기 위한 많은 연구 중 시차 조정 방법은 3차원 영상의 시차를 적절한 분포를 가지도록 하는 간단한 방법으로써 많은 연 구가 진행되고 있다. 본 논문에서는 시차 장벽 방식의 오토스테레오스코픽 3차원 디스플레이에서 시차 분포가 시청 피로에 미 치는 영향을 기반으로 수평 영상 이동 방식을 이용하여 시차 조정하는 방법을 제안한다. 제안하는 방법은 Speeded-Up Robust Feature(SURF)를 이용하여 3차원 영상의 시차 분포를 구하고, 이전 연구를 통해 구한 시차 분포가 시청 피로에 미치는 영향 을 토대로 시차 조정 정도를 결정하고 3차원 영상의 시차를 조정한다. 제안 방법의 성능을 평가하기 위하여, 우리는 실제 제작 된 시차 장벽 방식의 오토스테레오스코픽 3차원 디스플레이를 사용하여 최적 시청 거리에서 주관 평가를 실시한다. 실험 결과 는 다양한 시차 분포를 가지는 3차원 영상에 대하여 제안 방법을 적용 한 후 시청 피로 정도가 감소함을 보여준다.

Abstract

Visual discomfort is a common problem in three-dimensional videos. Among the methods to overcome visual discomfort presented in current research, disparity adjustment methods provide little guidance in determining the condition for disparity control. We propose a diaprity adjustment based on the characteristics of disparity distribution on visual comfort, where the visual comfort level is used as the adjustment paramter, in parallax barrier type auto-stereoscopic 3D display.

In this paper, we use the horizontal image shift method for disparity adjustment to enhance visual comfort. The speeded-up robust feature is used to estimate the disparity distribution of 3D sequences, and the required amount for disparity control is chosen based on the pre-defined characteristics of disparity distribution on visual comfort. To evaluate the performance of the proposed method, we used a 3D equipment. Subjective tests were conducted at the fixed optimal viewing distance. The results show that comfortable videos were generated based on the proposed disparity adjustment method.

Keywords

:

Visual comfort enhancement, disparity adjustment, auto-stereoscopic 3D display

*

학생회원,

^**

정회원, 연세대학교 전기전자공학과

(School of Electrical and Electronic Engineering, Yonsei University)

ⓒ

Corresponding Author(E-mail: [email protected])

※이 논문은 2015년도 정부(미래창조과학부)의 재원으로 한국연구재 단의 지원을 받아 수행된 연구임(NRF-2013R1A2A2A01068338).

Received ;

September 18, 2015

Revised ;

December 1, 2015

Accepted ;

March 8, 2016

Ⅰ. 서 론

최근 3차원 영상 기술에 대한 관심이 증대함에 따라 다수의 제조사들은 경쟁적으로 스테레오스코픽 방식의 3차원 디스플레이를 출시하였다^[1～2]. 스테레오스코픽 방 식의 3차원 디스플레이는 주로 적청 혹은 편광 안경과 같은 수동식 방식과 셔터 안경과 같은 능동식 방식으로

(2)

(a) (b) (c) 그림 1. 실생활과 3차원 디스플레이 시청시 각각의 초점-수렴 반응 개념도

Fig. 1. Concept of the behavior of accommodation and vergence response in real world and 3D display.

제조되는데^[3], 사용자들이 안경을 착용하고 시청해야 함 에 불편함을 느껴 근래에는 3차원 디스플레이의 그 인 기가 한풀 꺾였다. 이에 관련 업체 및 학계에서는 기존 스테레오스코픽 방식의 3차원 디스플레이에서 사용하는 특수한 안경 없이도 입체 영상의 시청이 가능한 오토스 테레오스코픽 방식의 3차원 디스플레이 개발에 많은 관 심을 보이고 있다^[4]. 기술 발전에 따라 안경 착용에 대 한 사용자의 불편함은 다소 해소되었지만 아직까지 사 용자의 시청 피로에 대한 근본적인 문제는 해결되지 않 고 있다^[1,5].

특히, 인간 시각 체계의 초점과 수렴 반응(Accommodation and convergence, AC)간 불일치 현상은 스테레오스코픽 3 차원 디스플레이 뿐만 아니라 오토스테레오스코픽 3차 원 디스플레이의 시청 피로를 유발하는 가장 큰 문제라 고 할 수 있다^[6]. 그림 1과 같이, 사용자가 3차원 영상 시청 시 초점이 스크린에 고정되어 있는 동안 수렴 반 응은 입체 물체의 위치에 따라 이동하기 때문에 초점- 수렴 반응간 불일치가 발생시켜 사용자에게 심각한 눈 의 피로 및 두통을 유발한다. 최근에는 스테레오스코픽 자극에 대한 사용자의 합성 시간을 측정하는 방식을 이 용하여 초점-수렴 반응간 불일치 현상의 영향을 조사하

였다^[7～9]. 해당 연구에서는 초점-수렴 반응간 불일치가

큰 자극일수록 사용자가 합성하는데 시간이 많이 소요 되고, 사용자에게 더 많은 시청 피로도를 유발한다고 조사되었다. 하지만, 이전 연구들에서는 기존 스테레오 스코픽 3차원 디스플레이에서의 초점-수렴 반응간 불 일치 문제에만 집중되었다. 기존 안경식 스테레오스코 픽 3차원 디스플레이의 불편함을 해소하기 위해 개발 중인 오토스테레오스코픽 3차원 디스플레이의 관심도가 증대함에도 불구하고, 아직까지 그에 걸맞는 초점-수렴 반응간 불일치 현상에 대한 연구는 미비하다. 이를 해 결하기 위해, 이전 연구에서 3차원 영상의 시차 분포가

사용자의 AC 충돌 현상에 미치는 현상을 조사하여 오 토스테레오스코픽 3차원 디스플레이의 시청 피로도에 미치는 영향을 조사하였다^[10].

현재 3차원 영상 제작자들은 현재 존재하는 연구들 을 기반으로 상영하고자 하는 3차원 디스플레이에 맞게 촬영 조건 및 장면 구성 등을 구성하여 제작한다. 하지 만, 사용자들의 시청 환경이 변화함에 따라 3차원 영상 의 시차가 과도하게 변하는 등의 현상으로 인해 그들이 원하는 만큼 사용자에게 편안한 영상을 제공하지 못하 고 있다. 이를 해결하기 위해 이미 제작된 3차원 영상 을 시청 환경에 맞도록 수정하여 시청 피로도를 개선하 는 방법이 연구 되고 있다. 널리 알려진 방법으로는 크 게 시점 합성 방법^[11～13]과 영상 수평 이동 방법^[14～16]과 같은 두 가지 접근법이 있다. 시점 합성 방법은 중간 영 상 합성 기술을 이용하여 3차원 영상의 과도한 시차를 줄여 시청 피로도를 개선시킬 수 있으나, 깊이 영상 추 정 알고리즘의 성능과 합성 시 발생하는 결함 정도에 따라 개선 정도의 차이가 크다는 문제점이 있다. 그 반 면에 수평 이동 방법은 수평 해상도면에서 손해를 보지 만, 단순히 3차원 영상의 각 시점 영상을 서로 반대 방 향으로 이동시켜 과도한 시차를 줄일 수 있기 때문에 시청 피로도를 개선하는데 널리 쓰이고 있다.

본 논문에서는 이전 연구에서 밝혀낸 3차원 영상의 시차 분포가 시청 피로도에 미치는 영향을 기반으로 이 미 제작된 3차원 영상의 시차를 조정하여 오토스테레오 스코픽 3차원 디스플레이의 시청 피로도를 개선시키기 로 한다. 시차 분포가 시청 피로도에 미치는 영향은 다 양한 시차 분포 조건 아래 오토스테레오스코픽 3차원 디스플레이 시청시 사용자가 느끼는 주관적인 정도 (Mean Opinion Score, MOS)를 측정하여 밝혔으며, 본 논 문에서 시차 조정 정도는 이 영향을 기반으로 정의한다.

본 논문의 2장에서는 3차원 영상의 시차 분포가 시청

(3)

(a)

(b)

그림 2. (a) 시차 분포 개념도와 (b) 랜덤 도트 패턴 을 이용한 실험 환경도

Fig. 2. (a) Concept of disparity distribution and (b) experimental environment using the random- dot pattern.

피로도에 미치는 영향에 대한 이전 연구를 간략히 소개 하고, 3장에서는 제안하는 시청 피로도 개선 방법에 대 해 기술한다. 4장에서는 제안 방법에 의한 시청 피로개 선 정도를 실험 결과로써 보이고, 마지막으로 5장에서 는 본 논문의 결론을 서술한다.

Ⅱ. 시차 분포 특성이 오토스테레오스코픽 3차원 디스플레이의 시청 피로도에 미치는 영향

이 장에서 3차원 영상의 시차 분포 특성이 시차 장벽 방식 오토스테레오스코픽 3차원 디스플레이의 시청 피 로도에 미치는 영향에 대해 설명한다^[10]. 본 실험을 위 하여 랜덤 도트 패턴을 다양한 시차 분포 조건 아래 제 작하고, 사용자의 초점-수렴 반응간 불일치 정도를 측 정하였다. 그림 2은 랜덤 도트 패턴을 이용한 실험 환 경을 보여준다. 12시점의 시차 장벽 방식 오토스테레오 스코픽 3차원 디스플레이^[17]를 이용하여 다양한 시차 분 포 조건의 랜덤 도트 패턴을 10명의 피험자에게 보여 피험자의 주관적인 시청 피로도를 측정하였다. 표 1은 시차 분포 조건 및 사용 디스플레이의 사양을 나타낸다.

그림 3은 전경(Foreground), 후경(Background) 시차 의 변화가 사용자의 주관 시청 피로도에 미치는 영향을 보인다. 그림의 바는 피험자들이 측정한 주관 시청 피

(a)

(b)

그림 3. 시차가 오토스테레오스코픽 3차원 디스플레 이 시청 피로에 미치는 영향의 1차원적 분 석 결과: (a) 전경 시차, (b) 후경 시차 Fig. 3. 1D analysis for effect of (a) foreground

disparity and (b) background disparity on visual comfort in auto-stereoscopic 3D display.

로도의 평균으로 나타내었으며, 95%의 신뢰구간을 갖 고 있다. 그림 3(a)은 전경 시차가 시청 피로도와 밀접 한 관계가 있음을 보이며, 특히 0도 근처인 –0.45도 – 0.15도, 0.15도에 패턴이 위치했을 경우 가장 편한 시청 환경을 제공한다.

그림 3(b)는 전경 시차뿐만 아니라 후경 시차의 위치 도 시청 피로도에 영향을 미침을 나타낸다. 전경 시차 와는 달리 후경 시차의 경우 양의 시차(0도, 0.3도)를 가질 경우 가장 편한 시청 환경을 제공함을 알 수 있다.

그림 4는 전경 시차와 후경 시차가 시청 피로도에 미치 는 영향을 동시에 알 수 있도록 2차원적으로 분석한 것 이다. 이를 통해 전경 시차와 후경 시차의 차이인 시차 분포(Disparity distribution)가 시청 피로도에 많은 영 향을 미침을 알 수 있다. 그림 4에서 3점 이상의 시청

(4)

그림 4. 시차가 오토스테레오스코픽 3차원 디스플레 이 시청 피로에 미치는 영향의 2차원적 분 석 결과 및 제안하는 시차 분포 특성을 이 용한 시차 조정 방법의 예

Fig. 4. 2D analysis for characteristics of disparity distribution on visual comfort in auto- stereoscopic 3D display and an example of the proposed disparity adjustment method using the characteristics of disparity distribution in auto-stereoscopic 3D display.

피로도 점수를 가지는 영역은 일반적으로 오토스테레오 스코픽 3차원 디스플레이를 시청하는데 적절한 시차 분 포라고 가정한다. 이에 따르면, 후경 시차가 0으로 고정 되었을 경우, 전경 시차가 약 –0.8도부터 0.5도까지 영 역에 존재할 때 시청자가 불편함 없이 3차원 영상 시청 이 가능하다. 후경 시차의 변화까지 고려할 경우 결론 적으로 약 –1도에서 0.6의 시차 분포를 가질 때 시청 자가 불편함 없이 3차원 영상의 시청이 가능하다는 것 을 알 수 있다. 이 결과는 다음 장에서 전경 시차와 후 경 시차간의 분포를 조절하여 시청 피로도를 개선하는 데 가이드라인으로써 사용된다.

Ⅲ. 시차 분포 특성을 이용한 시청 피로도 개선 방법

이 장에서는 2장에서 구한 오토스테레오스코픽 3차 원 디스플레이에서의 시차 분포가 시청 피로도에 미치 는 특성을 이용하여 실제 3차원 영상의 시청 피로도를 개선하는 방법을 제안한다. 그림 5는 제안하는 방식의 전체적인 흐름도를 나타낸다. 영상 수평 이동 방법을 이용하여 3차원 영상의 시청 피로도를 개선하기 위하여 우선적으로 3차원 영상의 전경 시차와 후경 시차의 크 기를 알아야 한다. 주로 상용화 된 3차원 영상의 경우

그림 5. 제안하는 시차 분포 특성을 이용한 시차 조 정 방법의 흐름도

Fig. 5. Flow chart of the proposed disparity adjustment method using the characteristics of disparity distribution in auto-stereoscopic 3D display.

1 (Lovebird1) 2 (Heidelberg)

3 (KnightQuest) 4 (RhineValley)

5 (SkullRock 1) 6 (SkullRock 2)

그림 6. 테스트 3차원 영상

Fig. 6. Test 3D sequences.

스테레오스코픽 방식으로 제작되었기 때문에 좌, 우 영 상의 특징점 매칭 방식을 사용하여 그림 2(a)의 전경 시차()와 후경 시차()를 각각 각도 단위로 예측한다

[18]. 각 시차를 삼각 계산법을 이용하여 구하기 위해서 디스플레이의 크기와 시청 거리, 시청자자의 양안 거리 는 매번 측정한다.

그림 3과 그림 4를 통해 알 수 있듯이 과도한 시차를 가지는 3차원 영상은 심각한 시청 피로를 유발하기 때 문에, 제안 방법은 3차원 영상의 시차를 시청 피로도가 낮은 시차 분포 영역으로 조정 시켜 피로도를 개선하는 것을 목표로 한다. 수평 이동 방법을 이용하여 좌, 우 영상의 시차를 조정한다. 제안 방법의 두 가지의 장점 을 가진다. 첫째, 제안 방법은 단순히 좌, 우 영상을 수 평 이동시키기 때문에 인간 시각 체계(Human visual system, HVS)를 고려하여 쉽게 수정할 수 있다. 게다 가, 미리 정의된 시차 분포가 미치는 영향 정도를 안다

(5)

(a)

(b)

그림 7. 제안 방법의 결과: (a)시차 분포의 변화, (b)시청 피로도의 변화

Fig. 7. Results of the proposed method: (a)disaprity distribution, and (b)visual comfort score.

면 별도의 주관 평가 없이 시청 피로도를 개선할 수 있다.

Ⅳ. 실험 결과

이 장에서는 실제 제작된 오토스테레오스코픽 3차원 디스플레이^[17]에서 제안된 시청 피로도 개선 방법의 효 과를 확인한다. 본 실험에서 사용된 디스플레이는 최적 시청거리 약 53.5cm를 갖는 12시점 시차 장벽 방식 패 널을 15.6인치 크기의 HP 노트북에 부착하여 제작하였 다. 25세에서 34세로 구성된 10명의 비전문가인 피험자 에게 제안 방법에 대한 주관 평가를 실시하였다. 피험 자들은 MPEG 3DV^[19]와 3dtv.at^[20]에서 제공하는 스테 레오스코픽 영상을 이용한다. 그림 6은 본 논문에서 사 용한 총 6개의 테스트 영상을 보인다. 피험자들은 6개 의 적절하거나 과도한 시차를 가지고 있는 테스트 영상 원본을 보고 그 시청 피로 정도를 측정하고, 그 후 제안 방법으로 시차를 조정하여 수정된 영상을 보고 그 시청 피로 정도를 매우 좋음, 좋음, 보통, 피로함, 매우 피로 함으로 5개의 등급을 나뉘어 측정하도록 하였다. 결과 의 안정화를 위하여 3번의 반복 실험을 실시하였다.

그림 7은 제안 방법을 이용하여 시차를 조정한 결과 를 나타낸다. 그림 7(a)에서 검은색 선은 3차원 영상의

원본 시차 분포를, 회색 선은 조정된 시차 분포 정도를 나타낸다. 빨간색 선은 시차 분포 특성을 통해 얻어낸 시차 조정 한계치이다. 그림 7(b)는 제안 방법을 이용하 여 시차 조정된 3차원 영상의 피로도 개선 효과를 나타 낸다. 결과에 따르면, 제안 방법을 통해 대부분의 3차원 영상들은 시청 피로도가 개선됨을 확인 할 수 있다. 특 히, 1, 3, 4, 5번 테스트 영상과 같이 작은 시차 분포를 가진 3차원 영상의 경우 시차 조정 한계치 내부로 쉽게 이동시킬 수 있기 때문에 그 효과가 더욱 부각된다. 반 면에, 6번 테스트 영상처럼 과도한 시차 분포를 가지는 경우 제안 방법이 큰 효과를 가지지 못함을 알 수 있다.

Ⅴ. 결 론

최근 실감형 미디어에 대한 관심이 증대함에 따라 3 차원 입체 디스플레이에 대한 기술의 발전이 진행되었 다. 이에 따라 편안한 3차원 입체 디스플레이 시청이 가능토록 인간 시각 체계를 고려한 많은 연구가 진행되 었다. 이전 연구에서는 오토스테레오스코픽 3차원 디스 플레이에서 시차 분포의 특성이 인간 시각 체계에 미치 는 영향에 대해 조사하였다. 본 논문에서는 이전 연구 의 결과물을 토대로 실제 3차원 영상의 시차를 최적의

(6)

시차 분포를 갖도록 조정하여 시청 피로 정도를 개선하 는 방법을 제안하였다. 주관 평가를 위해 최적 시청 거 리가 정해져있는 실제 제작된 시차 장벽 방식의 오토스 테레오스코픽 3차원 디스플레이를 이용하였으며, 피험 자에게 원본 3차원 영상과 조정된 3차원 영상을 비교 평가하도록 하였다. 제안하는 시차 조정 방법은 선형적 인 수평 영상 이동 방법을 기반으로 하기 때문에, 시차 분포가 작은 영상에서 시차 분포가 큰 영상에 비해 시 청 피로 정도 개선 효과가 우수함을 확인할 수 있었다.

하지만, 선형적인 조정 방법은 전경 시차와 후경 시차 를 각각 세밀하게 조정할 수 없다는 단점이 있다. 이를 보완하기 위하여 우리는 현재 비선형적 시차 조정 방법 에 대해 연구를 진행중이다. 이에 그치지 않고 오토스 테레오스코픽 3차원 디스플레이 시청 피로를 증감 시키 는 중요한 요소인 크로스톡 등이 시청 피로도에 미치는 영향을 조사하여 보다 개선된 시청 환경을 만드는 연구 가 수행되어져야 할 것이다.

REFERENCES

[1] I. Sexton and P. Surman, “Stereoscopic and autostereoscopic display systems,”　IEEE Signal Processing Magazine, Vol. 16, no. 3, pp. 85-99, May 1999.

[2] T. Shibata, J. Kim, D. M. Hoffman, and M. S.

Banks, “The zone of comfort: Predicting visual discomfort with stereo displays,” Journal of Vision, Vol. 11, no. 8, pp. 1-29, July 2011.

[3] A. Benoit, P. L. Callet, P. Campisi, and R.

Cousseau, “Quality assessment of stereoscopic images,” EURASIP Journal on Image and Video Processing, Vol. 659024, 2008.

[4] H. Urey, K. V. Chellappan, E. Erden, and P.

Surman, “State of the art in stereoscopic and autostereoscopic displays,” Proceedings of the IEEE, Vol. 99, no. 4, pp. 540-555, April 2011.

[5] A. J. Woods, “Crosstalk in stereoscopic displays:

a review,” Journal of Electronic Imaging, Vol.

21, no. 4, pp. 040902, 2012.

[6] M. Lambooij, M. Fortuin, I. Heynderickx, and W.

IJsselsteijn, “Visual discomfort and visual fatigue of stereoscopic displays: a review,” Journal of Imaging Science and Technology, Vol. 53, no. 3, pp. 30201-1-30201-14, May 2009.

[7] K. Akeley, S. J. Watt, A. R. Girshick, and M. S.

Banks, “A stereo display prototype with multiple focal distances,” ACM Transactions on Graphics, Vol. 23, no. 3, pp. 804-813, August 2004.

[8] D. M. Hoffman, A. R. Girshick, K. Akeley, and M. S. Banks, “Vergence-accommodation conflicts hinder visual performance and cause visual fatigue,” Journal of Vision, Vol. 8, no. 3, pp.

1-30, March 2008.

[9] D. Kim, S. Choi, and K. Sohn, “Effect of vergence-accommodation conflict and parallax difference on binocular fusion for random dot stereogram,” IEEE Transactions on Circuits and Systems for Video Technology, Vol. 22, no. 5, pp. 811-816, May 2012.

[10] D. Kim and K. Sohn, “Guideline for comfortable autostereoscopic 3D watching,” Global 3D Forum, Oct. 2014.

[11] J. Konrad, “Enhancement of viewer comfort in stereoscopic viewing: parallax adjustment,”

IS&T/SPIE Electronic Imaging, Vol. 3639, 1999.

[12] F. Devernay, S. Duchene, and A. Ramos-Peon,

“Adapting stereoscopic movies to the viewing conditions using depth-preserving and artifact-free novel view synthesis,” IS&T/SPIE Electronic Imaging, Vol. 7863, 2011.

[13] H. Pan, C. Yuan, and S. Daly, “3D video disparity scaling for preference and prevention of discomfort,” IS&T/SPIE Electronic Imaging, Vol 7863, 2011.

[14] D. K. Broberg, “Guidance for horizontal image translation (HIT) of high definition stereoscopic video production,” IS&T/SPIE Electronic Imaging, Vol. 7863, 2011.

[15] S. He, T. Zhang, and D. Doyen, “Visual discomfort prediction for stereo contents,”

IS&T/SPIE Electronic Imaging, Vol. 7863, 2011.

[16] D. Kim, S. Choi, and K. Sohn, “Visual comfort enhancement for stereoscopic video based on binocular fusion characteristics,” IEEE Transactions on Circuits and System for Video Technology, Vol.

23, no. 3, pp. 482-487, March 2013.

[17] S. K. Kim and D. W. Kim, “Apparatus and method for displaying three-dimensional images,”

US Patent 8,994,791, Mar. 2015.

[18] D. Min, S. Yea, Z. Arican, and A. Vetro,

“Disparity search range estimation: enforcing termporal consistency,” IEEE Int. Conf. on Acoustics Speech and Signal Processing, pp.

2366-2369, 2010.

[19] H. Schwarz, D. Marpe, and T. Wiegand,

“Description of exploration experiments in 3D video coding,” ISO/IEC JTC1/SC29/WG11 MPEG2010/N11274, Dresden, Germany, Apr.

2010.

[20] 3DTV.at, http://www.3dtv.at

(7)

2016년～현재 삼성전자 VD사업부 책임연구원.