A New Coding Technique for Scalable Video Service of Digital Hologram

(1)

논문 2012-49-9-12

디지털 홀로그램의 적응적 비디오 서비스를 위한 코딩 기법

( A New Coding Technique for Scalable Video Service of Digital Hologram )

서 영 호^*, 배 윤 진^***, 이 윤 혁^***, 최 현 준^**, 유 지 상^*, 김 동 욱^*

^*

( Young-Ho Seo, Yoon-Jin Bea, Yoon-Hyuk Lee, Hyun-Jun Choi, Ji-Sang Yoo, and Dong-Wook Kim )

요 약

본 논문에서는 다양한 재생환경에 대해 적응적으로 홀로그램 비디오를 서비스하기 위한 처리 기술에 대해서 논의하고, 새로 운 알고리즘을 제안한다. 제안하는 알고리즘은 홀로그램의 생성 및 획득 방식에 따라서 해상도 스케일러블 코딩 (hologram-based resolutional scalable coding, HRS) 방식과 광원 기반의 SNR 스케일러블 코딩(light source-based SNR scalable coding, LSS) 방식으로 구성된다. HRS는 이미 획득된 홀로그램에 대한 스케일러블 코딩 기법이고, LSS는 홀로그램 을 만들기 이전의 광원에 대해 적용이 가능한 코딩 기법이다. 1,024×1,024 크기의 홀로그램에 대해서 HRS는 1:1에서 100:1의 압축률을 가지면서 8 단계의 적응적인 서비스가 가능하도록 하였다. LSS는 무손실 압축 기법을 사용하면서 광원 정보의 분리 개수에 따른 서비스가 가능하도록 하였다. 제안한 방식을 통해서 다양한 해상도를 갖는 디스플레이, 수신단의 연산 능력, 그리 고 네트워크의 대역폭에 따라 적응적으로 홀로그래픽 비디오를 서비스할 수 있다는 것을 보였다.

Abstract

In this paper, we discuss and propose a new algorithm of coding technique for scalably servicing holographic video in various decoding environment. The proposed algorithm consists of the hologram-based resolution scalable coding (HRS) and the light source-based SNR scalable coding (LSS). They are classified by the method generating and capturing hologram. HRS is a scalable coding technique for the optically captured hologram and LSS is one for the light source before generating hologram. HRS can provide the scalable service of 8 steps with the compression ratio from 1:1 to 100:1 for a 1,024×1,024 hologram. LSS can also provide the various service depending on the number of the light source division using lossless compression. The proposed techniques showed the scalable holographic video service according to the display with the various resolutions, computational power of the receiving equipment, and the network bandwidth.

Keywords

:

digital hologram, scalable coding, compression, resolution, SNR, video service, bandwidth, display

*

정회원,

^***

학생회원, 광운대학교 (Kwangwoon University)

**

정회원, 목포해양대학교

(Mokpo National Maritime University)

*****

학생회원, 안양대학교 (Anyang University)

※ 본 연구는 지식경제부 및 한국산업기술평가관리원의 산업융합원천기술개발사업(정보통신)의 일환으로 수행하였 음. [KI002058, 대화형 디지털 홀로그램 통합서비스 시스템의 구현을 위한 신호 처리 요소 기술 및 SoC 개발]

접수일자: 2011년12월15일, 수정완료일: 2012년5월20일

(2)

Ⅰ. 서 론

원래의 3차원 입체상을 공간상에 정확히 재현할 수 있는 가장 이상적인 입체 시각 시스템이 홀로그램이다.

최근 많은 사람들은 3차원 입체 비디오처리 기술의 최 종목표를 홀로그램 서비스로 생각하고 있다. 홀로그래 피 방식은 정해진 범위내의 어떤 시점에서도 관찰이 가 능하도록 깊이감을 표현함으로써 관찰위치의 제약이 없 고 자연스런 화상표현이 가능하다. 특히 안경을 착용할 필요 없이 자연영상을 보듯이 시청할 수 있어 3D 영상 에서 발생되는 여러 문제들이 완전히 제거될 수 있다.

3D가 보편화되어감에 따라서 우리는 더욱 실감있는 입 체를 요구하게 될 것이고 이것의 답은 분명히 홀로그램 에 있음은 부인할 수 없다^[1～2].

홀로그래픽 비디오 서비스의 구조가 어떠한 형태가 될지는 아직 모호한 상황이지만 홀로그래픽 기술은 다 양한 응용분야에서 활용이 가능할 것으로 기대하고 있 다. 그 응용 분야에는 3DTV와 같은 방송 기술을 비롯 하여 광고, 스포츠, 화상통신, 화상회의, 모의실험, 그리 고 군사용 훈련 등이 포함될 것으로 예측된다. 또한 쇼 핑 등에서는 실물을 눈앞에 동일한 크기로 보여줌으로 써 쇼핑을 도울 수 있을 것으로 사료된다. 이와 같이 홀 로그램의 응용 분야는 다양할 것이고, 이러한 분야들은 각기 다른 네트워크 환경, 디스플레이 해상도 및 수신 기의 연산 능력을 가지고 있을 것이다. 즉, 홀로그래픽 비디오 서비스도 현재의 전파를 이용한 디지털 방송 및 유선을 이용한 VoD 비디오 서비스와 같이 네트워크의 상태 및 수신 단말기의 성능에 따라서 다른 해상도 혹 은 품질의 서비스를 제공해야 할 것이다. 이를 위해서 서비스 환경에 적응적인 홀로그래피 비디오 코딩 기술 이 필요하다^[3].

일반적인 2D 비디오의 SVC 기술은 MPEG-4의 형태 로 표준안이 마련되어 왔다. ISO/IEC 산하 MPEG(Moving Picture Experts Group) 및 ITU-T 산 하 VCEG(Video Coding Experts Group)에서는 MPEG-4 SVC (Scalable Video Coding) 또는 H.264 Scalable Extension이라는 표준화를 함께 진행하였다.

새로운 스케일러블 비디오 기술인 MPEG-4 SVC는 표 준화 초기 MPEG-21 part 13으로 시작하였고, 2003년도 이후부터는 MPEG-4 AVC(Advanced Video Coding) 또는 H.264 표준의 확장된 형태로 진행됨에 따라서

MPEG-4 part 10 Amd. 1이라는 명칭으로 바뀌게 되었

다^[4～5]. 2D 영상과 홀로그램은 전혀 다른 특성을 가지

고 있기 때문에 홀로그램의 스케일러블 코딩에 2D의 기술을 그대로 이용할 수는 없고, 홀로그램의 특성을 활용한 스케일러블 코딩 기법을 적용해야 한다^[6]. 스케 일러블 비디오 신호처리 기법과 함께 비디오 코딩을 위 한 압축 기법이 필요하다^[3].

1990년대 초반부터 현재까지 디지털 홀로그램의 부 호화에 대한 다양한 연구가 진행되었다. Yoshikawa는 홀로그램의 복원 해상도가 HVS에 비해 너무 크다는 것으로부터 해상도를 제한하는 방법과, 보간법을 이용 하여 정보량을 줄이는 방법을 제안하였다^[7～8]. 또한 디 지털 홀로그램을 1차원적으로 몇 개의 segment로 나누 어 DCT를 수행하고, 동영상 압축 표준인 MPEG-1과 MPEG-2로 압축한 방법들이 제안되었다^[9～10]. Javidi는 [11]과 [12]에서 디지털 홀로그램을 무손실 부호화 방식 의 압축하는 방법을 제안하였고, 무손실 부호화 방식을 손실 부호화 기술에 결합한 형태의 기술도 제안하였다.

Liebling은 홀로그램의 분해를 위해 Fresnelet 기반의 변환기법을 만들고, 이를 이용하여 압축을 시도하였다

[13]. [14]에서는 실시간 네트워킹을 위해서 비트 패킹 동 작에 의한 복소 스트림을 양자화하는 압축 방식도 제안 되었다. 최근 홀로그램을 압축하기 위해 다양한 디지털 신호처리 기법들을 적극적으로 활용한 방식들도 제안되 었다. 디지털 홀로그램을 분할하여 상관성이 높은 정보 로 변환한 후에 H.264 등의 도구로 압축을 시도한 방식

[15～16]

과 홀로그램으로부터 집적영상을 만든 후에 집적 영상과 분할된 디지털 홀로그램과의 차이 정보를 압축 하는 방식^[17]이 있다. [18]에서는 Motion- Compensated Temporal Filtering (MCTF)를 이용하여 압축률을 더욱 향상시켰다. 또한 홀로그램을 Mallat tree 기반의 웨이 블릿 변환을 수행한 이후에 부대역별로 압축을 시도한 연구도 있었다^[19].

본 논문에서는 취득된 홀로그램을 다양한 수신 환경 에서 재생하기 위한 스케일러블 홀로그래픽 비디오 코 딩 기법(scalable holographic video coding, SHVC)을 제안한다. 이를 위해서 본 논문에서는 먼저 디지털 홀 로그래픽 비디오 서비스 시스템의 구조를 제안한다.

SHVC 기법의 기본적인 개념은 [3]에서 제안되었고, 본 논문을 통해서 보완 및 구체화하고자 한다. 또한 디지 털 홀로그램의 스케일러블 코딩에 대한 개념은 [18]에

(3)

서 처음 도입되었다. 제안하고자 하는 코딩 기법은 크 게 두 가지로 구성된다. 첫 번째 방법은 이미 홀로그램 이 촬영되었거나 컴퓨터 생성 홀로그램 기법(computer generated hologram, CGH)을 통해서 생성된 경우에 적 용되는 것이다. 홀로그램 평면 내의 각 화소들은 객체 의 전체 광원에 대한 정보를 모두 포함하고 있다는 특 성을 이용하여 홀로그램 기반의 해상도 스케일러블 코 딩(hologram-based resolutional scalable coding, HRS) 을 적용할 수 있다. 두 번째 방법은 홀로그램을 수신단 에서 생성하는 경우에 적용되는 것이다. 이 경우에는 수신단에서 홀로그램을 생성하기 위해 광원 정보를 적 응적으로 전송한다. 일부의 광원으로도 홀로그램을 생 성할 수 있고, 재생할 수 있다는 특성을 이용하여 광원 기반의 SNR 스케일러블 코딩(light source-based SNR scalable coding, LSS) 기법을 제안한다. 광원 정보에 대한 손실은 CGH를 통해 생성된 디지털 홀로그램과 홀로그램을 복원한 재생상에 매우 큰 열화를 가져오기 때문에 무손실 압축 기법을 사용한다^[3].

본 논문은 다음과 같이 구성된다. Ⅱ장에서는 홀로그 램의 비디오 서비스를 위한 시스템의 구조에 대해서 논 의한다. Ⅲ장에서는 스케일러블 홀로그래픽 비디오 코 딩 알고리즘을 제안한다. Ⅳ장에서는 제안한 기법을 이 용한 스케일러블 코딩을 수행한 결과를 나타낸다. 마지 막으로 Ⅴ장에서 결론을 맺는다.

Ⅱ. 홀로그래픽 비디오 서비스

1. 서비스 시스템의 제안

컴퓨터 생성 홀로그램기반의 디지털 홀로그래픽 기 술을 이용한 비디오 서비스는 다양한 분야에서 제공될 수 있다. 이러한 서비스를 위한 시스템의 형태는 그림 1과 같은 것으로 가정하였다. 그림 1은 depth 카메라와 RGB 카메라를 혼용한 홀로그램 획득 시스템을 이용한 다. 최근 depth camera의 발달로 예전보다 쉽게 3차원 객체와 공간에 대한 깊이 정보를 획득할 수 있게 되었 다. 이러한 depth camera를 이용하여 깊이 정보(광원의 위치 정보)를 획득하고 RGB 카메라를 이용하여 광원의 색차 및 밝기 정보를 획득한다. 광원 정보들은 전처리 과정을 거치면서 개선되고, 이렇게 획득된 3차원 공간 상의 광원정보들에 컴퓨터 생성 홀로그램 기술을 적용 하여 디지털 방식으로 홀로그램을 생성한다. 그림 1은

그림 1. 디지털 홀로그램의 비디오 코딩 시스템의 구조 Fig. 1. System for digital hologram video coding.

컴퓨터 생성 홀로그램 과정을 송신부(인코더)과 수신부 (디코더) 중에서 어디에서 하느냐에 따라서 시스템 구 성을 달리 할 수 있다. 수신부의 연산 능력이 부족할 경 우에는 CGH를 송신부에서 수행해야 한다. 일반적인 수 신부는 연산능력이 송신부에 비해서 현저히 떨어진다.

CGH를 송신부에서 수행하는 경우에는 홀로그램 자체 를 압축하고, 수신부에서 수행하는 경우에는 광원정보 (혹은 깊이정보)를 압축한다. 홀로그램 자체를 압축하는 것은 깊이정보를 압축하는 것보다 훨씬 복잡하다.

그림 1의 시스템은 제약된 촬영 환경 하에서는 우수 한 홀로그램을 얻을 수 있으나 아직도 깊이 카메라의 촬영 거리 및 적외선의 간섭/산란 등의 문제는 존재한 다. 최근에 다양한 깊이 카메라가 개발되고 있는 추세 를 고려한다면 이러한 문제들은 앞으로 많은 부분 해결 이 가능할 것으로 전망한다.

2. 스케일러블 비디오 코딩

다양한 전송환경에 적응적인 비디오 부호화 기술인 스케일러블 비디오 코딩(scalable video coding, SVC)은 부호화 효율 저하를 최소로 하면서 공간과 시간 그리고 화질의 측면에서 적응적인 부호화 기능을 지원한다. 다 양한 화질을 제공하는 기본적인 SVC의 구조는 그림 2

Video

Enhancement Layer 1 Base Layer

...

Enhancement Layer N

Base video

Enhanced video1 SVC

Encoding

SVC Decoding 0

SVC Decoding 1

SVC Decoding N

Enhanced videoN

그림 2. 기본적인 SVC의 구조 Fig. 2. Basic architecture of SVC.

(4)

와 같다. SVC 복호화기는 네트워크와 단말기의 연산 능력에 따라 부호화된 비트스트림의 일부분만을 선택적 으로 복호화함으로써 하나의 비트스트림에서 다양한 공 간적, 시간적, 화절적 해상도를 가지는 비디오로 복호화 할 수 있는 방법이다^[4]. MPEG-4 SVC에서 제공하는 스케일러빌러티(scalability)의 종류로는 공간, 시간, SNR, 복합(hybrid) 스케일러빌러티 및 FGS(fine granularity scalability) 등이 있다. 이러한 스케일러빌 러티를 제공하는 MPEG-4 SVC의 구조를 그림 3에 나 타냈다^[4～5].

3. Holographic Characteristics

부호화 대상인 디지털 홀로그램은 일반적인 2차원 영상과 비교할 때 시각적으로 다른 형태를 갖고 있다.

따라서 디지털 홀로그램을 신호처리적인 관점에서 다루 기 위해서는 그 특성을 이해해야 한다. 본 논문에서 다 루고자 하는 스케일러블 코딩 기법은 홀로그램의 화소 단위의 특성, 국부 영역의 특성, 그리고 주파수 특성을 활용한다. 이러한 특성들에 대해서는 이전 연구에서 이 미 잘 분석되어 있다^[15～16].

2차원 자연 영상은 sample 혹은 pixel 단위로 subsampling 과정을 거치고 다시 원래의 영상과 동일 한 공간적인 해상도를 취할 경우에 원영상에서 고주파 가 제거된 형태의 blurring 영상이 생성된다. 디지털 홀 로그램에 대해 subsampling 과정을 수행하게 되면 원 영상 혹은 원객체의 정보를 거의 소실하는 결과를 얻는 다. 즉, 디지털 홀로그램을 구성하는 인접성분들은 홀로 그램을 재생할 때 밀접한 관계를 갖는다는 것을 확인할 수 있다. 이러한 결과로부터 스케일링 방식의 스케일러 블 코딩은 적합하지 않다는 정보를 얻을 수 있다.

디지털 홀로그램의 중심을 기준으로 분할한 후 역 Fresnel 변환 과정을 거치면 분할한 크기에 비례하여 스캐일링된 결과를 얻는다. 디지털 홀로그램의 국부영 역에서는 그 영역에서 바라본 전체 객체의 정보가 모두 포함되고, 국부영역이 전체 홀로그램에 대해 위치하는 지점에 따른 복원 결과를 보인다. 국부적 영역의 특성 은 홀로그램만의 독특한 특성으로 다른 시점에서 공간 적 스케일러블 코딩의 가능성을 보여준다. 즉, 일반적인 2D 영상은 해상도를 조절하기 위해서 다운샘플링 혹은 스케일링 다운과 같은 과정을 수행하지만 홀로그램은 영역을 나눔으로써 공간적 스케일러블 코딩이 가능해지

Spatial

decimation Progressive

SNR refinement texture coding

Progressive SNR refinement

texture coding

Hierarchical MCP &

Intra prediction Base layer

coding

Multiplex texture

motion

H.264/AVC

H.264/AVC compatible Base layer bit-stream

Scalable Bit-stream Video

Base layer coding Hierarchical MCP &

Intra prediction texture motion

그림 3. MPEG-4 SVC의 구조 Fig. 3. Architecrure of MPEG-4 SVC.

는 것이다.

홀로그램은 잡음과 같은 형태이고, 홀로그램의 주파 수 특성도 2D 영상에서 나타나는 것과 다른 경향을 보 인다. DCT(Discerete Cosine Transform) 혹은 DWT(Discrete Wavelet Transform)를 이용하여 주파 수 영역으로 변환한 후에 저주파에서 고주파 계수들의 평균 에너지를 살펴보면 최저주파수 계수 및 영역에서 가장 큰 에너지를 보이는 것은 동일하지만 그 이후에 고주파 성분의 에너지가 증가하는 경향성은 2D 영상과 전혀 다르다는 것을 확인할 수 있다. 즉, 2D 영상과 같 이 주파수 변환도구를 이용하여 데이터의 상관도를 추 출한 후 계수들을 직접적으로 처리하는 것은 올바른 접 근이라 할 수 없고, 부가적인 처리과정이 필요하다는 것을 알 수 있다.

Ⅲ. 스케일러블 코딩

1. 홀로그램 기반의 공간 적응적 코딩

홀로그램의 국부적인 영역의 특성을 이용하여 홀로 그램 기반의 해상도 적응적 코딩기법을 제안한다. HRS 코딩은 디지털 홀로그램이 광학적 시스템과 CCD를 통 해서 취득된 경우에 주로 사용하는 적응적 코딩 기법이 다. 획득된 홀로그램은 분할과정을 거치면서 다양한 해 상도의 정보로 분리(Cropping)가 되고, 분할/변환 (Segmentation/Transform)을 거친 후에 압축 과정 (Compression)을 거쳐서 비트스트림이 된다. 이 과정의 역과정을 통해서 다양한 해상도의 디지털 홀로그램이 복호화된다. 복호화된 디지털 홀로그램은 SLM(spacial light modulator)와 같은 홀로그래픽 디스플레이 장치를 통해서 서비스된다. 코딩의 적응성은 홀로그래픽 디스 플레이 장치에 좌우될 수 있을 것이다. 이러한 HRS의

(5)

Segmentation/

Transform Compression Bitstream

(Enhancement layer2) Digital

Hologram

Sequence Generation Cropping

Segmentation/

Transform Compression

Bitstream (Enhancement

layer1) Sequence

Generation Cropping

Segmentation/

(Base layer) Sequence

Generation

Bitstream Segmentation/

(Enhancement layer3) Sequence

Generation Cropping

(a)

Decompression Segment

Combining Inverse Transform

Decompression Segment Combining

Inverse Transform

Inverse Transform Bitstream

(Enhancement layer2) Bitstream (Enhancement

layer1) Bitstream (Base layer)

layer3)

Base Hologram

Enhanced Hologram1

Enhanced Hologram2

Enhanced Hologram3

(b)

그림 4. HRS 코딩 방법 (a) 부호화, (b) 복호화 Fig. 4. HRS coding method (a) encoding, (b) decoding

그림 5. 분할된 홀로그램의 복원 특성

Fig. 5. Reconstruction characteristic of the segmented hologram.

부호화 및 복호화 과정을 그림 4에 나타냈다^[3].

HRS는 그림 5와 같은 홀로그램의 독특한 특성을 이 용한 것이다. 작은 홀로그램의 테두리에 여분의 홀로그 램 정보를 결합한 후에 그 홀로그램을 재생하면 고해상 도의 객체를 공간상에 재생할 수 있다.

그림 5에서 홀로그램의 내부를 분할하고, 분할된 중 심영역을 제외한 테두리 영역은 중심영역과 합해져서 고해상도를 제공하게 되는 상위계층(Enhanced layer)의 역할을 한다. 분할된 중심영역은 다시 중심영역과 테두 리 영역으로 나누어진다. 나누어진 영역은 다시 기본계

2×2 (Level0) 4×4 (Level1) 6×6 (Level2) 8×8 (Level3)

10×10 (Level4) 12×12 (Level5) 14×14 (Level6) 16×16 (Level7)

그림 6. HRS를 위한 홀로그램의 레이어 분할 방법 Fig. 6. Segment method of hologram layers for HRS.

층과 상위계층에 해당하게 된다. 이렇게 중심을 기준으 로 홀로그램을 다수 분할했을 때 최종적인 중심영역이 기본계층(Base layer)이 된다. 분할하는 단위는 홀로그 램을 압축하는 과정과 밀접한 관계를 갖는다. 홀로그램 의 압축과정 자체에 대해서는 본 논문에서 자세히 다루 지 않고, 참고문헌으로 대신하고자 한다[15～16, 18].

HRS 코딩 방법에서 적응적 코딩 특성은 홀로그램을 분할하는 단위와 방식에 크게 좌우된다. 홀로그램을 분 할하는 단위는 앞서 설명한 것과 같이 홀로그램의 압축 기법과 밀접한 관계를 갖는다. 홀로그램을 압축하기 위 해 비디오 스트림을 만들게 되는데 이 비디오 스트림의 해상도가 홀로그램을 분할하기 위한 기본 단위가 된다.

HRS를 위해 홀로그램을 분할하는 방법을 그림 6에 나타냈다. 그림 6에서 작은 격자가 홀로그램을 분할하 기 위한 단위이고 본 논문에서는 64×64의 크기를 사용 한다. 실험에 1,024×1,024 크기의 홀로그램을 사용하기 때문에 총 256개의 홀로그램 격자로 나누어지고 짝수 크기로 격자 집합에 대해서 HRS를 수행한다면 총 8단 계의 코딩이 가능하다. 각 단계를 그림 6에 Level0에서 Level7까지 나타냈다.

2. 광원기반의 SNR 적응적 코딩

다음으로 홀로그램을 생성하는 광원의 조절을 통해 적응적 서비스를 제공할 수 있는 광원기반의 SNR 적응 적 코딩기법을 제안한다. 그림 7에 LSS 코딩의 개요를 나타냈다. LSS 코딩은 광학 시스템의 CCD 카메라를 통해서 디지털 홀로그램이 직접적으로 취득된 경우가 아니라 카메라 시스템으로부터 깊이 정보와 밝기 정보 를 획득한 후에 CGH를 이용하여 홀로그램을 생성하는 경우에 이용할 수 있다. 스테레오 혹은 다시점 카메라

(6)

시스템을 통해서 다수의 영상을 획득한 후에 스테레오 정합 등의 기법을 통해서 깊이 영상을 취득할 수도 있 지만 이렇게 추출된 깊이 영상을 통해 얻어진 CGH는 열화가 매우 심하여 사용할 수 없다. LSS 방식의 경우 에 CGH를 부호화와 복호화 중에서 어느 단계에서 하 느냐에 따라서 시스템의 구조가 많이 달라질 수 있는데 본 논문에서는 CGH를 복호화 과정에서 수행하는 것으 로 국한하여 알고리즘을 제안한다. CGH를 복호화 과정 에서 수행할 경우에는 HRS에 비해서 높은 압축 효율을 보장할 수 있지만 CGH의 연산량을 고려한다면 단말기 의 성능이 좋아야만 한다^[20].

획득된 광원(depth map+RGB)의 개수를 조절하고 분 리한 후에 이 정보를 압축한다. 이 정보는 일반적인 2D 정보와 유사하기 때문에 HRS와 같은 특별한 압축 알고 리즘을 사용하지 않아도 되고, 압축 효율이 우수하다.

그러나 [3]의 논문에서도 볼 수 있듯이 이 과정에서 광원에 대한 정보가 일부라도 손상되면 CGH를 통해 생성되는 홀로그램의 품질은 대폭 감소한다. 따라서 광 원 정보는 무손실 압축을 하는 것이 적합하다. 복호화 과정에서는 압축된 광원 정보를 복원한 후에 결정된 서 비스의 품질에 따라서 광원의 개수를 선택하여 화질을 선택한다. 이 과정에서 보간 등을 통해 광원의 개수를 증가시킨 후에 CGH를 수행하면 높은 화질의 디지털

Down Sampling

Encoding

Encoding M/4

M/4

M/4

M/4 Light

Source M

Bitstream (Base layer)

layer1) Bitstream (Enhancement

layer3)

(a)

Bitstream (Base layer)

layer3)

Decoding Zero Up Sampling Decoding Zero Up Sampling Decoding Zero Up Sampling Decoding Zero Up Sampling

CGH

Base hologram Enhancement

hologram1 Enhancement

hologram2 Enhancement

hologram3

(b)

그림 7. LSS 코딩 (a) 부호화, (b) 복호화 Fig. 7. LSS coding (a) encoding, (b) decoding.

홀로그램을 얻을 수 없다. 이에 대한 실험 결과도 [3]을 통해서 확인이 가능하다. CGH를 통해서 최종적으로 얻 어진 디지털 홀로그램은 레이저 및 SLM을 이용하여 공간상에 재생된다.

그림 7(a)에는 앞에서 설명한 LSS 부호화 과정을 나 타냈다. 입력된 광원에 대한 정보들은 분리되고 네트워 크 대역폭 및 수신 단말기의 성능에 따라서 전송되는 광원의 양이 결정된다. LSS의 복호화 과정은 그림 7(b) 에 나타냈는데 전송된 광원 정보를 복원한 후에 분리된 광원을 이용하여 CGH를 수행하여 홀로그램을 생성한 다. 수신 환경이 좋을수록 더 많은 광원을 수신하고, 이 들을 결합하여 더욱 좋은 품질의 홀로그램을 생성할 수 있다.

Ⅳ. 실험 결과

본 장에서는 제안한 HRS 및 LSS 코딩 기법을 이용 한 실험 결과를 나타낸다.

1. 실험 환경

제안한 SHVC 기법은 C++ 언어를 이용하여 구현하 였다. CGH, 부호화(encoding), 복호화(decoding), 및 복 원(reconstruction, Fresnel transform)은 CUDA 기반의 GPGPU(general purpose graphic processing unit)를 이 용하여 구현하였다^[21]. CPU 프로그램만을 사용할 경우 에 CGH나 부호화와 같은 과정은 매우 오랜 시간이 소 요된다. 그러나 GPGPU 프로그램을 이용하면 거의 실 시간에 가까운 속도로 수행할 수 있다. 제안한 알고리 즘을 구현을 위한 파라미터들을 표 1에 나타냈다.

그림 8에는 실험에 사용될 광원 정보에 해당하는 4 종류의 깊이 정보(Rabbit, Hyunjin, Ballet, 및 Brahms) 와 이를 S/W 복원한 영상을 나타낸다. 그림 8(a)의 Rabbit은 컴퓨터 그래픽을 통해서 획득한 깊이 정보이

Parameter Specification

Distance 100cm

Hologram Size 1,024×1,024 Pixel Pitch (p) 10.4μm Wavelength (λ) 633nm (Red Laser)

표 1. 홀로그램 생성 및 복원 실험을 위한 파라미터 Table 1. Parameter for generating and reconstructing

hologram.

(7)

(a)

(b)

(c) (d)

(e) (f)

(g) (h)

그림 8. 실험에 사용된 영상들; Rabbit의 (a) 깊이, (b) 복원영상, Hyunjin의 (c) 깊이, (d) 복원영상, Ballet의 (e) 깊이, (f) 복원영상, Brahms의 (g) 홀 로그램, (h) 복원영상

Fig. 8. Test images; (a) depth, (b) reconstruction of Rabbit, (c) depth, (d) reconstruction of Hyunjin, (e) depth, (f) reconstruction of Ballet, (g) hologram, (h) reconstruction of Brahms

고, 그림 8(c)는 Swiss Ranger사의 SR-4000 깊이 카메 라를 이용하여 획득한 깊이 정보이다. 그림 8(e)는 스테 레오 정합을 통해서 획득한 변위로부터 얻어진 깊이 정 보이고, 그림 8(g)는 광학적으로 획득한 홀로그램이다.

그림 8(b), (d), (f), 및 (h)는 각각을 S/W적으로 복원한 영상이다. S/W 복원에는 Fresnel diffraction을 사용하 였다^[2].

2. HRS 결과

그림 9에는 HRS의 수치적인 결과를 나타냈다. 그림 9의 그래프에서 가로축은 압축률을 나타내고 세로축은 PSNR(peak signal to noise ratio) 값을 나타낸다.

PSNR이 2차원 영상의 경우와 같이 홀로그램 복원 영

10 15 20 25 30 35

10 20 30 40 50 60 70 80 90 100 PS

NR (dB )

Compression Ratio

Layer 0 Layer 1 Layer 2 Layer3 Layer4 Layer 5 Layer 6 Layer 7

(a)

10 15 20 25 30 35

10 20 30 40 50 60 70 80 90 100 PS

NR (dB )

Compression Ratio

(b)

10 15 20 25 30 35

10 20 30 40 50 60 70 80 90 100 PS

NR (dB )

Compression Ratio

(c)

10 15 20 25 30 35

10 20 30 40 50 60 70 80 90 100 PS

NR (dB )

Compression Ratio

(d)

그림 9. 복원된 객체에 대한 HRS의 PSNR 결과 (a) Rabbit, (b) Hyunjin, (c) Ballet, (d) Brahms Fig. 9. PSNR results of HRS for the reconstructed

objects (a) Rabbit, (b) Hyunjin, (c) Ballet, (d) Brahms.

(8)

상의 화질을 판단하는 절대적인 평가기준이라고 할 수 는 없지만 수치적인 경향성을 확인할 수 있는 좋은 방 법이 될 수는 있다. 그림 9의 그래프들에서 Layer0은 기본 레이어(base layer)를 나타내고, Layer7은 원본 해 상도와 동일한 상위 레이어(enhanced layer)에 해당한 다. 각 레이어는 그림 7에서 소개된 홀로그램의 국부 영역에 해당한다. 그림 9(a)의 Rabbit과 그림 9(b)의 Hyunjin은 실제의 입체 정보를 올바르게 보유하고 있 는 깊이 정보이다. 따라서 압축률에 따른 경향성이 유 사하고, 레이어별로도 일관성 있는 특성을 보인다. 그림 9(c)의 스테레오 정합을 통해 생성된 Ballet의 경우에는 스테레오 정합의 불완전성으로 인해 깊이 정보가 실제 3차원 객체의 입체 정보를 완전히 반영하지 못한다. 이 러한 자체적인 오차는 HRS 결과에도 반영이 되어 Layer4 같은 경우에는 다른 레이어들과 다른 특성을 보 이기도 한다. 또한 PSNR이 감소하는 추세도 일부 압축 률에서 전체적인 경향성을 벗어나기도 한다. Brahms는 그림 8(g)와 (h)에서 볼 수 있듯이 자체적인 잡음이 너 무 많다. 따라서 그림 9(d)의 PSNR 결과도 압축률에 따른 경향성이 다른 결과들과 다르게 나타나고, 압축률 에 따른 PSNR의 감소 정도도 다르게 나타난다. 광학적 으로 획득된 홀로그램의 경우에 코딩을 하기 전에 잡음 제거와 같은 전처리 기술이 병행된다면 더 좋은 코딩

Layer

7 6

5 4 3 2 1 0 No

20:1

40:1

60:1

80:1

100:1

Compression Ratio

그림 10. HRS 결과(Hyunjin) Fig. 10. HRS result (HyunJin).

효율을 얻을 수 있을 것으로 사료된다.

그림 10에는 레벨과 압축률에 따른 고 있다. 세로축 은 압축률을 나타낸다. No로 표시된 것은 압축이 되지 않은 것이다. 10:1에서 100:1까지 코딩을 수행하였고, 그 림 10에는 짝수배의 압축률만 나타냈다. 그림 9(b)에서 Layer7의 100:1인 경우 PSNR은 17.102dB으로 비교적 낮지만 그림 10의 100:1에 해당하는 복원 결과를 확인 하면 높은 압축률에도 불구하고 열화가 그리 크지 않다 는 것을 확인할 수 있다. 그러나 이것은 압축 알고리즘 의 특성이지 HRS의 특성으로 보기는 어렵다. 그림 10 을 통해서 제안한 HRS는 사용자의 네트워크 환경, 수 신 단말기의 연산 성능, 그리고 수신 단말기의 디스플 레이 성능에 따라서 총 90가지의 홀로그래픽 비디오 서 비스를 제공할 수 있다는 것을 확인할 수 있다.Hyunjin 영상에 대한 HRS의 전체적인 결과를 나타냈다. 가로축 은 레이어를 나타내는데 상위 레이어는 하위 레이어를 포함하고 있다. 세로축은 압축률을 나타낸다.

No로 표시된 것은 압축이 되지 않은 것이다. 10:1에 서 100:1까지 코딩을 수행하였고, 그림 10에는 짝수배의 압축률만 나타냈다. 그림 9(b)에서 Layer7의 100:1인 경 우 PSNR은 17.102dB으로 비교적 낮지만 그림 10의 100:1에 해당하는 복원 결과를 확인하면 높은 압축률에

(a)

(b)

(c)

(d)

그림 11. Brahms의 복원 결과영상(레벨 7의 경우)

(a) 원본, (b) 20:1, (c) 60:1, (d) 100:1의 압축률 Fig. 11. Reconstruction results of Brahms (in case of

Level7); compression ratio of (a) no, (b) 20:1, (c) 60:1, (d) 100:1.

(9)

Encoding Transmitting

Decoding Sub-

Sampling

Scale- Down

Scale- Up

Light Source

Combining CGH Reconstruction

Light Source

그림 12. LSS 코딩 과정 및 결과 (Rabbit)

Fig. 12. LSS coding procedure and results (Rabbit).

그림 13. 광원 결합에 의한 홀로그램의 화질 향상 결과 (Hyunjin)

Fig. 13. Enhancing process of visual quality of hologram by combining the light sources.

도 불구하고 열화가 그리 크지 않다는 것을 확인할 수 있다. 그러나 이것은 압축 알고리즘의 특성이지 HRS의 특성으로 보기는 어렵다. 그림 10을 통해서 제안한 HRS는 사용자의 네트워크 환경, 수신 단말기의 연산 성능, 그리고 수신 단말기의 디스플레이 성능에 따라서

총 90가지의 홀로그래픽 비디오 서비스를 제공할 수 있 다는 것을 확인할 수 있다.

광학적으로 획득된 홀로그램에 대해서 HRS 복원 결 과를 그림 11에 나타냈다. 앞서 설명한 것과 같이 광학 적으로 획득하는 과정에서 포함된 잡음 성분으로 인해

(10)

서 HRS를 적용하지 않은 원본 자체가 열화가 크다.

3. LSS 결과

LSS 과정에 따른 결과들을 그림 12에 나타냈다. 그 림 12는 원래의 광원 정보를 4개로 분리하고, 분리된 각 광원정보를 코딩하는 것을 보여준다. HRS와 달리 LSS는 모든 서비스에 대해서 동일한 해상도로 재생된 다. 사용된 광원의 개수가 조절되는 것이기 때문에 그 림 12의 가장 오른쪽 복원 결과와 같이 해상도는 동일 하지만 객체를 표현하는 정보의 양이 조절된다. 정보 의 양이 낮다는 것은 화질이 낮다는 것은 맞지만 화질 이 열화 된다는 것으로 볼 수는 없다. 분리되는 광원 정보는 분리하는 양에 따라서 비트크기가 정해진다.

예를 들어 원래의 광원 정보가 100K byte이고 이를 4 개로 분리한다면 분리된 광원 정보는 각각 25K byte 가 된다.

그림 13은 Hyunjin 객체를 16개의 광원 정보로 분리 한 이후에 광원 정보를 결합하면서 화질을 향상시키는 과정을 보여준다. 분리된 16개의 광원 정보는 거의 동 일한 정보량이기 때문에 광원 정보의 결합을 위해 수신 하는 정보의 양은 선형적으로 증가한다.

Ⅴ. 결 론

본 논문에서는 디지털 홀로그래픽 비디오 서비스 시 스템에서 사용될 수 있는 스케일러블 비디오 코딩 기법 을 제안하였다. 제안한 기법은 홀로그램에 대해 적용할 수 있는 HRS와 광원 정보에 대해 적용할 수 있는 LSS 기법이다. HRS는 8개의 레이어에 대해서 10가지 압축 률을 적용하였기 때문에, 본 논문에서는 실험에서 원본 서비스를 포함해서 총 90 가지의 비디오 서비스를 보였 다. 만일 더 고압축과 세밀한 압축률을 적용한다면 더 많은 비디오 서비스가 가능하다. LSS 기법은 광원 정 보를 몇 개로 분리하느냐에 따라서 서비스 개수가 정해 진다. 본 논문에서는 실험에서 4개와 16개로 광원 정보 를 분리하는 것을 보였다. 본 논문에서는 시각적으로 확인이 용이하도록 2가지 분리 방법에 대해서만 보였지 만, 더 많은 분리방법이 가능하다. 따라서 LSS를 이용 해서 더욱 세밀하고 다양한 서비스가 가능하다. 본 논 문을 통해 제안된 디지털 홀로그래픽 비디오 서비스 시 스템을 위한 스케일러블 코딩 기법이 차세대 홀로그래

픽 TV 및 관련 서비스의 개발에 좋은 아이디어를 제공 하기를 바란다.

참 고 문 헌

[1] B. Javidi and F. Okano eds, “Three Dimensional Television, Video, and Display Technologies,”

Springer Verlag Berlin, 2002.

[2] P. Hariharan, Basics of Holography, Cambridge University Press, 2002.

[3] 서영호, 김동윤, 배윤진, 최현준, 유지상, 김동욱,

“디지털 홀로그래픽 정보의 스케일러블 전송을 위 한 부호화 기법”, SK Telecommunication Review, pp. 656-672, 2011. 8.

[4] F. Wu, S. Li, and Y.-Q. Zhang, “A framework for efficient progressive fine granularity scalable video coding,” IEEE Trans. Circuits Syst. Video Technol., vol. 11, no. 3, pp. 332-344, 2001.

[5] J. Reichel, H. Schwarz, and M. Wien, “Scalable Video Coding - Working Draft 1”, Doc.

JVT-N020, 2005.

[6] Young-Ho Seo, Hyun-Jun Choi, and Dong-Wook Kim, “3D Scanning-based Compression Technique for Digital Hologram Video”, Elsevier Signal Processing - Image Communication, Vol.22, Issue 2, pp. 144-156.

Feb. 2007.

[7] H. Yoshikawa and K. Sasaki, “Information reduction by limited resolution for electro -holographic display,” editor SPIE Proc. Vol.

1914 Practical Holography Ⅶ, pp. 1914-1930, Feb. 1993.

[8] H. Yoshikawa and K. Sasaki, “Image Scaling for electro-holographic display,” editor, SPIE Proc.

vol 2176 Practical Holography Ⅷ, paper

#2176-02, pp. 12-22, Feb, 1994.

[9] H. Yoshikawa, “Digital holographic signal processing,” Proc. TAO First International Symposium on Three Dimensional Image Communication Technologies, pp. S-4-2, Dec.

1993.

[10] H. Yoshikawa and J. tamai, “Holographic image compression by motion picture coding,” editor, SPIE Proc. vol 2652 Practical Holography Ⅹ, pp.

2652-01, Jan, 1996.

[11] T. J. Naughton and B. Javidi, “Compression of Encrypted Three-dimensional Objects using Digital Holography,” Optical Engineering, vol. 43, no. 10, pp. 2233-2238, October 2004.

(11)

[12] T. J. Naughton, Y. Frauel, E. Tajahuerce, and B.

Javidi, “Compression of Digital Holograms for Three-Dimensional Object Reconstruction and Recognition,” Applied Optics, vol. 41, no. 20, pp.

4124-4132, July 10, 2002.

[13] M. Liebling, T. Blu and M. Unser, “Fresnelets : New multiresolution wavelet bases for digital holography,” IEEE Trans. Image Process. 12, pp.

29-43, 2003.

[14] O. Matoba, T. J. Naughton, Y. Frauel, N.

Bertaux and B. Javidi, “Real-time three- dimensional object reconstruction by use of a phase-encoded digital hologram,” Appl. Opt. 41, No.29, pp. 6187-6192, Oct, 2002.

[15] Young-Ho Seo, Hyun-Jun Choi, and Dong-Wook Kim, “Lossy Coding Technique for Digital Holographic Signal”, SPIE Optical Engineering, Vol. 45, No. 6, pp.

065802-1~065802-10, Jun. 2006.

[16] Young-Ho Seo, Hyun-Jun Choi, and Dong-Wook Kim, “3D Scanning-based Compression Technique for Digital Hologram Video”, Elsevier Signal Processing - Image Communication, Vol.22, Issue 2, pp. 144-156.

Feb. 2007.

[17] Young-Ho Seo, Hyun-Jun Choi, Jin-Woo Bae, Hoon-Chong Kang, Seung-Hyun Lee, Ji-Sang Yoo and Dong-Wook Kim, “A New Coding Technique for Digital Holographic Video using Multi-View Prediction”, IEICE Transactions on Information and Systems, Vol.E90-D, No.1, pp.118-125, Jan. 2007.

[18] Young-Ho Seo, Hyun-Jun Choi, Ji-Sang Yoo, and Dong-Wook Kim, “Digital hologram compression technique by eliminating spatial correlations based on MCTF,” Opt. Commun.

283(21), pp. 4261–4270, 2010.

[19] Le Thanh Bang, Zulfiqar Ali, Pham Duc Quang, Jae-Hyeung Park, and Nam Kim, “Compression of digital hologram for three-dimensional object using Wavelet-Bandelets transform,” Optics Express, Vol. 19 Issue 9, pp.8019-8031, 2011.

[20] Young-Ho Seo, Hyun-Jun Choi, Ji-Sang Yoo, and Dong-Wook Kim, “Cell-based hardware architecture for full-parallel generation algorithm of digital holograms,” Optics Express, Vol. 19 Issue 9, pp.8750-8761, 2011.

[21] http://developer.nvidia.com/

(12)

저 자 소 개 서 영 호(정회원)

1999년 광운대학교 전자재료 공학과 학사졸업.

2001년 광운대학교 일반대학원 공학석사졸업.

2004년 광운대학교 일반대학원 공학박사졸업.

2003년 ~ 2004년 한국전기연구원 연구원 2005년 ~ 2008년 한성대학교 조교수

2008년 ~ 현재 광운대학교 교양학부 부교수

<주관심분야 : 2D/3D 영상신호처리, 디지털 홀로 그램, SoC 설계>

배 윤 진(학생회원)

2012년 ~ 현재

다믈미디어 주임연구원

<주관심분야 : 2D/3D 영상신호처리, 디지털 홀로 그램>

이 윤 혁(학생회원)

2012년～현재 광운대학교 일반대학원 공학석사

<주관심분야 : 디지털 홀로그램, SoC 설계>

최 현 준(정회원)

2009년 광운대학교 일반대학원 공학박사졸업.

2009년～2010년 광운대학교 연구교수 2010년～2011년 안양대학교 정보통신공학과 조교수

2008년～현재 목포해양대학교 전자공학과 전임강사

<주관심분야 : 2D/3D 영상신호처리, 디지털 홀로 그램>

유 지 상(정회원)

1983년 서울대학교 전자공학과 학사졸업.

1985년 서울대학교 전자공학과 공학석사졸업.

1991년 Purdue 대학교 전기공학과 박사졸업.

1993년～1994년 현대전자산업(주) 산전연구소 선임연구원

1994년～1997년 한림대학교 전자공학과 교수 1997년～현재 광운대학교 전자공학과 교수

<주관심분야 : 3D 영상처리, 웨이블릿 기반의 영 상처리, 영상 압축, 영상인식, 비선형 신호처리>

김 동 욱(정회원)

1983년 한양대학교 전자공학과 학사졸업.

1985년 한양대학교 전자공학과 공학석사졸업.

1991년 Georgia 공과대학 전기공학과 박사졸업.

1992년～현재 광운대학교 전자재료공학과 정교수

<주관심분야 : 3D 영상처리, 디지털 홀로그램, 디 지털 VLSI Testability, VLSLI CAD, DSP 설계, Wireless Communication>