2020년 한국방송·미디어공학회 추계학술대회
위상 홀로그램 비디오 압축
*김우석 *김진겸 *김경진 **오관정 **김진웅 *김동욱 *서영호
*광운대학교 **한국전자통신연구원
*kws@kw.ac.kr *jkkim@kw.ac.kr *kjkim@kw.ac.kr **kjoh@etri.re.kr **jwkim@etri.re.kr
*dwkim@kw.ac.kr *yhseo@kw.ac.kr
Video Compression for Phase-only Hologram
*Woosuk Kim *Jin-Kyum Kim *Kyung-Jin Kim **Kwan-Jung Oh **Jin-Woong Kim
*Dong-Wook Kim *Young-Ho Seo
*Kwangwoon University **ETRI
요약
본 연구에서는 홀로그램을 현대의 멀티미디어로써 효율적으로 사용하기 위해 필요한 홀로그램 압축 실험으로써 위상 홀로그램 에 대한 압축 실험을 진행하였다. 포인트 클라우드로부터 생성한 여러 시점의 정보로 비디오 홀로그램을 생성하였다. 압축실험에 선 원래의 홀로그램과 위상 펼침(Phase unwrapping) 방법을 통해 변환된 홀로그램을 비교하며, 동일한 압축률에선 심각한 성능 하락은 없었으며, 동일한 QP(Quantization parameter)에선 더 높은 압축률을 보였다.1. 서론
완벽한 홀로그래픽 디스플레이를 위해선 복소 진폭 값을 표현 할 수 있어야 한다. 하지만, 현재 기술력으론 진폭 또는 위상 정보만을 디스플 레이 할 수 있으며, 여러 가지 이점으로 인하여 보편적인 홀로그래픽 디 스플레이는 위상 공간광변조기가 사용되고 있다[1], 기존의 복소 홀로그 램 또한 디스플레이 환경에 맞게 변환되어야 하며, 이렇게 변환된 홀로 그램을 위상 홀로그램(Phase-only Hologram)이라 한다. 본 연구에서는 홀로그램을 현대의 멀티미디어로써 효율적으로 사용 하기 위해 필요한 홀로그램 압축 실험으로써 위상 홀로그램에 대한 압축 실험을 진행하였다. 또한 비디오 압축에서 프레임 사이의 상관도를 높이 기 위해 위상 펼침 방식을 사용하여 압축진행하고 기존의 방법과 비교한 다. 2장에서는 생성한 위상 홀로그램에 대해서 설명하고, 3장에서 위상 펼침에 설명한다. 4장에서는 실험결과를 보이고 5장에서 결론을 맺는다.2. 위상 홀로그램
본 연구에서는 포인트 클라우드로부터 추출한 RGB, Depth 정보로 CGH를 이용하여 생성한 홀로그램을 사용한다. 그림 1은 사용된 데이터 세트중 하나이다. 그림 1(a)는 포인트 클라우드의 한 시점으로부터 추출 한 RGB, Depth 정보로 생성한 홀로그램이며, 그림 1(b)는 복원 결과이 다. (a) (b) 그림 1. 위상 홀로그램 (a) 홀로그램 (b) 복원 결과Figure 1. Phase-only hologram (a) Hologram (b) Reconstruction 생성한 홀로그램은 8bit 이미지로 저장하여 사용하였으며, 포인트 클라우드의 다양한 시점에서 추출한 정보로 생성된다.
3. 위상 펼침
홀로그램의 비디오 압축은 기본적으로 영상과 동일하게 여러 장의 홀로그램으로 만들어진 비디오 홀로그램을 부호화(Encoding), 복호화 (Decoding)를 진행하게 된다. 여기서 프레임 사이의 상관도가 높을수록 일반적으로 더 높은 압축률을 기대해 볼 수 있다. 하지만 그림 1(a)와 같 이 기존 위상 홀로그램은 프레임 사이의 상관도와 위상 값의 변화를 명 확하게 짝짓기 어렵다. 이를 위상 펼침 방법을 통해 개선해보고자 하며, 사용된 위상 펼침 방법에 대한 각각의 결과는 그림 2와 같다. 그림 2(a) 는 생성한 홀로그램으로부터 복원한 결과를 노이즈 감소를 위해 평활화 한 결과이다. 그림 2(b)는 그림 2(a)를 통해 만든 위상 펼침을 위한 마스 크이다. 그림 2(c)는 홀로그램에서 마스크와 동일한 좌표에 위상 펼침 방 법을 사용한 결과이다. 위와 같이 변환된 홀로그램을 동일한 방식으로 부호화 및 복호화를 진행한다. 그리고 복화화된 값에서 원래의 위상 값 372020년 한국방송·미디어공학회 추계학술대회 범위보다 큰 모든 위상 값을 생성할 때의 원래 위상 값 범위로 되돌린다. (a) (b) (c) 그림 2. 위상 펼침 (a) 평활화 (b) 마스크 (c) 펼침 결과
Figure 2. Phase unwrapping (a) Smoothing (b) Mask (c) Unwrapping result Basic Unwrap input bit 8 10 internal bit 10 QP 27 - 47 27 - 42 CU 64 IP -1 GOP 16 Deblock off SAO on Width 1920 Height 1080 표 1. 홀로그램 압축 환경
Table 1. Hologram compression configuration
4. 실험 결과
실험에서 사용된 포인트 클라우드 데이터 및 MATLAB 기반의 CGH 소프트웨어는 한국전자통신연구원에서 제작되어 배포한 것을 사용 하였다. 홀로그램 압축에는 HEVC가 사용되었으며, 홀로그램 데이터는 데이터마다 시점을 변경하여 33 프레임의 비디오 형태로 사용하였다. 홀 로그램의 포맷은 CGH 결과로 나오는 RGB에서 YUV 로 변환하여 사용 되었다. 압축에 사용된 YUV 포맷은 각각 4,0,0 으로 각 채널을 따로 압 축하였고, 위상 펼침에서는 다시 하나의 RGB 포맷으로 변경하여 사용하 였다. 사용된 홀로그램의 해상도는 1920×1080이며, 압축방식에는 AI(All Intra)와 RA(Random Access) 방식 중에 RA가 사용되었다. 압 축 실험에 사용된 HEVC 환경은 표 1과 같다. 그림 3은 홀로그램 데이터 세트중 하나의 압축률 대비 복원 결과의 PSNR로 비교한 것이다. 모든 결과는 33 프레임의 평균으로 계산되었으 며, 모두 같은 해상도에서 생성한 홀로그램과 각 압축방식의 최종 결과 를 비교하였다. 기본적인 압축방법과 위상 펼침을 사용하는 방법은 동일 한 QP에서 위상 펼침이 더 높은 압축률을 보였고, 유사한 압축률에서 비 교할 경우, 거의 동일한 성능으로 나타나는 것을 확인 할 수 있다. 그림 3. 홀로그램 압축 방식에 따른 효율Figure 3. Efficiency according to hologram compression method
5. 결론
본 연구에서는 위상 홀로그램 압축에서 다양한 방식을 통해 일반적 인 압축방법과 비교했을 때 효율성을 실험결과로 보였다. 위상 펼침 방 법은 기본적인 압축방식보다 동일한 QP에서 더 높은 압축률을 보였다. 이는 위상 홀로그램 압축에서 유의미한 위상 정보 값의 변화에 따라 좋 은 효과를 보일 수 있다는 가능성을 보였으며, 일반적인 압축방식보다 좋은 홀로그램 압축 방식에 대한 이후 연구들에 도움을 줄 수 있을 것으 로 보인다.6. 감사의 글
본 연구는 Giga Korea 사업의 디지털 홀로그래픽 테이블탑형 단말 기술 개발 사업[GK20D0100]의 지원에 의해 수행되었습니다.7. 참고문헌
[1] W. H. J. Gang, N. Kim, H. H. Song, S. G. Kim, T. G. Kim, W. S. Choe, M. S. Yun, S. C. Kim, S. H. Lee, E. S. Kim, H. J. Choe, H. Kim, J. H. Park, S. U. Min, G. H. Choe, D. G. Nam, S. H. Hong, G. M. Jeong, and G. H. Seo, “Digital holography technology trend,” Information display, Vol.12, No.3, pp.18-50, Jun. 2011
