Terrestrial Stereoscopic Broadcasting System Technology based on NRT

논문 2011-48SP-6-5

NRT 기반 연동형 지상파 3D 방송 서비스 기술

( Terrestrial Stereoscopic Broadcasting System Technology based on NRT )

박 종 환

^*

^*

^*

^**

^**

^**

^{** *} ( Jong-hwan Park, Kyu-heon Kim, Jang-won Lee, Hyun-Jeong Yim, Kug-jin Yun,

Won-sik Cheong , and Namho Hur )

요 약

현 3D 실험방송에서는 기존 시스템과의 역호환성 보장을 위해 좌 영상과 우 영상의 듀얼 스트림을 전송하는 서비스 호환 (service compatible) 3D 서비스를 진행하고 있다. 이와 같은 듀얼 스트림 방식은 제한된 방송대역 19Mbps에서 좌,우 두 개의 영상을 전송함으로 화질의 제약이 따를 수 있다. 이에 본 논문에서는 상기 고정된 대역폭으로 인한 화질의 열화없이 안정적인 화질을 제공할 수 있는 NRT(Non-RealTime)기반 연동형 지상파 3D 방송 시스템을 제안하였다. 제안한 시스템은 지상파 방송 대역에 국한되지 않고 비 실시간으로 좌 또는 우 영상을 미리 전송하여 저장하고, 미리 저장된 콘텐츠와 실시간 방송 콘텐츠 의 동기화를 통해 고화질 스테레오스코픽 영상을 구성한다. 이를 위해 본 논문에서는 실시간 방송기술과 비 실시간 방송기술 을 각각 분석하고, 비 실시간 연동형 고화질 3DTV시스템을 구현할 수 있는 알고리즘을 통한 실험결과를 통해 제안한 NRT 기반 연동형 지상파 3D 방송 시스템을 검증하였다.

Abstract

A present experimental broadcasting is service compatible to delivery left view and right view of a dual stream for backward compatible with 2D device. It has a limitation of quality for a transmission of dual stream in terrestrial bandwidth 19 Mbps. This paper proposes adjunct terrestrial-3D broadcasting system which can provide a stable quality beyond a limitation of quality from fixed bandwidth. It proposes the system that composes a high quality stereoscopic video through synchronizing Real time broadcasting and Non Real Time broadcasting Regardless of the terrestrial bandwidth. So this paper tries to analyze each technique of Real-Time broadcasting and NRT broadcasting, and verify this proposal through the technique of an algorithm that we can implement NRT adjunct high quality 3DTV system and the experiments.

Keywords : NRT, terrestrial 3DTV, stereoscopic video, adjunct 3DTV

*

학생회원, 정회원 경희대학교

(College of Electronics and Information Kyung-Hee University)

**

정회원, ETRI

(Department of broadcasting System Research, Electronics and Telecommunications Research Institute)

※ 방송통신위원회 지상파 양안식 3DTV 방송시스템 기술개발 및 표준화 사업의 연구결과로 수행되었음.

(KCA-2011-10921-02001)

※ 정보통신산업진흥원의 대학 IT연구센터 지원사업NIPA-2011-(C1090-1111-0001))의 연구결과로 수행되었음.

접수일자: 2011년9월9일, 수정완료일: 2011년10월13일

그림 1. MPEG-2 전송 스트림 구조 Fig. 1. MPEG-2 TS structure.

Ⅰ. 서 론

19세기 말 유럽, 미국에서 유명인을 brewster

^[1]

한편, 20세기 말 TV서비스의 디지털화를 시작으로 정밀한 영상의 보정과 세밀한 제작이 가능해 짐으로써 3D 서비스 제공하는 것에 거리를 좁혀 갔다. 이 후 현 재 2000년대 후반, 한국을 비롯하여 미국, 남미, 일본,유 럽의 국가들은 고화질 2D 방송의 이차원적인 화면에 공간을 표현하기에는 평면적이고 공간 거리감이 떨어진 다는 한계를 느끼고, 양안 시차를 이용하여 좌우영상을 디스플레이하는 기술을 근간으로 한 스테레오스코픽 영 상에 대한 연구를 꾸준히 진행하고 있다. 스테레오스코 픽 영상을 기반으로 한 방송 서비스 되기 위해서는 방 송방식의 표준화 작업과 상용화를 위한 실험방송의 선 행이 요구되어 진다. 국내에서도 3D융합 산업 발전 및 육성과 3D기술 경쟁력을 확보해 나가도록 ‘3D 산업 발 전전략’을 수립하고, 산학연 중심의 ‘3D 기술 로드 맵’

을 제정하였다.

^[2]

^[3]

Group) 등에서 3DTV표준화가 진행중이다.

3DTV 서비스의 상용화 측면에서는 위성방송사업자 인 스카이라이프가 2010년 1월부터 3D 전용채널을 통 해 실험방송을 진행하고 있고, KBS는 5월에 세계육상 선수권대회 프리 챔피언쉽 경기를, SBS는 6월 남아프 리카 공화국 FIFA 월드컵 경기를 3DTV 실험서비스를 실시하였다.

^[4]

현 실험방송은 좌 영상과 우 영상의 듀얼 스트림을 전송하는 서비스 호환(service compatible) 3D 서비스를 진행하고 있다. 서비스 호환 방식은 지상파 방송대역 19Mbps내에 MPEG-2 video

^[5]

^[6]

한편, 미국의 디지털 텔레비전 방송 표준을 개발하는 위원회인 ATSC는 새로운 서비스 모델로 NRT (Non-Real-Time)

^[7]

본 논문에서는 NRT기술을 통해 좌 영상 또는 우 영 상을 비 실시간으로 미리 전송하여 저장하고, 해당 콘 텐츠를 실시간 MPEG-2 TS(SO/IEC 13818-1:

그림 2. PSI 구조 Fig. 2. PSI structure.

Information technology — Generic coding of moving pictures and associated audio information: Systems)

^[8]

와 연동함으로써 현 지상파 대역에서 전송할 때 도출될 수 있는 한계점을 해결할 NRT기반 연동형 지상파 3D 방송시스템을 제안하고자 한다.

이를 위해 본 논문 Ⅱ장에서는 실시간 MPEG-2 TS 의 분석하고, Ⅲ장에서는 콘텐츠를 비 실시간으로 저장 하기 위한 ATSC NRT 기술을 분석하였다. Ⅳ장에서는 분석결과를 바탕으로 좌, 우 영상의 참조관계와 동기화 를 위한 알고리즘을 기술하고, 제안된 시스템은 Ⅵ장의 실험을 통한 결과를 통해 검증 되었다.

Ⅱ. 실시간 지상파 방송 전송 규격(MPEG-2 TS)

현 지상파 방송에서는 비디오, 오디오, 메타데이터를 MPEG-2 TS의 전송포맷을 사용하여 전송한다. 상기 데이터들을 재생하고자 하는 단위를 AU(Access Unit) 이라고 하며, 이 AU들이 모여 ES(elementary stream) 를 구성하고, 이 ES를 전송을 위한 패킷화 작업으로 Packetized elementary stream(PES)라고 하는 블록데 이터가 만들어진다. PES 헤더에는 데이터의 종류와 길 이 등 정보의 기술로 송수신 시에 다중화와 역 다중화 작업의 능률적인 수행을 하도록 한다. PES헤더에는 특 별히 동기화를 위해 그림 1에서 나타난 (A)와 같이 DTS(Decoding Time Stamp)와 PTS(Presentation

Time Stamp)값이 기술되어 각 AU들의 복호 시점을 알려주는 정보가 포함된다. 수신측에서는 DTS와 PTS 를 이용하여 영상의 정확한 복호시점을 알기 위한 기준 클럭이 필요한데, 기준 클럭 정보인 PCR(Program Clock reference)의 전송을 통해서 가능하다. 그림1의 (B)에서 나타난 PCR은 인코더의 시스템 클럭 생성기에 서 생성되어 TS헤더의 Adaptation field에 PCR을 삽입 하여 전송하게 된다. 수신 측에서는 PCR 값을 추출하 고, 추출된 PCR값을 시스템 클럭과 같은 형태의 타이 밍 값으로 재현한다. 이 재현된 시스템 클럭과 PES 헤 더에 포함되어 있는 DTS와 비교하여 시점이 같을 때 복호화를 시작하게 된다. 이렇게 패킷화 된 PES는 전 체 스트림을 구성하는 구성정보와 시스템 정보를 포함 하여 MPEG-2 TS형태로 다시 패킷화가 되어 진다. 그 림 1과 같은 구조로 생성된 만들어진 TS 스트림은 지 상파 망을 통해 전송된다.

MPEG-2 TS 형태로 지상파 망을 통해 송신되는 패 킷들은 시스템 측면에서는 연속적으로 수신되기 때문에 수신자가 채널 및 프로그램별로 방송을 보기 위해서는 각각의 스트림들이 어떤 프로그램으로 구성되어 있는지 구별해 주는 정보가 필요하다. 각 스트림을 구별하기 위해 TS헤더에는 전체 스트림을 구성하는 프로그램의 연관정보인 PSI(Program Specific Information)와 프로 그램의 구성정보, 전체 시스템을 제어하기 위한 정보가 기술되어 있다.

PSI정보는 시스템 디코더에게 프로그램의 정보를 제 공하는 역할을 수행하며, 그림 2와 같이 프로그램 별로 정의된다. PSI는 PAT(Program Association Table), PMT(Program Map Table), NIT(Network Information Table), CAT(Conditional Access Table)으로 구성된다.

PAT, PMT는 프로그램단위의 정보를 기술하고 NIT는 네트워크에 관한 정보이며, CAT는 조건부 수신이 필요 한 경우 스크램블링 과 관련된 정보이다. 이러한 PSI 정보들은 PID(Packet ID)로서 데이터를 구분하여 기초 스트림의 형태와 순서를 구성하게 된다. 해당 스트림의 파싱 과정은 그림 2에서 나타난 바와 같이, 수신기에서 는 TS헤더에 MPEG에서 규정하고 있는 PID=0에 해당 하는 PAT패킷을 찾아 상기 채널의 어떤 프로그램들이 수신될 예정인지 인식한다. PAT안에는 프로그램번호와 PMT_PID를 기술되어 수신된 TS스트림의 프로그램 정 보를 개별적으로 지칭하게 된다. 상기 PMT_PID는 PMT를 지칭하게 되고, PMT안에는 프로그램의 정보와 전송될 TS에서 수신될 프로그램 데이터들의 번호인 PID들을 기술하고 있다. 예를 들어 그림 2와 같이 PID=100번에 해당하는 PMT는 프로그램1번의 비디오, 오디오의 Video PID, Audio PID를 포함하여 실제 데이 터 패킷들을 구분하여 준다. 이렇게 구분된 패킷들은 각각 프로그램별로 복호화 과정을 거치게 된다.

Ⅲ. ATSC NRT 기술

미국의 디지털 텔레비전 방송 표준을 개발하는 단체 인 ATSC는 새로운 서비스 모델로 NRT라는 기술을 제정했다. NRT란 Non-Real-Time의 약어로 유휴시간 에 원하는 콘텐츠를 다운로드를 받는 서비스로서 지상 파 방송 시스템인 MPEG-2 TS 전송포맷을 통해 파일

그림 3. ATSC 수신 시스템 Fig. 3. ATSC receiver system.

형태로 수신 및 저장하는 기술이다. NRT서비스는

“browse and download”와 “push”, “portal”등으로 구분 되어 소비자의 요청에 따라 콘텐츠를 다운로드 하는 방 식이다. 따라서 본 장에서는 고화질 스테레오스코픽 영 상을 구성하기 위해 두 영상 중 한 영상을 비 실시간으 로 수신할 메카니즘 인 ATSC NRT의 다운로드 과정 을 분석하기로 한다.

NRT서비스가 가능한 ATSC의 수신 시스템의 개요 도는 그림 3과 같다. 수신기는 지상파 DTV 튜너를 통 해 복조를 한 후 다수의 채널 프로그램 데이터를 담은 TS들을 수신한다. TS에 포함되어 있는 채널정보와 프 로그램 정보를 통해 수신 채널 프로그램에 맞는 TS 스 트림이 선택 수신되면 스트림은 비디오, 오디오, 기타 데이터, 콘텐츠를 저장하는 NRT 데이터그램의 복호화 과정을 거친 후 수신된다. 오디오, 기타 메타데이터는 실시간으로 소비가 가능하고, NRT 데이터그램은 수신 기에 비 실시간으로 저장되어 소비 할 수 있다.

지상파 DTV튜너를 통해 복조 후 다수의 TS를 수신 한 시스템 디코더는 가장 먼저 ATSC PSIP(Program and System Information Protocol)data

^[9]

PSIP이란 그림 3과 같이 ATSC에서 제정한 ATSC 시스템 망을 사용하는 프로토콜에 함께 인코딩되는 정 보로서 프로그램 속성정보와 콘텐츠 EPG(Electronic Program Guide)를 나타내고, 수신 채널 정보를 담고 있 는 테이블이다. PSIP 정보의 파싱을 시작으로 하는 NRT콘텐츠 수신 과정은 다음과 같다.

그림 4의 (A)에서 보는 바와 같이 시스템 디코더는 규정되어진 PID=1FFB를 통해 PSIP테이블을 확인하고, PSIP 테이블 중에는 특정 프로그램 번호와 서비스 타 입, 많은 TS중에서 해당 프로그램을 구별할 수 있는 정 보인 TSID(transport stream identifier)등을 기술하는 TVCT (Terrestrial Virtual Channel Table)의 테이블을 수신한다. table_id가 0xC8로 규정된 TVCT에서는상기 정보들을 파싱한 후, NRT를 수신할 가상채널정보를 구 성한다. 또한, TSID를 통해 NRT가상채널에 수신할 TS를 확인 한 후 PSI정보를 그림 4와 같이 찾게 된다.

그림 4의 (B)에서 보는 바에 같이 가장 먼저 PID=0 인 PAT(Program Association Table)를 확인 후 PAT 에 기술되어 있는 프로그램 번호와 PMT-PID의 정보를 확인한다. 확인된 PMT-PID 정보를 통해 해당 PMT를 찾아 그림 4의 (C)과 같이 PMT안에 기술되는 해당

그림 4. 3D 연동형 NRT서비스를 위한 MPEG-2 TS 파싱 Fig. 4. Parsing of MPEG-2 TS for 3D adjunct NRT service.

그림 5. SSC 테이블 Fig. 5. SSC table.

TS의 스트림 타입과 PAT에서 확인한 프로그램 번호, 각각의 NRT 서비스의 대한 정보 담는 다수의 PID를 확인하여 파싱 한다. 또한 PMT의 프로그램 요소 중 stream_type은 스트림의 타입이 어떤 속성을 가지고 있 는지 나타낸다. 이 값 중 0x0D인 것은 “ISO/IEC 13818-6 type D” DSM-CC(Digital Storage Media- Command and Control) A.S.(Addressable- Section) 스 트림의 형태를 나타낸다. DSM-CC는 그림 4와 같이 MPEG-TS 에 기존 스트림과는 다른 형태 의 데이터그 램을 담아 전송 및 다운로드가 가능하게 하는 프로토콜 이다. 따라서 파일형태의 다운로드가 목적인 NRT서비

스에 적합한 전송 프로토콜이 된다.

이와 같이 NRT서비스를 위한 스트림 타입 0x0D의 다수의 PID들은 IP 서브 넷 형태로 합쳐진다. IP서브넷 으로 합쳐진 데이터 그램은 수신기에서 FLUTE(File Delivery over Unidirectional Transport)

^[10]

^[11]

^[12]

FLUTE 데이터와 그 외의 시그널링 채널은 UDP방 식에 따라 패킷화 되고 UDP는 다시 IP방식에 따라 패

그림 6. FLUTE 세션 생성 구조 Fig. 6. FLUTE session structure.

그림 7. NRT 파일 저장 구성도 Fig. 7. Delivery structure of NRT file.

킷화 되어 UDP/IP패킷 데이터가 만들어짐으로서, NRT 파일을 수신받기 위한 데이터그램 패킷으로 완성된다. IP 서브넷 중 고정된 IP (224.0.23.60)와 Port번호(4937)를 통 해 SSC(Service Signaling Channel)를 구분하게 된다.

SSC란 NRT프로그램 가이드 정보와, NRT서비스를 위 한 시그널링 정보를 제공하는 서비스 정보이다. 일례로 그림 5와 같이 IP번호를 확인 후 포트 번호가 4937이 확 인되면 이 데이터그램은 SSC정보이며 아래의 테이블들 을 담고 있다. SSC는 SMT(Service Map Table)와 NRT-IT(Non Real Time-Information Table)등의 테이 블로 구성되어 지는데, SMT는 NRT서비스레벨의 대한 테이블로서 미디어 타입, 언어, 장르, 서비스 모델 등의 속성과 Service_id를 통해 콘텐츠 레벨의 NRT-IT를 링 크하고 NRT-IT는 Content linkage를 통해 다운로드 되 는 다수 파일들을 연결하고, 파일정보들을 제공한다.

FLUTE 프로토콜 데이터그램은 그림6과 같이 계층 적인 구조로 구성 되는데 TSI(Transport Session Identifier)로 세션을 구분하고, 그 세션 하위구조는 TOI(Transport Object Identifier)별로 구분되고, 이 TOI는 사용자가 요청한 파일 구성정보들로 구성된다.

이러한 TOI를 구성하는 파일 구성정보는 TOI=0으로 규정된 FDT(File Delivery Table)의 정보들을 먼저 수 신 받아야만 구성할 수 있다. FDT를 먼저 수신 받아 예약 받은 콘텐츠 파일을 그림7과 같은 과정을 통하여 다운로드 할 수 있다.

그림 7의 (A)에서 보는 바와 같이 수신기는 DSM-CC A.S 패킷을 통해 수신한 IP서브넷에서 IP, UDP 번호를 확인한다. 수신 디코더는 FLUTE 헤더의 IP, UDP번호를 통해 SSC와 데이터를 구분한 후, SSC 데이터를 통해 서비스 가이드정보를 업데이트하고 그림 7의 (B)와 같이 사용자의 NRT예약 서비스를 수신 받 게 된다. 요청한 FLUTE 데이터를 수신 한 후 FDT를 통해 다운로드가 가능한 TOI 정보를 파싱한다. 이때 해 당 TOI정보와 사용자의 요청한 서비스와의 일치여부를 확인한다. 마지막으로 그림 7의 (C)와 같은 과정을 통 해 수신할 TOI와 요청한 정보가 일치하면 다운로드를 시작하고 파일의 형태로 스토리지에 저장하게 된다.

Ⅳ. NRT기반 연동형 지상파 3D 서비스를 위한 MPEG-2 전송 스트림 확장 알고리즘

본 장에서는 Ⅱ장의 MPEG-2 TS 시스템과 Ⅲ장의

ATSC NRT 시스템의 분석한 결과를 통해 고화질 스 테레오스코픽 비디오를 구현하기 위한 연동형 서비스 알고리즘에 대해 제안하고자 한다. 비 실시간으로 미리 저장된 영상과 실시간으로 수신한 영상의 3D 연동형 서비스를 위해서는 두 가지의 문제점이 존재한다. 첫째 는 비 실시간 영상과 실시간 영상간의 참조관계의 신호 처리가 필요하다. 현재 연동형 3D를 구성하기 위한 실 시간 스트림과 미리 전송된 NRT파일은 각각의 좌, 우 영상의 구성이 된다는 기술적인 참조관계가 없고, NRT 파일은 다수의 파일로 구성될 수 있기 때문에 실시간 스트림과 NRT파일의 신호처리는 반드시 수반되야 한 다. 또한 비 실시간으로 수신된 영상들은 정확히 언제 3D방송이 시작될지 알 수 없기 때문에 두 영상의 참조 정보는 실시간으로 들어오는 영상 관련 정보에 확장 되 야 한다. 그 정보는 비 실시간으로 저장된 파일 정보이 기 때문에 프로그램 정보를 나타내는 레벨에 있는 것이 적합하다.

둘째는 스테레오스코픽 비디오를 구성하기 위해 수 신된 영상과 실시간 영상의 프레임 간 동기화가 이루어 질 수 있는 타이밍 정보가 추가 되야 한다. 본 논문이 제안하는 3D 연동형 서비스의 기본개념은 미리 저장한 비 실시간 영상과 실시간 영상을 연동하여 3D를 구성 하는 것이다. MPEG-2 TS는 동기화 정보인 DTS와 PTS, 기준클럭정보 PCR정보를 실시간으로 발생하여 전송한다. 상기 정보들은 현재 전송 시점의 클

NRT와 TS 관계

장점 단점

TS에 동기화

정보 추가(1)

- 가장 빠르게 동기화 시작지점을 찾을 수 있음

- 프로그램의 모든 PES 단위에서 NRT파일의 동기화

정보를 삽입해야 함. 프레임 번호가 적합.

NRT에동기 화 정보를

추가(2)

- 가장 정확한 동기화를 제공

함

- NRT를 전달할 때 미리 DTS와 PTS값을 추가 해야 되는데, 실제 TS에서 DTS와

PTS값이 변경될 수 있음 - 파일에 추가되어야 할

데이터가 큼 추가

되어야 할 데이터

크기 비교(3)

- (1)의 경우 파일 프레임 수에 따라 할당.

- (2)의 경우 PTS 시간 속성인 33+6+9bit = 48bit가 고정적으로 필요

표 1. 프레임 동기화 정보 추가 대한 위치별 장단점 Table 1. Analysis of merit and demerit according to분석

additional information for synchronization.

럭을 기준으로 전송하는 것이기 때문에 비 실기간으로 미리 전송한 저장한 파일의 동기화 속성 값과 실시간 시간정보 값은 같을 수 없다. 만약 현재의 MPEG-2 TS의 동기화 정보인 DTS와 PTS를 미리 예상해서 찍 는다고 해도 정확한 프레임 동기가 요구되는 3D 동기 화에 적합한 방법이 될 수 없다. 현재 방송은 생방송이 나 속보가 삽입 가능한 방송 시간의 탄력적인 방송운영 을 하고 있다. 따라서 미리 예상해서 동기화 정보를 전 송한다는 값은 이용가치가 떨어지게 되거나 사용할 수 없다.

따라서 현재 재생시점에 맞추어 NRT파일의 프레임 을 찾아갈 수 있는 메카니즘을 추가하여 두 영상의 동 기화가 가능하도록 해야 한다. 위의 표 1는 TS스트림 과 NRT파일의 동기화 정보를 각각 삽입 했을 때 위치 별로 도출된 각각의 장단점에 관해 분석한 자료이다.

표 1 (2)의 경우인 NRT파일에 TS동기화 정보를 추가 하는 방법은 정확한 동기화는 제공할 수 있으나 앞서 기술 했듯이 DTS, PTS를 미리 전달하는 것은 적합하 지 않은 방법이다. 또한 표 1의 (3)에서 보는 바와 같이 확장 데이터 크기를 분석하면 (2)번의 경우 48bit가 고 정적으로 할당되어야 한다는 단점이 있으나 (1)의 경우 는 파일 프레임 수에 따라 가변적으로 할당이 가능하 다. 상기 표 1의 분석을 토대로 한 종합적인 결과는 표1 의 (1)의 경우가 가장 좋은 대안으로 도출될 수 있다.

따라서 실시간 TS에 NRT파일 프레임 번호가 삽입 되 야 한다.

NRT기반 연동형 지상파 3D 서비스를 위해 실시간 스트림과 NRT파일을 연동시 발생하는 두가지 문제점 을 해결할 알고리즘은 다음과 같이 구체적으로 정의할 수 있다.

1. 연동형 서비스를 위한 스테레오스코픽 서비스 기술자의 확장

미리 전송된 비 실시간 스트림과 실시간 스트림의 연 동관계를 나타내기 위해서는 실시간 스트림에 보조영상 의 파일정보를 명기해야 한다. 그 이유는 앞서 기술 했 듯이 비 실시간으로 전송된 파일의 실시간 스트림의 정 보를 추가 하게 된다면, 방송 프로그램의 급변 시 대처 할 수 있는 방법이 없기 때문이다. 따라서 주 영상과 보 조영상의 연동형 영상 서비스 식별 및 관련 정보는 실 시간 스트림의 PMT나 PSIP의 TVCT, EIT(Event Information Table)테이블 내의 기술자를 추가하는 것

syntax 비트

수 semantics

linkage_file_descriptor() {

descriptor_tag 8 연동형 스테레오스코픽 객체

식별자

descriptor_length 8 기술자 전체 길이

linkage_file_number 8 연동할 파일의 수

for(i=1;i<linkage_file_number;

i++){

wakeup_time 32 연동형 파일의 파싱 준비

시간 linkage_file_URL_length 8 연동할 파일의 이름의 길이

linkage_file_URL var 연동할 파일의 이름

linkage_file_type 8 연동할 파일의 종류

if(linkage_file_type==0x01){

track_id

32 스테레오스코픽 파일 포맷일

경우 연동할 파일의 track_id 정보 }

else{

reserved 32 }

} }

표 2. 참조관계를 기술할 linkage descriptor의 추가 Table 2. Addition of linkage descriptor to define a linkage

relation between real time file and NRT file.

이 적합하다. PMT내에는 프로그램에 대한 정보를 기 술하는 상위레벨 루프, TVCT는 중심 기술자인 service_location_descriptor, EIT 이벤트를 기술하는 섹 션에 본 연동형 기술자를 위치시키는 것이 적합하다.

표 2의 기술자를 실시간 스트림에 확장하여 비 실시간 으로 저장된 NRT파일과의 참조관계를 시그널링 해줄 수 있다.

표 2 기술자의 Descriptor_tag는 해당 기술자가 연동 형 스테레오스코픽 서비스 기술자라는 것을 식별하고, Descriptor_length는 해당 기술자의 길이를 나타낸다.

linkage_file_number는 기술자에 포함된 연동형 파일의 수를 의미한다. wakeup_time은 연동형 파일의 동작시 점을 나타낸다. 저장되어 있는 NRT파일 이름과 길이는 각각 linkage_file_URL과 linkage_file_URL_length로 나 타낸다. 또한 linkage_file_type를 통해 저장된 파일의 형태를 나타낼 수 있다. linkage_file_type의 값에 따라 서 다양한 형태의 파일의 속성이 정해질 수 있는데, 파 일의 속성에 따라서 NRT파일을 지칭할 수 있는 이름 이 들어 갈 수 있다.

2. 연동형 스테레오스코픽 동기화 정보 추가 알고리즘 이에 본 논문은 프레임 번호를 실시간 전송 스트림에

그림 8. 연동형 동기화를 위한 time index값을 삽입하는 위치 Fig. 8. Location inserting time index values for synchronization.

추가하는 알고리즘을 제안하려 한다. 스테레오스코픽 영 상을 구성하기 위해서는 각 영상이 프레임 간 정확한 동기가 되어야 하기 때문에, 타이밍의 정보는 프레임 단 위에서 삽입 되어야 한다. 따라서 본 논문은 그림 8과 같이 타이밍 정보를 PES헤더 하위레벨 PES extension 의 필드를 사용하여 추가하는 것을 제안하였다.

PES packet 헤더부분의 optional PES Header 확장 을 시작으로, 하위 루프인 optional fields의 안에 PES extension flag값과 PES extension flag 하위의 5 flags 중 PES private data flag이 참이 되면 동기화정보를 추가할 PES private data필드를 사용할 수 있다. 표 3 은 PES private data필드를 이용하여 타이밍정보를 추 가할 정보들을 나타낸 문법이다.

표 3의 identifier는 타이밍 정보를 담고 있다는 필드 를 의미한다. 2D_3D flag는 현재 재생영상을 2D로 소 비할 것인지 3D로 소비 할 것인지 구별해준다. 3D를 구성할 우 영상의 파일수가 광고를 포함하여 다수 파일 로 구성 될 수 있기 때문에 각 파일을 구별해 주기 위 한 file index를 통하여 파일 간의 참조관계를 나타내준 다. frame_number는 비 실시간으로 미리 저장된 파일 과 특정 재생 시점부터 동기화가 가능하도록 실시간 좌 영상의 현재 프레임에 대응되는 프레임 번호를 의미한 다. 제시한 두 가지 알고리즘을 통한 연동형 3D 영상을

syntax 비트

수 semantics

PES_private_data() { 128 '128' bit로 고정되어 있음 timing information(){

identifier 8 연동형 동기화 정보 식별자

reserved 7

2D_3D_flag 1 2D 와 3D를 구별할 flag

if(2D_3D_flag){ 3D 영상의 경우

file_index 8 좌 영상과 연동될 파일의

index

frame_number 32 해당영상의 count

} else{

reserved }

}

표 3. 프레임동기를 위한 동기화 정보 추가 Table 3. Addition of timing information for frame

synchronization.

구성하기 위해 본 논문은 실제 방송환경과 유사한 TS 제너레이터를 직접 제작하고, 이 확장 알고리즘을 포함 한 TS 스트림을 인식할 수 있는 플레이어를 제작하여 검증하였다.

Ⅴ. 실험 및 검증

1. 지상파 3D NRT 연동형 서비스 송신단 구성

그림 9. 3D 연동형 NRT서비스를 위한 MPEG-2 TS 생성기 Fig. 9. MPEG-2 TS generator for 3D adjunct NRT service.

본 논문에서는 실시간 방송과 ATSC NRT기술을 이 용한 3D 연동형 방송시스템을 제안하였다. 본 논문에서 제안한 시스템을 지원하기 위해서 구성된 방송 송신단 의 TS 생성기 구조도는 그림 9와 같다.

비 실시간으로 보조영상을 전송하기 위해 NRT서버 에서는 보조 영상을 전송을 위한 인코딩 작업을 한다.

이때 좌 영상과 동기를 맞추기 위해 파일의 프레임 번 호 정보를 미리 수신하여 저장하고, 또한 파일 URL정 보를 수신 받아 실시간 스트림에서 참조정보 기술자를 생성한다.

NRT 송출서버에서는 영상을 인코딩 하여 TS를 통 해 비 실시간으로 미리 전송하고, 실시간 송출서버에서 는 3D시작 메시지를 시작으로 기준 영상을 인코딩 한 후, 동기화 정보와 참조정보를 포함한 TS 스트림을 생 성한 후 전송한다. 본 실험에서는 NRT파일을 적당한 경로에 미리 저장한 후 TS파일 제너레이터를 직접 제 작하여 그림 9와 같은 방송 환경을 재현 하였다.

이와 같이 3D 연동형 서비스를 위한 비 실시간 영상 과 실시간 영상의 참조정보와 프레임 간 동기화를 위한 타이밍 정보가 추가되어 생성된 실시간 TS는 windows player 구동 그림 10과 같이 재생되는 것을 증명하고 있다. 시청자가 2D로 시청하다 3D시청을 요청하면 현 재 재생 실시간 프레임 DTS에 대응되는 삽입한 프레 임 번호을 추출하여 sync controller 에 전송하고 현재 재생시점의 동기화할 프레임 번호 값에 맞는 NRT 파 일의 프레임을 찾는다. NRT파일은 TS지칭된 현재 진 행시점 프레임부터 시작하여 실시간 TS와 함께 3D를

그림 10. 3D 연동형 서비스를 위한 정보들이 포함된 MPEG-2 TS 재생

Fig. 10. Verification of MPEG-2 TS play including information for 3D adjunct service.

위한 복호화를 진행하게 된다.

2. 지상파 3D NRT 연동형 서비스 수신단 구성 스테레오스코픽 비디오를 만들기 위한 TS 실시간 스 트림의 수신부 구조도는 그림 11과 같다. 수신된 실시 간 TS는 TS 역 다중화기를 통해 해당 스트림 정보를 수신하게 된다. 이때 sync controller는 수신정보 중 PSI 정보인 PMT에 확장된 linkage file descriptor 기술 자를 수신하여 비 실시간으로 미리 저장 된 파일의 참 조정보를 추출한다. 참조정보에 따라 지칭된 파일은 3D 를 구성하기 위한 파싱 준비를 시작한다. 한편 PES 역 다중화기 에서는 PES private section에 있는 timing information을 파싱하여 프레임별로 삽입된 타이밍 정

그림 11. 3D 연동형 NRT서비스를 위한 MPEG-2 TS 파싱 Fig. 11. Parsing of MPEG-2 TS for 3D adjunct NRT service.

보 값을 추출한다. 이 때 시청자가 2D로 시청하다 3D 시청을 요청하면 현재 재생 실시간 프레임 DTS에 대 응되는 삽입한 프레임 번호을 추출하여 sync controller 에 전송하고 현재 재생시점의 동기화할 프레임 번호 값 에 맞는 NRT 파일의 프레임을 찾는다. NRT파일은 TS 지칭된 현재 진행시점 프레임부터 시작하여 실시간 TS 와 함께 3D를 위한 복호화를 진행하게 된다.

3. 지상파 3D NRT 연동형 서비스 테스트 시퀸스 구성 실시간 TS제너레이터를 제작하여 참조정보를 추가 한 TS를 제작하였다. 그림 12는 3D 연동형 서비스를 위한 참조정보인 linkage file descriptor가 TS에 추가되 어 16진수로 나타낸 그림이다.

그림 12. 실제 TS에 참조정보가 추가된 화면

Fig. 12. Figure added linkage information within MPEG-2 TS.

그림 12를 보면 빨간색 화살표부터 위 빨간색 화살표 까지가 linkage file descriptor를 의미한다. 0x50인 descriptor tag를 시작으로 linkage file descriptor가 추 가된 것을 확인할 수 있다. 또한 표3의 문법대로 NRT 파일인 test.mp4 가 추가된 것을 볼 수 있다.

그림 13의 빨간색 아래 화살표에서 아래 화살표를 보 면 표 2의 문법과 같이 실시간 PES헤더에 추가될 3D 연동형 서비스를 위한 동기화 정보인 timing information을 확인 할 수 있다. 동기화 정보 식별자 0xEA를 시작으로 기술자가 정의되었으며, 파란색 박스 를 통해 프레임 번호가 한 프레임씩 증가되어 삽입될 것이라는 것을 확인할 수 있다.

최종적으로 본 논문에서 제안한 MPEG-2 TS 실시

그림 13. 실제 TS에 동기화 정보가 추가된 화면

Fig. 13. Figure added synchronization information within MPEG-2 TS.

그림 14. 연동형 스테레오스코픽 비디오 화면 Fig. 14. Verification of 3D adjunct NRT service.

간 영상과 NRT를 기반으로 비 실시간으로 저장된 파 일 간에 동기화를 통해 제공되는 3D 연동형 서비스 결 과를 나타내었다. 연동형 플레이어를 제작하여 재생한 결과는 그림 14에서 나타난 바와 같으며, 이를 통해 고 화질 3D 방송 서비스가 가능함을 보여주고 있다.

Ⅵ. 결 론

TTA 산하 3DTV 송수신 정합 실무반(WG8061)을 발족하여 SBS, KBS, ETRI, LG, 삼성 등의 방송사와 기업들로 구성되어 stereoscopic over TS 표준기술이 제정되었고 본 표준기술을 토대로 각 방송사에서는 3DTV 실험방송을 진행 중이다. 현 실험방송은 지상파 대역 내에서 좌 영상과 우 영상을 각각 인코딩하여 듀 얼 스트림으로 전송하는 서비스 호환(service compatible) 3D 서비스를 진행하고 있다. 하지만 본 서 비스 호환 방식은 지상파 대역폭에 한계 내에서만 스테 레오스코픽 비디오 구성이 가능하다는 한계점을 내재하 고 있다.

따라서 본 논문은 비 실시간으로 저장할 수 있는 NRT기술과 실시간 MPEG-2 TS 의 기술 분석을 하고, 두 시스템의 연동 시 발생하는 문제점과 본 문제점을 해결할 수 있는 알고리즘을 실험을 통해 증명하였다.

단, 현 서비스 호환방식과 본 논문이 제시한 방식은 방 송 시스템에 기술적 필요조건이 있다는 것을 상정한다.

실제 방송환경에서 PMT, PSIP, PES등의 업데이트가 정확히 되어야 만 수신측에서 3D의 구성이 가능하다.

3D 방송 송출 시스템이 정확한 업데이트 가능해야만 안정성 있는 3DTV서비스를 소비자에게 제공 할 수 있 을 것이다.

본 논문에서 제안한 시간차를 두고 수신된 콘텐츠를

동기화하여 고화질 3DTV를 구성하는 시스템은 향 후 다양한 서비스를 위한 이종 단말과의 연동 시스템의 구 성에도 많은 영향을 줄 것이라 생각한다.

향후 어떤 고화질 3D표준화 기술이 기술적인 흐름을 주도 할지는 모르나 2D단말기와의 호환성, 3D를 시청 하는 시각적 피로와 어지러움 등의 휴먼팩터, 실제 구 현의 합리성, 고효율 코덱의 개발 등이 함께 고려된 표 준기술 의의의 맞는 논의가 함께 이루어져야 한다. 각 분야가 조화를 이룬 연구의 결과는 더욱 진보된 3DTV 의 개발로 이어질 것이라 자명한다.

참 고 문 헌

[1] N. J. wade et al. “the stereoscopic views of Wheatstone and Brewster,” psychological research journal vol 47, No 3, pp. 125-133 september 1985.

[2] 3DTV 방송 진흥 센터-3D 산업 통합 기술 로드맵 (www.3dtvkorea.or.kr)

[3] 허남호, 이광순, 윤국진, 이수인, “고화질 3DTV 실 험방송 추진현황”, 전자공학회지, 제37권, 제9호, 918-926쪽, 2010년 9월.

[4] 윤국진, 이봉호, 정원식, 이광순, 허남호, 이수인,

“지상파 3DTV 방송서비스 및 표준화”, 방송공학 회지, 제15권, 제1호, pp.67-77, 2010년 3월.

[5] ISO/IEC 13818-2 INFORMATION TECHNOLOGY-GENERIC CODING OF MOVING PICTURES AND ASSOCIATED AUDIO Recommendation H.262 December 2000.

[6] ISO/IEC 14496-10 Information technology Coding of audio-visual objects decomber 2010.

[7] ATSC S13-1-026r69-NRT (working draft Non-Real-Time Content Delivery) 2 decomber 2010.

[8] ISO/ IEC 13818-1|ITU-T Rec.H.222.0:

“Information technology - Generic coding of moving pictures and associated audio information: system” third edition Feb 2000.

[9] ATSC A/65C Program and System Information Protocol for Terrestrial Broadcasting and Cable.Revision C

[10] Paila, T., Luby, M., Lehtonen, R., Roca, V. and R. Walsh: FLUTE – File Delivery over Unidirectional Transport. RFC 3926, October 2004.

[11] Luby, M., Gemmell, J., Vicisano, L., Rizzo, L.

and J. Crowcroft : Asynchronous Layered Coding (ALC) Protocol Instantiation. RFC 3450,

저 자 소 개 박 종 환(학생회원)

2010년 2월 동아방송대학 방송기술과 전문학사 2011년 10월 경희대학교 전자전파

공학과 석사과정

<주관심분야 : 멀티미디어, MPEG -2/4 system, ATSC-NRT>

이 장 원(학생회원) 2010년 2월 2007년 2월

경희대학교 전자공학과 공학사

2007년 3월∼현재 경희대학교 전자전파공학과

석․박사 과정

<주관심분야 : 멀티미디어 서비스, 디지털 방송>

윤 국 진(정회원)

1999년 2월 전북대학교 공학사 2001년 2월 전북대학교 공학석사 2001년 3월∼현재 한국전자통신연

구원 실감형방송시스템연 구팀 선임연구원

<주관심분야 : 디지털 방송, 3DTV, 3D DMB, MPEG-2/4 system>

허 남 호(정회원)

1992년 포항공과대학교 전자전기 공학과 공학사

1994년 포항공과대학교 전자전기 공학과 공학석사

2000년 포항공과대학 전자전기 공학과 공학박사 2000년∼현재 한국전자통신연구원

실감방송시스템연구부 부장

2000년∼현재 과학기술연합대학원대학교(UST) 겸임교수

<주관심분야 : 고화질 3DTV, 3D DMB, 제어 및 전력전자>

김 규 헌(정회원)-교신저자 1989년 2월 한양대학교

전자공학과 공학사 졸업.

1992년 9월 영국 University of Newcastle upon Tyne 전기전자공학과 공학석사 1996년 7월 영국 University of

Newcastle upon Tyne 전기전자공학과 공학박사 1996년∼1997년 영국 University of Sheffield,

Research Fellow

1996년∼1997년 영국 University of Sheffield, Research Fellow

2006년∼현재 경희대학교 전자정보대학 교수

<주관심분야 : 영상처리, 멀티미디어통신, 디지털 대화형 방송>

임 현 정(정회원)

2003년 2월 숙명여자대학교 공학사

2005년 5월 숙명여자대학교 멀티미디어 공학석사 2010년 2월 숙명여자대학교

멀티미디어 공학박사 2010년 4월∼현재 한국전자통신연구원 실감형방

송시스템연구팀 선임연구원

<주관심분야 : 멀티미디어 서비스, 디지털 방송>

정 원 식(정회원)

1992년 2월 경북대학교 공학사 1994년 2월 경북대학교 공학석사 2000년 2월 경북대학교 공학박사 2000년 5월∼현재 한국전자통신

연구원 실감방송시스템 연구팀 팀장

<주관심분야 : 영상처리 및 압축, DMB, MPEG, 3DTV>

December 2002.

[12] Luby, M., Gemmell, J., Vicisano, L., Rizzo, L., Handley, M. and J.Crowcroft: Layered Coding Transport (LCT) December 2002.

[13] 박종환, 김병철, 김규헌, 임현정, 권형진 “NRT기술 기반 지상파 3D 방송시스템” IPIU 23회 영상처리 및 이해에 관한 워크샵 2011년 2월

[14] 임현정, 윤국진, 김규헌, 정원식 2011 “Program Associated 3D NRT system for terrestrial 3DTV” 2011년 3DSA

[15] 임현정, 정광희, 윤국진, 정원식, 허남호 “3DTV 표 준화 및 국내 3D 방송 서비스 동향” 2011년 8월 전자통신동향분석 제26권