MPEG-V 표준 실감미디어 테스트베드에 기반을 둔 문화재 360 콘텐츠 시범 서비스 플랫폼
360 Content Pilot Service Platform of Cultural Assets Based on MPEG-V Standard Realistic Media Testbed
심 태 섭 · 유 수 빈 · 신 상 호
* 경주스마트미디어센터 기술개발실Tae-soeb Shim · Soo-bin Yoo · Sang-ho Shin*
1Division of Technology Development, Gyeongju Smart Media Center, Gyeongsangnam-do, 38118, Korea
[요 약]
본 논문에서는 MPEG-V 표준 실감미디어 테스트베드에 기반을 둔 문화재 360 콘텐츠 시범서비스 플랫폼을 제안한다.
MPEG-V 국제 표준은 바람(wind), 지속광(light), 섬광(flash)와 같은 실감효과메타데이터(SEM; sensory effect metadata) 에 대한 표 준 포맷과 장비와의 통신 규약 등을 정의한 것으로, 360VR 콘텐츠와 융합할 경우 체험자로 하여금 실재감(presence)과 몰입감 (immersion)의 증대가 가능하다. 제안하는 플랫폼은 문화재 360 콘텐츠를 재현할 수 있도록 특화된 형태로 설계와 구축을 수행하 고, 실감효과메타데이터(SEM; sensory effect metadata)와 콘텐츠를 재현시키는 소프트웨어와 하드웨어로 구성되며, 하드웨어는 실감효과 재현 장치로, 소프트웨어는 콘텐츠 플레이어와 실감효과 재현 서버로 구성된다. 제안하는 플랫폼을 활용한 시범서비스 사례와 플랫폼의 특징과 장점에 대해 언급한다.
[Abstract]
In this paper, we propose a 360 content pilot service platform of cultural assets based on MPEG-V standard realistic media testbed. MPEG-V is that the standard format of sensory effect metadata(SEM) such like wind, light and flash, and communication protocol between sensory effect machines are defined, and it is possible to increase the sense of presence and immersion with 360 VR content. The proposed platform consists of software which is composed of the content player and the sensory effect reappearance server, and hardware which is the sensory effect machines. Also, the pilot service case using the proposed platform, and the features and advantages of the proposed platform are described.
Key word : Cultural Assets 360 Content, 360 Content Pilot Service Platform, MPEG-V, Realistic Media Testbet.
https://doi.org/10.12673/jant.2017.21.6.666
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-CommercialLicense(http://creativecommons .org/licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
Received 29 November 2017; Revised 7 December2017 Accepted (Publication) 27 December 2017 (30 December 2017)
*Corresponding Author; Sang-ho Shin Tel: +82-54-701-2939
E-mail: [email protected]
Ⅰ. 서 론
실감미디어는 사용자의 미디어 체험 만족도를 향상시키기 위해 실재감(presence)과 몰입감(immersion)을 극대화할 수 있 는 인간의 오감 및 감성정보를 제공하는 차세대 미디어로서 기 존의 ICT(information and communication technologies) 기술과 접목되어 양방향 실감형 미디어서비스를 수행 할 수 있는 원천 기술을 확보하기 위해 최근까지 다각도로 연구가 진행 중이다.
가장 대표적인 기술이 가상현실(VR; virtual reality)과 증강현실 (AR; augmented reality)로서 의료, 헬스, 방송과 영화 등의 디 지털 콘텐츠, 가상 훈련 시뮬레이션, 가상교육, 게임 등 다양한 분야에 활용되고 있다. 최근에는 가상현실 재현 장비의 대중화 와 상용화로 인해 수많은 형태의 360 콘텐츠와 게임이 출시되 고 있다[1]-[6].
360 콘텐츠는 기존의 2D(2 dimension) 또는 3D(3 dimension) 입체 콘텐츠와는 달리 체험자를 중심으로 하나의 구(sphere)와 같은 3차원의 공간을 생성하여 체험자가 공간 내에서 실시간으 로 상호작용을 수행할 수 있고, 헤드마운트장치(HMD; head mount device)를 이용하여 체험이 가능하도록 구성되어 있다.
최근에는 이에 대한 표준의 필요성으로 MPEG(moving picture experts group)을 중심으로 VR과 AR에 적합한 비디오와 오디 오를 제공하기 위한 MPEG-I(immersive)에 대한 표준화를 진행 중이다. 현재 VR에 적용 가능하도록 비디오와 오디오의 부호 화와 전송 방법 및 복호화 기술에 대한 다양한 요구사항을 정의 중이고, 2020년까지 VR 공간 내에서 6자유도(6 DoF; degree of freedom)를 가진 비디오와 오디오 코팅 기술을 제공하는 것을 목표로 하고 있다[5], [7], [8].
한편, 실감미디어는 다양한 콘텐츠에 대해 실감효과 메타데 이터(SEM;sensory effect metadata)를 가미하여 체험자로 하여 금 극대화된 콘텐츠를 경험시켜 줄 수 있고, 이에 대한 표준화 기술의 필요성으로 MPEG에서 가상세계와 현실세계의 소통과 이에 대한 SEM 및 실감효과 재현 장치 명령어 규격을 정의한 MPEG-V(ISO/IEC 23005)이 2016년 12월에 최종적으로 국제 표준으로 제정되었다[9]-[12].
MPEG-V 표준에 기반을 둔 실감미디어 테스트베드는 기존 의 서로 다른 플랫폼에서 운영 되던 비표준 실감효과 재현시스 템의 표준화를 위해 구축된 기술로서 모션체어(motion chair), 바람 효과(wind effect), 지속광 효과(light effect) 장치 등과 같은 서로 다른 실감효과 재현장치를 MPEG-V 표준 환경에서 제작 된 콘텐츠와 SEM을 동시에 재현할 수 있도록 한 것이다.
MPEG-V 표준 기반 실감미디어 테스트베드는 다양한 영상 콘 텐츠에 대해 실감효과를 재현할 수 있고, 비표준의 실감효과 재 현 장치 상에서도 영상 콘텐츠와 실감효과의 동시 재현이 가능 하며, 체험자로 하여금 콘텐츠 체험 시 실재감과 몰입감을 극대 화시킬 수 있기 때문에 제안하는 플랫폼은 이와 같은 환경을 이 용한다.
본 논문에서는 MPEG-V 표준 실감미디어 테스트베드에 기
반을 둔 문화재 360 콘텐츠 시범서비스 플랫폼을 제안한다.
MPEG-V 표준 실감미디어 테스트베드는 하드웨어 파트와 소
그림 1. MPEG 표준화 로드맵
Fig. 1. The roadmap of standardization for MPEG
프트웨어 파트로 구성되고, 하드웨어 파트의 경우 실제 360 콘 텐츠를 재현할 수 있는 HMD와 SEM을 360 콘텐츠와 동시에 재현할 수 있는 비표준의 실감효과 재현 장치로 구성되어 있다.
소프트웨어 파트의 경우 360 콘텐츠 관리와 재생 및 동기화된 SEM을 실감효과 재현 서버로 전송하는 기능을 수행하는 운영 제어 서버와 실감효과 재현장치로 SEM을 전송하는 실감효과 재현 서버로 구성된다. 아울러 단순히 테스트를 수행할 수 있는 형식의 플랫폼이 아닌 360 콘텐츠를 정식으로 서비스하고 상용 화 시킬 수 있는 통합 콘텐츠 관리가 가능한 플랫폼이기 때문에 향후 문화재에 대한 360 콘텐츠 뿐만 아니라 관광, 재해재난, 교육 등 다양한 분야에 활용 가능한 형태로 플랫폼을 설계 및 구축한다. 구축된 플랫폼을 통해 실제 시범서비스를 운영한 사 례와 제안하는 플랫폼의 특징과 장점에 대해서도 서술한다.
Ⅱ. 국제 표준의 소개 : MPEG-I와 MPEG-V
본 절에서는 현재 국제 표준으로 제정 중인 MPEG-I와 국제 표준으로 제정된 MPEG-V에 대해 소개한다.
2-1 MPEG-I
2014년 후반기에 미국의 Oculus사가 Oculus Rift Version 1 을 출시와 더불어 HMD의 시장을 개척했고, 이 후 미국의 Google사의 VR Cardboard 및 Oculus사와의 협업을 통해 삼성 전자에서 GearVR 제품을 각각 출시하면서 QHD(quad high definition) 2560×1440 해상도의 VR 콘텐츠의 체험이 가능하게 되었다. 최근에는 대만의 HTC사에서의 VIVE와 Oculus사의 상용화 버전인 Oculus CV제품과 더불어 무선 HMD 제품까지 출시되어 VR과 관련된 다양한 콘텐츠가 빠르게 대중화 되고 있다. 최근에 출시되는 대부분의 HMD들은 GTX1070 이상의
사양을 요구하는 그래픽 처리 장치를 탑재한 고급형 PC에서 운용되는 것이 대부분이고, 4K UHD(ultra high definition)급의 해상도를 요구하는 막대한 양의 영상 콘텐츠는 대역폭과 전송 속도의 한계로 인해 유무선 네트워크를 통해 전송하기 쉽지 않다 [2]. 이러한 문제를 해결하기 위해 MPEG 표준화 그룹에 서는 MPEG-I 그룹을 창설하여 360 콘텐츠의 비디오를 위한 표준 포맷과 실재감과 몰입감을 증대시킬 수 있는 다양한 기 술적인 논의를 진행하고 있다[7], [8].
MPEG-I는 현재 그림 1과 같은 로드맵에 따라 표준화가 진 행되고 부호화 및 복호화 되는 데이터의 종류와 양에 따라 5개 의 파트로 나뉜다. Part 1은 몰입형 미디어에 대한 아키텍쳐와 기술(architectures and nomenclature for immersive media), Part 2는 전방향(360 영상)미디어 파일 포맷(omnidirectional media file format), Part 3은 몰입형 비디오의 부호화 표기법(coded representation of immersive video), Part 4는 몰입형 오디오의 부호화 표기법(coded representation of immersive audio), 그리 고 Part 5는 포인트 클라우드의 부호화 표기법(coded representation of point clouds)에 대해 각각 기술되어 있다.
Part 1의 목표는 전방향 영상을 네트워크를 통해 저장 및 전 송하도록 하는 것이다. 또한, 최대 360 구형 영상에 대한 영상 및 비디오 콘텐츠를 제공하는 것을 목표로 하고 있으며, 네트 워크 환경이 지원 가능한 경우 4K 60fps(frame per second)의 영상을 부호화, 복호화가 가능하도록 2017년 후반기까지 표준 화 작업을 진행했다. Part 2의 경우 Part 1의 시청 가능 시야각 의 자유도가 일부 증가한 3DoF+ 콘텐츠 제공을 목표로 한다.
고품질의 3DoF+ 환경을 구성하기 위해서는 사람이 바라보는 시점을 트래킹하여 영상을 자연스럽게 생성할 수 있도록 데이 터 전송 지연 문제가 없어야 한다. Part 3 ~ 5의 목표는 시청자 가 자유롭게 움직일 수 있는 환경에서 시점의 제한이 없는 6D0F 영상을 제공하는 것으로, 다양한 전방향 영상 데이터가 처리되고 전송되어야 하기 때문에 이를 안정적으로 지원하기 위한 차세대 비디오와 오디오 코덱의 개발이 이들의 파트에 서 중요한 요소라 할 수 있고, 현재 2021년까지 표준화를 완 료할 수 있도록 계획되어 있다[7].
2-2 MPEG-V
MPEG-V는 그림2와 같이 다양한 실감효과에 대한 표현, 가 상세계에서의 객체의 표현과 움직임, 가상세계 와 현실세계의 인터페이스 연동을 위한 데이터 포맷 및 실감 효과들을 현실 세계에서 재현하기 위한 다양한 기기들을 제어하기 위한 방법 등 다양한 범위를 다루 고 있다 [9].
MPEG-V는 총 7개의 파트로 구성된다. Part 1은 아키텍쳐 (architecture), Part 2는 제어 정보(control information), Part 3은 실감효과 정보(sensory information), Part 4는 가상세계 객체 특 성(virtual world object characteristics), Part 5는 상 호 연동 장치 들에 대한 데이터 포맷(data formats for interaction devices), Part 6은 공통 타입과 도구들(common types and tools)
그림 2. MPEG-V 표준 아키텍쳐 개요
Fig. 2. The geometry overview of MPEG-V standard
그리고 Part 7은 참조 소프트웨어(reference software)에 대해 기술하고 있다. 가장 최근 버전에는 총 15가지의 실감효과에 대해 정의 되어 있고, 다음과 같다. 지속광 효과(light effect), 플래시 효과(flash effect), 온도 효과(temperature effect), 바람 효과(wind effect), 진동 효과(vibration effect), 물효과(spraying effect), 향기 효과(scent effect), 안개 효과(fog effect), 색보정 효 과(color correction effect), 모션 효과(rigid body motion), 촉 각 효과(tactile effect), 촉각 패턴 효과(tactile pattern effect) 그리고 움직임과 관련된 3가지 효과인 수동적 운동감각 모션 효과 (passive kinesthetic motion effect), 수동적 운동감각 강도 효과 (passive kinesthetic force effect), 능동적 운동감각 모션 효과 (active kinesthetic motion effect)로 구성되어 있다 [9]-[14].
Ⅲ. MPEG-V 실감미디어 테스트베드에 기반을 둔 문화재 360 콘텐츠 시범서비스 플랫폼
본 절에서는 제안하는 플랫폼에 대한 설계와 구축 방법에 대 해 기술한다.
3-1 시범서비스 플랫폼 구조 및 설계
제안하는 시범서비스 플랫폼은 단순히 문화재 360 콘텐츠 만을 시연하는 것이 목적이 아니라 MPEG-V 실감미디어 테스 트베드 환경에서 문화재 360 콘텐츠를 시연하는 것이기 때문 에 실제 문화재와의 이질감을 줄이면서 체험자로 하여금 실재 감과 몰입감 증대시키면서 문화유산의 중요성과 관련 역사의 고취를 통해 새로운 형태의 디지털 콘텐츠를 체험하게 하는
것이 중요한 요소이다. 이를 위해 단순하게 문화재 360 콘텐츠
그림 3. 제안하는 시범서비스 플랫폼
Fig. 3. The proposed pilot service platform
를 체험하는 것에서 벗어나 향후 제안하는 플랫폼을 대중화 및 상용화할 수 있도록 설계 및 구현하는 것이 매우 중요하다.
이를 위해 소프트웨어적인 측면에서는 사용자 친화적인 NUI(natural user interface)/NUX(natural user experience)가 적용 되어야 하고, 문화재 360 콘텐츠 이외에 추가적으로 제작 및 수급되는 360 콘텐츠를 종합적으로 관리할 수 있는 통합관리 제어 서버가 설계 및 구축되어야 한다. 아울러 MPEG-V 표준 SEM을 비표준의 실감효과 재현장치에 전송 및 재현할 수 있 는 실감효과 재현서버도 설계 및 구현되어야 한다. 하드웨어 적인 측면에서는 360 콘텐츠를 체험하는 인원이 불편함이 없 도록 하는 동시에 언제어디서나 손쉽게 체험이 가능하도록 설 계 및 구현하는 것이 중요한 요소이다.
이를 위해 제안하는 플랫폼은 그림 3과 같이 소프트웨어 파 트와 하드웨어 파트로 나뉘어 설계를 수행한다. 소프트웨어 파트의 경우 통합관리제어 서버와 실감효과 재현 서버로 구성 되고, 이에 대한 세부 설계 내용은 다음과 같다. 통합관리제어 서버(integration management control server)는 360 콘텐츠와 SEM의 종합적인 관리와 재현을 위한 각종 처리 기능이 필요 로 한다. 이를 위해 통합관리 제어서버는 360 콘텐츠 관리(검 색/등록/수정/삭제/카테고리 관리)와 재생, 하드웨어 시스템과 의 연동, 실감미디어 전송시스템과의 연동을 통한 콘텐츠 업 로드, 다운로드, 웹/DB(database) 연동 기능, FTP(file transfer protocol) 서버관리, 모니터링과 통계 관리 등의 기능이 존재한 다. 이외에도 기존의 MPEG-V 표준 실감미디어 테스트베드를 활용하기 때문에 360 콘텐츠를 관리하는 미디어 자산관리 (MAM; media assets management) 시스템으로부터 전달 받은 MPEG2 TS 형태의 데이터로부터 360 콘텐츠와 SEM을 분리 하는 복호화 기능도 탑재되어 있다.
실감효과 재현 서버는 다음과 같은 기능이 필요로 한다.
360 콘텐츠와 동기화된 실감효과 제어, 실감효과 재현 장치 관 리 및 제어, 지속광 효과(light effect) 재현 장비 제어, 플래시 효과(flash effect) 재현 장비 제어, 온도 효과(temperature effect) 재현 장비 제어, 바람 효과(wind effect) 재현 장비 제어, 진동 효과(vibration effect) 재현 장비 제어, 스프레이 효과(spraying effect) 재현 장비 제어, 향기 효과(scent effect) 재현 장비 제어, 안개 효과(fog effect) 재현 장비 제어, 모션 효과(rigid body motion) 재현 장비 제어 기능이 존재한다.
하드웨어 파트는 360 콘텐츠를 재현할 수 있는 디스플레이
장치인 HMD와 실감효과를 재현할 수 있는 다양한 실감효과 재현장치들로 구성된다. HMD 장치는 360 콘텐츠가 재현될 수 있도록 플레이어와 연동되어 설계되어야 하고, 비표준의 실감효과 재현장치는 360콘텐츠 재현 시 필요한 것으로 구성 하되 향후 다른 콘텐츠의 재현을 위해 MPEG-V 표준에 명시 된 실감효과 중 지속광 효과(light effect), 플래시 효과(flash effect), 온도 효과(temperature effect), 바람 효과(wind effect), 진동 효과(vibration effect), 물효과(spraying effect), 향기 효과 (scent effect), 안개 효과(fog effect) 그리고 모션 효과(rigid body motion)에 대한 장치에 대한 제어 및 각 장치별 실감효과 재현에 대한 내용을 설계한다.
3-2 시범서비스 플랫폼 구현 결과
설계한 시범서비스 플랫폼에 대한 구현을 위해 Intel E5-2630v3, 32Mb, GTX1080와 같은 PC환경에서 Visual Studio 와 Unity를 활용하여 플랫폼 내 소프트웨어 파트의 개발 및 테 스트를 수행했다. 하드웨어 파트의 경우 HMD는 Oculus사의 Oculus CV1과 HTC사의 VIVE 및 삼성전자의 Galaxy Note5와 GearVR을 사용했으며, 실감효과 재현장치는 전기서보모터 제어 방식의 6축 2인승 모션 체어와 Wind effect machine, Light effect machine, Flash effect machine, Temperature effect machine, Vibration effect machine, spraying effect machine, Fog effect machine을 갖추어 MPEG-V 실감미디어 테스트베드 환 경에서의 문화재 360 콘텐츠 시범서비스 플랫폼을 테스트했 다. 각각의 실감효과 재현장치는 DMX와 Serial 통신 방식을 사용하여 실시간으로 실감효과 재현 서버와 연동을 통해 실감 효과를 재현했고, 통합관리제어 서버와 실감효과 재현 서버는 서로 간에 360 콘텐츠와 SEM을 동기화하여 테스트를 수행할 수 있도록 구현했다. 통합관리제어 서버와 실감효과 재현 서 버의 테스트 장면은 각각 그림 4 및 5와 같다.
편, MPEG-V 표준 기반 실감미디어 전송 시스템에서 전송 되는 MPEG2 TS(transport stream) 데이터를 활용한 시범서비 스에 대한 테스트는 실제 MPEG2 TS 내 하나의 패킷(packet)은 188 바이트(byte)로 구성되어 있고, 188바이트 패킷 내에 SEM 데이터의 일부분을 삽입하여 실시간으로 전송하기 때문에 통 합관리제어 서
그림 4. 통합관리제어 서버 테스트 장면
Fig. 4. The test scene of the integration management
control server
그림 5. 실감효과 재현 서버 테스트 장면
Fig. 5. The test scene of the sensory effect reproducing server
버에서는 전송받은 188바이트를 복호화(decoding)한 후 360 콘텐츠의 경우 HMD에서 재현될 수 있도록 구현했고, 복호화 후 조각난 SEM 데이터를 실감효과 재현 서버로 전송한다. 조 각난 SEM 데이터를 전송받은 실감효과 재현 서버는 360 콘텐 츠와 동기화 되어 실감효과 재현 장치로 데이터 패킷을 전송 한다. 실시간으로 MPEG2 TS 패킷을 전송 받기 때문에 통합관 리제어 서버와 실감효과 재현 서버는 실시간으로 통신을 수행 하면서 360 콘텐츠와 SEM 데이터를 동기화 한다.
Ⅳ. MPEG-V 실감미디어 테스트베드에 기반을 둔 문화재 360 콘텐츠 시범서비스 플랫폼에 대한 운영 사례와 MOS 평가 결과
본 절에서는 제안한 플랫폼에 대한 시범서비스 운영 사례와 이에 대한 MOS(mean opinion score) 평가 결과에 대해 언급한 다.
그림 6. MPEG-V 표준 실감미디어 테스트베드 환경에서의 문화재 360 콘텐츠 테스트 장면
Fig. 6. The test scene of cultural assets 360 content in MPEG-V based realistic media testbed environment
4-1 시범서비스 플랫폼 운영 사례
문화재 360 콘텐츠 시범서비스는 일반인과 지역소재 대학의 관련학과 전공 학생들을 대상으로 수행했다. 일반인을 대상으 로 수행한 시범서비스의 경우 그림 5와 같이 지역의 메가 이벤 트에 참여하여 직간접적으로 문화재 360 콘텐츠 플랫폼을 운영 했다. 주요 행사는 경주 지역 중심의 ‘2017 국제물주간’, ‘2017 경북과학축전’, ‘2017 제 14차 세계유산도시기구 세계총회’ 등 으로 대부분의 행사가 문화유산과 연계된 형태로 진행했기에 문화재 360 콘텐츠 시범서비스에 대한 체험자의 반응이 매우 좋았다. 지역소재 대학의 관련학과 전공 학생들을 대상으로 수 행한 시범서비스는 플랫폼에 대한 설명과 함께 플랫폼 UI/UX 에 대한 만족도와 편의성 및 MPEG-V 표준 실감미디어 테스트 베드 환경에서의 문화재 360 콘텐츠 체험과 일반 HMD 장비만 을 착용하여 문화재 360 콘텐츠를 체험하는 것으로 나누어 진 행했다. 단순하게 문화재 360 콘텐츠를 체험하는 것보다는 MPEG-V 표준 실감미디어 테스트베드 환경에서 문화재 360 콘 텐츠를 체험하는 것이 콘텐츠의 몰입도와 실재감 측면에서 우 주선 혹은 비행기를 타는 느낌으로 실제 그 곳에 있는 것 같다 는 느낌을 받았다고 대부분의 체험자가 응답했다. 이와 동시에 시범서비스 플랫폼의 사용자 편의성과 문화재 360 콘텐츠의 사 용자 만족도에 대한 MOS 평가를 수행했다.
시범서비스 플랫폼의 사용자 편의성에 대한 MOS 평가는 이 와 관련된 지식을 알고 있는 체험자들을 중심으로 수행해야 하 기 때문에 관련전공의 대학생 위주로 수행했고, 문화재 360 콘 텐츠에 대한 사용자 만족도 평가는 일반인과 대학생 모두를 대 상으로 수행했다. 문화재 360 콘텐츠에 대한 사용자 만족도와
그림 7. 시범서비스 플랫폼 운영 사례
Fig. 7. The operation example of the pilot service platform
그림 8. 문화재 360 콘텐츠에 대한 사용자 만족도 MOS 평가 결과
Fig. 8. The MOS estimation result of user satisfaction for the cultural assets 360 content
시범서비스 플랫폼에 대한 사용자 편의성 MOS 평가를 위한 설 문조사 문항은 웹주소 “www.실감미디어.com” 과 “www.스마 트미디어.com”에서 확인이 가능하다. 기 수행한 설문조사 문항 에 대한 MOS 평가 결과는 다음 절에서 서술한다.
4-2 MOS 평가 결과
문화재 360 콘텐츠에 대한 사용자 만족도 설문조사는 총 6개 의 문항으로 구성되며, 콘텐츠의 주제와 시나리오, 해상도, 실 재감과 몰입감 등에 대해 설문을 수행했다. 대부분의 체험자 연 령대는 전체 설문 응답자 363명 중 65.3 %인 237명이 21세 이 상 30세 미만이었다. 이를 통해 최근 게임 또는 디지털콘텐츠산 업을 중심으로 젊은 층에서 VR에 대한 관심도가 높은 것을 알 수 있었고, 이 중 남성이 71.9 %로서 VR에 대한 관심도가 여성 보단 남성의 높은 것을 알 수 있었다. 각 문항에 대한 MOS 평가 결과는 그림 8과 같다. 그림 8 내에서 6개의 설문 문항에 대한 응답 결과는 대부분 응답자가 만족 이상을 응답한 것으로 나타 난다. 기존에 VR 체험을 수행해본 인원은 다수 존재하지만 문 화재에 대한 360 콘텐츠를 실감효과 재현 장치와 함께 체험하 는 경험은 전무하기 때문에 대부분의 응답자가 우수한 반응을 보였고, MOS 평균 결과값은 3.81의 수치를 나타냈으며, 일반적 으로 MOS 결과가 3.0 이상인 경우 사용자의 만족도가 실제로 높다는 것에 의거하여 문화재 360 콘텐츠에 대한 사용자 만족 도는 매우 높다는 것을 알 수 있었다.
시범서비스 플랫폼에 대한 사용자 편의성에 대한 MOS 평 가는 플랫폼에 대한 전체적인 내용을 UI/UX, 콘텐츠 관리 기 능, 콘텐츠 재현 기능, 실감효과 재현 기능, 실감효과 메타데이 터 관리 기능으로 나누어 각 기능별 세부 문항을 두어 설문을 진행했으며, 그 결과는 그림 9와 같다.
그림 9. 시범서비스 플랫폼에 대한 사용자 편의성 MOS 평가 결과
Fig. 9. The MOS estimation result of user satisfaction for the pilot service platform
그림 9 내 각 기능별 MOS 평가 결과는 대부분 만족 이상의 결과를 나타냈다. 본 논문에서 제안한 시범서비스 플랫폼은 최 초 설계 시 360 콘텐츠에 대한 상용화 서비스를 수행할 수 있도 록 목표를 설정했기 때문에 체험자가 별도의 운영요원 없이 플 랫폼의 여러 기능을 손쉽게 사용할 수 있었다. 제안한 시범서비 스 플랫폼의 사용자 편의성에 대한 MOS 평균 결과값은 3.83의 수치를 나타냈고, 이 역시 일반적인 MOS의 기준과 비교하여 시범서비스 플랫폼의 사용자 편의성이 우수함을 알 수 있었다.
다만 설문조사 대상에 대해 제안한 시범서비스 플랫폼에 대한 사전 지식 안내 및 전문적인 프로그램을 많이 다루어보지 못한 대학생을 위주로 수행했기 때문에 향후에는 실제 유사 분야에 서 종사 중인 실무 전문가에 의한 MOS 평가가 이루어져야 할 것이다.
Ⅴ. 결 론
본 논문에서는 MPEG-V 표준 실감미디어 테스트베드에 기 반을 둔 문화재 360 콘텐츠 시범서비스 플랫폼을 제안했다. 제 안한 플랫폼은 소프트웨어 파트와 하드웨어 파트로 나뉘고, 소 프트웨어 파트는 360 콘텐츠에 대한 관리와 제어를 수행할 수 있는 통합관리제어 서버와 MPEG-V 표준 기반 실감효과 메타 데이터를 제어하고, 재현할 수 있는 실감효과 재현 서버로 구성 된다. 하드웨어 파트는 360 콘텐츠를 시연할 수 있는 상용화된 장비를 활용하여 비표준의 실감효과 재현 장치와 함께 체험자 의 콘텐츠에 대한 실재감과 몰입감을 극대화할 수 있는 새로운 형태의 경험을 제공했다.
제안한 시범서비스 플랫폼의 특징은 다음과 같다. 첫째, 단 순한 문화재 360 콘텐츠를 체험하는 것이 아니라 체험자의 콘 텐츠에 대한 몰입감과 실재감을 극대화하기 위해 다양한 실감 효과 재현 장치를 이용했다. 그 결과 대부분의 체험자들은 문화 재 360 콘텐츠에 대한 단순 경험이 아니라 콘텐츠와 상호작용 할 수 있는 참여형 콘텐츠를 경험할 수 있었고, 문화재에 대한 역사의식 고취와 문화유산의 소중함을 느낄 수 있었다. 둘째,
제안한 플랫폼은 이식성과 확장성이 우수하다. MPEG-V 표준 실감미디어 테스트베드 환경은 기존의 비표준 실감효과 재현 장치를 특별한 솔루션 없이 재현이 가능하도록 하며, 고화질의 우수한 UHD급 360 콘텐츠를 실시간으로 스트리밍이 가능하기 때문에 언제 어디서나 사용자가 원하는 콘텐츠를 손쉽게 체험 할 수 있다. 셋째, 문화재라는 새로운 주제로 360 콘텐츠 시범 서비스를 수행했다. 현재 VR산업은 기술의 발전 보다는 새로 운 분야와의 융합을 통한 색다른 형태의 체험을 수행할 수 있어 야 대중으로부터 각광을 받는다. 기존의 360 콘텐츠와 관련된 체험은 단순한 형태의 게임, 영화 또는 뮤직비디오와 관련된 디 지털콘텐츠 등이 대부분이었으나 문화유산이라는 새로운 분야 와 접목되어 기존에 가보지 못했던 국내외의 유명 문화재를 가 상의 공간에서 새롭게 체험해볼 수 있었다는 것이 제안한 플랫 폼의 장점이다. 또한 문화재를 관람하는 체험자의 시점에서 벗 어나 기존에 볼 수 없었던 시점을 360 콘텐츠를 통해 체험해볼 수 있다는 것이 역사교육, 문화유산에 대한 중요성을 인식하는 측면에서 매우 중요하기 때문에 향후에도 이러한 분야에 대한 360 콘텐츠를 비롯하여 다양한 형태의 디지털 콘텐츠를 지속적 으로 제작 및 보급해야 할 것이다.
향후 연구로는 콘텐츠 체험 시 느끼는 경험에 대해 실재감과 몰입감을 극대화할 수 있는 양방향 미디어 서비스를 수행할 수 있는 NUI/NUX 방식의 문화재 360 콘텐츠 시범서비스 플랫폼 의 고도화하는 것으로 기존에 터치식 혹은 키넥트 방식과는 달 리 사용자의 제스처와 자연적인 행동에 기반을 둔 데이터베이 스를 구축해야 가능하기 때문에 이에 대한 연구를 병행하여 수 행할 것이다.
Acknowledgments
본 연구는 한국콘텐츠진흥원에서 지원하는 2017년 문화기 술 연구개발 사업 – 문화재 타임라인 체험이 가능한 360 콘텐츠 기술 개발 과제(No. 한국콘텐츠진흥원 공고 제 2017-988호)의 지원에 의하여 이루어진 연구로서, 관계부처에 감사드립니다.
References
[1] H. Rheingold, Virtual reality: exploring the brave new technologies, Simon & Schuster Adult Publishing Group, 1991.
[2] F. Biocca and M. R. Levy, Communication in the age of virtual reality, Routledge, 2013.
[3] S. B. Jo, Y. S. Lee, and H. J. Kang, “A study on the digital
watermarking embedded transmission of still image in wireless multimedia communication environment,”
Journal of Advanced Navigation Technology, Vol. 8, No.
2, pp. 169-175, 2004.
[4] Y. D. Kim, S. U. Lee and I. Y. Moon, “Antenna and radar : A study on mobile virtual training system using augmented reality,” Journal of Advanced Navigation Technology, Vol.
15, No. 6, pp. 1047-1052, 2011.
[5] M. Hosseini and V. Swaminathan, “Adaptive 360 VR video streaming: divide and conquer,” in Proceeding of 2016 IEEE International Symposium on Multimedia(ISM), San Jose, CA, pp. 107-110, 2016
[6] J. Dascal, M. Reid, W. W. IsHak, B. Spiegel, J. Recacho, B.
Rosen and I. Danovitch, “Virtual reality and medical inpatients: A systematic review of randomized, controlled trials,” Journal of Innovations in Clinical Neuroscience, Vol. 14 No. 1-2, pp. 14–21, 2017.
[7] K. Yoon, S. K. Kim, J. J. Han, S, Han and M. Preda, MPEG-V: Bridging the Virtual and Real World, Academic Press, 2015
[8] K. Yoon, B. Choi, E. S. Lee and T. B. Lim, “4-D broadcasting with MPEG-V,” in Proceeding of 2010 IEEE International Workshop on Multimedia Signal Processing (MMSP), Saint Malo, France, pp. 257-262, 2010.
[9] B. Choi, E. S. Lee and K. Yoon, “Streaming media with sensory effect,” in Proceeding of 2011 International Conference on Information Science and Applications (ICISA), Jeju Island, Korea, pp. 1-6, 2011.
[10] K. Yoon, “End-to-end framework for 4-D broadcasting based on MPEG- V standard,” in Signal Processing: Image Communication, Vol. 28, No. 2, pp. 127-135, February 2013.
[11] M. Waltl, C. Timmerer and H. Hellwagner, “A test-bed for quality of multimedia experience evaluation of sensory effects,” in Proceeding of 2009 International Workshop on Quality of Multimedia Experience(QoMEX 2009), pp.145–
150, 2009.
[12] Y. S. Joo and S. K. Kim, “Sensory effect authoring tool for sensible media,” Journal of Broadcast Engineering, Vol.
16, No. 5, pp. 693–893 Sep.2011.
[13] Y. S. Ho, “MPEG-I standard and 360 video content production,” The Magazine of the IEIE, Vol. 54, No. 2, pp. 52-57, Aug.2017.
[14] M. Oskar, “MPEG-I requirements of social VR,”
ISO/IEC/JTC1/SC29/WG11 M40263-v1, Apr.2017.
심 태 섭 (Tae-Seob Shim)
2014년 2월 : 동국대학교 정보통신학과 공학사
2014년 5월 ~ 2016년 8월 : 동국대학교 경주캠퍼스 실감미디어 성과확산사업단 연구원 2016년 9월 ~ 현재 : (재)경주스마트미디어센터 기술개발실 주임연구원
※관심분야 : 실감미디어, 가상현실, 증강현실
유 수 빈 (Soo-Bin Yoo)
2012년 2월 : 동국대학교 정보통신학과 공학사 2016년 8월 : 동국대학교 정보통신학과 공학석사
2017년 1월 ~ 현재 : (재)경주스마트미디어센터 기술개발실 주임연구원
※관심분야 : 실감미디어, 가상현실, IoT, Zigbee
신 상 호 (Sang-Ho Shin)
2006년 8월 : 금오공과대학교 응용수학/컴퓨터공학 이/공학사 2008년 8월 : 경북대학교 전자전기컴퓨터학부 공학석사 2014년 8월 : 경북대학교 컴퓨터학부 공학박사
2014년 9월 ~ 2015년 1월 : 경북대학교 컴퓨터학부 박사후연구원
2015년 2월 ~ 2016년 8월 : 동국대학교 경주캠퍼스 실감미디어 성과확산사업단 선임연구원 2016년 9월 ~ 현재 : (재)경주스마트미디어센터 기술개발실 선임연구원
※관심분야 : 양자점 셀룰라 오토마타, 양자암호, 고속암호 알고리듬, 비밀이미지 공유, 실감미디어
