Development of XDMedia Solution for invigoration of Realistic Media Industry

2016 년 12 월 16ZC1300-16-5152P

실감콘텐츠 산업 활성화를 위한 XD미디어

핵심 기술 개발

Development of XDMedia Solution for invigoration of Realistic Media Industry

본 문서에서 음영처리된 부분은 ( 

 ) 정보공개법 제9조의 비공개대상정보와 저

작권법 및 그 밖의 다른 법령에서 보호하고 있는 제3자의 권리가 포함된 저작물로 공

개대상에서 제외되었습니다.

제     출     문

 

 본 연구보고서는 주요사업인 “스마트한 초연결 핵심기술 개발” 과제의 3세부

“실감콘텐츠 산업 활성화를 위한 XD미디어 핵심기술 개발

”

의 결과로서, 본 과제에 참여한

아래의 연구진이 작성한 것입니다.

2016 년 12 월

연구책임자 : 책임연구원 한미경 (ETRI)

연구참여자 : 책임연구원 장종현 (ETRI)

책임연구원 이훈기 (ETRI)

책임연구원 고은진 (ETRI)

책임연구원 박노삼 (ETRI)

선임연구원 김지연 (ETRI)

선임연구원 지덕구 (ETRI)

선임연구원 윤재관 (ETRI)

선임연구원 박상욱 (ETRI)

선임연구원 윤현진 (ETRI)

책임연구원 전황수 (ETRI)

책임연구원 허재두 (ETRI)

책임연구원 박광로 (ETRI)

책임연구원 이희수 (ETRI)

책임연구원 송석일 (ETRI)

책임연구원 신성문 (ETRI)

책임연구원 김수창 (ETRI)

UST연구생 Thomhert Siadari (ETRI)

공동연구책임자 : 책임 유인두 (믹스)

선임 안수지 (믹스)

책임 류 문 (믹스)

선임 김승정 (믹스)

선임 김현정 (믹스)

선임 김채원 (믹스)

공동연구책임자 : 연구소장 조성재 (티디엘)

부장 홍지옥 (티디엘)

차장 이지환 (티디엘)

주임 박소영 (티디엘)

사원 임정철 (티디엘)

사원 김건우 (티디엘)

사원 임현아 (티디엘)

이사 임현아 (티디엘)

과장 김정환 (티디엘)

대리 정용진 (티디엘)

대리 양지바른 (티디엘)

공동연구책임자 : 교수 강임철 (동신대학교 산학협력단)

교수 김은석 (동신대학교 산학협력단)

교수 이현철 (동신대학교 산학협력단)

부장 윤재홍 (동신대학교 산학협력단)

책임 김종한 (동신대학교 산학협력단)

책임 김철민 (동신대학교 산학협력단)

주임 이민태 (동신대학교 산학협력단)

선임 박윤수 (동신대학교 산학협력단)

연구원 이진아 (동신대학교 산학협력단)

연구원 최은희 (동신대학교 산학협력단)

공동연구책임자 : 교수 유상원 (인디애나대학교)

연구원 Alex Seewald (인디애나대학교)

연구원 AJ Piergjovanni (인디애나대학교)

연구원 Chenyou Fan (인디애나대학교)

세부과제 연차실적 보고서

연차실적 보고서

과제유형

1. 기초미래선도형 ( ) 2. 공공인프라형 ( ) 3. 산업화형 ( O )

대과제명

안전하고 스마트한 초연결 핵심기술 개발

세부과제명

실감콘텐츠 산업 활성화를 위한 XD미디어 핵심 기술 개발

세부과제

책임자

소속 및 부서

실감감성플랫폼연구실

_직위

(직급)

실장

(책임연구원)

성명

한 미 경

총연구기간

2016 년 1 월 1 일 부터 2018 년 12 월 31 일 까지 (36개월)

당해연도

연구기간

2016 년 1 월 1 일 부터 2016 년 12 월 31 일 까지 (12개월) (1차년도)

총

연

구

비

정부출연금

5,443,782 천원

당

해

년

연

구

비

정부출연금

1,814,594 천원

민간부담금

1,830,000 천원

민간부담금

610,000 천원

계

7,273,782 천원

계

2,424,594 천원

참여인력(M/Y)

총 연 구 기 간

135명 (66.95M/Y)

당해연도 연구기간

45명 (22.32 M/Y)

참여기관

기관명

연구책임자

기관명

연구책임자

참여연구기관

㈜믹스 유인두 동신대학교 산학협력단 강임철 ㈜티디엘 조성재 인디애나대학교 유상원

위탁연구기관

포항공과대학교 산학협력단 최승문

키워드

(6~10개)

XD미디어, 실감효과 추출, 객체 인식, 실감카메라, 실감효과, 저작도구, 실감재

현, SEM(Sensory Effect Metadata)

정부출연금사업 연차평가 보고서를 제출합니다.

2016년 12월 23일

세부과제책임자 : 한 미 경 (인)

직 할 부 서 장 : 정 현 규 (인)

목 차

제 1 장 서 론 ··· 1

제1절 필요성 및 중요성 ··· 1

제2절 국내・외 기술 현황 및 접근방법 ··· 5

제3절 연구개발과제 수행결과 기대효과 ··· 11

제 2 장 연구 개발 목표 및 내용 ··· 14

제1절 최종 목표 및 연차 목표 ··· 14

제2절 연구 범위 및 연구 수행 방법 ··· 23

제3절 성과목표 ··· 30

제 3 장 1차년도(2016년) 연구 개발 결과 ··· 32

제1절 1차년도 성과 목표 달성도 ··· 32

제2절 연구 수행 내용 및 결과 ··· 36

제3절 연구 성과 ··· 73

제4절 사업비 사용 현황 ··· 81

제5절 국내외 관련 분야의 환경 변화 ··· 87

제6절 연구결과의 활용 가능성 및 파급 효과 ··· 89

부 록 ··· 91

I. 성과지표 시험 결과 ··· 91

II. 위탁과제 리스트 ··· 106

III. 유형적 발생품 구입 및 관리현황 ··· 110

IV. 자체진단평가표 ··· 113

제 1 장 서 론

제1절 필요성 및 중요성

1. 연구개발과제의 필요성

가. 정부는 국정과제 ｢혁신적인 정보통신 생태계 조성(방송산업육성)｣ 및 ｢창조경제 실현계획(2013.6월)｣의 후속조치로 발표한 ｢방송산업발전 종합계획(2013.12월)｣에서 ｢스마트미디어 산업 육성｣을 창조경제의 신 성장 동력으로 제시 1) 4개 부처 공동으로 발표된 “스마트미디어 산업 육성계획(‘15~’20) (‘14.12)에서 세계 최고의 ICT기반을 활용하여 스마트미디어 산업에 혁신과 경쟁을 촉진할 수 있는 개방·협력의 생태계 구축 및 다양한 비즈니스 모델을 창출하기 위한 종합전략으로 주요 5대 산업(인터넷 동영상 서비스, 소셜미디어, 디지털사이니지, 가상현실미디어 및 실감미디어 산업)을 선정하여 발표 2) 스마트미디어 5대 분야 중, 시장 규모면에서는 부가가치가 가장 높은 기술로 실감미디어 기술을 선정 나. 스마트미디어 산업은 창조경제의 전형적인 모델로 산업육성/사업화 및 미래원천 기술 개발을 동시에 추진 가능한 기술임 1) 국내 콘텐츠, 네트워크, 기기 분야의 경쟁력을 바탕으로 혁신적인 스마트미디어 생태계를 구축함으로써 글로벌 주도권 확보 가능한 기술 분야임 2) 미디어와 ICT의 신성장 동력 창출을 목표로 혁신과 경쟁을 촉진하는 개방·협력의 생태계 구축 및 다양한 비즈니스 창출을 위한 선도적인 임무 수행을 위한 중점 기술 분야이기도 함 3) 본 과제는 “세계 최고의 스마트미디어 강국실현”을 위한 스마트미디어 산업 육성 계획”정책과 부합하며, 국가 미래/산업정책 측면에서 핵심 R&D 기술로 적합함 다. 실감미디어 기술은 시간·공간 제약 없이 몰입감과 현장감을 극대화 할 수 있도록 이용자에게 사실감 있는 정보를 제공하기 위한 미디어기술로 영상미디어분야뿐만 아니라 엔터테인먼트, 교육 콘텐츠, 광고 및 홍보 서비스 분야, 시뮬레이션 분야 등 다양한 분야에 적용 가능한 기술임 라. 실감미디어 기술 중 XD미디어 기술은 실감미디어의 시/청각 중심의 표현 한계를 극복하고 오감 정보를 전달하기 위해 실감효과 중심의 표현기술을 제공하기 위한 실감미디어의 핵심기술임 마. 4D로 대변되는 실감미디어 시장은 국내·외적으로 개방형 실감미디어 제작 및 유통 활성화를 위해서는 영상을 기반으로 한 수작업 형태의 미디어 저작환경에서 벗어나 미디어 영상 분석을 통한 실감효과 정보 자동 추출 및 메타데이터로의 자동 변환이 절실 1) 영화 영상의 경우, 실감효과(모션/진동/조명/팬/에어젯/워터젯/버블 등) 삽입을 위해 수십 회 반복 시청 및 수동 삽입과정으로 인해 일반영상과의 동시 상영이 어려우며, CGV에 따르면 일반적으로

5명의 에디터들이 편당 100회 이상 반복 시청을 통해 4D효과 삽입에 15~30여일의 제작과정이 소요됨 2) 실감미디어 저작은 소수의 전문가가 수동 저작하는 환경으로 4D 효과 작업을 위한 새로운 직종도 탄생 3) 국내 CGV의 경우, 영사 기사와의 인터뷰에 따르면(전자신문,‘디지털 장인을 찾아서’, 09.10.15) 4D 상영을 염두에 두지 않은 일반 영화에 4D 신호를 입혀서 상영하는 것은 세계에서 처음으로 시도되었던 일로 홍보 및 광고, 게임, 교육 콘텐츠의 경우 콘텐츠 생산 속도를 맞추기 힘듦 4) 실감미디어에 대한 다양성, 생산성, 저작 용이성 수요는 급증하는 반면, 이들 수요를 충족시킬 수 있는 미디어 저작 환경은 낙후되어 있으므로 수동 저작환경을 탈피할 수 있는 기술 개발이 시급한 실정임 바. 온도, 풍량, 조명, 자이로, GPS 등을 이용한 주변 환경 정보와 실제 환경으로부터 획득한 인간의 감각적인 효과 정보를 메타데이터로 자동 변환하여 실감미디어 자동 저작에 활용하는 실감카메라 기술을 통해 실감미디어 저작 생산성 향상 필요 1) 4D 콘텐츠는 제작단계부터 4D 상영을 염두에 두고 콘텐츠가 만들어지는 사례가 많으나, 카메라로 촬영 후 후처리 작업을 통해 효과를 삽입하므로 실감효과와 영상간의 동기화 문제가 발생할 수 있으며 작업자의 성향에 따라 효과를 삽입하므로 현장감 및 사실감이 떨어질 수 있음 2) 이러한 문제를 해결하기 위해서는, 자동저작뿐만 아니라 영상 촬영시점에 실감효과 정보를 획득함으로써 영상과 실감효과에 대한 동기화 및 현장감, 사실감 극대화를 위한 실감카메라 기술이 필요함 3) 실감카메라 기술은 실시간 라이브 방송 환경에서 XD미디어 자동 생성을 지원할 수 있는 핵심 기술로 활용 가능 사. 실감미디어 시장은 콘텐츠 생산성을 통한 신속한 유통뿐만 아니라 범용성이 절실히 요구되는 분야임 1) 전시 미디어나 광고 및 영상 제작물의 경우 트렌드에 맞는 신속한 유통이나 디바이스에 독립적인 범용성이 요구되는 분야임 2) 현재는 콘텐츠의 변경에 맞게 하드웨어의 유연한 포용성이 요구되나 현재 운용되는 영상관이나 전시관은 전시미디어에 콘텐츠가 고정형으로 설치되어 있는 경우가 대부분임 3) 체험관이나 홍보관 혹은 박물관에 설치된 실감 콘텐츠의 경우, 신속한 교체나 업그레이드를 위한 생산성이 요구되고 있으나 현재는 수작업에 의존하므로 관람객의 재방문율을 떨어뜨리고 있으며 점차 집객요건이 낮아짐에 따라 공동화 되어 당초 체험관의 건립 취지와는 다르게 운영비만 소진되는 골칫거리로 전락되는 경우가 비일비재함 4) CGV측에 따르면, 4D효과를 내는 모션체어 한 석은 제작비가 800~1000만원, 각종 시스템까지 완비할 경우 통상 150석 기준의 4D관 설치비용은 100만~130만 달러가 소요되어 실제 영상관 입장료는 일반영상에 비해 2배~3.5배 수준으로 책정 5) 4D효과 디바이스에 의존적인 콘텐츠 저작 도구로 인해 외산장비에 대한 의존성 탈피가 시급하며, 디바이스 독립적 실감 미디어 시뮬레이터 환경 제공을 통한 저작 환경 변화에 대한 빠른 대응이 필요

아. IT 산업의 패러다임 변화와 융합 콘텐츠 신시장 창출로 차세대 콘텐츠 산업 활성화를 위해서는 수요자 중심의 생태계 기반 구축 필요

1) 3D에서 4D로, Passive UX에서 Interactive UX로 등 콘텐츠 패러다임 변화 가속화에 탄력적 대응 필요 2) 콘텐츠 수동 저작 환경에서 영상을 이해하고 스스로 생산하는 저비용, 고효율, 생산시간 최소화의 콘텐츠 시장 환경의 트렌드에 맞는 대응 기술 필요 <XD미디어를 적용한 전시아이템의 범용성 활용 개념도>

2. 연구개발과제의 중요성

가. 스마트미디어 산업은 창조경제의 전형적인 모델로 산업육성/사업화 및 미래원천 기술 개발을 동시에 추진 가능한 기술임 1) 국내 콘텐츠, 네트워크, 기기 분야의 기술 경쟁력을 바탕으로 혁신적인 스마트미디어 생태계 구축 및 새로운 창조경제 산업 비즈니스 모델 창출 필요 나. 국정과제 ｢혁신적인 정보통신 생태계 조성(방송산업육성)｣ 및 ｢창조경제 실현계획(2013.06)｣의 후속조치로써 발표된 ｢방송산업발전 종합계획(2013.12)｣에서 ｢스마트미디어 산업 육성｣을 창조경제의 신 성장 동력으로 제시 1) 4개 부처 공동으로 발표된 “스마트미디어 산업 육성계획(‘15~’20)에서 스마트미디어 산업의 생태계 구축 및 다양한 비즈니스 모델을 창출하기 위한 종합전략을 제시 ※ 스마트미디어 5대 분야 중, 시장 규모면에서는 부가가치가 가장 높은 기술로 실감미디어 기술을 선정 2) 미래부는 실감미디어 연구개발 및 활성화 지원을 위해 실감미디어 클러스터 구축을 통해 ‘실감미디어를 위한 기반기술 개발 및 상용화 기업’ 지원 추진 중

3) 이러한 국가 미래산업 정책을 지원하여“세계 최고의 스마트미디어 강국실현”을 위한 핵심 기술개발 및 산업화 추진 필요 다. 실감미디어 기술은 시간·공간 제약 없이 몰입감과 현장감을 극대화 할 수 있도록 이용자에게 사실감 있는 정보를 제공하기 위한 미디어기술로 영상미디어분야뿐만 아니라 엔터테인먼트, 교육 콘텐츠, 광고 및 홍보 서비스 분야, 시뮬레이션 분야 등 다양한 분야에 적용 가능한 기술임 1) XD미디어 기술은 실감미디어의 핵심으로서 시/청각 중심의 표현 한계를 극복하고 오감 정보를 전달하기 위한 실감효과 추출 ‧ 재현의 핵심기반기술임 라. 현재 외산 저작도구가 국내 실감콘텐츠 제작 산업을 장악함에 따라 콘텐츠 창작 기반이 와해되고 콘텐츠 패러다임 변화에 대한 빠른 대응이 어려움 1) 콘텐츠 제작비용의 상당 부분을 차지하는 값비싼 외산 SW 라이선스 비용을 절감하고자 하는 산업체 요구 증가 2) 기존 저작도구와는 다른 새로운 개념의 저작도구 개발을 통해 국내 콘텐츠시장 개선 필요 마. XD미디어 제작 및 유통 활성화를 위해서는 기존 수작업 형태의 저작환경에서 벗어나 미디어 영상 분석을 통한 실감효과 정보 자동 추출 및 자동 변환 기술 개발이 필수 1) 영화 영상의 경우, 실감효과(모션/진동/조명/팬/에어젯/워터젯/버블 등) 삽입을 위해 수십 회 반복 시청 및 수동 삽입과정으로 인해 일반영상과의 동시 상영이 어려우며, 실제로 수십 여일의 제작과정이 추가 소요 2) 4D미디어 제작단계부터 4D상영을 염두에 두고 콘텐츠가 만들어지는 사례가 많으나, 카메라로 촬영 후 후작업을 통해 효과를 삽입하므로 실감효과와 영상간의 동기화 문제 발생 3) 실감미디어 저작은 소수의 전문가가 수동 저작하는 환경으로 4D효과 작업을 위한 새로운 직종 탄생 4) 실감미디어에 대한 다양성, 생산성, 저작 용이성 수요는 급증하는 반면, 이들 수요를 충족시킬 수 있는 미디어 저작 환경은 낙후되어 있으므로 수동 저작환경을 탈피할 수 있는 기술 개발이 시급한 실정 바. 최근 딥러닝 등 영상처리 기술의 발전에 따라 영상 분석 및 검색 기술 개발이 활발히 추진 중에 있으며 이에 따른 새로운 콘텐츠 산업에 대한 장기적 대응과 기술 확보 필요 1) MIT, 마이크로소프트, 구글, IBM 등은 영상 자료의 시맨틱 오토태깅, 내용분석 및 이해 등의 기술개발을 활발하게 추진 중 2) XD미디어 저작 역시 시각지능과 의미 기반 이해 기술이 결합하여 지능화될 것으로 예측되며, 이를 위한 기술개발 및 IPR 확보가 향후 실감미디어의 융합수요 창출, 타 산업 파급효과 및 고부가 가치화의 필수가 될 것으로 예측됨 사. 국내 실감미디어 산업의 좁은 내수시장의 한계 극복을 위한 해외진출 지원과 생태계 진입이 어려운 중소기업의 기술적 한계 극복을 위한 기술개발 지원을 통해 글로벌 산업 경쟁력 확보 필요 1) 실감미디어 시장 규모는 2020년까지 2,057억불을 예측하고 있으며, 이중 3D와 4D 시네마 및 애니메이션 시장 규모는 2020년까지 약 197억불 예측. 연평균 13.45% 성장 예상

제2절 국내・외 기술 현황 및 접근방법

1. 국내・외 기술 현황

가. 국내 기술 현황 1) 삼성전자는 시각과 촉각은 물론 청각과 후각 등 오감으로 교감하는 디스플레이를 차세대 유망산업으로 선정하고 실시간으로 사람의 감정, 얼굴, 움직임을 3D 아바타를 통해 실현시키거나 제스처를 아바타를 통해 표현하는 기술을 기반으로 명지대 UXMedia Lab과 공동으로 모션 기반 게임을 개발하고 있으며, ETRI 등과 함께 MPEG-V의 Part 2와 Part 4에 표준으로 반영

- 홈/빌딩 오토메이션이나 버추얼라이프 등에 활용될 수 있는 실시간 환경정보(기온, 조명 등)를 센싱하여 가상환경에 반영하는 시스템과 3D 객체의 복잡도, 크기, 또는 사용자의 시청 파라미터를 기반으로 하는 중용한 부분부터 압축된 3D 그래픽을 순차적으로 전송하는 기술을 개발 - 삼성전자는 2012년 8월 ‘오감자극’ 향수폰 특허를 획득했으며, 글로벌 시장 진출을 위해 향수기능 스마트폰 기술을 미국에 특허출원 하는 등 후각기술이 스마트 디바이스의 구매 경쟁력을 증진시키는 한 축으로 발전 중 - 삼성전자가 공개한 스마트폰 '갤럭시S4'에는 사용자의 시선을 인식해 동영상을 멈추고 재생하는 기능을 전면에 내세움 2) 현대자동차는 운전대에 터치패드 기능을 적용하여 주행 중에도 간단한 조작으로 에어컨·음악· 라디오 등을 제어할 수 있는 지능형 햅틱 시스템을 개발

- 르노삼성차는 어드밴스드 햅틱 시스템(Advanced Haptic System)을 개발, 햅틱 스위치는 rotation, push & sliding 등의 다양한 방법으로 작동되며, haptic feeling effect를 통해 운전자의 동작명령을 피드백 해줌 * lumino effect를 통해 시각에 의한 시스템 제어가 가능하며, 시인성 또한 향상되는 효과를 얻을 수 있음 3) 코글로미디어는 6자유도의 모션 플랫폼으로 구현되는 모션과 함께 입체영상과 4D 효과를 즐길 수 있는 다양한 4D 라이더 상영관을 구축하여 제공. 특히, 3D 입체 영상관에 비해 뛰어난 전달력을 가진 4D system을 탑재한 국내 최초의 돔 스크린을 채용하여 뛰어난 가상현실 체험이 가능한 코글로 시어터 구축 4) (주)시뮬라인은 3D 영상뿐만 아니라 Dark Rider부터 큰 규모의 극장, 돔 극장 및 군사 시뮬레이터, 양방향 촬영기법을 통한 듀얼스크린 까지 다양한 제품 제작 및 솔루션을 개발 - 고품질 파노라믹, 360도 영상 등을 이용한 실감영상 기술은 사용자에게 사실감과 현장감, 몰입감을 제공함으로써 전시, 문화, 공연 등 다양한 분야에서 활용되고 있으며, 최근 유튜브 등 온라인 동영상 시장으로 확대되고 있는 중 5) H&S의 4D 바이크는 입체영상 디스플레이와 운동기구를 융합한 스포테인먼트(Spotainment)

기구로, 오락과 운동의 기회를 동시에 제공하는 것이 특징임. 가상의 3D 공간(올레길, 산악, 공원 등) 속에서 자전거를 타는 듯한 색다른 경험을 선사하므로 누구나 즐겁게 이용이 가능

6) 포디비전은 가상현실과 증강현실 관련 컴퓨터 그래픽 S/W 개발업체로 테마파크 및 박물관 등에서 몰입형 뷰어를 통해 관찰 대상을 실제로 체험할 수 있는 시스템을 개발

- 2014년 10월 25일부터 광주 김대중컨벤션센터에서 개최된 '2014 광주 ACE Fair(Asia Content &Entertainment Fair in Gwangju)'에 참가해 증강현실을 기반으로 한 몰입형 고글을 사용한 4D 콘텐츠 공개 7) 포디에이플러스는 킹돔라이더라는 소형 4D 놀이기구를 개발해 새로운 시장을 개척, 놀이기구에 탑승한 고객이 3D입체영상을 통해 우주, 공룡시대, 바닷속 등 가상공간을 경험함으로써 재미와 교육적 체험 효과를 동시에 즐길 수 있도록 한 제품 - 작은방에 120인치의 실버 스크린과 6인승/12인승/24인승 라이더 시뮬레이터를 구비 - 영상 관람시 입체영상과 영상내용에 맞게 바람이나 향기를 지원, 관람객이 앉은 좌석도 화면 전개에 따라 전후좌우로 움직여 생생한 느낌을 더해줌 - 국내에서는 롯데시네마, 애니메이션 센터, CGV, 해양박물관, 키즈카페, 홈플러스 등에 입점했으며, 해외에서는 브라질, 말레이시아, 중국, 인도네시아 등에 진출 8) 아쿠브코리아(Acouve Korea)는 3차원 체감음향, 4D 입체영상 설비를 제작, 판매하는 업체로 Visic(바이직)이라는 체감 음향 기술을 결합시킨 4D 좌석을 국내외에 공급 - 해외에서는 일본 스페이스월드, 동경 환타지아, 동경 테마파크, 일본 하마마쓰 4D 입체영상관, 일본 와카야마 4D 극장, 베트남 호치민 4D 입체영상관 등에 설치 - 국내에서는 통도 환타지아, 고흥 우주박물관, 한국만화박물관, 양양 양수에너지월드, 목포 자연사박물관, CJ 4DPLEX 등을 비롯한 국내외 다수의 4D 극장, 놀이공원, 박물관, 전시관 등에 4D 좌석 설비를 공급 9) 미디어벤처와 플랫폼 기술의 연계를 통해 신산업 창출 - 창의적 아이디어와 기술로 무장된 미디어벤처와 플랫폼 기술을 연계하여 창업 전주기(아이디어 제안단계 -> 개발 단계 -> 상용화)를 지원 - 한정된 수익 기반으로 인해 고위험의 새로운 미디어 서비스 창출을 위한 투자에 소극적인 국내 미디어벤처 환경에서 한류드라마, 영화, K-Pop 등으로 우수한 콘텐츠 경쟁력을 통해 좁은 내수시장 극복을 위한 해외진출을 위한 글로벌 경쟁력 강화 - 인재양성 및 신산업을 창출하고 낮아지는 미디어 국경을 기회로 활용하여 글로벌 시장으로 진출을 지원 10) XD미디어 저작도구 활용을 통한 저비용 고효율의 체험관 및 영상관 콘텐츠 저작 운용 - 수요기업이면서 참여기업인 (주)Mixx의 4D 영상 콘텐츠에 XD미디어 저작도구 적용을 통한 저비용 고효율의 저작 운용 환경을 제공함으로써 XD미디어 생산성 향상 및 콘텐츠 다양성 확보를 통한 콘텐츠 경쟁력 확보

- 수요기업이면서 참여기업인 (주)믹스의 체험관 및 박물관 내 콘텐츠 제작에 XD미디어 저작도구 활용을 통한 콘텐츠 저작환경 개선 및 디바이스 독립적인 콘텐츠 보급 및 유통 체계 확보 개선 - (주)티디엘을 포함한 중소기업에 체험 스포츠 및 게임, 시뮬레이션 분야에 실감카메라 기술을 활용한 다양한 콘텐츠 확보 경쟁력 제공 나. 국외 기술 현황 1) 마이크로소프트(MS)의 동작인식게임기 키넥트는 게임기를 넘어 동작인식 분야의 지평을 열어줄 개발도구로 주목받고 있는데, 고가의 동작인식 장비에 부담을 느껴왔던 개발자들이 대안으로 키넥트를 주시, 중소개발사의 동작인식 연구도 탄력을 받을 것으로 전망 - 이미 키넥트 센서를 얹어 무인운전이 가능하도록 한 무선 헬리콥터도 개발, 키넥트를 활용해 360도 각도에서 관찰할 수 있는 홀로그램 디스플레이나 3D 이미지 구현 기술도 선보임 - 마이크로소프트는 2015년 6월 LA 컨벤션센터에서 진행된 E3 (Electronic Entertainment Expo) 2015에서 홀로그램 증강현실 기기 ‘홀로렌즈(HoloLens)’를 공개, 구글 글래스와 비슷한 모양을 하고 있으나, 단순히 액정에 띄우는 것뿐 아니라 내가 보는 화면을 3D 스캐닝해 보여주는 것이 큰 차이 - 인기 게임 마인크래프트를 홀로렌즈 전용 버전으로 시연한 영상에서 진일보한 증강현실 기술력을 생생히 확인할 수 있고, 특정 위치에 마인크래프트 속의 세계를 재현하고 이를 확대하거나 축소하면서 게임 속의 요소들을 보는 동시에 조작도 할 수 있음 2) IBM, Microsoft, 구글 등의 글로벌 기업들은 이미지・동영상의 심층 분석을 기반으로 차세대 지식 산업 창출을 추진하고 있음

- IBM Research: 2000년 초반부터 T.J. Watson 연구소를 중심으로 IMARS(IBM Multimedia Analysis and Retrieval System)을 개발, 시각 데이터 내용 이해를 위한 기술 연구 진행. 대규모의 이미지 데이터를 기반으로 다리, 음식, 화재, 지진, 퍼레이드, 불꽃놀이, 군인, 전쟁 등의 다양한 분류가 가능 - 구글은 2011년 이미지/영상분야에서 랜드마크 자동 인식 기술을 공개하고 최근에는 Deep Neural Networks기반 인식 기술을 선보이고 있으며, 스스로 생각하는 시각 지능 프로젝트를 추진하여 클라우드 환경에서 이미지 분석 및 인식 기술 개발 분야에 괄목할 만한 연구 성과를 보이고 있음 - Microsoft는 대규모 이미지 데이터 처리를 고속 검색과 연계하기 위한 시스템 기술을 개발 추진하고 있으며, 동시 서비스 가능한 사용자를 늘리는 것에 중점

- 또한, Microsoft에서는 WISE(Web Image Search and Exploration) 프로젝트를 통해 효율적인 이미지 인덱싱 및 질의방법을 개발하여 Content-based Searching 기능을 제공

3) Immersion사는 의료용, 산업용, 게임용, 3D용 햅틱 인터페이스를 시판하였고, 또 18개의 센서를 가진 Cyber Glove에 손바닥 및 손가락에 진동자를 장착한 Cyber Touch라는 햅틱 인터페이스를 개발하여 상용화하였으며, 손을 이용한 역감장치, 실시간 충돌감지, 손으로 물건을 잡는 알고리즘이 포함된 진동, 충격, 펄스 등의 역감 효과를 제공하는 Virtual Hand SDK를 개발

- Immersion에서는 디지털 디바이스에 햅틱 신호를 변환해서 전달하는 Reverb module을 개발하여 삼성 갤럭시 S 시리즈에 탑재 4) VirTouch사는 기존의 마우스 상단에 질감형 햅틱 인터페이스 기능을 추가하여 컴퓨터 화면상의 경계선이나 문자를 굴곡, 점자 형태로 표현함으로써 시각장애인들이 손쉽게 컴퓨터를 사용할 수 있는 방법을 제공 5) 디즈니사에서는 CMU와 공동으로 FeelCraft 햅틱 저작도구를 개발하여 사업화 - 디즈니사에서는 영상이나 게임 등 멀티미디어 콘텐츠에 대해 실감체험 효과를 극대화하기 위해 햅틱 의자 등 햅틱 디바이스에 독립적인 햅틱효과를 저작 및 공유할 수 있는 햅틱 저작도구를 개발 6) 애플은 2012년 촉각 기술 관련 특허를 출원했는데, 스마트폰이나 태블릿PC에 쓰이는 소프트 키보드(가상 키보드)는 눌러도 아무런 느낌이 없는 딱딱한 화면일 뿐이지만, 이 기술을 적용한다면 누를 때마다 실제 키를 누르는 듯한 감촉을 느낄 수 있는 등 촉각까지 가상으로 만들어낼 수 있음 - 복잡하게 검색할 필요 없이, 남자의 얼굴을 아이콘으로 만들어 직관적으로 선택할 수 있는 UI(사용자환경)를 적용 7) 샌프란시스코기반 스타트업인 애드먼트테크놀로지가 2013년 1월 후각과 미각을 감지하는 아이폰용 센서를 개발했는데, 여러 개 작은 센서들로 이뤄진 컴퓨터 칩을 통해 냄새와 맛을 인식해 이를 디지털화 - 일반적으로 인간은 공기 중에 400개 수준의 냄새를 구별할 수 있는 후각을 가지고 있는데, 애드먼트가 개발한 제품은 개의 후각과 유사한 수준의 2천개 센서를 가지고 있어 보다 정교하게 냄새를 구별하는 게 가능

8) 하니웰(Honeywell)은 2013년 10월 ‘전자 코(Electronic Nose)’로 불리는 MEMS 진공펌프 제품을 개발했는데, 드론에 장착해 생화학무기 사용여부를 탐지하거나 의료 현장, 나아가 소비자용 제품으로 활용

- 현재 미방위고등연구계획국(DARPA)이 개발한 초소형 드론에 장착돼 전투에 투입되고 있는데, 스마트폰 등의 모바일 기기에 적용되면 현장에서 곧바로 공기의 질이나 화학물질의 확산 정도를 파악해 환기, 정화 작업 등 신속히 상황에 대처

9) 실감효과 자동 매핑을 위한 연구 분야로는 CMU와 공동으로 Disney Research가 협력하여 햅틱효과 패턴 매핑을 위해 시맨틱 정보를 활용하는 연구를 진행, 프랑스 Technicolor사와 IRISA 연구소는 카메라의 움직임 정보를 햅틱효과로 매핑하기 위한 연구를 진행

- Disney Research에서는 시맨틱정보 뿐만 아니라 Event 정보를 기반으로 햅틱효과를 자동 매핑하기 위해 시스템 및 저작 도구를 개발하여 시맨틱 정보에서 Duration이나 Intensity 값을 추출하여 햅틱 정보 매핑을 시도

증대시킬 수 있는 햅틱효과에 대한 기술을 연구 및 사업화

- Techcolor사에서는 INRIA와 IRISA 연구소와 공동으로 비디오 영상에 대한 몰입감을 증대시키기 위한 실감효과에 대해 연구. 디바이스에 독립적으로 햅틱을 표현하기 위한 Haptic notion을 정의하고, cinematographic camera기반 햅틱효과 기술에 대한 시제품 개발하고 햅틱 피드백에 대해 꾸준히 연구, 개발을 진행 중 - 영상 촬영 시 카메라의 움직임이나 촬영 기법에 따른 기술을 분석하여 해당 특징을 햅틱효과로 매핑시키는 연구를 진행 11) 영국 페레스사는 2014년 2월 사람의 코보다 후각이 좋은 휴대용 '전자코'를 개발, 제품명은 ‘페레스 전자코(Peres e-nose)’로 가격은 120 달러로 돼지고기 쇠고기 닭고기 오리고기 생선 등 육류와 어패류의 품질과 신선도를 감지할 수 있고, 크기는 스마트폰 정도여서 휴대해 사용 - 기기를 고기 가까이 대고 버튼을 누르면 센서가 고기 근처 공기의 온도, 습도, 암모니아, 냄새를 유발하는 휘발성 유기화학물을 감지하고, 이렇게 파악된 정보는 스마트폰으로 전송돼 전용 앱(응용 프로그램)으로 신선도를 확인

- 영국의 영화스튜디오 ‘Treite Lavs’은 2011년 뉴로스카이의 마인드웨이브 헤드셋과 BCI 기술을 활용한 인터랙티브 영상을 제작했는데, 인터랙티브 영화 ‘Paranormal Mynd’는 영화를 시청하는 관객의 뇌파를 분석해 그 반응에 따라 스토리가 바뀌는 형태

- 출연자에게 악령이 빙의될 때 관객들의 뇌파가 일정량 이상 높아지면 악령이 물러나고, 일정수준에 못 미칠 경우 악령이 관객을 한 명 식 죽이는 스토리

다. 국내⦁외 표준화 현황

1) 체감형 실감미디어는 2007년에 MPEG(Moving Picture Expert Group) 82차 미팅에서 RoSE (Representation of Sensory Effect)라는 이름으로 사용자에게 물리적인 실감효과를 전달할 수 있는 바람, 조명, 온도, 진동, 향기 등의 실감효과메타데이터 표준이 제안되었으며, MPEG-V, MPEG-M, MPEG-A 그룹에서 관련 기술에 대한 표준화가 진행

- MPEG-V : ISO/IEC 23005에 해당하는 MPEG-V(Media Context and Control) 표준은 2011년 8월에 ISO/IEC 23005-1~6에 해당하는 국제표준이 제정되었고, 2013년 1월에 2nd Edition, 그리고 2014년 10월 회의에서 Part 2~6에 대한 3rd Edition의 DIS(Draft International Standard) 문서가 채택. 2015년 10월에 FDIS(Final Draft International Standard) 채택을 위해 노력 중

- MPEG-M : 실감효과 메타데이터 처리를 위한 SE(Sensory Effect) Engine은 2013년 4월에 표준화 이슈가 제기되어 2015년 6월에 ISO/IEC 23006에 해당하는 MPEG-M(Multimedia Service Platform Technologies)의 Part-2(MPEG Extensible Middleware API)와 Part-3(Reference Software and Conformance)에 FCD(Final Committee Draft)로 채택. SE Engine 표준화는 2016년 하반기 IS(International Standard)를 목표로 하고 있음

- MPEG-A : 실감미디어 저장을 위한 파일 포맷은 ETRI에 의해 2012년 4월 제네바 미팅에 처음 제안되었으며, 2014년 7월 사포로 미팅에서 다시 논의되기 시작. 2015년 6월 바르샤바 미팅에서 실감효과메타데이터를 네트워크에서 분할한 후 전송하기 위해 MPEG-21의 XSI를

기반으로 하는 방법이 WD(Working Draft)로 채택

2) 2015년 10월 제네바 미팅에서는 MPEG-V의 4th Edition이 새로이 시작될 예정이고, 4th Edition에서는 3D Printer, Automobile related sensor (Camera Array, RADAR/LADAR Sensor) 등이 추가될 예정. 또한, MIoT(Media Internet of Things)와 MPEG Wearable 등이 제안됨에 따라 여기에서 필요로 하는 센서들이 MPEG-V에 추가될 예정 임

2. 접근방법

가. 국내 영상처리・인식 기술은 응용 도메인에 특화된 분야에서 기술 개발이 주로 이루어지고 있지만 내용 이해를 위한 기술 개발은 초기 단계의 문제점과 이를 해결하기 위한 핵심 기술을 개발하고자 함 1) 영상 및 오디오 처리와 관련한 플랫폼 개발 경험을 통해 영상분석을 통한 실감효과 자동 저작을 위한 핵심 기술 개발에 중점을 두고, 다년간의 실감미디어 관련 기술 개발 경험과 기술 전문, 실감효과 장비에 대한 공동기관들과 협력관계를 통해 연구개발 역량을 집중하여 효율성 확보 나. 영상 인식 분야는 장기적인 투자가 선행되어야 기술적 차별성을 갖는 분야이나 글로벌 기업 혹은 대기업 M&A의 대상이 되어 장기적인 기술 개발이 어려움을 극복하고자 함 2) 실감요소 객체 및 연관정보 분석을 통한 실감효과 매핑기술은 영상분석 기술이나 정보 추출 기술 분야에 대해 기술 격차가 존재하며, 매핑을 위한 데이터모델 구축 기술은 세계 최초로 시도되는 기술임 다. 한정된 도메인 중심의 기술 개발로 기술 축적이 어렵고 장기적 도전과제를 수행하지 못하여 글로벌 수준의 기술 확보 및 세계적 기업으로 성장이 어려움 1) 실감미디어 및 영상 분석 분야의 산업체 및 학계 전문가와의 협업을 통해 고수준 시제품 및 제품화가 가능한 기술 개발 라. CGV, 롯데시네마 등 대형 영화관들을 중심으로 일반 소비자들에게 4D 기술이 제공되고 있으나 향후 동영상이나 사진과 같은 콘텐츠에 사용자가 직접 4D 효과를 저작하는 것을 넘어 촬영 당시 사용자가 느끼는 각종 감각효과(바람, 습도, 온도, 냄새 등)를 직접 기록하는 카메라 기술 개발이 진행될 것으로 예상 1) XD미디어 자동 저작 기술과 관련해서는 수동 저작도구 및 시뮬레이션 기술은 기 확보하고 있는 기술을 확장하여 개발이 가능하나 사용자 피드백 분석과 관련된 기술은 근소한 기술격차가 있으며 극복 가능함 2) 실감체험 시설 분야에서 가장 큰 점유율을 보유하고 있는 (주)믹스 수요기관들로 부터 사업화를 위한 수요 요구사항 의견을 수렴하여 상업화를 위한 핵심 기술 개발을 선 시도하고 동신대학교 산학협력단의 실감미디어 기반조성 사업단 내 기반시설에 시범 적용하여 사업화 요구사항 및 환경에 최적화된 시스템 개발을 하고자 함

제3절 연구개발과제 수행결과 기대효과

1. 기술적 기대효과

가. 스마트미디어 핵심 패러다임으로 진입중인 실감미디어의 주요 요소로서 언어지식・지능 대비 낙후된 시각지식・실감미디어 콘텐츠 관련 SW 원천기술 확보 1) 이미지・동영상에 대한 지식화 및 내용 이해는 高위험・高비용・高난이도 기술로 관련 원천기술 확보를 통해 SW산업의 미래 경쟁력을 강화 2) 엔터테인먼트 분야뿐만 아니라 교육콘텐츠, 광고, 디지털사이니지, 문화 콘텐츠, 게임, 의료, 방송, 시뮬레이터 등 다양한 분야에 차별화된 콘텐츠 제공을 통해 경쟁력 확보 제공 가능 나. 관련 기술 확보를 통해 장기적인 관점에서 시·청각 위주의 미디어에서 오감을 자극하는 감성영상으로 진화시키는 미래기술 확보 1) 창조경제 시대 미디어와 ICT의 신성장 동력 창출을 목표로 혁신과 경쟁을 촉진하는 개방·협력의 생태계 구축 및 다양한 비즈니스 창출을 위한 선도적인 임무를 수행하기 위한 중점 기술 분야임 2) 미래부 및 범부처의 ICT융합 육성 정책에 부합하는 기술개발을 추진함으로써 ICT융합 기술 경쟁력 강화 추진 3) 지능형 실감미디어를 통한 기술 선점을 통해 콘텐츠 분야 시장 선점 및 기술 우위 확보 다. 이미지 및 동영상 분석 기술이 진화하고 있으며, 영상을 이해한 Tagging 정보 생성을 통한 내용이해 기반의 검색서비스 분야 기술개발 진행 중. 영상을 이해하여 Annotation 정보를 자동 생성하는 시각 지능화 기술로의 진화를 견인할 수 있는 기술력 확보 1) 사용자 선호도에 따른 이미지・동영상 큐레이션, 다른 사람들의 이미지・동영상을 통해 보는 원격 시각경험 등 시각 데이터를 활용한 새로운 응용 기술 분야의 초석 마련

2. 산업적 기대효과

가. 스마트미디어 산업은 상상력과 창의성이 경쟁력의 핵심인 미디어와 ICT를 기반으로 하는 다양한 산업과 기술이 융합된 산업임 1) 국내 콘텐츠, 네트워크, 기기 분야의 경쟁력을 바탕으로 혁신적인 스마트미디어 생태계를 구축함으로써 글로벌 주도권 확보 가능 나. 현재 스마트미디어 서비스 영상을 포함한 엔터테인먼트, 광고, 교육콘텐츠, 게임, 의료, 시뮬레이션 분야 등 다양한 미디어서비스 분야에 적용 가능하며, 실감콘텐츠를 통해 기존 콘텐츠를 차별화함으로써 매출 범위를 증대할 수 있을 것으로 예상 1) 실감효과를 통한 실감미디어는 관련 응용 서비스를 제공하는 HW 측면의 매출도 예상 가능 2) 아바타의 4D 미디어 성공 이후, 실감효과 생성을 위한 신규 직업군이 생겨났듯이 실감미디어의 생산성 증대를 통해 보다 활발한 콘텐츠 적용을 통해 일자리 창출에도 기여 가능

다. 엔터테인먼트 분야뿐만 아니라 교육콘텐츠, 광고, 의료, 디지털사이니지, 시뮬레이터 등 다양한 분야에 차별화된 콘텐츠 제공을 통해 경쟁력 확보 제공 가능

3. 경제적 기대효과

가. 현재 스마트미디어 서비스 영상을 포함한 엔터테인먼트, 광고, 의료, 교육콘텐츠, 게임, 시뮬레이션 분야 등 다양한 미디어서비스 분야에 적용가능하며, 실감콘텐츠를 통해 기존 콘텐츠를 차별화함으로써 매출 범위를 증대할 수 있을 것으로 예상 1) 실감효과를 통한 실감미디어는 관련 응용 서비스를 제공하는 HW 측면의 매출도 예상 가능 2) 아바타의 4D 미디어 성공 이후, 실감효과 생성을 위한 신규 직업군이 생겨났듯이 실감미디어의 생산성 증대를 통해 보다 활발한 콘텐츠 적용을 통해 일자리 창출에도 기여 가능 나. 영상처리 및 영상분석 관련 예상 시장점유율 세계 시장 (단위 억불) 국내 시장 (조원) 2021 2022 2023 2024 2025 2021 2022 2023 2024 2025 시장규모 1,019 1,019 1,019 1,019 1,019 2.08 2.08 2.08 2.08 2.08 점유율 1% 3% 5% 7% 10% 5% 10% 15% 20% 25% 매출액 10.2 30.5 50.9 71.3 101.9 0.10 0.20 0.31 0.42 0.52 <영상처리 및 영상분석 시장 규모 전망> 1) 과제 종료 3년 후인 2021년부터 일부기술이 시장 진입하는 가정 하에, 예상년도의 시장규모는 2020년 시장규모로 고정하여 계산 ※ 2020년 영상처리 및 영상분석 관련 시장규모(세계 1,019억불, 국내 2조 8백억원) 예측치를 2021년 이후 시장규모로 고정 (시장조사기관의 장기적 시장예측 데이터 부재) 2) 2025년 세계시장 10% 점유 시 100억불 수출과 국내시장 25% 점유로 5,200억원 시장 창출 예상 3) 생산유발효과는 2025년까지 약 6,835억원으로 성장 예측 ※ 2010년 한국은행 산업연관분석 생산유발계수(1.32/1억원)와 2025년 국내 예상매출(5,201억원) 기준 4) 고용창출 측면에서는 2025년까지 약 6,449명 고용창출 예상 ※ 2010년 한국은행 고용유발계수(1.24/1억원)와 2025년 국내시장 예상매출(5,201억원) 기준

4. 사회문제해결 기대효과

가. 실감미디어의 경우 디바이스에 종속적인 경향이 있으며, 엔터테인먼트나 광고, 교육 콘텐츠 등에 응용하여 적용하는 공통 저작 환경이 미비함. 따라서, 국제표준 포맷을 활용한 실감미디어 및 디바이스나 응용 분야에 독립적인 저작 환경 해결 1) 센서 및 영상정보 분석을 통한 실감요소 객체 및 연관정보 추출기술은 실감카메라 개발을 위한 센서 Aggregator 개발 기술 확보, MPEG-V 국제표준의 실감미디어 포맷관련 ISO를 확보,

실감요소 및 연관정보 추출 기술력 기 확보, 활용 하고자 함가. 영화산업과 관련된 현재 스마트미디어 서비스 영상을 포함한 엔터테인먼트, 광고, 의료, 교육콘텐츠, 게임, 시뮬레이션 분야 등 다양한 미디어서비스 분야에 적용가능하며, 실감콘텐츠를 통해 기존 콘텐츠를 차별화함으로써 매출 범위를 증대할 수 있을 것으로 기대됨 1) 실감효과를 통한 실감미디어는 관련 응용 서비스를 제공하는 HW 측면의 매출도 예상도 기대됨 2) 아바타의 4D 미디어 성공 이후, 실감효과 생성을 위한 신규 직업군이 생겨났듯이 실감미디어의 생산성 증대를 통해 보다 활발한 콘텐츠 적용을 통해 일자리 창출에도 기대됨 나. 외산 저작도구가 국내 콘텐츠 제작 산업을 장악함에 따라 콘텐츠 창작 기반이 와해되고 콘텐츠 패러다임 변화에 대한 빠른 대응이 어려운 문제 해결에 기대됨 1) Autodesk사의 콘텐츠 제작플랫폼은 세계시장의 90%, 국내시장의 70%를 점유, Unity3D, Virtools, Unreal, Physx와 같은 게임/VR용 외산 엔진들이 시장을 주도함으로 이를 극복하기 위한 기술 대체로 효과로 기대됨 2) 콘텐츠 제작비용의 상당 부분을 차지하는 비싼 외산 SW 라이선스 비용을 절감하고자 하는 산업체 요구가 증가되고, 이를 해결하기 위한 문제 해결 방법으로 기대됨 3) 3D 애니메이션 및 디지털 콘텐츠 제작 업체들은 많으나, 고액의 라이선스 비용이 중소기업에게 큰 부담으로 작용되고 있는 사회문제 해결에 기대됨 4) 국내 콘텐츠 관련 업계 개발자 중 상당수가 국산 저작 도구 사용의사를 밝혀 시장 개선 가능성 존재하고, 외산 문화에 의해 제작된 도구보다는 국내 사회문화를 반영한 저작도구를 활용의 기대효과가 있음

제 2 장 연구 개발 목표 및 내용

제1절 최종 목표 및 연차 목표

1. 최종목표

구 분

내 용

최종목표 □ 센서와 미디어로부터 실감요소를 추출하여 실감효과 메타데이터(SEM: Sensory Effect Metadata)를 자동생성 함으로써, 기존 수동저작 환경에서의 실감콘텐츠 생산 성 한계를 극복할 수 있는 XD미디어 서비스 핵심 기술 개발

[핵심기술-1] 센서 및 AV정보 분석 실감요소(Influence Elements) 추출 기술

[핵심기술-2] MPEG-V기반 실감효과 매핑모델을 이용한 실감효과 메타데이터(SEM) 생성 기술 [핵심기술-3] 디바이스 독립형 XD미디어를 생성/편집/배포하기 위한 XD미디어 저작 및 시뮬레이션 기술 <XD미디어 서비스를 위한 플랫폼 핵심 기술 개념도> 세부목표 [세부목표]

1. 센서 및 AV정보 분석 실감요소(Influence Elements) 추출 기술 가 기술정의 - 실시간 환경정보 기능을 이용한 실감카메라 기술 개발을 통해 미디어 저작시점 부 터 실감효과 자동 생성하기 위한 요소 추출 기술 - 미디어를 분석하여 XD미디어를 자동 저작하기 위해 실감요소 정보 추출을 위한 객체 분석, 인지 기술 나 핵심기술 - 센서기반 실시간 실감 환경정보 수집을 위한 실감 카메라 기술 - 실감요소 추출 구간 설정을 위한 영상분석기반 장면정보 획득 기술 - 미디어 내 객체 및 Ambient 정보 분석을 통한 실감요소 추출 기술

< 실시간 실감 환경정보 수집 기능 구조 예시> <센서 및 미디어기반 실감요소 추출 기술 구성 예시도> 2. MPEG-V기반 실감효과 매핑 모델을 이용한 실감효과 메타데이터(SEM)생성 기술 가. 기술정의 - XD미디어 저작을 위한 MPEG-V기반 실감효과 매핑 모델 정의 기술 - XD미디어 자동 저작을 위한 MPEG-V 실감효과 매핑모델기반 실감효과 메타데이터 생성 기술 - 디바이스 재현환경에 적합하도록 실감효과 메타데이터를 재구성하여 XD미디어를 생성하기 위한 디바이스 재현환경 적응형 SEM 재구성 기술 나. 핵심기술 - MPEG-V기반 실감효과 매핑 모델 구축 기술 - 실감요소 정보 이용 실감효과 메타데이터(SEM) 생성 기술 - 실감효과 디바이스 재현환경 적응형 SEM 재구성 기술

< 실감효과 메타데이터(SEM) 생성 기술 구성도> 3. 디바이스 독립형 XD미디어를 생성/편집/배포하기 위한 XD미디어 저작 및 시뮬레이션 기술 가. 기술정의 - XD미디어의 효율적인 작업환경을 고려한 XD미디어 저작도구 인터페이스를 제공하는 XD미디어 생성, 편집, 배포 기술 수용 - 저작된 XD미디어의 시뮬레이션을 통한 사용자 피드백 정보 수집 기능과 피드백 정보 분석을 통한 실감효과 자동 매핑을 위한 MPEG-V기반 SEM(Sensory Effects Metadata)학습 데이터 구축 및 SEM 반영 인터페이스 기술 수용

- XD미디어 저작을 위한 영상 동기화기반 XD미디어 실감효과 시뮬레이션 인터페이스 기술 수용 나. 핵심기술 - XD미디어 생성, 편집, 배포 기술 - 사용자 반응기반 XD미디어 피드백 분석 기술 - XD미디어 실감효과 재현 시뮬레이션 기술 <XD미디어 저작도구 및 재현 시뮬레이션 기능 예시도>

[주요성과목표] 1. 연차별 기술 개발 추진 목표 및 성과 <연차별 기술개발 추진도> - 1차년도 : [핵심요소 기술 개발] 영상 및 센서 정보를 이용한 실감요소 정보 추 출 기술 개발 - 2차년도 : [응용 타켓 시스템 개발] 실감요소 자동 추출을 통한 실감효과 인지 및 SEM 생성 기술 개발 - 3차년도 : [상용화 시작품 성능평가 및 검증] XD미디어 자동저작 토탈솔루션 통합 및 상용화 시제품 개발 [최종결과물] 1. 센서 및 AV정보를 활용한 실감요소 추출 엔진 - 센서 기반 실감카메라 - 실감요소 추출기 2, MPEG-V기반 실감효과 매핑모델을 이용한 실감효과 메타데이터(SEM) 생성 엔진 - MPEG-V기반 IE-to-SE (Influence Elements-to-Sensory Effect) 매핑모델

- MPEG-V기반 실감효과 메타데이터 SEM(Sensory Effect Metadata) 생성 및 재구성기

3. XD미디어 저작도구 및 재현 시뮬레이터 - XD미디어 저작도구 및 재현 시뮬레이터 - 사용자 피드백 분석기

2. 연차별 연구개발 목표

구 분

목 표

내 용

1차년도

(2016)

[핵심요소 기술 개발] 영상 및 센서 정보를 이용한 실감요소 정보 추출 기술 개발 - 요구사항 정의 및 시스템 구조 설계 ⦁수요자 중심 사용자 및 시스템 요구사항 정의 ⦁XD미디어 실감체험 공간 구축 적용을 위한 사업화 모델 설계 ⦁XD미디어 자동 저작 시스템 구조 설계 - 센서 및 AV정보 분석 실감요소 추출 엔진 핵심 기술 개발 ⦁센서기반 실감 환경정보 수집을 위한 Aggregator 연구시제품 개발 ⦁조도, 온/습도, 가속도/각속도 활용 실감효과 정보 센싱을 위한 데이터 생성 및 처리 기술 개발 ⦁대표 영상 추출을 위한 영상 전처리 핵심 기술 개발 ⦁구간 설정을 위한 장면 정보 추출 핵심 기술 개발 ⦁영상기반 프레임 간 이미지 분석을 통한 객체 모션 추적 핵심 기술 개발 ⦁주요객체 특징점 자동 구축을 통한 객체 인식 기술 설계 - 실감효과 매핑모델기반 실감효과 메타데이터 생성엔진 기술 개발 ⦁MPEG-V기반 자동 추출 및 증강 실감효과 모델링 ⦁SEM 포맷기반 실감효과 및 실감요소 정보를 이용한 실감효과 매핑 데이터 모델링 ⦁영상기반 관심객체 중심 모션 실감효과 인식 기술 개발 ⦁오디오정보기반 햅틱 정보 추출을 위한 실감효과 모델링 ⦁실감요소 정보기반 실감효과 분석 기술 설계 ⦁MPEG-V기반 모션, 햅틱 실감효과 분류를 통한 재구성 기술 설계 ⦁센서기반 실감효과 추출을 위한 정보 분석 핵심 기술 개발 - 디바이스 독립적 XD미디어 저작 도구 개발 ⦁XD미디어 저작도구 인터페이스 설계 ⦁미디어기반 XD미디어 저작 인터페이스 개발 ⦁미디어 정보(타임라인, 썸네일, 오디오 파형 등) 표시 및 미디어 컨트롤 기능 개발 ⦁실감효과 편집 및 메타데이터 로딩/파싱/저장/편집 관리 기능 개발 ⦁실감효과 매핑 패턴 관리 및 시뮬레이션 기능 설계 ⦁XD미디어 저작 도구 및 기능 검증을 위한 시험 평가

체계 및 시험 패키지 설계 ⦁실감미디어 테스트베드 장비를 활용한 단위 실감효과 모델의 개발자 시험 패키지 및 테스트 환경 구축 ⦁실감효과 매핑 모델 구축을 위한 실감미디어 시범 적용을 통한 사용자 반응도 및 실감효과 가중치, 패턴 정보 분석 ⦁시뮬레이션 환경에서의 실감체험 사용자 반응 정보 수집 및 사용자 피드백정보 획득 시스템 설계 ⦁실감효과 모델에 대한 사용자 반응의 정량적 지표 정의와 실감효과 매핑을 위한 Weight Factor 도출

2차년도

(2017)

[응용 타켓 시스템 개발] 실감요소 자동 추출을 통한 실감효과 인지 및 SEM 생성 기술 개발 - 시스템 기능 개발 및 연구 시작품 개발 ⦁XD미디어 적용 및 운용을 위한 수용자 중심 사업화 모델 제시 및 기술 요구사항 수렴을 통한 시스템 기능 설계 ⦁실감체험 콘텐츠 시범 적용 및 사용자 피드백 정보 구축을 위한 시뮬레이션 환경 구축 ⦁모션 및 햅틱 실감효과 중심 XD미디어 연구 시제품 개발 - 센서 및 AV정보를 활용한 실감요소 정보 추출 엔진 기술 개발 ⦁조도, 온/습도, GPS, 고도, 압력, 가속도/각속도 센서를 활용한 실감효과정보 센싱 및 유효 데이터 생성 기술 개발 ⦁센서기반 실감 환경정보 수집을 위한 Aggregator 연동 실감카메라 연구시제품 개발 ⦁실감요소 추출 구간 설정을 위한 영상 전처리 및 장면정보 생성 기술 개발 ⦁특징점을 활용한 실감요소 정보 추출을 위한 객체 인식 기술 개발 ⦁다중 모션객체 상황에서 핵심 모션객체 추적 및 모션 데이터 생성 기술 개발 ⦁오디오정보기반 햅틱 데이터 생성 기술 개발 ⦁영상정보 분석을 통한 실감요소 정보 추출 기술 개발 - MPEG-V기반 실감효과 메타데이터(SEM) 생성 기술 개발 ⦁MPEG-V기반 실감효과 자동 추출 및 증강 실감효과 모델링 고도화 ⦁SEM포맷기반 실감요소정보를 이용한 실감효과 매핑 모델 구축 ⦁Sensory Code기반의 실감효과 의미를 표현하기 위한 Abstraction 모델링 정의 ⦁매핑모델기반 관심객체 중심 모션 실감효과 인식 기술 개발 ⦁오디오정보기반 햅틱 정보 추출을 위한 실감효과 인식

기술 개발 ⦁실감요소 객체와 연관정보를 활용한 실감효과 및 속성정보 추출 기술 개발 ⦁MPEG-V기반 모션, 햅틱 실감효과 재구성 및 보정, 매핑 기술 개발 ⦁센서기반 실감효과 매핑을 통한 SEM 변환 기술 개발 - 사용자 친화적 XD미디어 저작 도구 엔진 개발 ⦁MPEG-V기반 단일 실감효과 및 복합 실감효과 제공 저작도구 인터페이스 기능 개발 ⦁미디어기반 실감효과 자동 추출 및 편집 인터페이스 기능 개발 ⦁미디어별 실감효과 매핑을 위한 템플릿 패턴 관리 기능 개발 ⦁미디어 정보(타임라인, 썸네일, 오디오 파형 등) 표시 및 미디어 컨트롤 기능 고도화 ⦁실감효과 재현 디바이스 독립적 XD미디어 시뮬레이터 환경 제공을 위한 시뮬레이션 기능 개발 ⦁시뮬레이션 환경에서의 실감체험 사용자 반응 정보 수집 및 사용자 피드백정보 획득 시스템 개발 ⦁XD미디어 저작 환경 사용자 피드백 정보 분석 및 Weight Factor추출을 통한 실감효과 매핑 모델 적용 기술 개발 - XD미디어 저작 기술 적합성 시험환경 구축 ⦁실감미디어 공동 플랫폼과 연동한 XD미디어 실감효과 매핑 정확도 측정을 위한 사용자 피드백 획득 시험환경 구축 ⦁스마트 디바이스를 활용한 현장 사용자 피드백 정보 획득 및 분석 시스템 개발 ⦁사용자 피드백 정보 분석을 통한 실감효과 매핑 적합성 테스트 시스템 개발 - XD미디어 실감효과 매핑 최적화를 위한 실감미디어 시뮬레이션 및 사용자 피드백 분석 기술 개발 ⦁XD미디어 테스트용 콘텐츠 제작 및 현장 실증 테스트 체험을 통한 사용자 피드백 정보 획득 ⦁XD미디어 실감효과 적합성 요인(사용자, 체험환경, 실감효과 디바이스)별 데이터 추출 및 분석 기술 개발 ⦁XD미디어 실감효과 적합성 요인 상관성 분석을 통한 실감효과 모델 Weight Factor 산정 및 실감효과 매핑 파라미터 조정치 산출 기술 개발

3차년도

(2018)

[상용화 시작품 성능평가 및 검증] XD미디어 자동저작 토탈솔루션 통합 및 상용화 시제품 개발 - XD미디어 자동저작 도구 시스템 통합 및 현장 적용을 통한 상용화 시제품 개발 ⦁XD미디어 자동 저작도구 시스템 통합 기능 시험 ⦁XD미디어 자동 저작도구 시범 적용을 통한 시스템 기능 보완 ⦁XD미디어 자동 저작도구 상용화 시제품 개발 - 센서 및 AV정보를 활용한 실감요소 정보 추출 엔진 기술 개발 ⦁조도, 온/습도, 압력, GPS, 가속도/각속도 센서를 활용한 실감효과정보 센싱 및 유효 데이터 생성 기술 개발 ⦁XD미디어 영상 타임 동기화를 고려한 센싱 데이터 생성 및 전송 기능 적용 실감카메라 기술 개발 ⦁센서기반 실감 환경정보 수집을 위한 Aggregator 연동 실감카메라 상용시제품 개발 ⦁실감요소 추출 구간 설정을 위한 장면 정보 제공 사용자 인터페이스 개발 ⦁사용자 설정구간 내 영상분석 정보를 활용한 실감요소 정보 추출 기술 개발 ⦁프레임 간 영상분석을 통한 카메라 모션정보 추출 기술 개발 ⦁객체와 카메라 이동, 회전 데이터를 결합한 모션정보 추출 및 분석 기술 개발 ⦁오디오 트랙 분리 추출을 통한 특정 객체 중심 햅틱 데이터 생성 기술 개발 - 객체 및 연관정보 분석을 통한 실감효과 인식 및 SEM 생성 기술 개발 ⦁피드백 정보 반영 실감효과 자동 추출 및 증강 실감효과 데이터 모델 구축 ⦁SEM 포맷기반 실감효과 객체 및 실감요소 정보를 이용한 실감효과 매핑 모델 구축 ⦁Sensory Code기반의 실감효과 의미를 표현하기 위한 Abstraction 모델 구축 ⦁주요객체 및 배경정보 협업을 통한 실감효과 분석 기술 개발 ⦁영상기반 객체 중심 모션 실감효과 인식 및 SEM 데이터 매핑 기술 개발 ⦁오디오트랙 분리정보기반 특정 객체 중심 햅틱 실감효과 인식 및 SEM 데이터 매핑 기술 개발 ⦁연관정보 인지기반 모션, 햅틱 실감효과 재구성 및 보정, 매핑 기술 개발 ⦁시공간 영상정보 적응형 실감효과 재구성 기술 개발 ⦁MPEG-V Part3 표준규격 및 MPEG-V 규격 외

실감효과 생성 및 표현 기술 개발 - 디바이스 독립적 XD미디어 저작 도구 기능 개발 ⦁단일 및 복합 실감효과 제공을 위한 XD미디어 자동 저작 및 증강 실감효과 저작 인터페이스 개발 ⦁자동 저작 및 실감효과 사용자 편집 인터페이스 개발 ⦁미디어기반 실감효과 자동 추출 및 편집 기능 통합 개발 ⦁XD미디어 자동 저작도구 현장 적용 및 기능 보완 ⦁XD미디어 시뮬레이션 기능 통합 및 MPEG-V 표준 실감콘텐츠 시뮬레이터 기능 고도화 ⦁XD미디어 저작 환경 피드백 정보 분석 및 Weight Factor 추출을 통한 실감효과 매핑기능 통합 개발 ⦁XD미디어 저작도구 기능 시험 및 성능 개선 ⦁XD미디어 저작도구 상용 시제품 개발 - XD미디어 실감효과 매핑 기술 적합성 시험을 통한 성능 평가 ⦁XD미디어 자동저작 및 시뮬레이션 시제품 기능에 대한 피실험자 체험 테스트 및 사용자 피드백 분석, 실감효과 매핑 파라미터 조정 ⦁실감효과 디바이스기반 사용자 피드백 획득/분석 시스템 최적화 및 실감효과 매핑 파라미터 조정 시뮬레이션 개발 - 실감미디어 기반조성사업단과의 연계 및 수요처 시범 적용을 통한 XD미디어 시범서비스 운영 ⦁XD미디어 자동저작 기술을 활용한 지역 문화관광, 스포츠 산업 연계전시/홍보용 콘텐츠 제작 및 체험 서비스 운영 ⦁실감미디어 기반조성사업단 테스트베드 및 실감미디어 산업 홍보관 시범서비스 운영을 통한 XD미디어 기술 실증 테스트

제2절 연구 범위 및 연구 수행 방법

1. 1차년도(2016년) 연구 개발 내용 및 범위

연구목표

ㅇ [핵심요소 기술 개발]

영상 및 센서 정보를 이용한 실감요소 정보 추출 기술 개발

연구 목표

내용

실감요소 추출 (1) 요구사항 정의 및 시스템 구조 설계 - 수요자 중심 사용자 및 시스템 요구사항 정의 - XD미디어 실감체험 공간 구축 적용을 위한 사업화 모델 설계 - XD미디어 자동 저작 시스템 구조 설계 (2) 센서 및 AV정보 분석 실감요소 추출 엔진 핵심 기술 개발 - 센서기반 실감 환경정보 수집을 위한 Aggregator 연구시제품 개발 - 조도, 온/습도, 가속도/각속도 활용 실감효과 정보 센싱을 위한 데 이터 생성 및 처리 기술 개발 - 대표 영상 추출을 위한 영상 전처리 핵심 기술 개발 - 구간 설정을 위한 장면 정보 추출 핵심 기술 개발 - 영상기반 프레임 간 이미지 분석을 통한 객체 모션 추적 핵심 기술 개발 - 주요객체 특징점 자동 구축을 통한 객체 인식 기술 설계 <실감 요소 추출 엔진 구성도> 실감효과 메타데이터 생성 (1) 실감효과 매핑모델기반 실감효과 메타데이터 생성엔진 기술 개발 - MPEG-V기반 자동 추출 및 증강 실감효과 모델링 - SEM 포맷기반 실감효과 및 실감요소 정보를 이용한 실감효과 매핑 데이터 모델링 - 영상기반 객체 중심 모션 실감효과 인식 기술 개발 - 오디오정보기반 햅틱 정보 추출을 위한 실감효과 모델링

연구 목표

내용

- 실감요소 정보기반 실감효과 분석 기술 설계 - MPEG-V기반 모션, 햅틱 실감효과 분류를 통한 재구성 기술 설계 - 센서기반 실감효과 추출을 위한 정보 분석 핵심 기술 개발 <실감효과 메타데이터 생성 엔진 구성도> XD미디어 저작 및 시뮬레이션 (1) 디바이스 독립적 XD미디어 저작 도구 개발 - XD미디어 저작도구 인터페이스 설계 - 미디어기반 XD미디어 저작 인터페이스 개발 - 미디어 정보(타임라인, 썸네일, 오디오 파형 등) 표시 및 미디어 컨트롤 기능 개발 - 실감효과 편집 및 메타데이터 로딩/파싱/저장/편집 관리 기능 개발 - 실감효과 매핑 패턴 관리 및 시뮬레이션 기능 설계 - XD미디어 저작 도구 및 기능 검증을 위한 시험 평가 체계 및 시험 패키지 설계 - 실감미디어 테스트베드 장비를 활용한 단위 실감효과 모델의 개발자 시험 패키지 및 테스트 환경 구축 - 실감효과 매핑 모델 구축을 위한 실감미디어 시범 적용을 통한 사 용자 반응도 및 실감효과 가중치, 패턴 정보 분석 - 시뮬레이션 환경에서의 실감체험 사용자 반응 정보 수집 및 사용자 피드백정보 획득 시스템 설계 - 실감효과 모델에 대한 사용자 반응의 정량적 지표 정의와 실감효과 매핑을 위한 Weight Factor 도출 <XD미디어 저작 및 시뮬레이션 구성도>

2. 연구 개발 추진 체계 및 방법

2-1. 연구 개발 추진 체계

가. 참여기관, 관련 산업계 및 협력기관, 학계와의 유기적인 협력체계를 통한 기술 확보 및 사업화 추진 나. 다양한 서비스를 제공할 수 있는 생태계를 구축을 통해 하드웨어 제조 우위의 국내 역량을 소프트웨어 역량 강화로 연계될 수 있도록 연구소, 산업체, 대학이 참여하는 종합적인 기술개발 체계를 구축하여 시너지 효과 극대화 - 시스템 설계는 주관기관과 참여기관이 정부정책, 시장 현황, 관련기관의 요구사항 등에 근간하여 진행하며, 기관별 특성화된 분야에 대한 구현은 별도로 진행하나, 개발완료시 주관기관과 참여기관이 협력하여 통합 - 대학에서는 관련 분야에 대한 실험적인 기술에 대한 선행 연구로 타당성을 검증하고 성능을 향상시키는 방법에 대한 연구를 수행하며 이를 개발 결과물에 적용하여 결과물의 질을 한 차원 높임 <연구개발 추진체계 및 전략> 다. 산·학·연의 유기적 협력에 의해 참여기관이 기보유하고 있는 전문 기술과 현장 경험을 최대한 활용하여 원천 기술 조기 확보 및 상용화 추진 - 현장 애로기술 및 요구사항에 따라 시스템 적용 환경에 적합한 기술을 우선적으로 개발하고, 연구개발 결과물의 적용을 주도할 기업과 긴밀히 협조하여 신뢰성 인증 및 판로 확보, 마케팅 전략 등 사업화 전략 수립을 통한 상용화 지원 - 개발된 제품의 판매 및 보급을 위한 인증 기준안 마련 및 다양한 도메인 적용을 위한 XD미디어 자동저작 기술을 통한 실감콘텐츠의 운용방안 추진 - 실감미디어 기반조성사업단과의 연계를 통하여 산업체 요구사항 수렴, 기술 테스트 및 시험 환경 확보, 실증 시범 서비스 운영 및 공공분야 홍보의 일원화 추진 - 과제 종료 후 원천기술 활용 정부/민간 수탁 사업화 연계 과제 추진

<사업화 전략> 라. 박물관이나 체험관 운영을 주도하고 있는 (주)믹스 등 산업체 (주)티디엘과의 기술 협력과 동신대학교 산학협력단 및 인디애나대학교와의 국제공동연구를 통한 산학연 연계체계 구축을 통한 XD미디어 핵심 기술을 개발하여 실감콘텐츠 산업 활성화를 목표로 구성 <당해년도 연구개발 추진체계> - 기술 개발 및 콘텐츠 저작, 유통, 체험관 구축 등의 기술력과 인프라를 보유하고 있는 국내 최고의 기업 및 기술 전문 기관, 실감미디어 기반조성사업단 협의체와 연계된 산학협력단 및 세계 최고 수준의 영상 시각 처리 지능화 알고리즘 등 관련 기초 기술 연구를 위한 대학이 유기적으로 연계된 연구개발 체계를 구성 - 현장 운용 및 유통 경험이 많은 기업을 중심으로 한 실제적 요구사항과 제약사항을 고려하여 연구개발 전략을 수립하고 추진