R&D연구결과보고서

(1)

대학 ICT 연구센터육성 지원사업

년도 연차 보고서 2015

2015. 12.

사 업 명 대학 ICT 연구센터육성지원사업

주관기관명 동국대학교

연구센터명 NUI/NUX 플랫폼 연구센터

연구과제명 소환현실기반 콘텐츠 제작을 위한 실감형

인터랙션 NUI/NUX 플랫폼 기술 개발 연구

(2)

(3)

센터개요

1. ··· 1 총괄실적요약

2. ··· 4

계획 대비 달성도 .

Ⅰ ··· 16

연구개발 목표 및 내용

1. ··· 16 가 연구의 필요성

. ··· 16 나 최종목표

. ··· 17 다

. 세부과제별 연구내용 ··· 18

연차별 추진계획 및 실적

2. ··· 19 가 총괄 추진계획 및 내용

. ··· 19 나 사업수행 산출성과

. ··· 23 다 연도별 세부목표 달성내용 및 자체평가

. , ··· 37

연구개발 결과

3. ··· 47

추진전략

4. ··· 67 가 수요자 의견 반영을 위하여 추진한 전략

. ··· 67 나 자체개선 시스템

. ··· 69 다 연구추진 체계

. ··· 72 o 연구조직의 구성 센터장의 센터운영 실적 추진계체 및 전략 기술축적 및 , , ,

관리 자체평가 및 인센티브지급 과년도 실적평가 의견개선

Know-how , ,

사업수행실적 .

Ⅱ ··· 81

센터에 대한 대학의 행정 재정 인프라 지원실적

1. , , ··· 81

가 민간부담금 및 연구인프라 구축

. ··· 81 나 주관대학의 행정적 재정적 지원

. , ··· 83 참여기업과의 실질적인 협력현황 인력 장비 기술 등

2. ( , , ) ··· 83

융합 컨소시엄 구성 및 운영

3. ··· 84 무한상상공간 조성 및 운영

4. ··· 84 포럼 및 성과 홍보

5. ITRC ··· 85

(4)

연구개발 성과 .

Ⅲ ··· 93

성과총괄

1. ··· 93 가 성과목표 달성 추진전략

. ··· 93 나 성과지표 실적 총괄 . ( ) ··· 94

세부연구실적

2. ··· 94 가 기술이전 실적

. ··· 94 나 사업화 실적

. ··· 99 다 특허 실적

. ··· 103 라 논문 실적

. ··· 110 마 표준화 실적

. ··· 125 바 시제품 실적

. ··· 138

사 등록 실적

. S/W ··· 130 아 산학연 협동연구

. ··· 132 자 국제 공동연구

. ··· 138 차

. 중소 중견 기업 대학 공동연구실적 ( ) - ··· 144 카

. 창의 자율과제 운영실적 ․ ··· 144 타 산업체 연구비수주

. 실적 ··· 146 파 기타 자체지표 실적

. ··· 146

인력양성 성과 .

Ⅳ ··· 148

인력양성 추진전략 및 방안

1. ··· 148 가 우수인재로 육성하기 위한 전주기적 관리시스템

. ··· 148

나 산업체와의 프로젝트 참여 멘토링 고용연계 전략

. , , ··· 151

인력양성 실적

2. ··· 153 가 인력구성 및 현황

. ··· 153 나 참여인력 현황

. ··· 154 다 외국 연구자 유치실적

. ··· 160 라 해외파견 실적

. ··· 160 마 인턴쉽 실적

. ··· 162 바 배출인력 . ··· 164

사 기업가정신교육 도입 및 운영

. ··· 168 아 기술창업화 실적

. ··· 169

배출인력에 대한 기업체 만족도

3. ··· 169

(5)

예산집행실적 .

Ⅴ ··· 172

당해연도 사업비 비목별 총괄 1. ··· 172

당해연도 사업비 사용실적 1. ··· 173

연도별 사업비 사용실적 2. ··· 174

향후 계획 요약 . ( ) Ⅵ ··· 176

연구계획 1. ··· 176

인력양성계획 2. ··· 180

기대효과 . Ⅶ ··· 181

연구결과의 산업적 경제적 기여도 1. / ··· 181

연구결과의 기술적 기여도 2. ··· 182

연구결과의 활용가능성 3. ··· 183

붙임 자율성과 목표대비 실적 : ··· 185

부록 ··· 186

별첨 1. 논문 증빙 자료 ··· 187

별첨 2. 대학원 교과과정 증빙자료 ··· 193

별첨 3. 자체 보안관리 진단표 ··· 195

(6)

(7)

(8)

요 약 문

〈〉

연구목표 국문_ 자내외 (500 )

⚫소환현실기반 콘텐츠를 제작하기 위해 실감형 인터랙션 NUI 요소 기술을 반영 한 NUI/NUX 미들웨어 프레임워크를 연구 개발하여 소환현실 응용서비스를 실 제 환경에서 활용할 수 있는 선도적 기술력을 축적하고 이론과 실무 능력을 겸, 비한 실감형 인터랙션 NUI 플랫폼의 글로벌 고급 인재를 양성함.

제 세부과제 멀티모달 실감형 인터랙션 요소 기술 연구

- [ 1 ] NUI

제 세부과제 실감형 인터랙션 미들웨어 프레임워크 기술 연구

- [ 2 ] NUI

제 세부과제 실감형 인터랙션 기술을 활용한 소환현실 응용서비스 연구

- [ 3 ] NUI

제 세부과제 기반 공연 전시용 실감형 인터랙션 기술 개발 - [ 4 ] NUI/NUX /

⚫경제적 사회적 파급효과가 매우 클 것으로 예상되는 전시나 게임 같은 소환현실 / 응용 서비스를 시범 개발함.

영문 Purpose_

자내외 (500 )

⚫We research and develop NUI/NUX middleware framework reflecting immersive interaction NUI element technology for producing invoked reality-based contents. And educate global advanced leaders related to immersive interaction NUI platform with such theory and practical technologies.

- [1st detailed project] Technology research of Multimodal Immersive Inte raction NUI components

- [2nd detailed project] Technology research of Immersive Interaction NUI Middleware Framework

- [3rd detailed project] Technology research of Invoked Reality Application Services using Immersive Interaction NUI engine

- [4th detailed project] Development of NUI/NUX based immersive interacti on technology for performance/exhibition

⚫We develop invoked reality application services including exhibition or game contents which expected to happen ripple effect about economic and social.

연구내용 자내외 (1000 )

⚫^{본 사업의}NUI/NUX 플랫폼 기술 개발 과제를 성공적으로 수행하고 고급 전문 인력 양성이라는 목표를 달성하기 위하여 산업체 수요를 반영한 원천 기술 연, 구와 특허 발굴 학제간 융합연구 그리고 미국 플로리다 대학교 중국 북방 대, , , 학교 중국 마카오 대학교 아우구스브르크 대학교 독일 프라운호퍼 연구소 등 , , , 유수의 해외 연구소와 대학과의 공동 교육과 공동 연구를 수행함.

⚫본 과제의 연구 내용을 다음과 같이 개의 세부 과제로 나누고 세부 과제별로 3 , 구성한 세부 연구항목을 설정하여 연구 개발을 추진함.

멀티모달 실감형 인터랙션 요소 기술 개발

o NUI

중거리에서 동작하는 몸 동작 인식 조명 표정 포즈 변화에 강인한 얼굴 성

- , / / ,

별 및 나이 인식 맨손 및 손가락 동작인식 기술 중거리, , (10m 이상 에서 동) 작하는 음성인식 인터랙션 기술 실공간 특정 객체 인식과 추적 기술 등을 , 연구함 이 요소 기술들을 사용할 있는 오픈 . API 플랫폼 설계 및 개발. 실감형 인터랙션 미들웨어 프레임워크 기술

o NUI

실시간 다중 사용자 추적 및 센서간 연동 기술 다중 기기간 정보 연동

- , NUI

및 협업 기술 인터랙션 동적 공간의 구성 및 관리 기술 다양한 , , NUI 비정 형 데이터 특성을 고려한 클라우드 컴퓨팅 기반의 대용량 저장 관리 기술, 기존 애플리케이션과의 연동을 위한 UI 명령어 자동변환 기술 등을 연구개 발함.

실감형 인터랙션 기술을 활용한 소환현실 응용 서비스 연구

o NUI

공간 구성 및 터치 인터랙션 기술 사용자 추적기반 정보 표현 기술 실

- UI , ,

시간 실세계 영상 정합 및 보정 표현 기술 사용자 동선추적 지향성 음향 , 제어 기술 사용자 위치기반 다중 디스플레이 몰입정보 표현 기술 등을 연, 구하고 이를 통합하여 소환현실 응용 서비스의 시나리오 기반 NUI 요소기 술 연계 서비스를 개발함.

(9)

기대효과 자내외 (500 )

응용분야 및 (

활용범위 포함)

⚫ 기술 경제 산업적 파급 효과/ /

소환현실을 위한 실감형 인터랙션 기술은 스마트 공간을 구성하는 차세대

o NUI

기술로 다양한 산업분야에서도 필요성을 느끼고 큰 관심을 가지고 있으나 고, 비용 고가격과 원가 상승을 우려해 기술 개발에 적극적이지는 않으므로 역혁, 신을 추구하여 낮은 비용으로 시스템 개발과 상품화 기술 이전하여 상품의 부 가가치를 높이고 제품의 경쟁력을 강화함.

본 센터 사업의 중소형인 참여 산업체들과 연계한 기술 이전 인력 공급 상용

o , ,

화 등을 통해 중소기업의 기술력과 경쟁력을 확대하여 산업체의 발전 모델로 모범 사례가 될 것임.

국가사회 전반에 의 창조적 활용을 촉진하고 산업의 수요

o NUI/NUX , NUI/NUX

기반 창출을 통해 창조경제 창조사회 구현에 한 몫을 할 것임.

⚫ 인재 양성 파급 효과

관련 해외 교육 연구 기관과의 공동 연구 국제학회 발표 전시회 참여 등을

o , ,

통해 NUI/NUX 기술 개발을 추진하여 창의력과 실무 경험을 갖춘 융합형 고급 인력 양성.

본 센터는 매년 약 명의 전문 인력을 양성하여 기반 사

o 20 NUI/NUX NUI/NUX

업분야에서 주도적인 역할을 할 것으로 예상함.

글로벌 경쟁력 강화를 위한 핵심기술 지원과 국내 중소기업들이 공동으

o R&D

로 이용할 수 있는 NUI/NUX 시험환경 인프라 확충하고 고도화함.

산업체 진출 후도 지속적으로 기술 개발 활동을 수행할 수 있는 다양한 전문 o

역량을 보유한 고급 전문인력을 배출하여 산업체 전반에 미래지향적인 기술개 발 및 연구 모델 전파함.

실무 위주의 대학원 교육과정을 통하여 국제적 경쟁력을 보장하는 선진형 교 o

육과정모델을 제시함.

중심어 국문_

소환현실 응용 서비스 다중 사용자 실시간 추적 실감형 인터랙션 내추럴 사용자 경험 NUX 기반 NUI 미들웨어

프레임워크

다중 센서 기반 인터랙티브 환경

영문 Keywords_

Invoked Reality Application Services

Real-Time Tracking of Multiple People

Immersive Interaction NUX (Natural User

Experience)

NUX based NUI(Natural User Interface) Middleware Framework

Multiple Sensor based Interactive Environment

(10)

총괄실적요약

주관기관의 혁신성과

□

구

분 사업 시행前 사업 시행後

연 구

국내학술대회 중심의 학술

⚫ 활동

한정된 재원아래서 활발한 학 o

술대회나 논문 개재에 제약이 존재.

단일 연구실 중심의 연구

⚫

단일 연구실이 연구의 주체가 o

되어 소규모 연구 진행.

소규모 인프라로 타 연구실 o

간의 교류가 적음.

이론 중심적 연구

⚫

새로운 이론을 위한 연구가 o

중점이 되었고 논문 위주의 , 학술 연구 분위기

⇨

국제 경쟁력 강화를 위한 해외 학술 활동

⚫

풍부한 재원의 확보로 인한 국제 학술대회로 무대를 이 o

동하여 국제적 연구의 흐름을 파악하고 본 센터의 연구 에 반영할 기회 획득.

타학과 및 타대학 간의 협업 및 정보교류 세미나( /

⚫

워크샵 공동연구/ )

다른 연구실의 연구 주제와 내용을 공유함으로 넓은 연 o

구 시야를 확보하고 각 연구 결과를 융합하여 더 개선 된 기술 개발에 기여.

연구실 간의 공동연구가 진행됨에 따라서 대규모 연구 o

프로젝트를 수행할 기회 획득.

국제 공동 연구 및 워크샵 참여

⚫

풍부한 재원을 확보함에 따라 외국 연구기관과 학술 교 o

류 및 공동연구를 진행.

주요 연구 대상을 주제로 개최되는 국제규모의 세미나

o ,

워크샵에 참석하여 새로운 정보와 시장의 흐름을 파악.

지도 교수와 산학 협력 교수의 지도

⚫

센터내 목표에 맞추어 이론적 내용을 기반하여 실용적 o

인 연구 주제로 중심이동.

산 학 연 연 계

학문적 연구 중심

⚫

o 기업들과의 다양한 협동 연구를 수행할 기회가 부족

o 각 연구실의 정형화된 주제에 대 한 연구만을 수행하여 실무에 응 용될 수 있는 연구가 아닌 이론 중심의 연구를 수행

기업과의 교류 미비

⚫

o 각 분야의 전문가 초청을 통한 교 육의 기회가 부족

⇨

⚫산학 공동 연구의 활성화

o 여러 기업들과의 연계로 다수의 협동 연구 기회 마련 융합 실용화 연구의 활성화

⚫

o 특정 분야에 국한된 연구가 아닌 다양한 분야의 연구 주제와 융 합하여 상용화를 위한 실용적인 연구를 수행함으로써 기존의 연 구와 차별화된 경쟁력을 갖춤

기업계 전문가들과 밀접한 교류 활성화

⚫

o 다양한 기업의 전문가 초청을 통해 실무에 필요한 지식과 경험 을 축적하고 특정 분야의 최신 산업 동향을 파악,

국제시장의 기술이전 기회 확보

⚫

지속적인 사업확장을 위한 계획 수립 및 중국 기업으로 o

의 기술이전 수행

교 육

⚫이론 중심의 커리큘럼

o 이론 중심의 교육과정 구성 및 교 수의 강의법에 의존성을 보임.

⇨

⚫실무 중심 커리큘럼

o 산학공동 프로젝트 프로젝트를 위한 연구를 수행하기 위해서: , 실제 기업 내에서 프로젝트를 진행하는 과정을 학습하고 학습한 과정을 센터내 연구 주제에 반영함으로써 실무 능력 향상.

o 전문 인턴쉽 석사과정학생들을 기업에 인턴으로 파견하여 학: 생에게 현장 중심의 실무 능력을 배양하여 취업 기회를 제공.

(11)

⚫다양한 교육의 기회 부족 o 부족한 재원으로 인한 다양한 교

육 미비

⚫특허 창출의 기회 부족

o 논문 중심의 연구 분위기로 인해, 연구자들이 특허에 대한 중요성 인지부족 및 특허의 작성 요령이 부족함.

⚫연구 결과의 상업화 부재

o 기존의 연구의 결과물로 자체적인 결과 확인 및 이론 검증을 위한 프로토타입 수준의 결과물을 도 출.

o 기업체 맞춤형 프로젝트 기업체가 필요로 하는 연구 개발 주: 제를 가지고 기업에서 바로 활용할 수 있도록 결과물을 산출하 는 기업체 맞춤 인재 양성.

o 센터 내 연구 주제와 관련한 과목 개설 : 센터내 연구 주제와 밀접한 관련이 있는 과목들을 신설함으로써 연구와 관련된 기초 및 심화 지식을 학생들에게 배양하고 연구 주제와 관련된 기술 개발에 기여할 수 있도록 장려.

⚫특강을 통한 지식 보유 해당

o 분야의 권위자의 세미나를 통해 세계적인 흐름 파악과 문 제 진단을 하고 최신 연구 동향 및 기술 흐름을 연구에 반영, .

⚫맞춤형 슈퍼특허 육성

o 소프트웨어 및 기술 특허 출원 특강 논문과 특허의 차이를 강: 의함에 따라 특허의 중요도를 이해하고 특허의 작성 요령과 특 허 문서를 파악하는 방법을 전수

o 우수 기술 자체 선별 특허가 바로 기술이전이 안되더라도 우: 수한 특허에 대한 보상에 따른 특허 육성 장려.

⚫상품화 사업화 기회 창출 연구 결과의 상품화

o : 연구 프로젝트의 결과물을 기반으 로 실제 상용화가 가능할 정도의 높은 수준의 시제품 개발로 인한 실무능력 양성.

기술전시를 통한 기술이전 기회 창출 부산 에

o : Bexco

서 개발된 시제품 기술을 전시함으로써 외부 기업과의 , 연결기회 창출

기 업 가 정 신

전공분야에 국한된 연구 및

⚫ 교육

학문과 기술적인 연구에 편중 o

하여 사업화를 위한 창의성 을 성장시키는 기회 부족

⇨

기업가 정신 및 비즈니스 마인드 함양

⚫

사업화로 연결될 수 있도록 수요자의 요구를 충족할 수 o

있는 사고 능력 향상 비즈니스 트렌드 파악

⚫

비즈니스 영역 이외의 분야 순수예술 순수과학 엔지니

o ( , ,

어링 등 에 맞춤화된 다양한 프로그램 경험) . 기업에 대한 이해 증진

⚫

비즈니스 컨셉 기술서 및 사업계획서 작성 실습을 통해 o

예비경영인으로서의 실무 능력 향상 참여인력 간의 역할분담을 통한 협력 활동 o

인 프 라

자체 회의 장소 부재

⚫

교내 인트라넷을 통하여 직접 o

대관 신청 과정 필요

고가 기자재 활용 및 보관

⚫

장소 부족

광범위한 공간을 필요로 하는 o

실험시 연구실에선 컴퓨터와 , 책상으로 인하여 공간이 협 소하였기에 실험에 어려움을 겪었음

구입한 기자재를 안전하게 보 o

관하기 위한 장소부족

⇨

연구센터 회의실 실험실 개방/

⚫ 운영

참여대학원생과 참여교수가 모여 아이디어를 공유하고 o

회의를 진행할 수 있는 회의실과 소환현실 구축을 위한 실험실을 운영

최신 기자재 보유

⚫

o 신기술 동향에 따라 최신 기자재를 구입하여 참여대학원생의 연 구 지원

o 휴대용 투명스크린 기반 홀로그래픽 장치 단초점 빔 프로젝터, , 프로젝터 기반 대형 스크린, RGB-D 센서 소환현실 공간 구축, 을 위한 플랫폼 등

⚫무한상상공간 운영

학생들이 협력하여 아이디어를 만들어 낼 수 있는 창의 o

적 토론실과 개인적 또는 소규모로 창의적 아이디어를 만들어 낼 수 있는 창의적 상상실 운영

(12)

추진실적 요약 ( )

□

주요항목 주요실적

추진실적 계획달성

( )

⚫연구목표 달성 사

업 연 도

목표 연구내용

연구실적 및 달성도 실적 항목

건수 실적 ( /

목표)

달성율

2 0 1 3

NUI 요소 기술 연구

제1 세부 과제

- 몸동작 인터랙션 기술 - 음성인식 인터랙션 기술 - 얼굴인식 인터랙션 기술 - 손동작인식 인터랙션 기술 - 객체인식 추적 기술

국내외

특허출원 7/6 116%

특허등록 국내외 0/0 0%

등록

SW 11/2 550%

기술이전 1/0 100%

제2 세부 과제

- 실시간 다중 사용자 추적 및 센서간 연동 기술

- 다중 기기간 NUI 정보 연동 및 협업 기술

- 인터랙션 동적 구성 및 대용량 저장 기술

표준화 기고 2/0 200%

표준화

채택 승인 / 0/0 0%

논문

SCI(E) 6/6 100%

제3 세부 과제

- 공간 NUI 기술 - 다중 사용자 추적 기술 - 사용자 동선추적 기술 - 유니버셜 디자인 기반 UX

연구

- 다중 디스플레이 기술 연구

기타 저널 논문 3/0 300%

컨퍼런스 논문 32/0 3200%

배출인력 석사 12/15 80%

배출인력 박사 4/2 200%

사 업 연 도

목표 연구내용

건수 실적 ( /

목표)

달성율

2 0 1 4

NUI 미들 웨어 프레임

워크 기술 연구

제1 세부 과제

- NUI 요소기술별 실시간 병렬 처리 기술

- NUI 요소기술별 오픈 API 컴포넌트 개발

- 실공간의 객체들에 대한 실시간인식 및 추적알고리즘

특허출원 국내외 20/12 166%

국내외

특허등록 5/6 83%

등록

SW 11/4 275%

기술이전 18/1 1800%

제2 세부 과제

- NUI 미들웨어를 위한 대용량 정보처리 및 저장 관리 기술 - 다중 기기 연동을 통한

인터랙션 동적공간구성 기술 - 기존 기술과 NUI 기술 간

연동과 호환 정보공유 기술 , - 소환현실 실험 환경 구축을

위한 시뮬레이터 연구

표준화 기고 9/1 900%

채택 승인 표준화 / 0/0 0%

논문

SCI(E) 24/10 240%

기타 저널 논문 7/4 175%

제3 세부 과제

- NUI 미들웨어 프레임워크를 통한 NUI 표현 기술

- 소환현실 응용서비스를 위한 몰입정보 표현 기술

- NUI 요소기술 기반 소환현실 응용서비스 개발

- 사용자 주변 환경에 따른 최적화된 음향 재현 기술

컨퍼런스 논문 39/20 195%

배출인력 석사 13/13 100%

배출인력 박사 3/2 150%

사 업 연 도

목표 연구내용

건수 실적 ( /

목표)

달성율

2 0 1 5

NUI 통합 플랫폼

기술 연구

제1 세부 과제

- NUI 요소 기술 업그레이드 - NUI 요소 기술별 패턴 등록기

개발 연구

- NUI 요소 기술별 운용 도구

국내외

특허출원 26/20 130%

특허등록 국내외 11/10 110%

등록

SW 11/12 92%

(13)

o 본 연구센터는 NUI/NUX 요소 기술 개발에 필요한 기술개발 및 인력양성을 목표로 운영됨. 사업기간 중 2013년도에는 국내특허 출원(116%), SW등록(550%), 기술이 전(100%), 표준화기고(200%) 등, 그리고 2014년 국내특허 출원(166%), SW등록 기술이전 표준화기고 등 각종 분야에서 당초 목표실적을 (275%), (1800%), (900%)

초과달성하는 성과를 보임. 2015년도에는 국내 특허출원(130%), 국내 특허등록 기술이전 건수 기술이전료 등 각종 분야에서 당초 목표실 (110%), (250%), (212%)

적을 초과달성하는 성과를 보임.

o 기술개발과정에서 발생한 연구 결과물들을 정리하여 2013년 컨퍼런스논문(3200%), 기타저널 논문(300%), 국제저명논문(SCI(E) )(100%) 급 그리고 2014년 컨퍼런스논문

기타저널 논문 국제저명논문 급 에 발표하였음

(195%), (175%), (SCI(E) )(240%) . 2015 년도에는 국제저명논문 (SCI(E) )(85%), 급 기타저널논문(229%), 컨퍼런스논문 등의 실적을 달성하였음 차년도는 국제저명 논문지에 게재하는 논문의 질

(164%) .

적 향상을 도모함.

o 배출인력 항목에서는 학위과정별로 2013년에는 석사인력은 80%, 박사인력은 년에는 석사인력 박사인력은 의 목표를 달성하였음

200%, 2014 100%, 150% . 2015

년에는 석사인력 157%, 박사인력은 300%의 목표를 초과달성하였음.

⚫연구 추진전략

o 본 NUI/NUX플랫폼 연구센터는 소환현실기반 콘텐츠를 제작하기 위해 실감형 인터 랙션 NUI요소 기술을 반영한 NUI/NUX 미들웨어 프레임워크를 연구 개발하여 소환 현실 응용서비스를 실제 환경에서 활용할 수 있는 선도적 기술력을 축적하고 이론, 과 실무 능력을 겸비한 실감형 인터랙션 NUI 플랫폼의 글로벌 고급인재양성을 목표 로 함.

o 본 센터의 목표를 달성하기 위하여 다음과 같이 세 개의 세부과제로 나누어 본 연, 구를 진행함.

제 세부과제 멀티모달 실감형 인터랙션 요소 기술 연구

[ 1 ] NUI

제 세부과제 실감형 인터랙션 미들웨어 프레임워크 기술 연구

[ 2 ] NUI

제 세부과제 실감형 인터랙션 기술을 활용한 소환현실 응용서비스 연구

[ 3 ] NUI

제 세부과제 기반 공연 전시용 실감형 인터랙션 기술 개발 [ 4 ] NUI/NUX /

o NUI/NUX플랫폼 연구센터는 소환현실기반 콘텐츠를 위한 NUI 요소기술과 NUI/NUX

개발 연구

- 오픈 API 컴포넌트 구현 기술이전 건수 25/10 250%

제2 세부 과제

- 다중 사용자들이 다중 기기를 연동하여 협업할 수 있는 실 감형 인터랙션 동적 공간 구 성 기술 개발

- 다중 기기간의 안전한 NUI/NUX 데이터 처리 기술 연구

- 여러 NUI 애플리케이션 간의 연동과 호환 정보 공유를 위 , 한 프레임워크 개발

기술이전료 254,44 6/120,0

천원

00 212%

표준화 기고 0/3 0%

표준화

채택 승인 / 0/0 0%

논문

SCI(E) 17/20 85%

기타 저널

논문 16/7 229%

제3 세부 과제

- 실감형 인터랙션 NUI 표현 기 술 개발

- 소환현실 응용 서비스를 위한 몰입정보 표현 기술 개발 - 시나리오 기반 NUI 요소기술

연계 서비스를 위한 저작도구 를 활용한 소환현실 응용 서비 스 개발

컨퍼런스 논문 41/25 164%

배출인력 석사 22/14 157%

배출인력 박사 6/2 300%

제4 세부 과제

- NUI/NUX 기반 공연 전시용 인

터랙티브 기술 연구

(14)

미들웨어 프레임워크의 핵심기술 개발 및 인력양성을 목표로 하고 있음 본 센터의 . 핵심기술을 개발하기 위해 NUI 요소기술, NUI 미들웨어 기술, NUI/NUX 플랫폼 기 술의 단계로 이어지는 단계별 실행 계획을 수립하고 이를 실천하고 있음 센터의 3 , . 비전을 효율적으로 달성하기 위해 각 분야의 국내 전문 교수님들로 팀을 구성하여 운영하고 있음.

o 산업체와의 교류를 위해 참여기업 연구원들과 대학 연구원들이 참여하는 산학협력 워크샵을 개최하여 기술교류 및 연구개발 현황 분석을 할 수 있도록 하였음 산업, . 체 맞춤형 교육 실시를 위하여 대학원의 교과과정에 산학협력관련 교과목을 개설하 여 시행하였음 또한 산학협력공동연구의 활성화를 위해 센터소속 연구원들이 추가. 적으로 산학공동연구를 수행할 수 있도록 추진하였음 최신 해외 기술동향 파악 기. 회를 제공하기 위해 국제학술발표를 적극 지원하였으며 또한 해외 공동연구 기관, , 의 교수 연구원들을 모시고 공동세미나를 개최하고 공동연구를 진행하였음, .

⚫ 인프라 구축

o 연구센터 공간 및 민간부담금 확보 주관대학( ) (단위 천원: , ㎡)

구분 계획 실적

민간부담금

차년도

1 (‘13) 87,000 1차년도 (‘13) 87,000 차년도

2 (‘14) 95,000 2차년도 (‘14) 95,000 차년도

3 (‘15) 95,000 3차년도 (‘15) 95,000 센터장실 행정실, ,

연구공간 무한상상공간,

차년도

1 (‘13) 828.48 1차년도 (‘13) 924.17 차년도

2 (‘14) 925.76 2차년도 (‘14) 1046.99 차년도

3 (‘15) 925.76 3차년도 (‘15) 1046.99 o 연구장비 확보

구분 2013년 12월 2014년 12월 2015년 12월 주요

연구장비

수량 44 17 20

금액 58,664,000 31,431,000 36,136,000

추진실적 연구성과

( )

⚫ 기술이전 실적

사업년도 기술이전 건수 실시기업 수 기술료

차년도

1 (’13) 1 1 10,000,000

차년도

2 (’14) 18 14 248,877,000

차년도

3 (‘15) 25 17 254,446,000

합계 44 32 513,323,000

⚫ 특허 실적 사업

연도 구분 국내특허 국제특허 합계

출원 등록 소계 출원 등록 소계 출원 등록 합계 차

1 년도 (‘13)

주관연구기관

단독 및 공동 6 0 6 0 0 0 6 0 6

참여기관 단독 1 0　 1 0 0　 0 1 0　 1

소계 7 0 7 0 0 0 7 0 7

차 2 년도 (‘14)

주관연구기관

단독 및 공동 9 5 14 2 0 2 11 5 16

참여기관 단독 9 0 9 0 0 0 9 0 9

소계 18 5 23 2 0 2 20 5 25

차 3 년도 (‘15)

주관연구기관 단독 및 공동 참여기관 단독

소계

합계

주관연구기관 단독 및 공동 참여기관 단독

소계

(15)

⚫ 논문 실적

표준화 실적

⚫

사업연도 국내 국제 합계

제출 채택 승인( ) 제출 채택 승인( ) 제출 채택 승인( ) 차년도

1 (‘13) 0 0 2 0 2 0

차년도

2 (‘14) 0 0 9 0 9 0

차년도

3 (‘15) 0 0 0 0 0 0

합계 0 0 11 0 11 0

⚫

시제품 실적

사업연도 1차년도(’13) 2차년도(’14) 3차년도(’15) 합계

시제품 건수 3 5 5 13

실적

⚫ S/W 사업

연도 구분

급

SCI 기타저널 컨퍼런스 발표

합계 (A+B+

C) SCI/

SCIE (A)

Impact Factor

합

국내 국제 LNCS/

LNAI 소계

(B) 국내 국제 소계 (C)

차 1 년도 (’13)

단독 ITRC

공동 ACK 논문

11 7.84 1 0 0 1 2 6 8 20

가 없는 ACK

논문

46 60.50 3 4 0 7 2 11 13 66

소계

70 82.51 5 4 5 14 8 45 53 137

차 3 년도 (’15)

단독 ITRC

5 4 8 17 36 48 84 101 공동 ACK 논문 17

14.71

1 3 1 5 10 15 25 30

가 없는 ACK

논문 94

113.88

6 8 0 14 10 21 31 45 합계 141

161.65

12 15 9 36 56 84 140 320

사업연도 S/W 개발실적

차년도 1

(’13)

주관 연구기관 단독 및 공동 소유 10건

참여기관 단독 소유 1건

차년도 2

(’14)

차년도 3

(’15)

합계 주관 연구기관 단독 및 공동 소유 21건

(16)

추진실적 인력양성

( )

인력양성 전략

⚫

o 우수 인력 양성을 위한 단계 추진 계획을 다음과 같이 수립하여 추진하였음5 .

우수 인력 양성을 위한 전주기적 인재양성전략

< >

인력양성 실적

⚫

구분 1차년도(‘13) 2차년도(‘14) 3차년도(‘15) 합계

배 출 인 원

석사

남 여 소계

박사

남 여 소계 소계

남 여 합계

향후계획 연구계획

( )

사업

연도 목표 연구내용 연구실적 및 달성도

차 4 년도 (‘16)

소환현실 응용 서비스

기술 연구

⚫

NUI 요소 기술 업그레이드

⚫멀티모달 실감형 인터랙션

NUI 를 위한 요소기술 오 픈 API 컴포넌트의 안정화 최적화 및 통합시험 ,

⚫

NUI 플랫폼 검증을 위한 통합 테스트 베드 구축

⚫실감형 소환현실 응용서비스 개발을 통한

NUI 통합 플랫폼 검증과 시현

⚫실감형 소환현실 응용서비스 개발을 통한

NUI 통합 플랫폼 검증과 시현

⚫다중 기기에서의 인증 암호화 기술을 수반하는

, 보안 프레임워크

NUI/NUX

§ 국내외 특허 출원 등록 ( / ) : 16/7

§ SW : 13

§ 기술이전 건수 금액 ( , ) :12 건

총액 만원 이상

( 17,800 )

§ 표준화 기고 : 1

§ SCI(E) 논문 : 18

§ 기타 저널 논문: 7

§ 컨퍼런스 논문: 30

§ 배출인력 석 박사 ( / ) : 15/3

(17)

향후계획 인력양성 (

계획)

분야 구분 2016 합계

요소 기술

NUI 석사 5 10

박사 1 2

미들웨어 및 프레임워크

NUI 석사 5 10

박사 1 2

응용서비스 개발

NUI/NUX 석사 5 9

박사 1 1

합계 석사 15 29

박사 3 5

기대효과

분야 내용

기술/

경제/

산업적 파급 효과

⚫소환현실을 위한 실감형 인터랙션

NUI 기술은 스마트 공간을 구성하는 차세대 기 술로 다양한 산업분야에서도 필요성을 느끼고 큰 관심을 가지고 있으나 고비용 , 고가격과 원가 상승을 우려해 기술 개발에 적극적이지는 않으므로 역혁신을 추구 , 하여 낮은 비용으로 시스템 개발과 상품화 기술 이전하여 상품의 부가가치를 높 이고 제품의 경쟁력을 강화함.

⚫본 센터 사업의 중소형인 참여 산업체들과 연계한 기술 이전 인력 공급 상용화

, , 등을 통해 중소기업의 기술력과 경쟁력을 확대하여 산업체의 발전 모델로 모범 사례가 될 것임.

⚫국가사회 전반에

UI/UX 의 창조적 활용을 촉진하고 , UI/UX 산업의 수요 기반 창 출을 통해 창조경제 창조사회를 실현하는 데 한 몫을 할 것임.

인재 양성 파급 효과

⚫관련 해외 교육 연구 기관과의 공동 연구 국제학회 발표 전시회 참여 등을 통해

, , 기술 개발을 추진하여 창의력과 실무 경험을 갖춘 융합형 고급인력 양성 UI/UX

함.

⚫본 센터는 매년 약

20 명의 NUI/NUX 전문 인력을 제공하여 주도적인 역할을 수 행함.

⚫글로벌 경쟁력 강화를 위한 핵심기술

R&D 지원과 국내 중소기업들이 공동으로 이용할 수 있는 UI/UX 시험환경 인프라 확충하고 고도화함 .

⚫산업체 진출 후에도 지속적으로 기술 개발 활동을 수행할 수 있는 다양한 전문역

량을 보유한 고급 전문인력을 배출하여 산업체 전반에 미래지향적인 기술개발 및 연구 모델 전파함.

⚫실무 위주의 대학원 인증체계를 위한 교육과정을 통하여 국제적 경쟁력을 보장하

는 선진형 교육과정모델을 제시함.

(18)

연구성과

□

단위 건 명 등 ( : , ) 구분 1차년도(‘13) 2차년도(‘14) 3차년도(‘15) 합계 기술

지도

건수 1 9 20 30

업체수 1 9 9 19

기술 이전 계약

건수 1 18 24 43

업체수 1 14 19 34

기술료 10,000,000 248,877,000 254,446,000 513,323,000 상품/

사업화

건수 1 1

업체수 1 1

참여교수수 연구교수 제외( ) (z) 15 15 15 45

특 허 실 적

특 허 출 원

주관

국내 6 9 14 29

국제 0 2 2 4

합계 6 11 16 33

참여

국내 1 9 10 20

국제 0 0 0 0

합계 1 9 9 19

특 허 등 록

주관

국내 0 5 6 11

국제 0 0 0 0

합계 0 5 6 11

참여

국내 0 0 5 5

국제 0 0 0 0

합계 0 0 5 5

논 문 실 적

급

SCI SCI/SCIE (a) 6 24 17 47

기타 저널

국내 3 2 2 7

국제 0 0 10 10

LNCS/LNAI 0 5 4 9

소계 (b) 3 7 16 26

컨퍼런스 발표논문

국내 17 6 26 49

국제 15 33 15 63

소계 (c) 32 39 41 112

합계(d=a+b+c) 41 70 75 186

교수 인당 1

급

SCI (a/z) 0.4 1.6 1.13 3.13

기타저널(b/z) 0.2 0.46 1.06 1.72

컨퍼런스(c/z) 2.13 2.6 2.73 7.46

합계(d/z) 2.73 4.66 4.99 12.38

시제품 제작실적 3 5 5 13

개발실적

S/W 11 11 11 33

(19)

인력양성성과

□

단위 명 ( : ) 구분 1차년도(‘13) 2차년도(‘14) 3차년도(‘15) 합계

배 출 인 원

학사

남 0 0 0 0

여 0 0 0 0

소계 0 0 0 0

석사

남 10 9 14 33

여 2 4 8 14

소계 12 13 22 47

박사

남 4 3 4 11

여 2 2

소계 4 3 6 13

소계

남 14 12 18 44

여 2 4 10 16

합계 16 16 28 60

주 요 진 로

산업체

대기업 2 2 7 11

중소기업 3 7 10

소계 A 5 2 14 21

박사진학 B 3 3 2 8

연구소 C 1 3 4

Post-Doc D 2 0 2

정부기관 E 0 0

대학교 교수 강사( , ) F 1 0 1

기타취업 G 0 0

창업 군복귀, H 0 0

군입대 I 0 0

미취업 J 5 10 9 24

합계 K=A~J 16 16 28 60

취업율

취업대상 L=K-B-D-I 12 10 26 48

취업율 (L-J)/L 66.7% 60% 65.4% 64.02%

전공분야 취업인원 M 8 6 16 30

전공취업율 M / L 66.7% 60% 61.5% 63%

(20)

참여인력현황

□

단위 명 ( : ,%) 구분 1차년도(‘13) 2차년도(‘14) 3차년도(‘15) 합계

참여교수

남

13 14 14 41

여

2 1 1 4

소계

15 15 15 45

m+n 19 25 25 69

기타 지원인력 (

등)

남

q 0 2 0 2

여

r 1 2 3 6

소계

q+r 1 4 3 8

합계

남

s 71 85 98 254

여

t 17 25 27 69

합계

ㄷ=s+t 88 110 125 323

참여교수 중 여성 비율

13.3% 6.6% 6.67% 8.9%

참여대학원생 중 여성비율

h/ㄴ 19.2% 26.15% 20.27% 21.98%

참여인력 중 여성비율

t/ㄷ 19.3% 22.7% 21.6% 21.36%

참여인력 중 기업체비율

(m+n)/ㄷ 21.59% 22.72% 20% 21.36%

(21)

연구비 현황

□

단위 천원 ( : ) 구분 1차년도(‘13) 2차년도(‘14) 3차년도(‘15) 합계 정부출연금(A) 640,000 850,000 800,000 2,290,000

민간 부담금

주관대학(B) 32,000 40,000 40,000 112,000

지자체(C) 0 0 0 0

참여 기관

학교(D) 0 0 0 0

산업 (E)체

현금 55,000 55,000 55,000 165,000

현물 79,377 137,021 133,528 349,926 소계(F) 134,377 192,021 188,528 514,926 전체합계(A+B+C+F) 806,377 1,082,021 1,028,528 2,916,926

연구센터 참여기관

□ ( 예산기준 )

단위 개 ( : )

구분 1차년도

(‘13)

차년도 2

(‘14)

차년도 3

(‘15) 합계 대학교

현금만 매칭펀드로 부담 1 1 1 3

현물만 매칭펀드로 부담 0 0 0 0

현금과 현물을 매칭펀드로 부담 0 0 0 0

기업체

지자체

합계

장비 기자재 취득목록

□ ․

국가연구시설장비진흥센터 에 등록된 기자재 단가 만원 이상

순번 NFEC

장비등록번호 장비명 모델명 사용용도 취득금액 취득

일자 제작사 제작

국가

(22)

계획 대비 달성도 .

Ⅰ

연구개발 목표 및 내용 1.

가 연구의 필요성 .

1 ) 기술 개발 추진 배경 및 산업 동향

⚫ 우리나라 과학기술분야 최상위 계획인 제 차 과학기술기본계획에서 제시된 2 90개 중점 과학기술 가운데 신산업 창출을 위한 핵심기술과 지식기반서비스 산업 기술개발 분야 에 차세대 HCI 기술이 올라 있음.

년 차세대 분야의 최고기술 보유 국가는 미국으로 궁극기술 수준대비

⚫ 2010 HCI 79.

우리나라는 궁극기술 수준대비 수준이며 우리나라는 미국 대비 약

6%, 63.3% 79.9%

기술수준을 보유하고 있으며 기술격차는 4.2년 수준으로 경쟁력 강화가 필요한 분야 임.

세부 기술별로 미국 대비 우리나라 기술수준을 살펴보면 감성기반 인터랙션 기술은

⚫ ,

혼합현실 정합 및 인터랙션 기술은 혼합현실 영상렌더링 및 시뮬레이

76.9%, 77.5%,

션 기술은 84.4%, 음성언어정보처리 기술은 81.0% 수준이며 각각의 기술격차는 , 4.2 년, 3.5 , 3.6 , 5.7년 년 년임.

이러한 분야는 미국 애플사의 아이폰이 보여 주듯이 상품의 부가가치를 높이고 제품 ⚫ ,

의 경쟁력을 강화하기 위해 필수적임.

국내외 기술 개발 및 산업 동향

■

국 외

MIT Media Lab. : SixthSense라는 착용형 프로젝션 시스템을 발표.

도쿄대학 : ‘Invoked Computing’이라는 클라우드 컴퓨팅의 응용 사례로 실내공간에서 사람 들의 제스처를 인식해 가상세계의 객체들이 실현되는 소환현실의 응용서비스의 사례 발표.

구글 스마트안경인 : ‘Project Glasses’를 발표 음성인식을 위해 클라우드와 빅데이터 기술. 을 활용한 ‘Majel’ 프로젝트를 진행. Android@Home 프레임워크를 통하여 소환현실을 위한

및 관련 기술들을 개발하고 있음

NUI .

브라운대학 : ‘CAVE’란 몰입형 가상공간 프로젝트를 추진함.

독일 프라운호퍼 연구소 : ‘iPoint 3D’라는 이름의 차원 동작인식 장치를 발표 스키용 헬3 . 멧에 증강현실 기술을 덧붙여 스키코스를 안내하는 증강현실 헬멧 기술 몰입형 텔레프레, 즌스를 위한 홀로그램 및 시선추적 기술등 소환현실과 관련된 NUI 기술들을 연구 중임.

애플 : 동작인식 기술을 연구. ‘Siri’를 통하여 음성인식 에이전트의 가능성을 보임 클라우. 드와 빅데이터 기술을 이용한 음성인식 기술을 개선하고 있음.

프라임센스 : RGB 카메라를 제거한 3D 깊이 전용카메라를 개발.

아수스 : Kinect　 와 같은 구조를 가진 카메라를 출시하여 SDK와 판매.

코닝사 유리형태를 가진 투명 디스플레이를 개발하여 가정내 소환현실의 사례를 선보임: .

립모션 모니터 크기만한 공간정도에서 손가락의 제스처를 세밀히 인식할 수 있는 동작인: 식 센서를 개발하여 판매.

국외의 경우 미국을 중심으로 소환현실과 관련된 다양한 NUI 기술들이 빠르게 연구개발되 고 있으며 차세대 , IT 서비스의 큰 흐름으로 예측되고 있음.

국 내

삼성전자 스마트: TV에 음성인식과 제스쳐 인식 기술들을 접목한 ES8000 출시.

ETRI : MS 사의 Kinect와 같은 기능을 하는 Z-CUBE라는 하드웨어 개발하였으나 상용화 , 수준까지는 안정화되지 못하였음 음성인식기술의 경우 한국어의 경우 미국의 기술에 비해 . 인식률이 높음.

KT의 종합기술연구원 : 올레TV를 제스쳐와 음성으로 제어하기 위한 기술을 개발하여 시범 적용하였으나 안정화작업 필요, .

미디어인터랙티브 이도아이티 유디포엠 휴드 미디어젠 이타기술 등 중소기업 제스쳐인, , , , , : 식과 얼굴인식 음성인식 기술들을 선보이고 있으나 단일 기술로 특정영역 적용에 머무르고 , , 있음.

소환현실과 관련된 대부분의 기술들은 아직 연구소위주로 이루어지고 있으며 삼성전자 스마, 트TV에 사용된 인식기술들도 국내의 기술이 아닌 국외의 기술을 소싱한 것이며, ETRI 동작 인식 기술 또한 아직 상용화할 정도로 안정화되어 있지 않음.

(23)

나 최종목표 .

⚫ 소환현실기반 콘텐츠를 제작하기 위해 실감형 인터랙션 NUI 요소 기술을 반영한 NUI/NUX 미들웨 어 프레임워크를 연구 개발하여 소환현실 응용서비스를 실제 환경에서 활용할 수 있는 선도적 기 술력을 축적하고 이론과 실무 능력을 겸비한 실감형 인터랙션 , NUI 플랫폼의 글로벌 고급 인재를 양성함

o 제 세부과제 멀티모달 실감형 인터랙션 [ 1 ] NUI 요소 기술 연구 o 제 세부과제 실감형 인터랙션 [ 2 ] NUI 미들웨어 프레임워크 기술 연구

o 제 세부과제 실감형 인터랙션 [ 3 ] NUI 기술을 활용한 소환현실 응용서비스 연구

⚫ 경제적 사회적 파급효과가 매우 클 것으로 예상되는 전시나 게임같은 소환현실 응용 서비스를 시/ 범 개발함 다음 그림은 최종 목표를 세부 목표와 함께 나타낸 것임. .

그림 8. NUI/NUX 플랫폼 연구 목표

(24)

다 세부과제별 연구내용 .

구분 내용

세부과제 1

멀티모달 실감형 (

인터랙션 NUI 요소 기술 연구)

l 연구의 필요성

최근에 급격하게 보급되어 활용되고 있는 영상센서의 거리 한계를 극

o Kinect

복할 수 있는 중거리 객체인식 몸동작인식 객체추적에 대한 기술 개발 요구가 / / 증가하고 있음.

실감형 인터랙션 요소기술은 기계학습 패턴인식 그리고 카메라 캘리브

o NUI , ,

레이션 등과 같은 많은 수학적인 지식과 효율적인 프로그램밍 기술이 요구되 는 분야이므로 대학원생들이 이에 대한 기본 지식과 경험을 충분히 연마할 수 있는 고급 인력 양성이 필요함.

실감형 인터랙션 미들웨어 프레임워크에서 요소기술을 쉽게 사용할

o NUI NUI

수 있도록 오픈 API 컴포넌트의 개발이 필요함. l 연구목표 및 내용

가로 세로 미터의 실내 공간에서 인간의 언행을 인지할 수 있는 몸동작 음

o / 10 /

성 얼굴 손동작인식에 필수적인 핵심 요소 기술 확보 / /

실공간내에 존재할 수 있는 객체들에 대한 실시간 인식 및 추적알고리즘 개발 o

실제 응용분야에 활용될 수 있는 시스템 프로토타입 구현 o

실감형 인터랙션 미들웨어 프레임워크에서 사용할 수 있는 오픈 컴

o NUI API

포넌트 구현

세부과제 2

실감형 인터랙션

( NUI

미들웨어 프레임워크 기술 연구)

기기와 사용자간의 상호 작용을 위한 인터페이스 기술은 기술

o CUI, GUI, NUI

순으로 발전하면서 사용 편의도를 높여 왔음 이 . IT 기술을 전문 분야뿐만 아 니라 일상 생활 속에도 확산하고 사용자층을 더욱 두껍게 넓게 확충하여 부가 가치를 높이는 새로운 산업 생산성을 증대할 필요가 있음.

다중 사용자가 다중 기기들을 이용하면서 자신의 목적을 자연스럽게 표현하고 o

몰입감 속에 성취도를 느끼고 다중 기기를 연동하고 정보공유하며 다중 사용, 자가 협업가능한 NUI 기술을 실행하는 미들웨어 프레임워크 개발이 필요함. 동작 인식을 중심으로 한 기술을 애플리케이션에 적용하기 위한 안정적

o NUI

이고 신뢰성 있는 개발 실행 환경에 기반한 / NUI 미들웨어 프레임워크 기술 개발이 필요함.

실감형 인터랙션 기술을 산업 현장에서 실용화 상용화할 수 있는 기술로 발전 o

시키기 위해서 NUI 미들웨어 프레임워크 기술을 연구 개발할 필요가 있음. l 연구목표 및 내용

다중 사용자들이 다중 기기를 연동하여 정보를 공유하고 협업할 수 있는 실감 o

형 인터랙션 동적 공간 구성 기술 개발

미들웨어를 위한 대용량 정보 처리 및 저장 관리 기술 개발 o NUI

기존 애플리케이션과 새로운 애플리케이션 간의 연동과 호환 정보 공유

o NUI ,

를 위한 시스템 변환 기술 개발

세부과제 3

실감형 인터랙션 (

기술을 활용한 NUI

소환현실 응용서비스 연구)

소환현실 응용 서비스에서는 마우스나 키보드 같은 입력 장치 없이 사용자들 o

의 자연스러운 행동 감각 동작을 통해 응용 서비스에 쉽게 적응할 수 있는 , , 실감형 인터랙션 NUI 기술이 필요함.

소환현실 공간상에 있는 사람의 정보나 공간에 대한 정보를 이용한 사용자 맞 o

춤형 서비스 기술 개발이 필요함.

산업 현장이나 실생활에서 활용 가능한 소환현실 응용 서비스를 위해 개발된 o

실감형 인터랙션 NUI 기술을 사용자 관점에서의 검증이 필요함. l 연구목표 및 내용

미들웨어 프레임워크에서 제공하는 정보를 활용하여 실감형 인터랙션 o NUI

표현 기술 개발 NUI

사용자 위치 변화에 따른 정보 표현 영상 정합 및 보정 표현 기술 음향 제어

o , ,

기술을 통하여 소환현실 응용 서비스를 위한 몰입정보 표현 기술 개발 실감형 인터랙션 표현 기술과 몰입정보 표현 기술 시나리오 기반

o NUI , NUI

요소기술 연계 서비스를 위한 소환현실 응용서비스 개발

세부과제 4

공연 전시용 실감형 ( /

인터렉션 콘텐츠 개발)

전시 공연 분야에 있어 기존의 관람 방식에서 벗어난 실감 체험형 전시로 기 o ·

술 장르의 복합적 융합 개념을 가진 인터랙션을 강화한 콘텐츠 연구가 필요함/ l 연구목표 및 내용

전시 공연에 활용되는 콘텐츠를 개발함에 있어 기존의 일반적인 관람 방식에서 o ‧

벗어나 관객들이 직접 참여하며 체험하는 실감 전시용 콘텐츠를 개발

사용자가 보고 듣고 느낄 수 있는 실감 표현 기술을 실감 전시콘텐츠로 보급

o , ,

(25)

연차별 추진계획 및 실적 2.

가 총괄 추진계획 및 내용 . 세부과제

1) 1

연도 연구내용

년

2013 2014 년 2015 년 2016 년

핵심요소기술확보 핵심응용기술확보 기반시스템기술확보 시스템 통합 및 검증 분기

1 2분기3분기4분기1분기2분기3분기4분기1분기2분기3분기4분기1분기2분기3분기4분기

중거리 영상 취득을 위한 다중 영상 센서 배

치 및 카메라 캘리브레이션 다중 영상으로 , 부터 인간 영역 검출

인간 몸 동작 특징 검출 및 모델링 몸 동작 , 인식

몸동작인식 성능향상 실시간 고속인식 알고리 , 즘

음성 얼굴 손동작 등 타특징과의 융합을 통한 / / 몸동작 인식 성능 향상

몸동작 인식 결과를 음성 얼굴 손동작 인식과 / / 연계

정면 및 무표정 얼굴 대상 속성 얼굴 성별 , ( , 및 나이 인식 가능한 얼굴인식 인터랙션 기 ) 술 개발

조명 및 표정 변화 얼굴 대상 속성 얼굴 , ( , 성별 및 나이 인식 가능한 얼굴 인식 인터 ) 랙션 기술 개발

포즈 변화 얼굴 대상 속성 얼굴 성별 및 , ( , 나이 인식 가능한 얼굴 인식 인터랙션 기술 ) 개발

얼굴 인식 인터랙션과 타 멀티모달 인터랙션과 의 통합 및 성능 검증

영상기반 손동작 인식방법 연구 Depth

적외선 영상기반 손동작 인식방법 연구

가시광선 영상 기반 맨손 동작 인식 방법 연구

인식 가능한 손동작 조합을 통한 사용자 중심 의 인터랙션 방법 정의

를 이용한 배경잡음에 Missing feature theory

강인한 음성인식 화자인식 기술 /

배경잡음에 강인한 Voice Activity Detection 기술

빅데이터 기반의 Noise 추정 기술

비콘 기반의 위치 인력 인터페이스

화자인식과 얼굴인식을 이용한 멀티모달 인식 기술

다중 센서 영상 특징분석 영상내 특정객체 ,

분할

(26)

세부과제 2) 2

연도 연구내용

년

2013 2014 년 2015 년 2016 년

핵심 요소기술확보 핵심 응용기술 확보 기반시스템기술확보 시스템 통합 및 검증 분기

영상 및 다양한 센서를 이용한 데이터 종

합과 여러 센서간 데이터 연동 기술 단일 사용자 추적 정보와 센서 정보를 이용 한 다중 사용자 추적 정보 관리 기술 실시간 사용자 추적과 센서간 연동을 위한 추적 정보 병렬처리 기술

중거리 인식을 위한 센서 배치 및 기존 센서 조립을 통한 환경 연구

단일 기기에서 얻은 다양한 요소기술을 활용 한 NUI 정보 표현 체계 개발

다중 기기에서 생성된 NUI 정보를 다중 기기 간 공유하는 표현 변환체계 개발

다중기기 공유정보 협업 NUI 정보생성기술

다중사용자다중기기 자원관리미들웨어설계

연도 연구내용

년

2013 2014 년 2015 년 2016 년

핵심요소기술확보 핵심응용기술확보 기반시스템기술확보 시스템 통합 및 검증 분기

분할된 객체의 특징점 검출 및 서술자 생성,

객체에 대한 Bag-of-visual objects 생성 및 이 를 이용한 객체 인식

특징점 매칭을 통한 실시간 객체 추적

시스템 통합 및 알고리즘 개선

요소 기술별 오픈 API 서브컴포넌트 개발

요소 기술별로 개발된 서브 컴포넌트의 통합 오픈 API 컴포넌트 개발

오픈 API 서브 컴포넌트의 실시간 동시 실행을 위한 병렬처리 기술 개발

오픈 API 컴포넌트의 다양한 환경으로의 이식 과 성능 최적화

주요 Milestone 수행결과

￭ 요소기술별 인터 랙션 알고리즘

￭ Depth 영상 기반 손동작 및 손가락 동작 인식 SW 모 듈

￭ 요소기술별 인터 랙션 알고리즘 구 현물

￭ 요소기술별 오픈 서브컴포넌트 API

적외선 영상기반 손동작 및 손가락 동작 인식 SW 모듈

￭ NUI 요소기술 통 합 오픈 API 컴포 넌트 구현물

￭ 실감형 요소기술 통합 오픈 API 컴 포넌트 응용프로 그래밍 참조모델

￭ 가시광 영상 기반 손동작 및 손가락 동작 인식 SW 모 듈

￭ 요소기술별 인터 랙션 병렬 알고리 즘 및 최적화

￭ 다양한 플랫폼 이 식한 실감형 NUI 오픈 API 컴포넌 트

￭ 실감형 소환현실 응용서비스를 위 한 개선된 NUI 오 픈 API 컴포넌트

￭ NUX 관점에서의

다양한 손가락 동

작 인식 SW

(27)

연도 연구내용

년

2013 2014 년 2015 년 2016 년

핵심 요소기술확보 핵심 응용기술 확보 기반시스템기술확보 시스템 통합 및 검증 분기