R&D연구결과보고서

(1)

방송통신ETRI연구개발지원사업

몰입형 스크린 미디어 서비스 산업 촉진을 위한 스마트스페이스 기술 개발

(Development of Smart Space

to Promote the Immersive Screen Media Service) (연차보고서)

2016. 01. 29.

주관기관 : 한국전자통신연구원 참여기관 : 독일 다름슈타트 대학교

미래창조과학부

(2)

본 보고서를 “몰입형 스크린 미디어 서비스 산업 촉진을 위한 스마트스페이스 기술 개발”(개발기간：2015.03.~2016.02.)과제의 연차보고서로 제출합니다.

2016.01.29.

주관기관명 ː 한국전자통신연구원 (대표자) 이 상 훈 (인) 참여기관명 ː 독일 다름슈타트 대학교

총괄책임자 : 김 선 중

참여기관책임자 : Max Mühlhäuser

(3)

연차보고서

사업명 한국전자통신연구원연구개발지원사업 과제번호 B0101-15-1292

과제명

(국문)몰입형 스크린 미디어 서비스 산업 촉진을 위한 스마트스페이스 기술 개발

(영문)Development of Smart Space to promote the Immersive Screen Media Service

주관기관 한국전자통신연구원 총괄책임자 김선중

참여기관

(책임자) 독일 다름슈타트 대학교 (TUDA)(Max Mühlhäuser) 총수행기간 2013. 03. 01. ~ 2017. 02. 28. ( 4년)

협약기간 2015. 03. 01. ~ 2016. 02. 29. ( 1년) 해당년도

수행기간 2015. 03. 01. ~ 2016. 02. 29. ( 12개월) 협약기간

총사업비(천원)

정 부

출연금 8,610,000 민 간 부담금

현금 0

계 9,048,672 현물 438,672

해당연도 사업비(천원)

정 부

출연금 1,800,000 민 간 부담금

현금 0

계 1,909,200 현물 109,200

키워드 (6 ~ 10개)

스마트스페이스, 지능형 공간, 통합 개인 작업 공간, 인체 기반 UI, HMD (Smart Space, Intelligent Space, Orchestrated Personal Space, On-body UI, HMD)

정보통신․방송 연구개발 관리규정 제33조에 의거하여 연차보고서를 제출합니다.

2016년 01월 29일 총괄책임자: 김선중 (인) 주관기관장: 이상훈 (인)

미래창조과학부 장관 귀하

(4)

Ⅰ-1 기술개발 추진 일정

(계획 : 실적 : )

일련

번호 개발 내용 추진 일정(개월) 달성도

1 2 3 4 5 6 7 8 9 10 11 12 (%)

1 다중 센서 연동 적응형 분산

센싱 기술 100%

2

다중 센서간 hand- over를 통한 의미적 사람위치 획득 기술

고도화 (복수사용자) 100%

3 4W와 공간 상황정보를 활용한

상황추론 기술 100%

4 ‘사용자 정의 복합 상황 기술

언어’ 개발 100%

5 HMD 이동 지원 가상 객체

포지셔닝 안정화 기술 100%

6 스마트스페이스용 가상 객체

움직임 표현 기술 100%

7 상황 기반 스마트 객체 자동

검색 기술 100%

8 스마트 객체를 위한 동적 실행

엔진 기술 100%

9 단일사용자-다중공간 OPS

네트워킹 Manager/Agent 기술 100%

10 단일사용자-다중공간 OPS 객체

처리 엔진 및 인터페이싱 기술 100%

11 객체/스마트스페이스 인증 및

네트워크 보안 기술 100%

12 학습형 On-body UI 사용자

입력 인식 기술 100%

13 스마트스페이스 기술 표준화 100%

14 텔레프레즌스 기반 스마트 홈

시범 서비스 개발 100%

※ 개발내용의 경우 사업계획서 내용에 근거하여 작성할 것

(5)

계획 실적 1) 상황 추론 기반 복합 공간 상황 이해 기술

(정량적 목표: 공간 내 물체 이해 정확도: 85%, 공간 사람 이동 위치 오차: 25cm이내, 학습기반 예측 성공률: 85%)

□ 다중 센서 기반 스마트스페이스 공간 구성 기술 o 다중 센서 연동 적응형

분산 센싱 기술

o 다중 센서 연동 적응형 분산 센싱 기술

- 적응형 센서 관리를 위한 센서 컴포넌트 관리 모듈 설계 및 구현

이기종 센서 컴포넌트 모듈 개발

센서 컴포넌트 동적 관리(추가/삭제/변경) 모듈 개발

다중 센서 연동 거치 장치 설계 및 구축

<분산 센서 컴포넌트 관리 구성>

<360도 전방향 다중 센서 거치 장치>

(6)

- 스마트 스페이스 정적 공간 구성 기술 설계 및 구현

3D 공간 객체 모델 : O = (B, C, D), B:bounding box, C:centroid, D:directing point 설계

공간 객체 모델 기반 정적 공간 구성 모듈 구현

공간 관계(거리/위상/위치) 연산자 모듈 구현

정적 객체 간 공간 관계 질의 연산자 모듈 구현

<3D 공간 객체 모델링 예시>

<3D 공간 객체 기반 정적 공간 구성 예시>

(7)

<공간 관계 연산자 및 객체 간 공간 관계 질의 예시>

o 공간 내 물체 이해 - 실험 환경

실험실 내 테이블과 주변에 미리 선정한 영역을 설정하여 공 간 내 물체 이해 정확도를 측정하기 위한 환경을 구축함

<실험실 환경>

탁자 위 물체 인식 테스트 위해 다음 그림과 같은 다른 패턴 을 그림을 사용함.

<탁자 위 물체 인식 대상 물체 들>

(8)

번호 템플릿 의미

01 Maze_01 is_on_the table 02 Maze_02 is_on_the table 03 Maze_04 is_on_the table 04 Maze_05 is_on_the table 05 Maze_06 is_on_the table 06 Maze_07 is_on_the table 07 Maze_08 is_on_the table 08 Maze_10 is_on_the table

09 Both Maze_01 and Maze_02 are on the table 10 Both Maze_08 and Maze_04 are on the table 11 Both Maze_10 and Maze_05 are on the table 12 Both Maze_05 and Maze_07 are on the table 13 User is near the table

14 User is in the kitchen

15 User is near the table and Maze_10 is_on_the table

18 User is in the kitchen and Maze_02 is_on_the table

- 실험 데이터

실험을 위해 수행계획서에 제시된 바와 같이 다음과 같은 20 개의 물체 관계 템플릿을 사용하였다.

- 실험 수행

실험은 탁자 위의 임의의 그림을 올려 놓고, 사용자 위치에 따 라 적절한 탬플릿이 검출되는가를 확인하는 방법을 사용하고, 위 방법은 여러 조합으로 총 30회 반복하였다. 아래 그림은 실 험 수행 중 시스템에 의해 출력된 로그 중 일부를 보여준다.

(9)

<실행 로그 1>

<실행 로그 2>

각각의 조합을 설정한 후, 2초 이내에 관련된 템플릿이 확인되 면 성공, 그렇지 않으면 실패로 간주하였다.

실험 결과 26회 성공하고 3회 실패하여 약 86.7% 성공률을 보 였다.

o 다중 센서간 hand-over 를 통한 의미적 사람위 치 획득 기술 고도화 (복수사용자)

o 다중 센서간 hand-over를 통한 사람 위치 추적 기술 - 다중 깊이 센서 간 hand-over 기술 설계 및 구현

단일 센서의 FoV 영역을 구역(zone)으로 관리

인접 센서와 겹치는 FoV 영역에서 동일 사용자 중복 검출 문 제 해결 알고리즘 구현(성공률 95% 이상)

(10)

<다중 센서 관리 및 센서 간 hand-over 예시>

- Bayesian 필터 기반 사용자 위치 예측을 통한 occlusion 대응 기술 개발

Particle filter 기반 사용자 위치 추정 기법 구현(위치 오차 25cm 이내)

단기 히스토리 기반 occlusion 대응 모듈 구현

< Particle filter 기반 사용자 위치 추정 예시>

(11)

< 복수 사용자 위치 추적 오차 측정 실험 결과>

- 동적 공간관계 기반 의미적 사람 위치 획득 기술

사용자 위치 추적 중에 seamless하게 얼굴 인식기와 연동하여 사용자를 식별

식별된 아이디를 통한 위치 추적 연동 모듈 개발

객체(사람)의 이동성에 따른 동적 공간 관계 변화 추적 및 질 의 처리 모듈 구현

속도 벡터 예측 기반 동적 객체 Pose 추정 모듈 개발

영역(area) 기반 논리적 위치 표현을 통한 의미적 사람 위치 획득 모듈 개발 (예: 책상 앞 50cm 이내)

< 동적 객체 Pose 및 동적 공간 관계 추적 예시>

(12)

□ 의미 기반 공간 상황 이해 기술 o 4W (Who, When,

Where, What)과 공간 상황정보를 활용한 상황추론 기술

o 4W 기반 상황 추론 기술

- 공간 지식 온톨로지 기반 4W 상황 획득 플랫폼 구현

객체 profile, 객체 공간 관계 규칙을 포함하는 공간 온톨로지

정적 공간 지식 importer 및 동적 공간 지식 updater

상대적 객체 위치 기반 의미적 공간 관계 추론 모듈

<4W 상황 정보 획득 플랫폼>

- 베이지안 네트워크 기반 4W 상황 추론 모듈 구현

4W 상황 정보: Who, When, Where, What

When은 ‘요일(WDay)’과 ‘일시(Time)’로 구분

Who, When, Where를 기반으로 What(수행 서비스)을 도출

<4W 베이지안 네트워크 모델>

(13)

- 4W 기반 학습 및 실험

Training Set 구성을 위한 데이터 값 지정 Who yhsuh, greyrhee, kwlee Where Entrance, Table, Kitchen

What ScreenShare, DeviceControl, PostIt, Teleconference, PhotoAlbum

When

WDay Sunday, Monday, Tuesday, Wednesday, Thursday, Friday, Saturday

Time 00:00:00, 00:30:00. 01:00:00, …, 22:30:00, 23:00:00, 23:30:00

<4W 상황변수 값 정의>

R을 이용한 Training Set 생성

"When","Who","Where","What"

"2015-10-25T03:52:15","yhsuh","Entrance","PostIt"

"2015-11-03T20:43:06","kwlee","Entrance","ScreenShare"

"2015-11-22T03:06:42","kwlee","Entrance","PostIt"

"2015-12-22T15:31:32","yhsuh","Entrance","PhotoAlbum"

"2015-10-19T08:28:24","yhsuh","Entrance","DeviceControl“

..."2015-10-24T23:41:42","greyrhee","Kitchen","DeviceControl"

"2015-10-02T15:22:52","yhsuh","Kitchen","Teleconference"

"2015-11-02T07:27:35","kwlee","Table","PostIt"

"2015-11-08T20:35:15","yhsuh","Kitchen","Nothing"

"2015-10-22T02:28:39","yhsuh","Kitchen","ScreenShare“

..."2015-12-06T14:50:05","kwlee","Entrance","PhotoAlbum"

"2015-11-15T08:57:19","kwlee","Table","ScreenShare"

"2015-11-15T19:22:25","greyrhee","Kitchen","Teleconference"

"2015-11-21T16:45:57","greyrhee","Entrance","PhotoAlbum"

"2015-11-29T09:26:47","yhsuh","Table","DeviceControl"

Training된 베이지안 네트워크에 Test Set 데이터 기반 질의 수행 (정확도 85% 이상)

info: Marginal distribution for "What is YHSUH doing in the Kitchen on Wed Jan 20 19:22:52 KST 2016?"

{Teleconference=0.39475238984038113, ScreenShare=0.13288095793595245, PhotoAlbum=0.09726666222266664, DeviceControl=0.09726666222266664, PostIt=0.09726666222266664, Nothing=0.18056666555566667}

info: Marginal distribution for "What is YHSUH doing on Wed Jan 20 19:22:52 KST 2016?"

{Teleconference=0.3726471466105205, ScreenShare=0.17538658752034084, PhotoAlbum=0.10707460052149541, DeviceControl=0.06527875594170313, PostIt=0.1593894124063407,

Nothing=0.12022349699959971}

<질의 결과 예시>

(14)

o ‘사용자 정의 복합 상황 기술 언어’ 개발

- Fluent DSL 기반‘사용자 정의 복합 상황 기술 언어’인터페이스 구현

중첩 상태 차트 (Nested StateChart) 기반 사용자 정의 복합 상 황 기술 언어 개발

<상태차트 내 상태간 전이 모델>

Fluent DSL 기반 사용자 정의 복합 상황 기술 언어 인터페이 스 정의

- Fluent DSL 기반 사용자 정의 복합 상황 기술 언어’ 파서 및 실행기 개발

XML 기반 사용자 정의 복합 상황 기술 언어 파서와 DSL 기반 복합 상황 언어 실행기 개발함.

복잡한 상황 기술과 여러 소스로부터 입력되는 이벤트 처리 과정 중 multi-thread 방식을 사용하게 되면 시스템의 복잡도 가 증가하여, 단일 쓰레드 기반의 이벤트 처리 엔진 개발

<단일 쓰레드 이벤트 처리>

단일 쓰레드 모델을 갖는 다수 장기간 작업 처리를 위해 비동

(15)

기 연산 모듈을 추가 개발하여 시스템의 성능을 높임.

<비동기 함수 인터페이스>

□ 결과물

o 다중 사용자용 의미 기반 상황 획득 서브시스템 (SW, 서버 탑재용)

o 다중 사용자용 의미 기반 상황 획득 서브시스템 (SW, 서버 탑재용) o 특허 : 국외특허출원 1건, 국내특허출원 3건, 국제출원중 1건

- (국외출원) “Component State Management Method for Component Based Software and Apparatus Thereof”, 미국, 14/926947, 2015.10.29.

- (국내출원) “프로젝터-카메라 기반 공간 공유 시스템 및 방법”, 10-2015-0032430, 2015.03.09.

- (국내출원) “센서 장치”, 10-2015-0045304, 2015.03.31.

- (국내출원) “멀티 센서 기반 위치 추적 시스템 및 방법”, 10-2015-0149759, 2015.10. 27.

- (국제 출원중) “System and Method for Tracking Position based on Multi Sensor”, 미국

o 논문: 국제학술대회 발표 2건

- “Continuous Location Tracking of People by Multiple Depth Cameras”, ICTC2015, 2015. 10. 29. 발표

- “Smart Memo Service Design for Augmented Smart Space”, ICTC2015, 2015. 10. 29. 발표

o 프로그램 등록

- 다중 깊이 센서 기반 복수 사람 위치 추적 프로그램, C-2016-002434, 2016.01.26.

- 스마트스페이스 동적 공간 상황 정보 추적 프로그램,

(16)

C-2016-002435, 2016.01.26.

- 카메라-프로젝터 기반 터치 인터페이스 소프트웨어, C-2016-002435, 2016.01.26.

o 기술 문서 : 4건

- 스마트스페이스 공간상황 이해 요구사항 정의서 v3 - 스마트스페이스 공간 상황 이해 시스템/기능 설계서 v3

- 카메라-프로젝터 기반 터치 및 증강 인터페이스 시스템 요구사항 정의서

- 카메라-프로젝터 기반 터치 및 증강 인터페이스 기술 시험 절차서/결과서

o 기술 분석서 : 1건

- 스마트스페이스 환경 구성 o 기술 이전: 1건(15백만원)

- “카메라-프로젝터 기반 터치 및 증강 인터페이스 시스템”, 15백만원, ㈜에프아이시스, 2015.12.09.

(17)

2) 방송 미디어를 위한 스마트 객체 생성 및 제어 기술(방통) (정량적 목표: 가상 객체 생성 속도: 15fps이상 / 손실률: 5%이하)

□ 몰입형 스마트객체 생성 기술 o HMD 이동 지원 가상

객체 포지셔닝 안정화 기술

o 이종 센서 기반 가상 객체 포지셔닝 안정화를 위한 HMD 자세 (attitude) 추적 알고리즘 연구 및 적용 방안 설계

- 기존 RGB 영상 기반의 HMD 위치 추적 기능의 조명 등 환경 변화에 따른 오차에 따른 가상 객체 흔들림 현상이 발생하는 경우를 안정화하기 위해 IMU 기반의 자세 추적 기능을 추가한 이종 센서 통합 기반 HMD 추적 및 객체 포지셔닝 모듈 설계

< 이종센서 통합기반 HMD tracking 및 가상 객체 포지셔닝 모듈 구조도 >

- IMU를 이용한 자세 추적 알고리즘 설계:

회전군(rotation group)의 비선형 기하학적 구조에 따른 세 가 지 확률모델에 기반을 둔 재귀적 베이지언 필터(recursive Bayesian filter) 설계

< IMU를 이용한 자세 추적 알고리즘 >

(18)

- 시뮬레이션을 통해 설계된 알고리즘의 성능 비교/검증:

일반적인 비선형 필터인 무향 칼만필터(unscented Kalman filter)에 비해 10배 이상 뛰어난 정확도

5 10 15 20 25 30 35 40 45 50 55 60

0 1 2 3 4 5

Error by proposed algorithm (stdv before 1s = 1.369564˚, stdv after 1s = 0.344501˚)

Error (˚)

5 10 15 20 25 30 35 40 45 50 55 60

0 1 2 3 4

Error by UKF on so(3) (stdv before 1s = 22.750973˚, stdv after 1s = 3.742822˚)5

Error (˚)

5 10 15 20 25 30 35 40 45 50 55 60

0 1 2 3 4

Error by UKF on SU(2) (stdv before 1s = 16.445035˚, stdv after 1s = 3.756298˚)5

Error (˚)

< 설계된 알고리즘과 무향 칼만 필터 시뮬레이션 성능 비교 >

< IMU센서를 이용한 알고리즘 성능 테스트 프로그램 실행 화면>

설계된 알고리즘의 성능을 실제 IMU 센서를 활용한 실험을 통 해 검증: 정지 상태에서 부정확한 추정으로 인한 추정 값의 총 이동 거리(total variation) 0.5초간 0.06°미만 (기존 IMU 내부

(19)

필터링 알고리즘의 경우 동일 조건 2.7°이상으로 나타남), 빠 른 움직임에 대한 대응 속도 0.03초 미만

- Vision + IMU 결합을 통한 HMD 자세 추적 알고리즘 구현 및 시험

사원수(quaternion)의 구면 보간(spherical interpolation)을 이용 하여 영상을 통해 추정한 자세 정보와 IMU를 필터링하여 얻은 자세 정보를 통합

- 현실공간 기반 스마트스페이스 가상 객체 포지셔닝/가시화 기능 개발

실 객체 영상 기반 가상 객체 제공을 위한 HMD Tracking 및 가상 객체 포지셔닝 기능 시험

HMD 착용자 이동에 따른 텔레프레즌스용 인물객체 포지셔닝 기능 개선을 위한 빌보드 적용 기술 설계 및 구현

<빌보드 효과가 적용된 인물 가상객체가 HMD에 나타난 모습 위: 의자를 정면에서 바라본 모습

(20)

아래: 의자를 측면에서 바라본 모습 붉은 색 테두리는 실제 의자의 방향을 의미>

원격 공간/객체 모니터링을 위한 원격 공간 스트리밍 영상을 통한 가상 스크린 객체 포지셔닝 및 가시화 설계 및 구현

사용자/사물에 맵핑된 Text를 적용한 가상 포스트잇 가시화 및 스마트테이블과의 콘텐츠 연동

- 동적 객체(손바닥) 기반 객체 포지셔닝을 위한 인터페이스 기술 개발

제어용 가상 객체 포지셔닝을 위한 손바닥 위치 정보 획득용 PiAM 모듈 연동 인터페이스 프로토타입 구현

<제어 메뉴 객체 포지셔닝을 위한 PiAM 모듈 연동 인터페이스 시험>

o 스마트스페이스용 가상 객체 움직임 표현 기술

o GPU기반 실시간 인물 객체 생성 기술 개발

- 다중 키넥트 기반 실시간 객체 획득 기술 설계 및 구현

기존 적용된 다수 키넥트1의 Depth 센서간 간섭 축소 및 영상 해상도 향상을 위해 키넥트 2 적용 영상 획득 기술 설계 (RGB 카메라: 640x480->1920x1080, Depth 카메라: 320x240->512x424)

키넥트 2 SDK는 멀티 키넥트 연결을 지원하지 않으므로 하나 의 시스템에 3개까지의 키넥트 2 적용을 위한 영상 획득 인터 페이스 구현

RGB/Depth 카메라의 해상도 증가에 따른 데이터 처리량의 증 가(RGB: 6.75배, Depth: 약2.82배)로 영상 획득 속도의 저하에 대해 실시간 영상 획득을 위한 GPU 기반 영상 획득 모듈 구 현 (키넥트 3개 적용의 경우 CPU 처리시 2~3 fps ==> GPU 적용시 18 fps)

(21)

<다중 키넥트 기반 가상 객체 생성 모듈 구조>

- 다수 키넥트 기반 실시간 가상 객체 생성 및 전송 모듈 설계 및 구현

키넥트 내 Depth/RGB 센서간 캘리브레이션 및 키넥트간 캘리 브레이션 모듈 구현

< 다중 키넥트2 적용 캘리브레이션 – 체스 보드를 활용한 캘리브레이션>

캘리브레이션 결과의 미세한 수동 조정 및 메쉬 생성 결과 렌 더링을 통한 결과 확인을 위한 운용 및 모니터링 기능 추가

메쉬 생성을 위한 키넥트별 환경 설정을 위한 운용 기능 구현

(22)

< 다수키넥트간 보정 및

캘리브레이션 미세 조정을 위한 운용 기능 추가>

다수 키넥트 생성 메쉬데이터의 좌표계 통일을 위한 좌표계 변환 모듈 구현

Depth Threshold 기반 배경 제거 등 모듈 구현 완료

다수 키넥트 기반 메쉬 영역 보정을 위한 Erode, Inpaint, Median Filling 알고리즘 적용 시험을 위한 기능 적용 및 운용 기능 구현(3D 메쉬 생성 속도 13~14fps)

객체 영역의 손실률 약 5%이하(객체 영역 픽셀 대비 Holo영역)

(23)

< 키넥트간 캘리브레이션 – 운용 기능 추가 >

<키넥트-가운데>

<키넥트-왼쪽> <키넥트-오른쪽>

<통합영상>

<다중 키넥트 개별 영상 획득 및 통합 생성>

<객체의 움직임에 따른 메쉬 생성 영역 변화>

추가적인 객체 생성 품질 향상을 위해 Texture 기반 메쉬 생 성 및 전송을 위한 코드 구현 및 Feasibility 시험 (객체 생성 속도는 14fps이상 가능하나 전송 데이터의 증가로 인한 전송률

(24)

의 현격한 저하로 미적용)

< 텍스처 미적용(위), 텍스처 적용(아래) >

- 테스트베드 적용을 통한 기능 시험 및 통합 시험

객체 가시화 서버 연동을 통한 시스템 시험

□ 방송 미디어 지원을 위한 가상/실 객체 연동 기술 o 상황 기반 스마트 객체

자동 검색 기술

o 사용자/공간 기반 제어 객체 검색 기술

- 사용자 시점 기반 로컬 공간 제어 객체 검색 기술 개발

HMD Tracking과 연동한 사용자 시점 기반 제어 가능 실 객체 검색 기능 설계 및 구현 (전구)

HMD Tracking과 연동한 사용자 시점 기반 공유형 가상 객체 검색 기능 설계 및 구현 (에펠탑, 비너스상)

- 사용자 선택 기반 원격 제어 객체 검색 기술

사용자의 원격 공간 선택에 따른 해당 공간 PTZ 카메라 검색 기능 설계 및 구현

사용자의 원격 공간 선택에 따른 제어 객체 리스트 검색 제공 기능 개발 완료(전구, 선풍기, PTZ카메라)

(25)

<원격 공간 선택에 따른 제어 가능 객체 검색된 화면 – 좌로부터 선풍기, PTZ카메라, 전구>

- 사용자 기반 공간 및 스마트 객체 접근 권한에 따른 객체 검색 위한 OPS 연동 시험

HMD 착용자에 따른 공간/객체 접근 권한을 관리하는 OPS 서 버 연동을 통한 공간 및 객체 리스트 검색

OPS 연동을 통한 객체 제어 통합 시험

<상황 연동 및 객체 제어를 포함한 객체 제어 모듈 구조도>

o 객체를 위한 동적 실행 엔진 기술

o 스마트 객체를 위한 동적 가상 객체 실행 기능 개발 - 제어용 가상 객체를 위한 모델 설계 및 구현

토글 형태의 제어를 위한 버튼형 가상 객체 설계 및 객체의 기능에 따른 제어 모듈 동적 연동 기능 개발 (전구 전원 On/Off, 선풍기 회전 On/Off)

(26)

연속 모드 형태의 제어를 위한 슬라이드바형 가상 객체 설계 및 객체의 기능에 따른 제어 모듈 동적 연동 기능 개발 (선풍 기 바람 세기 조절, 전구의 칼라 조절)

선택형 메뉴 제어를 위한 확장형 메뉴 패널 설계 및 서비스 상황 기반 메뉴 제어 기능 개발 (서비스 선택, 공간 선택, 객체 선택)

<제어용 가상 객체와 스마트 객체의 기능>

<원격 공간/ 원격 객체 제어 개념도>

(27)

<공간/객체/기능에 대한 가상 객체 제공 – 사용자/객체의 접근 권한에 따라 변경됨 >

- 원격 공간의 객체를 확인하고, 제어에 따른 결과 모니터링을 위한 PTZ 카메라 연동 제어 기능 개발

ONVIF 지원 PTZ 카메라 선정 및 제어 프로토콜 분석

선택된 공간의 PTZ 카메라 영상 스트림 수신 기능 개발 완료

원격 공간 제어 객체 위치 기반 PTZ 카메라 Preset 지정 및 객체 선택에 따른 자동 제어 기능 개발

※ ONVIF : Open Network Video Interface Forum ※ PTZ : Pan, Tilt and Zoom

(28)

<원격공간 PTZ 카메라 영상 스트리밍 수신과 타겟 객체 모니터링>

□ 결과물

o 다중공간 지원 스마트 객체 가시화 및 제어 서브시스템 (SW, 단말 탑재용)

- 다수 키넥트 기반 인물 객체 생성 및 전송 기능 - 현실 공간 기반 가상 객체 가시화 및 제어 기능 - 원격 공간 스마트 객체 선택 및 제어 기능 o 논문 : 국내논문발표 1건, SCI 논문 제출 1건

- (국내발표) “IMU를 활용한 자세 추정 방법 연구”, 국정보과학회 동계학술대회, 2015.12.17.

- (SCI 제출) “A New Attitude Tracking Algorithm Using IMU”, IEEE Transactions on Automatic Control, 2016.01 제출

o 프로그램: 등록 3건

- 다수 키넥트간 캘리브레이션 및 배경 추출 프로그램, C-2015-031264, 2015.12.15.

- 다수 키넥트 기반 3차원 메쉬데이터 생성 및 전송 프로그램, C-2015-031265, 2015.12.15.

- 텔레프레즌스 객체 가시화 및 제어 프로그램, C-2015-031266, 2015.12.15.

o 기술 문서: 7건

- 스마트스페이스 객체 생성 및 제어 시스템 요구사항서 3.0 - 스마트스페이스 객체 생성 및 제어 시스템 구조/기능 설계서 3.0 - 객체 포지셔닝 및 가시화 상세 설계서

- 스마트스페이스 객체 제어 상세설계서

(29)

- 다수 키넥트 기반 텔레프레즌스용 객체 생성 및 가시화 기술 상세설계서

- 다수 키넥트 기반 텔레프레즌스용 객체 생성 및 가시화 기술 시험 절차서/결과서

- 재귀적 베이지안필터를 이용한 위치추적기술 분석서 o 기술 이전: 1건(30백만원)

- 다수 키넥트 기반 텔레프레즌스용 객체 생성 및 가시화 기술, 2015.12.09., ㈜이공감

(30)

3) OPS 서비스 네트워킹 기술

(정량적 목표: OPS 연동 SS수/서버: 100개)

□ 단일사용자-다중공간 OPS 서비스를 위한 SSDPN 네트워킹 기술 o 단일사용자-다중공간

OPS 네트워킹 Manager/Agent 기술

o 다중 객체 동시제어 기술 개발

- 다중 객체 제어 서비스를 위한 웹지원 기술 구현 완료 (단말 앱기능을 OS 무관한 웹기반으로 구현)

- 데이터 변환을 통한 다양한 포맷 지원 공유 서비스 구현 완료 (jpg포맷을 Word/PDF/PPT로 확장지원)

테스트환경: 안드로이드 휴대폰(OPS Agent), Chrome Browser (PC 1대)

테스트목표: 웹-Agent간의 Word/ PDF/ PPT/ Image 파일 동시 제어 서비스

테스트절차: Control(모션제어항목: 무빙/줌인/줌아웃/페이지이 동)이 정상적으로 작동하는지 확인

테스트결과: 웹-Agent 동시제어 작동 확인

< OPS 다중 객체 동시제어 서비스 (Web포함) >

- 웹 + Agent 기반 ‘OPS 연동 SS수/서버 : 100개’ 테스트 완료

테스트환경: 안드로이드 휴대폰(OPS Agent), PC1대, 노트북 2 대

테스트목표: OPS 연동 SS수/서버 : 100개 동작 확인

테스트절차: 웹(99)-Agent(1)의 다중제어 서비스 이용시, 다중 제어 Control이 정상적으로 동작하는지 확인

테스트결과: 동시제어 작동 확인

(31)

< OPS연동 SS수/서버:100개 Test화면 >

o 다중공간지원을 위한 접근제어기술 개발

- 상황인식(사용자/ 시간/ 장소/ 디바이스 타입) 기반 다중레벨 (3 Access-level: Easy/ Hard/ Unable) 로그인 Manager/Agent 개발 완료

테스트환경: 안드로이드 휴대폰(OPS Agent), OPS Manager

테스트목표:상황인식기반 다중레벨 로그인 동작확인

테스트절차: 모든 상황조건 만족시 level-1 / 한가지 상황조건 불만족시 level-2/ 두가지 이상 불만족시 level-3 동작 확인

테스트결과: 상황인식 정보에 따라 정상 작동 확인

<상황인식기반 3 Access-level 로그인 서비스>

- 장소 및 시간변경에 따른 동적인 권한설정을 통한 실시간 접근제어 Manager/Agent 구현 완료

테스트환경: 안드로이드 휴대폰(OPS Agent), OPS Manager

테스트목표: 상황인식정보 변경시 동적 권한변경 확인

테스트절차: 허용장소/시간 이동에 따른 권한 변경 확인(축소/

상승)

테스트결과: 동적 권한 변경 확인

(32)

<이동성 고려 실시간 접근제어 기술>

- HMD기반 다중공간 접근제어 기술 구현완료

테스트환경: HMD, OPS Manager, 전구 2개

테스트목표: 사용자에 대한 차별적 접근제어 서비스 제공

테스트절차: 로컬공간/원격공간에 전구 배치 후, 모든 권한 사 용자 이용시 모든 전구 작동 제어 확인/ 부분 권한 사용자 이 용시 한 개의 전구만 제어 확인

테스트결과: HMD를 통한 다중공간 접근제어 동작확인

<HMD기반 다중공간 접근제어 기술>

(33)

o 객체/스마트스페이스 인증 및 네트워크 보안 기술 개발

o 상황인식 정보기반 인증 기술

- 상황인식기반 다중레벨 로그인(3 Access-level: Easy /Hard /Unable) 기술 구현 완료

< 상황인식 기반 OPS 접근제어 >

o 상황인식 기반 접근제어 기술 개발

- 상황인식기반 로그인시 권한 설정(Full/Viewer/Unable) 기능 구현 완료

- 상황정보 변화에 따른 실시간 정책 변경/설정 기능 구현 완료

< OPS Mobility 지원 서비스 >

o OPS 채널 암호화 기능 개발

- TLS(Transport Layer Security) v1.2 기반 SS 객체(예, 사용자 단말, HMD 등) 및 OPS 연동 서버(OPS 매니저, 미디어 서버) 간 채널 암호화 기능 구현 완료

(34)

< OPS 매니저-단말 간 메시지 암호화 기능 >

□ OPS 프레임워크 기술 o 단일사용자-다중공간

OPS 객체 처리 엔진 및 인터페이싱 기술

o OPS 접근제어를 위한 프레임워크 구조 개발

- OPS공간에서 관리하는 모든 객체를 사용자/ 시간/ 공간/

디바이스 타입에 따라 차별적으로 접근제어를 수행하기 위한 정책을 관리하는 프레임워크 구현완료

< OPS 서비스 프레임워크 >

- 상황인식기반(사용자 /시간 /공간 /디바이스 타입)에 따라

객체(디바이스)별 접근제어 정책을 설정하고 처리하는 S/W 엔진 구현완료

(35)

< OPS 접근제어 정책 설정 Table >

- 접근제어 실시간 모니터링 GUI 기능 구현 완료

< OPS 모니터링 GUI >

□ 결과물 o 상황인식 기반 OPS 접근제어 Manager/Agent

(36)

o 다중공간 지원 OPS 객체 관리 Manager (SW, 서버 탑재용) o 다중공간 지원 OPS

객체 표현 및 제어 Agent (SW, 단말 탑재용)

- OPS 객체관리를 위한 상황인식 기반 접근제어 Manager (SW, 서버 탑재용)

- 상황인식 기반 접근제어 지원을 위한 OPS 네트워킹 Agent 모듈 (SW, 단말 탑재용)

o 협동 미디어 제어를 위한 웹지원 Manager

- 웹기반 협동 미디어 제어를 위한 Web-Manager (SW, 서버탑재용)

o 특허: 국제출원 1건, 국내출원 2건, 국제 및 국내 출원중 2건

- (국제출원) “Apparatus and Method for Controlling Ringtone and Vibration Automatically”, 14/663611, 2015.03.20.

- (국내출원) “다중 객체 동시 제어 시스템 및 다중 객체 동시 제어 방법”, 10-2015-0053277, 2015.04.15.

- (국내출원) “사용자와 상호 작용하는 장치를 선택하는 방법”, 10-2015-0054336, 2015.04.17.

- (국내/국제 출원중) “상황인식기반 로그인 방법 및 장치”, 대한만국/미국

- (국내/국제 출원중) “사용자 인식기반 모바일 디바이스 화면제어 방법 및 장치”, 대한만국/미국

o 논문: SCI 0.5건, 국제논문 발표 1건

- (SCI) “FD-AQM: Fairness-Aware Delay-Controlled Active Queue Management in 802.11s-Based Multi-Radio Multi-Channel

Wireless Mesh Networks”, IEEE Communications Letters, 2015.05.18.

- (국제) “A Novel Approach for User-Centric Work Environment”, ICTC-2015, 2015.10.28.

- OPS Agent 기능규격서 v3.0 - OPS Agent 기능설계서 v3.0

- OPS Agent 기능 시험절차 및 결과서 - OPS Manager 기능규격서 v3.0 - OPS Manager 기능설계서 v3.0

- OPS Manager 기능 시험절차 및 결과서

(37)

4) 인체를 활용한 Eye-free 지원 입력 인터페이스 기술

(정량적 목표: 인체 UI 포인팅 식별 정확도 90%)

□ 학습형 On-body UI사용자 입력 인식 기술 o 사용자 별 입력 패턴

학습 및 의미 해석 알고리즘 개발

o HMD 기반 On-body UI 사용자 입력 인터페이스 기술

- HMD 기반 객체 제어를 위한 객체의 추가에 따른 유연성 제공을 위한 PiAM 인터페이스 확장 기술 개발

객체 제어 – PiAM간 터치/슬라이드 입력 Configuration 설정 및 서비스 요청을 위한 Rest기반 인터페이스 정의 및 구현

터치 입력 정보의 효율적 제공을 위한 PiAM 터치 영역(Grid) 정보 제공 인터페이스 재정의 및 구현

객체 가시화를 위한 손바닥 정보 제공 인터페이스 수정 개발 및 시험

< PiAM 모듈 터치 입력 인터페이스 확장 모듈 시험>

- 학습형 on-body 사용자 입력을 위한 머신 러닝 기반 제스처 인식 향상 기능 설계 및 구현

터치 기반 2D 입력 및 mid-air 제스처 인식률 향상을 위한 사용자 패턴 분석

< 사용자 별 입력 패턴 분석 및 제스처 인식 >

(38)

- 사용자 별 입력 패턴 학습에 대한 PiAM 인터페이스 성능 분석

사전에 PiAM 인터페이스 사용에 경험이 없는 피실험자 7명을 대상으로 8가지 입력에 대해 실험

사전에 8개의 PiAM 제스처에 대해서 각각 4번의 입력을 통해 개인별 입력 패턴 생성

<실험에 사용된 8가지 입력 제스처 셋:

swipe, 1, 2, 3, circle, a, b, c>

<‘b’ 입력에 대한 서로 다른 사용자 입력 패턴>

각각의 피 실험자에 대하여 4번 성공할 때까지 실험을 진행하고, classification error 회수와 input error 회수를 측정

<사용자 별 입력 패턴 학습 분석>

P1 P2 P3 P4 P5 P6 P7 인식률 swipe 1/0 0/0 2/0 0/0 0/0 2/3 0/0 0.78 circle 0/0 0/1 1/1 2/1 0/0 0/0 0/0 0.82 1 0/0 0/0 0/0 3/2 0/0 2/0 0/0 0.80 2 2/2 1/2 1/0 2/3 0/0 0/0 0/0 0.68 3 3/2 1/0 0/1 1/0 0/0 1/1 2/1 0.68 a 0/0 0/0 0/1 0/0 0/0 0/0 0/0 0.97 b 0/0 0/0 0/2 1/1 0/1 1/1 0/0 0.80 c 1/0 0/0 2/1 0/0 0/1 1/0 1/0 0.80

(classification error / input error)

결과 분석

(39)

F 각 제스처 입력에 대해서 최저 68%, 최고 97%의 인식정확도를 보임 (평균 인식률 80%)

F 사용자 별 입력 패턴을 학습하지 않은 경우와 비교하여 평균적으로 10~15%의 인식 정확도가 향상됨

F ‘3’의 경우, ‘c’로 인식되는 경우가 많기 때문에 입력 값 선정에 있어 고려가 필요함.

F PiAM 인터페이스는 HMD에 장착된 뎁스 카메라를 활용하기 때문에 사용 환경에 있어 제약이 있기 때문에 input error가 발생할 수 있음.

o 패턴 학습 기반 개인화 On-body UI 사용자 입력 인식 모듈 개발

o 객체 제어를 위한 PiAM 사용자 인터렉션 기능 설계 및 구현 - 인체 기반 공간 네비게이션을 위한 proximity 및 서비스

시나리오에 따른 객체 제어 UI 사용성 분석

< 거리에 따른 차별화된 UI 제공 기능 설계 >

< 서비스 시나리오에 따른 객체 제어 기능 설계 >

(40)

- 객체 특징점 추출을 통한 인식 및 UI 등록 기능 설계, 구현

객체 별 제어 인터페이스 제공을 위한 객체 인식 및 객체 특성에 따른 UI 등록

< 객체 별 UI 등록 >

o 사용자 별 입력 패턴 학습에 대한 사용자 입력 인식 결과 분석 - 사전에 AR 글래스 사용 경험이 없는 피실험자 7명을 대상으로

4가지 객체에 대하여 선택

- 실험 방법

각각의 피 실험자에 대하여 PiAM 인터페이스를 이용, 객체 당 10번씩 선택(point-and-click)하게 하여, 성공적으로 인식된 회 수를 측정

<HMD를 통해 실험자에게 보여지는 객체 추출 이미지>

(41)

P1 P2 P3 P4 P5 P6 P7 성공률 (인식률) Stream

cooker 10 6 7 5 10 8 7 0.76 Scale 6 8 9 9 8 10 10 0.86 Mixer 8 10 10 6 7 10 10 0.87 Knife

block 5 9 9 9 7 9 9 0.81 - 결과 분석

각 선택 입력에 대해서 최저 76%, 최고 87%의 인식정확도를 보임 (평균 인식률 83%)

실험 회수가 증가할수록, 인식 정확도는 높아짐

o 글로벌 테스트베드를 활용한 3차년도 PiAM 데모 시스템 구축 - 객체(커튼, 전등) 별 UI 구성 및 학습형 PiAM을 활용한 객체

제어

□ 결과물 o HMD 기반 학습형 PiAM 사용자 인터렉션 모듈 (SW, 단말 탑재용) o 기술 문서

- 국제공동연구 3차년도 중간보고서 (HMD 기반 On-body UI 요구사항서 및 구조/기능설계서 포함), 2015.10

- 국제공동연구 3차년도 최종보고서, 2016.01

o 논문: 국제논문 5.5건(국제논문지 0.5건 게재(50% 1건),

국제학술대회 발표 5건(총 7건 중 50% 4건), 국내논문지 게재 1건 - (50%, 게재)“AnonPubSub: Anonymous Publish-Subscribe

Overlays”, Computer Communications Journal, 2016.01 - “Internal Attacks in Anonymous Publish-Subscribe P2P

Overlays”, ACM CHI2015, 2015.03.09.

- (50%)“StackTop: Hybrid Physical-Digital Stacking on Interactive Tabletops”, ACM CHI EA 2015, 2015.04.18.

- “A Study on Proximity-based Hand Input for One-handed Mobile Interaction”, ACM SUI2015, 2015.08.08

(42)

- (50%)“Palm-based Interaction with Head-mounted Displays”, ACM MobileHCI 2015, 2015.08

- “In-Situ Occlusion Resolution for Hybrid Tabletop Environments”, INTERACT 2015, 2015.08

- (50%)“Capricate: A Fabrication Pipeline to Design and 3D Print Capacitive Touch Sensors for Interactive Objects” ACM

UIST2015, 2015.11

- (50%, 발표예정)“Exploring 3D Printed Interaction” ACM TEI2016, 2016.02

- “A Study of On-body User Interface: PiAM(Palm interAction Module)”, 한국지식정보기술학회 논문지, 2015.12

o 특허: 국내출원중 1건, 국제출원중 1건

- (출원중)“HMD 사용 환경에서 한 손을 이용한 객체 제어 방법”, 대한만국

- (출원중)“A One-Handed Gesture Set for Interaction with Head-Mounted Displays”, 독일

(43)

5) 스마트스페이스 기술 표준화

□ 스마트스페이스 기술 표준화

o 스마트 스페이스 기반 기술 및 서비스 적용 분야 표준화 - ITU-T SG13 Q1/13 (Service senario, deployment model and

migration issue on converged service) 표준화 활동

Y.UCS-usecase (Usecases of User-Centric work Spaces(UCS) Service) : 사용자 기반 스마트스페이스를 구성을 위한 usecase 및 서비스 모델 표준화 기고 및 에디터 활동

Y.fsul (Framework of senarios for self-directed ubiqitous learning(u-learning) service) : WoO 기반 객체(PO, VO/CVO) 모델링 관련 기고 및 에디터 활동

- ITU-T SG20 (IoT : Internet of Things) 표준화 활동

Y.WoO-hn(Web of Object based Home network) : WoO 기반 객체(PO, VO/CVO) 모델링 관련 기고 및 에디터 활동

- WoT 환경에서의 스마트 객체 모델링 연구

CVO(Composite Virtual Object) 생성 및 관리 기능 구조 연구

서비스 합성 기반의 스마트 객체 구축: CVO Reasoning 및 Workflow 기반 관리 기능 연구

스마트 객체 상태 관리: 객체 Modeling 및 CVO 합성 기능 연구

□ 결과물 o 표준 기고서 : 국제 표준 기고서 11건 기고/채택

- “Y.UCS-usecase: Proposed modification on UCS collaboration service use case”, ITU-T SG13, 2015.04.

- “Y.UCS-usecase: Proposed modification on Y.UCS-usecase (WP1/13)”, ITU-T SG13 RGM, 2015.07.

- “Y.UCS-usecase: Proposed modification of “Conference

(44)

assistance with peripheral devices” and “Collaboration with other User Centric Spaces” service scenarios”, ITU-T SG13, 2015.11.

- “Y.UCS-usecase: Proposed modification of “Car infotainment”

service scenario”, ITU-T SG13, 2015.11.

- “Y.UCS-usecase: Proposed modification of “Meeting room environment” service scenario”, ITU-T SG13, 2015.11.

- “Y.UCS-usecase: Proposed modification of clause 6 and 7 (overview and service model of UCS)”, ITU-T SG13, 2015.11.

- “Y.UCS-usecase: Proposed modification of “Nomadic office work environment” service scenario”, ITU-T SG13, 2015.11.

- “Proposal of revised text of draft Recommendation of Y.fsul”, ITU-T SG13, 2015.11.

- “Proposal of new appendix on contents VO/CVO authentication of draft Recommendation of Y.fsul”, ITU-T SG13, 2015.11.

- “Proposal of new appendix on u-learning basics of draft Recommendation of Y.fsul”, ITU-T SG13, 2015.11.

- “Proposal Appendix III for the Draft Recommendation Y.WoO-hn”, ITU-T SG20, 2015.10

o 기술문서

- WoT환경에서의 스마트 객체 모델링 및 서비스 합성 연구 위탁과제 보고서

(45)

6) 스마트스페이스 테스트베드 구축 및 시범 서비스 개발 o 텔레프레즌스 기반

스마트 홈 시범 서비스 개발

o 텔레프레즌스 기반 스마트 홈 시범 서비스 시나리오 개발

- 다중 공간 연결을 통한 혼합 현실을 통한 공간 상황 공유, 객체 제어가 가능한 다중 공간 서비스 시나리오 실현

- 로컬 공간에 있는 사용자의 혼합 현실 서비스

가상 포스트잇 서비스 : 사물 또는 사용자에 바인딩된 포스트 잇을 사용자/위치에 따른 상황 기반 가시화 제공 (프로젝션 기 반, HMD 기반)

현재 공간내 HMD 착용자의 시선에 따른 객체 제어(전구) - 다중 공간 연동 스마트 스페이스 서비스

로컬 공간 사용자와 원격 공간 사용자간의 공유/체험형 텔레프 레즌스 원격 사용자와 동일 공간에 앉아 있는 듯한 텔레프레 즌스를 제공하고 (HMD 기반)

스마트 테이블을 통한 영상 공유 (프로젝션 기반) 및 3D 모델 의 공간 내 제공/제어(HMD 기반)

- 원격 공간 객체 제어 서비스

로컬 공간의 사용자가 원격 공간을 선택하고 가상스크린을 보 면서 원격 공간의 객체를 선택/제어하고 결과를 모니터링 할 수 있는 서비스

< 텔레프레즌스 기반 스마트홈 서비스 >

o 3차년도 다중공간 지원 텔레프레즌스 기반 스마트 홈 시범 서비스 개발 및 시연을 위한 테스트베드 구축

- 객체 가시화 및 제어를 위한 메인 시연 공간 구성(공간1)

HMD 기반 텔레프레즌스용 인물객체 및 포스트잇 객체, 체험 험 가상 객체, 가상 스크린 제공을 위한 타깃 공간 구성

(46)

스마트 테이블 및 사용자 추적 장치 고정을 위한 구조물 설치 - 객체 생성 및 원격 객체 제어 공간 구성(공간2)

텔레프레즌스용 인물 객체 생성을 위한 다수 키넥트 고정용 기구물 설치

공간 모니터링을 위한 PTZ 카메라 설치

제어용 객체 – 전구 및 선풍기 설치

- 기존 Smart Living Room에서 공간을 확장하여 새로운 글로벌 테스트베드 구성중(2016.3월 완공, TUDA)

- ETRI-TUDA 공간 연동을 위하여 ETRI-TUDA 사이의 대역폭 측정 -> TCP: 최대 4.19Mbps(Loss: 0%), UDP: 1.04Mbps(Loss:

0.74%), P2P Delay: 300ms 내외

유선 네트워크에서는 Jitter문제로 인해 글로벌 테스트베드 연 동이 어려움.

QoS가 보장되는 공중 무선네트워크을 통해 글로벌 테스트베드 연동 추진.

<텔레프레즌스 기반 스마트 홈 시범 서비스 개발을 위한 테스트베드(ETRI, 현재 공간(위) - 원격공간(아래))>

(47)

<네트워크 성능 확인을 위한 스마트 단말간 네트워킹>

<ICMP를 이용한 글로벌 테스트베드에서의 지연시간 측정>

<글로벌 테스트베드에서의 네트워크 대역폭 측정>

(48)

<글로벌 테스트베드에서의 UDP 패킷 손실 및 지터 측정>

- 글로벌 스마트스페이스 구축을 위한 공간 3D 모델링

< 다름슈타트 내 시연 공간에 대한 3D 모델링 >

- 3D 원격 공간 모델 제공을 통한 원격 공간 객체 제어를 위한 객체 포지셔닝 환경 구현

< 객체 별 특징점 추출을 통한 객체 인식 >

(49)

<4차년도 글로벌 테스트베드 구축(TUDA)>

□ 결과물 o 다중공간 지원 텔레프레즌스 기반 스마트홈 통합 서비스 테스트베드

o 특허 : 국제/국내특허 출원중 1건

- (국내/국제 출원중) “신체 부착형 장치를 이용한 실시간 양방향 수화 번역 방법 및 그에 따른 장치”, 대한민국/미국

- 광학 HMD 기술 동향 분석 - 그린 광학 HMD 분석 7) 성과 확신 및 기타

o 성과 확신 및 기타 o 전시회 참가 및 기술홍보 - ICT Convergence Korea 2015

지능형 혼합현실 공간 스마트 스페이스 플랫폼 전시 및 시연 (2015.03.05.~06., 서울 더케이호텔)

- ETRI-부산광역시 공동 연구실 설립 2주년 기념 심포지움

지능형 혼합현실 기반 스마트 스페이스 기술 소개 및 시연

(50)

(2015.06.24., 부산문화콘텐츠컴플렉스)

☞ KBS부산 9시 뉴스, 아이티투데이 외 언론 보도 다수

- 글로벌 스마트시티 부산 비전선포식

지능형 혼합현실 공간 스마트 스페이스 플랫폼 기술 전시 (2015.07.15~16., 국회의원회관)

- “동시 제어 서비스 네트워킹 기술” 및 “혼합현실 기반 텔레프레즌스를 위한 객체 생성 및 가시화 기술의 대외 홍보를 위해 15년 ETRI 기술예고제 자료 작성 및 기술 홍보

o 기술 사업화 추진

- 멀티모달 인터렉션 프레임워크 기술”의 기술이전을 통하여 사업화 과제 “현실 세계에 가상 콘텐츠를 결합하는 스마트 프로젝션 기술개발”(2013.11~2015.10) 진행 완료

2016년 에듀테인먼트 분야 스마트 프로젝션 H/W, S/W 솔루션 판매를 목표로 사업화 진행 중.

(51)

o ETRI-TUDA 국제공동연구 워크샵

- 국제공동연구 2015 상반기 2차 워크샵 개최 (2015.04.20., ETRI) - 국제공동연구 2015 하반기 워크샵 개최 (2015.10.13.~14., 독일

다름슈타트)

3차년도 상반기 수행 내용 점검

하반기 계획 및 테스트베드 구축을 위한 협의

<2015년 10월 국제공동연구 워크샵 사진>

- 국제공동연구 2016 상반기 워크샵 개최 (2015.10.13.~14., 독일 다름슈타트)

3차년도 상반기 수행 내용 점검 및 하반기 추진 방향 협의 o 국제 공동연구를 결과물 협의 및 테스트베드 구축 공동 협의를

위한 연구원 파견(2015.11.20.~12.22.)