R&D연구결과보고서

(1)

정보통신·방송 연구개발 사업

가상화기반 실감형 창의 체험 기능성 콘텐츠 교육 서비스 기술 개발

모젼스랩(주)

정보통신기술진흥센터

Technology development of tangible creative activity functional contents education service

based on virtualization

(2)

[보고 서식 제2호]

연차보고서

사업명 정보통신∙방송 연구개발 사업 과제번호 R0126-15-1039

과제명

(국문)가상화기반 실감형 창의 체험 기능성 콘텐츠 교육 서비스 기술 개발

(영문)Technology development of tangible creative activity functional contents education service based on virtualization

주관기관 모젼스랩(주) 총괄책임자 최이권

참여기관

(책임자) 남서울대학교(이경학), 위두커뮤니케이션즈(조민영), 싸이이비즈(권기봉) 총수행기간 2015 . 03 . 01 . ~ 2017 . 02 . 28 . ( 2 년)

협약기간 2015 . 03 . 01 . ~ 2016 . 02 . 28 . ( 1 년) 해당년도

수행기간 2015 . 03 . 01 . ~ 2016 . 02 . 28 . ( 12 개월) 협약기간

총사업비(천원)

정 부

출연금 800,000 민 간 부담금

현금 0

계 1,067,000 현물 267,000

해당연도 사업비(천원)

정 부

현금 0

계 1,067,000 현물 267,000

키워드 (6 ~ 10개)

특수효과 실감공간 기술, 기능성 콘텐츠 저작기술, 실감공간 저작기술, 가상화기반 실감형 창의 플랫폼,

창의체험 기능성 실감형 콘텐츠 서비스, 콘텐츠 관리 시스템

정보통신․방송 연구개발 관리규정 제33조에 의거하여 연차보고서를 제출합니다.

2016 년 1 월 29 일 총괄책임자: 최이권 (인) 주관기관장: 최이권 (인)

미래창조과학부 장관 귀하

(3)

[보고 서식 제2호]

연차보고서

사업명 정보통신∙방송 연구개발 사업 과제번호 R0126-15-1039

과제명

(국문)가상화기반 실감형 창의 체험 기능성 콘텐츠 교육 서비스 기술 개발

(영문)Technology development of tangible creative activity functional contents education service based on virtualization

주관기관 모젼스랩(주) 총괄책임자 최이권

참여기관

(책임자) 남서울대학교(이경학), 위두커뮤니케이션즈(조민영), 싸이이비즈(권기봉) 총수행기간 2015 . 03 . 01 . ~ 2017 . 02 . 28 . ( 2 년)

협약기간 2015 . 03 . 01 . ~ 2016 . 02 . 28 . ( 1 년) 해당년도

수행기간 2015 . 03 . 01 . ~ 2016 . 02 . 28 . ( 12 개월) 협약기간

총사업비(천원)

정 부

현금 0

계 1,067,000 현물 267,000

해당연도 사업비(천원)

정 부

현금 0

계 1,067,000 현물 267,000

키워드 (6 ~ 10개)

특수효과 실감공간 기술, 기능성 콘텐츠 저작기술, 실감공간 저작기술, 가상화기반 실감형 창의 플랫폼,

창의체험 기능성 실감형 콘텐츠 서비스, 콘텐츠 관리 시스템

정보통신․방송 연구개발 관리규정 제33조에 의거하여 연차보고서를 제출합니다.

2016 년 1 월 29 일 총괄책임자: 최이권 (인) 주관기관장: 최이권 (인)

미래창조과학부 장관 귀하

(4)

Ⅰ. 해당 연도 추진 현황

Ⅰ-1 기술개발 추진 일정

(계획 : 실적 : ) 일련

번호 개발 내용

추진 일정(개월) 달성도

1 2 3 4 5 6 7 8 9 10 11 12 (%)

1 관련연구 현황 조사 100%

2 서비스 기획 100%

3 전체 시스템 구성

및 설계 100%

4 창의체험 실감형 공간 구축 100%

5 기능성 콘텐츠 저작기술 개발 100%

6 가상화 기반 실감형 창의

플랫폼 개발 100%

7 창의체험 기능성 콘텐츠 제작 100%

8 콘텐츠 관리 시스템 개발 100%

9 시스템 통합 100%

10 시범 사업 100%

※ 개발내용의 경우 사업계획서 내용에 근거하여 작성할 것

Ⅰ-2 해당 연도 추진 실적

※ 사업계획서의 연차별 개발 목표 및 내용 대비 성과를 상세히 기술

※ 개발 목표 달성 정도를 구체적으로 제시

개발 내용 개발목표 대비 성과 기술 산출물

서비스 기획 - 본 기술 개발의 서비스 모델 수립 서비스 정의서

1건 전체 시스템 구성 및 설계 - 기술 개발 최종 시스템 구성 및 설계 완료 전체 시스템

설계도 1건

창의체험 실감형 공간 구축

-2D기반 실감형 4면 특수효과 공간 구축 완료 -다중참여자 실감형인터페이스 개발 완료 -특수효과 컨트롤기술 개발완료

-상황연계형 콘텐츠 가시화 기술 개발 완료

개발설계서 4건 /시작품 2종

SW 1종/ 공인인증시험성

적서 1건/ 개발 시연영상

2종

기능성 콘텐츠 저작기술 개발 -실감공간 저작도구 개발 완료 -실감콘텐츠 저작도구 개발 완료

저작도구 설계서 및 기능정의서

3건/ SW 2종

가상화 기반 실감형 창의 플랫폼 개발

-클라우드 시스템 구축 완료 -가상화 기반 분산 환경 구축 완료 -실감공간연동기술 설계 완료 -실감공간연동기술 개발 완료

설계서11종/ 성능테스트결과

서1종/ SW 4종/ Web 사이트

1종

창의체험 기능성 콘텐츠 제작 -창의체험기능성 실감형콘텐츠 설계 10건 완료 -창의체험 기능성 실감형 콘텐츠 10종 제작완료

콘 텐 츠 설 계 서 11건/

콘텐츠 10 종 /SW 3종 /수 요기관 평가서 2건

콘텐츠 관리 시스템 개발

-콘텐츠관리 시스템 기능정의완료 -콘텐츠 객체단위 분리완료 -콘텐츠 관리 시스템 화면설계 완료

기능정의서 1건 /콘텐츠분류1건 /화면설계서1건

시범사업 -창의체험 기능성 콘텐츠 개발 완료 후, 수요기관 및 업체들을 초청하여 시범사업 완료

계획안1건/성과 결과 1건/ 홍보 기사 2건

(5)

Ⅰ. 해당 연도 추진 현황

Ⅰ-1 기술개발 추진 일정

(계획 : 실적 : ) 일련

번호 개발 내용

추진 일정(개월) 달성도

1 2 3 4 5 6 7 8 9 10 11 12 (%)

1 관련연구 현황 조사 100%

2 서비스 기획 100%

3 전체 시스템 구성

및 설계 100%

4 창의체험 실감형 공간 구축 100%

5 기능성 콘텐츠 저작기술 개발 100%

6 가상화 기반 실감형 창의

플랫폼 개발 100%

7 창의체험 기능성 콘텐츠 제작 100%

8 콘텐츠 관리 시스템 개발 100%

9 시스템 통합 100%

10 시범 사업 100%

※ 개발내용의 경우 사업계획서 내용에 근거하여 작성할 것

Ⅰ-2 해당 연도 추진 실적

※ 사업계획서의 연차별 개발 목표 및 내용 대비 성과를 상세히 기술

※ 개발 목표 달성 정도를 구체적으로 제시

개발 내용 개발목표 대비 성과 기술 산출물

서비스 기획 - 본 기술 개발의 서비스 모델 수립 서비스 정의서

1건 전체 시스템 구성 및 설계 - 기술 개발 최종 시스템 구성 및 설계 완료 전체 시스템

설계도 1건

창의체험 실감형 공간 구축

-2D기반 실감형 4면 특수효과 공간 구축 완료 -다중참여자 실감형인터페이스 개발 완료 -특수효과 컨트롤기술 개발완료

-상황연계형 콘텐츠 가시화 기술 개발 완료

개발설계서 4건 /시작품 2종

SW 1종/

공인인증시험성 적서 1건/

개발 시연영상 2종

기능성 콘텐츠 저작기술 개발 -실감공간 저작도구 개발 완료 -실감콘텐츠 저작도구 개발 완료

저작도구 설계서 및 기능정의서

3건/

SW 2종

가상화 기반 실감형 창의 플랫폼 개발

-클라우드 시스템 구축 완료 -가상화 기반 분산 환경 구축 완료 -실감공간연동기술 설계 완료 -실감공간연동기술 개발 완료

설계서11종/

성능테스트결과 서1종/

SW 4종/

Web 사이트 1종

창의체험 기능성 콘텐츠 제작 -창의체험기능성 실감형콘텐츠 설계 10건 완료 -창의체험 기능성 실감형 콘텐츠 10종 제작완료

콘 텐 츠 설 계 서 11건/

콘텐츠 10 종 /SW 3종 /수 요기관 평가서 2건

콘텐츠 관리 시스템 개발

-콘텐츠관리 시스템 기능정의완료 -콘텐츠 객체단위 분리완료 -콘텐츠 관리 시스템 화면설계 완료

기능정의서 1건 /콘텐츠분류1건 /화면설계서1건

시범사업 -창의체험 기능성 콘텐츠 개발 완료 후, 수요기관 및 업체들을 초청하여 시범사업 완료

계획안1건/성과 결과 1건/ 홍보 기사 2건

(6)

o 서비스 기획

∙창의체험 기능성 콘텐츠 서비스는 기존의 단일 Application내에서 서비스 되었던 스마트러닝콘텐츠와는 차별화하여 가상화 클라우드 컴퓨팅 기술을 접목한 실감형 창의체험 플랫폼 서비스를 개발하는 것에 그 목적이 있음.

∙이는 창의체험 기능성 콘텐츠를 저작하고 배포하고 유통하기 까지 하나의 플랫폼 상에서 서비스가 가능하도록 하여 스마트러닝 콘텐츠 산업의 활성화를 가지고 올 것이라 기대할 수 있음.

∙창의 체험 기능성 실감형 콘텐츠는 수학과 과학교과목을 기반으로 방과 후 교실과 어린이 체험관에서 유아동이 실감형 교육 콘텐츠와 상호작용하며 다양한 체험활동 을 통해 과학과 수학의 개념과 원리를 학습하는 것이 특징임.

<그림 2 창의체험기능성 콘텐츠 서비스 정의>

∙초등학교 저학년 대상의 본 서비스는 체험관 모델과 방과 후 교실 모델 두가지로 컨셉을 달리하여 기획함. 체험관모델은 4면의 큐브에서 3명의 체험자가 입장하여 가상현실 속 주인공이 되어 가상의 인물과 함께 이야기하며 여러 체험을 통해 자연 스럽게 학습할 수 있도록 10분 내외로 체험콘텐츠를 제작함. 또한 교실 모델은 방 과후 심화 학습을 진행하는 하나의 추가 교구로 활용할 수 있는 컨셉으로 기획하였 으며 이는 4명이 한조를 이루어 총 16명의 학생이 다 같이 공동으로 학습 하며 아 이들이 어렵게 느끼는 과학과 수학의 흥미를 유발하여 능동적으로 학습할 수 있도 록 함.

o 전체 시스템 구성 및 설계

∙가상화 기반 실감형 창의체험 플랫폼은 창의체험 기능성 콘텐츠를 생산하고 관리 하고 소비자에게 배포하기 까지를 하나로 통합하여 관리하는 서비스 플랫폼을 의미 함.

∙콘텐츠 디자이너는 창의체험 기능성 콘텐츠에 적용되는 디자인 리소스들을 작업하 여 클라우드 폴더를 통해 공유를 하게 되면 해당 리소스들은 자동으로 CMS 리소 스 관리 시스템으로 업로드 됨. 업로드된 콘텐츠는 다른 디자이너들이 재사용 및 재가공하여 활용할 수 있도록 open된 형태로 제공함. 콘텐츠 개발자들은 콘텐츠 저 작도구를 사용하여 미리 제작된 리소스들을 활용하여 만들고자 하는 창의체험 기능 성 콘텐츠를 저작하게 되고 이렇게 완성된 창의체험 기능성 콘텐츠는 CMS를 통해 콘텐츠에 대한 기본 정보 (콘텐츠 명, 과목, 콘텐츠 제작자, 가격등)를 입력하고 업 로드 하게 되면 관리자의 최종 승인 후, 자동으로 앱스토어에 등록될 수 있도록 설 계함.

∙1차년도에는 플랫폼상의 연동이 어려운 관계로 각각 단위별로 분리하여 개발을 진 행하였고 가상화 플랫폼 기술의 안정화 단계에서 하나의 시스템으로 통합할 계획을 가지고 있음.

<그림 3 가상화 기반 창의체험 플랫폼 시스템 구성도>

(7)

o 서비스 기획

∙창의체험 기능성 콘텐츠 서비스는 기존의 단일 Application내에서 서비스 되었던 스마트러닝콘텐츠와는 차별화하여 가상화 클라우드 컴퓨팅 기술을 접목한 실감형 창의체험 플랫폼 서비스를 개발하는 것에 그 목적이 있음.

∙이는 창의체험 기능성 콘텐츠를 저작하고 배포하고 유통하기 까지 하나의 플랫폼 상에서 서비스가 가능하도록 하여 스마트러닝 콘텐츠 산업의 활성화를 가지고 올 것이라 기대할 수 있음.

∙창의 체험 기능성 실감형 콘텐츠는 수학과 과학교과목을 기반으로 방과 후 교실과 어린이 체험관에서 유아동이 실감형 교육 콘텐츠와 상호작용하며 다양한 체험활동 을 통해 과학과 수학의 개념과 원리를 학습하는 것이 특징임.

<그림 2 창의체험기능성 콘텐츠 서비스 정의>

∙초등학교 저학년 대상의 본 서비스는 체험관 모델과 방과 후 교실 모델 두가지로 컨셉을 달리하여 기획함. 체험관모델은 4면의 큐브에서 3명의 체험자가 입장하여 가상현실 속 주인공이 되어 가상의 인물과 함께 이야기하며 여러 체험을 통해 자연 스럽게 학습할 수 있도록 10분 내외로 체험콘텐츠를 제작함. 또한 교실 모델은 방 과후 심화 학습을 진행하는 하나의 추가 교구로 활용할 수 있는 컨셉으로 기획하였 으며 이는 4명이 한조를 이루어 총 16명의 학생이 다 같이 공동으로 학습 하며 아 이들이 어렵게 느끼는 과학과 수학의 흥미를 유발하여 능동적으로 학습할 수 있도 록 함.

o 전체 시스템 구성 및 설계

∙가상화 기반 실감형 창의체험 플랫폼은 창의체험 기능성 콘텐츠를 생산하고 관리 하고 소비자에게 배포하기 까지를 하나로 통합하여 관리하는 서비스 플랫폼을 의미 함.

∙콘텐츠 디자이너는 창의체험 기능성 콘텐츠에 적용되는 디자인 리소스들을 작업하 여 클라우드 폴더를 통해 공유를 하게 되면 해당 리소스들은 자동으로 CMS 리소 스 관리 시스템으로 업로드 됨. 업로드된 콘텐츠는 다른 디자이너들이 재사용 및 재가공하여 활용할 수 있도록 open된 형태로 제공함. 콘텐츠 개발자들은 콘텐츠 저 작도구를 사용하여 미리 제작된 리소스들을 활용하여 만들고자 하는 창의체험 기능 성 콘텐츠를 저작하게 되고 이렇게 완성된 창의체험 기능성 콘텐츠는 CMS를 통해 콘텐츠에 대한 기본 정보 (콘텐츠 명, 과목, 콘텐츠 제작자, 가격등)를 입력하고 업 로드 하게 되면 관리자의 최종 승인 후, 자동으로 앱스토어에 등록될 수 있도록 설 계함.

∙1차년도에는 플랫폼상의 연동이 어려운 관계로 각각 단위별로 분리하여 개발을 진 행하였고 가상화 플랫폼 기술의 안정화 단계에서 하나의 시스템으로 통합할 계획을 가지고 있음.

<그림 3 가상화 기반 창의체험 플랫폼 시스템 구성도>

(8)

o 개발 내용 및 결과

1) 창의체험 특수효과 실감 공간 기술

○ 2D 기반 실감형 4면 특수효과 공간 구축

- 1차년도 개발 목표

∙4개의 근거리 프로젝트를 활용하여 앞, 아래, 왼쪽, 오른쪽면에 영상을 매핑하고, 극 몰입하여 공간을 제작함. 또한 4면에 출력되는 영상이 하나의 공간개념으로 제 작하여 실재감을 높이고자 함.

- 주요 결과물

① 2D 기반 실감형 4면 특수효과 공간 구축 설계서 1건

② 창의체험 실감형 공간 시작품 1pes

③ 창의체험 실감형 교실 시작품 1pes

- 수행 결과

가. 2D 기반 실감형 4면 특수효과 공간_체험관형

∙4면으로 구성된 실감형 특수효과 공간에 대한 설계 및 인터랙션이 가능하게 하기 위한 센싱을 적용하여 공간 구축을 완료함. 3명이 동시에 체험할 수 있는 공간으로 구성하고 실감나는 체험효과를 주기 위해 홀로그램 필름 활용하여 공간을 제작함. 공간의 크기는 4m * 4m * 3m.(가로*세로*높이)로 제작하였음.

∙각 각의 면에는 사용자 인터랙션을 위해 키넥트를 3면에 적용하여 3명이 동시에 인터랙션 할 수 있도록 기술을 개발함.

나. 2D 기반 실감형 특수효과 공간_교실형

∙학교 수업에서 활용하기 위한 창의체험 공간의 하나로 멀티터치 스크린과 멀티터 치 테이블을 활용하여 수업에서 활용할 수 있도록 환경을 구축함.

∙학교형 모델은 방과후에 서비스 가능하도록 구성된 형태로서 1개의 멀티터치 스크 린과 4개의 터치테이블간의 Seamless한 연동이 가능할 수 있도록 개발함.

<그림 5 2D 기반 실감형 특수효과 실감 공간_교실형>

다. 4면 영상출력 가시화 기술 개발

∙2D 기반 실감형 특수공간에 실감나는 영상 가시화를 위해 Unity 내에서 다음과 같은 기술을 이용해 개발함.

∙4면 공간의 오브젝트를 셋팅하여 사실감 있는 화면을 연출하기 위해 Front/left/right/bottom으로 카메라 오브젝트를 준비하여 서로 다른 렌더 텍스처에 렌더링 하도록 설정함.

<그림 4 2D 기반 실감형 4면 특수효과 공간_체험관형>

(9)

o 개발 내용 및 결과

1) 창의체험 특수효과 실감 공간 기술

○ 2D 기반 실감형 4면 특수효과 공간 구축

∙4개의 근거리 프로젝트를 활용하여 앞, 아래, 왼쪽, 오른쪽면에 영상을 매핑하고, 극 몰입하여 공간을 제작함. 또한 4면에 출력되는 영상이 하나의 공간개념으로 제 작하여 실재감을 높이고자 함.

- 주요 결과물

① 2D 기반 실감형 4면 특수효과 공간 구축 설계서 1건

② 창의체험 실감형 공간 시작품 1pes

③ 창의체험 실감형 교실 시작품 1pes

- 수행 결과

가. 2D 기반 실감형 4면 특수효과 공간_체험관형

∙4면으로 구성된 실감형 특수효과 공간에 대한 설계 및 인터랙션이 가능하게 하기 위한 센싱을 적용하여 공간 구축을 완료함. 3명이 동시에 체험할 수 있는 공간으로 구성하고 실감나는 체험효과를 주기 위해 홀로그램 필름 활용하여 공간을 제작함. 공간의 크기는 4m * 4m * 3m.(가로*세로*높이)로 제작하였음.

∙각 각의 면에는 사용자 인터랙션을 위해 키넥트를 3면에 적용하여 3명이 동시에 인터랙션 할 수 있도록 기술을 개발함.

나. 2D 기반 실감형 특수효과 공간_교실형

∙학교 수업에서 활용하기 위한 창의체험 공간의 하나로 멀티터치 스크린과 멀티터 치 테이블을 활용하여 수업에서 활용할 수 있도록 환경을 구축함.

∙학교형 모델은 방과후에 서비스 가능하도록 구성된 형태로서 1개의 멀티터치 스크 린과 4개의 터치테이블간의 Seamless한 연동이 가능할 수 있도록 개발함.

<그림 5 2D 기반 실감형 특수효과 실감 공간_교실형>

다. 4면 영상출력 가시화 기술 개발

∙2D 기반 실감형 특수공간에 실감나는 영상 가시화를 위해 Unity 내에서 다음과 같은 기술을 이용해 개발함.

∙4면 공간의 오브젝트를 셋팅하여 사실감 있는 화면을 연출하기 위해 Front/left/right/bottom으로 카메라 오브젝트를 준비하여 서로 다른 렌더 텍스처에 렌더링 하도록 설정함.

<그림 4 2D 기반 실감형 4면 특수효과 공간_체험관형>

(10)

∙카메라의 알맞은 위치를 정확히 계산하기 위한 알고리즘을 개발하고 원근카메라 에서 1만큼 떠러진 거리의 너비와 높이를 각각 W/H로 정의하고 수직, 수평의 각 도를 ∅로 정의하여 개발.

<그림 7 4면 영상 가시화 기술>

∙Unity 3D가 사용하는 렌더링 콘텍스트 값 셋팅 후, 각 화면의 렌더 텍스커마드 별 도의 창 및 렌더링 콘텍스트 생성 메인 렌더링 콘텍스트와 각 창의 렌더링 콘텍스 리소스 Sharing함. 각 렌더링 콘텍스트마다 알맞은 Texture의 ID를 바인딩 시켜 창 에 드로잉함.

<그림 6 시범사업 사진 찍은 후, 변경 >

○ 다중 참여자 실감형 인터페이스 개발

∙다중 참여자 실감형 인터랙션 종류는 총 3가지로 카메라 센서를 활용한 핸즈프리 인터랙션, 멀티터치 테이블을 이용한 터치 인터랙션, 실감형 디바이스로 구성됨. 이 를 통해 사용자의 자연스러운 행위나 환경에서 일어나는 일을 감지하고, 그 상황에 따라 일관된 형태로 디스플레이 함.

- 주요 결과물

① 다중참여자 실감형 인터페이스 개발 설계서 1건

② 창의체험 특수효과 공간 기반 다중사용자 동시 실시간 추적기술 S/W 1건

③ 사용자 객체 트레킹 성공률 공인인증 시험성적서 1건

- 수행 결과

가. 키넥트를 활용한 크로마키 실감형 인물 생성 기술 개발

∙고해상도의 깊이 정보를 이용하여 깊이 카잉(depth keying) 방식에 의한 실감공간 에서의 스테레오스코픽 영상 합성을 통해 현실 속 인물을 가상현실 속에 등장 할 수 있는 기술을 개발함.

∙크로마키 인물을 생성하기 위한 알고리즘 개발을 완료하였으며 관련된 알고리즘 은 다음과 같음.

<그림 8 크로마키 영상 알고리즘 순서도>

(11)

∙카메라의 알맞은 위치를 정확히 계산하기 위한 알고리즘을 개발하고 원근카메라 에서 1만큼 떠러진 거리의 너비와 높이를 각각 W/H로 정의하고 수직, 수평의 각 도를 ∅로 정의하여 개발.

<그림 7 4면 영상 가시화 기술>

∙Unity 3D가 사용하는 렌더링 콘텍스트 값 셋팅 후, 각 화면의 렌더 텍스커마드 별 도의 창 및 렌더링 콘텍스트 생성 메인 렌더링 콘텍스트와 각 창의 렌더링 콘텍스 리소스 Sharing함. 각 렌더링 콘텍스트마다 알맞은 Texture의 ID를 바인딩 시켜 창 에 드로잉함.

<그림 6 시범사업 사진 찍은 후, 변경 >

○ 다중 참여자 실감형 인터페이스 개발

∙다중 참여자 실감형 인터랙션 종류는 총 3가지로 카메라 센서를 활용한 핸즈프리 인터랙션, 멀티터치 테이블을 이용한 터치 인터랙션, 실감형 디바이스로 구성됨. 이 를 통해 사용자의 자연스러운 행위나 환경에서 일어나는 일을 감지하고, 그 상황에 따라 일관된 형태로 디스플레이 함.

- 주요 결과물

① 다중참여자 실감형 인터페이스 개발 설계서 1건

② 창의체험 특수효과 공간 기반 다중사용자 동시 실시간 추적기술 S/W 1건

③ 사용자 객체 트레킹 성공률 공인인증 시험성적서 1건

- 수행 결과

가. 키넥트를 활용한 크로마키 실감형 인물 생성 기술 개발

∙고해상도의 깊이 정보를 이용하여 깊이 카잉(depth keying) 방식에 의한 실감공간 에서의 스테레오스코픽 영상 합성을 통해 현실 속 인물을 가상현실 속에 등장 할 수 있는 기술을 개발함.

∙크로마키 인물을 생성하기 위한 알고리즘 개발을 완료하였으며 관련된 알고리즘 은 다음과 같음.

<그림 8 크로마키 영상 알고리즘 순서도>

(12)

<그림 9 크로마키 영상 알고리즘 구현방식1>

∙512*424의 뎁스 이미지에서 사람 인덱스를 가지고 있는 픽셀의 좌표를 취득하여 1920*1080의 칼라 이미지에서 기존에 취득된 사람 인덱스를 가지고 있는 좌표와 매 칭되는 칼라 값을 가져옴.

∙결과 화면에 보여주는 512*424 4채널 배열에 512*424 뎁스 이미지의 좌표 값에 Shift Value를 더한만큼 좌표를 이동 하고 1920*1080 칼라 이미지의 픽셀 칼라 값을 저장함.

∙사람 인덱스가 없는 좌표 값들은 (0,0,0,0)으로 저장 하여 투명한 이미지를 생성하 여 이렇게 저장된 512*424 4채널 배열을 출력함.

<그림 11 크로마키 영상개발 결과 화면>

나. 다중사용자 인터랙션 기술 & 다중사용자 동시 실시간 추적 기술

∙실감형 4면 특수효과 공간에서 다중 사용자의 행동 자유도를 최대한 보장하며 실 제 체험환경과 동일한 경험을 제공할 수 있도록 다중사용자 인터랙션 기술을 개발. 1차년도에는 총 5가지 핸즈프리인터랙션 동작을 적용 개발함.

<그림 12 핸즈프리인터랙션 명령어 수 5종>

<그림 13 핸즈프리인터랙션 반응 콘텐츠>

(13)

∙512*424의 뎁스 이미지에서 사람 인덱스를 가지고 있는 픽셀의 좌표를 취득하여 1920*1080의 칼라 이미지에서 기존에 취득된 사람 인덱스를 가지고 있는 좌표와 매 칭되는 칼라 값을 가져옴.

∙결과 화면에 보여주는 512*424 4채널 배열에 512*424 뎁스 이미지의 좌표 값에 Shift Value를 더한만큼 좌표를 이동 하고 1920*1080 칼라 이미지의 픽셀 칼라 값을 저장함.

∙사람 인덱스가 없는 좌표 값들은 (0,0,0,0)으로 저장 하여 투명한 이미지를 생성하 여 이렇게 저장된 512*424 4채널 배열을 출력함.

<그림 11 크로마키 영상개발 결과 화면>

나. 다중사용자 인터랙션 기술 & 다중사용자 동시 실시간 추적 기술

∙실감형 4면 특수효과 공간에서 다중 사용자의 행동 자유도를 최대한 보장하며 실 제 체험환경과 동일한 경험을 제공할 수 있도록 다중사용자 인터랙션 기술을 개발. 1차년도에는 총 5가지 핸즈프리인터랙션 동작을 적용 개발함.

<그림 12 핸즈프리인터랙션 명령어 수 5종>

<그림 13 핸즈프리인터랙션 반응 콘텐츠>

(14)

∙사용자의 얼굴과 동작을 동시에 트레킹하여 체험관내에서 3명의 사용자가 환경에 제약받지 않고 자연스럽게 동작을 수행 할 수 있도록 인터랙션 기술을 개발함.

∙다양한 체험활동을 하다 보면 다중사용자의 중첩상황이 발생하게 되는데 이러한 중첩상황에도 간섭받지 않고 자연스럽게 인터랙션이 가능하도록 기술개발 함. (공인 인증시험평가 정확도 89%이상 합격)

<그림 14 상황에 따른 다중사용자 동시 실시간 추적 기술>

<그림 15 다중사용자 처리 알고리즘 순서도>

다. 실감형 디바이스 (모바일디바이스)연동 기술

∙본 기술은 창의체험 기능성 통합 UI개발 항목에 해당하며, 교육에 필요한 가상체 험용 IoT 디바이스를 부착하여 활용가능 한 기술을 개발하여 학습내용에 대한 이해 를 도와줄 수 있는 기술을 개발함.

<그림 16 실감형 디바이스 모바일 교구 프로토타입 디자인 >

∙1차년도 개발에서는 2D 기반 실감형 특수효과 공간 교실에서 활용할 수 있는 교 구로서 모바일와 터치테이블간의 자연스런 인터랙션이 가능하도록 터치패턴 알고리 즘을 개발하여 적용함.

∙또한 카메라 영상 알고리즘을 적용하여 모바일 폰을 활용한 AR증강체험이 가능하 도록 교구를 개발함.

<그림 17 사각형 꼭지점 알고리즘>

(15)

∙사용자의 얼굴과 동작을 동시에 트레킹하여 체험관내에서 3명의 사용자가 환경에 제약받지 않고 자연스럽게 동작을 수행 할 수 있도록 인터랙션 기술을 개발함.

∙다양한 체험활동을 하다 보면 다중사용자의 중첩상황이 발생하게 되는데 이러한 중첩상황에도 간섭받지 않고 자연스럽게 인터랙션이 가능하도록 기술개발 함. (공인 인증시험평가 정확도 89%이상 합격)

<그림 14 상황에 따른 다중사용자 동시 실시간 추적 기술>

<그림 15 다중사용자 처리 알고리즘 순서도>

다. 실감형 디바이스 (모바일디바이스)연동 기술

∙본 기술은 창의체험 기능성 통합 UI개발 항목에 해당하며, 교육에 필요한 가상체 험용 IoT 디바이스를 부착하여 활용가능 한 기술을 개발하여 학습내용에 대한 이해 를 도와줄 수 있는 기술을 개발함.

<그림 16 실감형 디바이스 모바일 교구 프로토타입 디자인 >

∙1차년도 개발에서는 2D 기반 실감형 특수효과 공간 교실에서 활용할 수 있는 교 구로서 모바일와 터치테이블간의 자연스런 인터랙션이 가능하도록 터치패턴 알고리 즘을 개발하여 적용함.

<그림 17 사각형 꼭지점 알고리즘>

(16)

∙본 기술 개발에서는 SURF 알고리즘을 고도화 하여 속도를 최적화 시키고 정교한 영상 처리가 될 수 있도록 함.

<그림 18 카메라 영상처리 알고리즘>

○ 특수효과 컨트롤 기술 개발

∙실감현실 특수공간에 여러 가지 효과들을 사용자 반응에 따라 효과를 제어할 수 있는 기술을 개발함. 물리기반, 충격제어 (작용,반작용), 유체역학 (물,바람) , 중력제 어(기울기, 속도), 사운드 제어등의 총 5가지 특수효과 중 정량적 목표인 3가지를 Unity 3D 엔진을 활용하여 개발함.

- 주요 결과물

① 특수효과 컨트롤 기술 개발 설계서 1건

② 특수효과 컨트롤 기술 개발 시연 영상 1종

- 수행 결과

∙특수효과 컨트롤 기술은 창의체험 특수효과 실감 공간에서 사용자의 행동에 따라 특수효과 콘텐츠가 다양하게 가시화되는 기술을 말함. 실감형 특수 공간에서 사용 자의 입력에 따라 제어되는 특수효과는 1차년도에서는 물리 및 충돌효과, 중력 제 어, 사운드 제어로 총 3가지 컨트롤 기술이 개발 완료됨.

∙각 특수효과에 대한 정의는 다음과 같음.

특수효과 효과 설명 비고

물리 및 충돌효과 강체, 질량, 저항, 충돌체, 마찰, 반동에 관해 물리적으로 계산하여 디지털 콘텐츠 재현

중력제어 질량과 저항 값을 계산하여 사용자의 행동에 따라 인터랙 티브 콘텐츠가 반응하도록 하는 효과

사운드제어 사용자의 움직임 강도 및 반응에 따른 사운드 컨트롤 효과

<표 1 특수효과 정의>

<그림 19 특수효과 적용 방식>

(17)

∙본 기술 개발에서는 SURF 알고리즘을 고도화 하여 속도를 최적화 시키고 정교한 영상 처리가 될 수 있도록 함.

<그림 18 카메라 영상처리 알고리즘>

○ 특수효과 컨트롤 기술 개발

∙실감현실 특수공간에 여러 가지 효과들을 사용자 반응에 따라 효과를 제어할 수 있는 기술을 개발함. 물리기반, 충격제어 (작용,반작용), 유체역학 (물,바람) , 중력제 어(기울기, 속도), 사운드 제어등의 총 5가지 특수효과 중 정량적 목표인 3가지를 Unity 3D 엔진을 활용하여 개발함.

- 주요 결과물

① 특수효과 컨트롤 기술 개발 설계서 1건

② 특수효과 컨트롤 기술 개발 시연 영상 1종

- 수행 결과

∙특수효과 컨트롤 기술은 창의체험 특수효과 실감 공간에서 사용자의 행동에 따라 특수효과 콘텐츠가 다양하게 가시화되는 기술을 말함. 실감형 특수 공간에서 사용 자의 입력에 따라 제어되는 특수효과는 1차년도에서는 물리 및 충돌효과, 중력 제 어, 사운드 제어로 총 3가지 컨트롤 기술이 개발 완료됨.

∙각 특수효과에 대한 정의는 다음과 같음.

특수효과 효과 설명 비고

물리 및 충돌효과 강체, 질량, 저항, 충돌체, 마찰, 반동에 관해 물리적으로 계산하여 디지털 콘텐츠 재현

중력제어 질량과 저항 값을 계산하여 사용자의 행동에 따라 인터랙 티브 콘텐츠가 반응하도록 하는 효과

사운드제어 사용자의 움직임 강도 및 반응에 따른 사운드 컨트롤 효과

<표 1 특수효과 정의>

<그림 19 특수효과 적용 방식>

(18)

∙창의체험공간상에서 특수효과 컨트롤 기술 개발 사항이 다음과 같이 적용되었음.

<그림 20 특수효과 적용 콘텐츠 결과물>

○ 상황 연계형 콘텐츠 가시화 기술

∙사용자가 가상세계와 갖는 상호작용을 현실화하기 위한 기술로서 실시간 사용자 반응에 따라 맞춤화된 가상세계 속 콘텐츠가 적용되어야함. 가상현실과 사용자간의 인터랙션에 대한 자연스런 변환과정을 제공하기 위해 실시간 콘텐츠 가시화 기술 및 실시간 렌더링 처리기술에 대한 개발을 진행함.

- 주요 결과물

① 상황연계형 콘텐츠 가시화 기술 설계서 1건

② 상황연계형 콘텐츠 가시화 기술 시연 영상 1종

- 수행 결과

∙사용자로부터 입력을 받았을 때, 그 입력에 대한 가장 적적할 콘텐츠가 제시되도 록 하는 기술을 말함. 즉, 시각적인 형상정보, 청각, 촉각 및 운동감과 관련된 여러 가지 반응들이 시기 적절하게 디스플레이 장치를 통해 표현되는 기술임.

∙다양한 입력센서로 부터 획득된 영상과 컴퓨터를 이용하여 생성된 영상을 자연스 럽게 실시간 합성, 렌더링하고, 실제 환경(real environment)과 상호작용하는 가상 물체의 움직임을 사실적으로 실시간 시뮬레이션, 생성하도록 함.

∙1차적으로 사용자가 가상세계와 갖는 상호작용을 현실화하기 위한 기술로서 실시 간 사용자 반응에 따라 맞춤화된 가상세계 속 콘텐츠를 적용함. 가상현실과 사용자 간의 인터랙션에 대한 자연스런 변환과정을 제공하기 위해 실시간 콘텐츠 가시화 기술 및 실시간 랜더링 처리 기술에 대한 개발 진행.

<그림 21 사용자와 캐릭터의 Avateering 개발>

(19)

∙창의체험공간상에서 특수효과 컨트롤 기술 개발 사항이 다음과 같이 적용되었음.

<그림 20 특수효과 적용 콘텐츠 결과물>

○ 상황 연계형 콘텐츠 가시화 기술

∙사용자가 가상세계와 갖는 상호작용을 현실화하기 위한 기술로서 실시간 사용자 반응에 따라 맞춤화된 가상세계 속 콘텐츠가 적용되어야함. 가상현실과 사용자간의 인터랙션에 대한 자연스런 변환과정을 제공하기 위해 실시간 콘텐츠 가시화 기술 및 실시간 렌더링 처리기술에 대한 개발을 진행함.

- 주요 결과물

① 상황연계형 콘텐츠 가시화 기술 설계서 1건

② 상황연계형 콘텐츠 가시화 기술 시연 영상 1종

- 수행 결과

∙사용자로부터 입력을 받았을 때, 그 입력에 대한 가장 적적할 콘텐츠가 제시되도 록 하는 기술을 말함. 즉, 시각적인 형상정보, 청각, 촉각 및 운동감과 관련된 여러 가지 반응들이 시기 적절하게 디스플레이 장치를 통해 표현되는 기술임.

∙다양한 입력센서로 부터 획득된 영상과 컴퓨터를 이용하여 생성된 영상을 자연스 럽게 실시간 합성, 렌더링하고, 실제 환경(real environment)과 상호작용하는 가상 물체의 움직임을 사실적으로 실시간 시뮬레이션, 생성하도록 함.

∙1차적으로 사용자가 가상세계와 갖는 상호작용을 현실화하기 위한 기술로서 실시 간 사용자 반응에 따라 맞춤화된 가상세계 속 콘텐츠를 적용함. 가상현실과 사용자 간의 인터랙션에 대한 자연스런 변환과정을 제공하기 위해 실시간 콘텐츠 가시화 기술 및 실시간 랜더링 처리 기술에 대한 개발 진행.

<그림 21 사용자와 캐릭터의 Avateering 개발>

(20)

∙시뮬레이션 분산처리 기술 개발 이후, 가상화 기반 실감공간 특수효과 및 렌더링 가속화 일부를 적용하여 TEST 실시.

∙가상화 컴퓨팅 기술 적용 후, 실시간 콘텐츠 렌더링 속도 TEST 결과는 다음과 같 음.

<그림 23 가상화 컴퓨팅 기술 기반 실시간 콘텐츠 렌더링 속도결과>

<그림 22 시뮬레이션 분산처리 기술을 통한 실시간 콘텐츠 렌더링 설계>

2) 기능성 콘텐츠 저작기술

○ 실감공간 저작도구 개발

∙4면형 공간 형태의 사용자가 체험하는 가상세계를 구성하는 3차원 공간을 생성 및 편집하며, 가상현실 시스템의 구성요소들을 통합하고 관리하는 소프트웨어를 개발

- 주요 결과물

① 실감공간 저작도구 개발 기능 정의 및 설계서 1건

② 실감공간 저작도구 개발 SW 등록 1건

- 수행 결과

∙실감 공간 저작도구는 제작하고자 하는 창의체험 기능성 콘텐츠에서 사용되는 가 상의 공간을 모델링하며, 원하는 Map 경로를 지정할 수 있도록 기능을 구현함.

∙제작된 모델링을 Prefab화 하여 Tool에 넣으면 플레이 모드 상태에서 쉽게 아이템 을 자유롭게 회전 및 배치가 가능함. 또한, Save 및 Load가 가능하기 때문에 사용 후 다음 플레이 할 경우 기존의 데이터를 사용할 수 있음.

<그림 24 실감공간 저작도구 UI>

(21)

∙시뮬레이션 분산처리 기술 개발 이후, 가상화 기반 실감공간 특수효과 및 렌더링 가속화 일부를 적용하여 TEST 실시.

∙가상화 컴퓨팅 기술 적용 후, 실시간 콘텐츠 렌더링 속도 TEST 결과는 다음과 같 음.

<그림 23 가상화 컴퓨팅 기술 기반 실시간 콘텐츠 렌더링 속도결과>

<그림 22 시뮬레이션 분산처리 기술을 통한 실시간 콘텐츠 렌더링 설계>

2) 기능성 콘텐츠 저작기술

○ 실감공간 저작도구 개발

∙4면형 공간 형태의 사용자가 체험하는 가상세계를 구성하는 3차원 공간을 생성 및 편집하며, 가상현실 시스템의 구성요소들을 통합하고 관리하는 소프트웨어를 개발

- 주요 결과물

① 실감공간 저작도구 개발 기능 정의 및 설계서 1건

② 실감공간 저작도구 개발 SW 등록 1건

- 수행 결과

∙실감 공간 저작도구는 제작하고자 하는 창의체험 기능성 콘텐츠에서 사용되는 가 상의 공간을 모델링하며, 원하는 Map 경로를 지정할 수 있도록 기능을 구현함.

∙제작된 모델링을 Prefab화 하여 Tool에 넣으면 플레이 모드 상태에서 쉽게 아이템 을 자유롭게 회전 및 배치가 가능함. 또한, Save 및 Load가 가능하기 때문에 사용 후 다음 플레이 할 경우 기존의 데이터를 사용할 수 있음.

<그림 24 실감공간 저작도구 UI>

(22)

∙실감공간 저작도구 기능은 다음과 같이 구성이 되어 있음.

대분류 중분류 소분류 세분류 상세 기능 소개

실감 공간 저작 도구

Map

Map 생성 　 새로운 파일 생성

Map 삭제 　 파일 삭제

Map 불러오기 　 이전 파일 불러오기

Map 저장 　 프로젝트 저장

오브젝트

리스트 　 오브젝트 리스트 불러오기

(리소스 작업한 사항에 대해서 불러오기)

이동 　 오브젝트 이동하기

회전 　 오브젝트 회전하기

스케일 　 오브젝트 크기 조절하기

툴

UI

오브젝트 리스트 오브젝트 리스트

조작 툴 오브젝트 조작할 수 있는 툴 기능 모음 (상세 기능 추가)

메뉴 화면에 보여지는 메뉴 공간 화면 구성 공간 화면 구성

지우개 오브젝트 지우기 설정 설정 화면 및 내용 기타 툴 기타 메뉴에 들어가는 기능

조작툴 기능

카메라 뷰 오브젝트 배치 및 조절할 때 보여지는 화면 화면 회전 카메라 뷰 회전

화면 이동 카메라 뷰 이동 화면 줌 카메라 뷰 줌 인/줌 아웃

단축키 관련 기능들 단축키로 편의성 향상

<표 2 실감공간 저작도구 기능 소개>

∙실감공간 저작도구를 활용한 저작 과정은 일단 저작하고자 하는 Map을 선택 후, 해당 Map에 적절한 object를 배치를 자유롭게 하고 저장하게 됨. 이때 저장한 데이 터는 클라우드에 자동 저장되며, 새롭게 저작한 Map은 각 저작자들에게 공유될 수 있도록 기능 적용.

<그림 25 실감공간 저작도구 공간 저작 Process>

○ 콘텐츠 저작도구 개발

∙실감 공간 콘텐츠의 스토리에 맞추어 각각의 공통 기능을 모듈화 하여 창의체험 기능성 콘텐츠 제작의 효율성을 높일 수 있도록 함.

- 주요 결과물

① 실감 콘텐츠 저작도구 요구사항 정의서 1건

② 실감 콘텐츠 저작도구 개발 설계서 1건

③ 실감 콘텐츠 저작도구 SW 등록 1건

- 수행 결과

∙창의체험 기능성 콘텐츠 개발을 위해 필요한 핵심 기능 5가지를 도출하여 Unity Prefab 형태로 개발함.

∙콘텐츠 소스의 자율 변화, 확대 축소, 움직임 효과 등의 기능을 제공하여 콘텐츠 생성의 효율성을 향상하기 위하는 것에 주 목적이 있으므로 기존 Unity 3D 엔진과 의 호환성 확보를 통한 객체 Importing 기반 생성과 배치 기능을 설계함.

∙콘텐츠 저작도구는 Physics Prefab, Effect Prefab, Sound Prefab, Touch Prefab, Motion Prefab으로 총 5개의 Prefab으로 이루어져 있음.

(23)

∙실감공간 저작도구 기능은 다음과 같이 구성이 되어 있음.

대분류 중분류 소분류 세분류 상세 기능 소개

실감 공간 저작 도구

Map

Map 생성 　 새로운 파일 생성

Map 삭제 　 파일 삭제

Map 불러오기 　 이전 파일 불러오기

Map 저장 　 프로젝트 저장

오브젝트

리스트 　 오브젝트 리스트 불러오기

(리소스 작업한 사항에 대해서 불러오기)

이동 　 오브젝트 이동하기

회전 　 오브젝트 회전하기

스케일 　 오브젝트 크기 조절하기

툴

UI

오브젝트 리스트 오브젝트 리스트

조작 툴 오브젝트 조작할 수 있는 툴 기능 모음 (상세 기능 추가)

메뉴 화면에 보여지는 메뉴 공간 화면 구성 공간 화면 구성

지우개 오브젝트 지우기 설정 설정 화면 및 내용 기타 툴 기타 메뉴에 들어가는 기능

조작툴 기능

카메라 뷰 오브젝트 배치 및 조절할 때 보여지는 화면 화면 회전 카메라 뷰 회전

화면 이동 카메라 뷰 이동 화면 줌 카메라 뷰 줌 인/줌 아웃

단축키 관련 기능들 단축키로 편의성 향상

<표 2 실감공간 저작도구 기능 소개>

∙실감공간 저작도구를 활용한 저작 과정은 일단 저작하고자 하는 Map을 선택 후, 해당 Map에 적절한 object를 배치를 자유롭게 하고 저장하게 됨. 이때 저장한 데이 터는 클라우드에 자동 저장되며, 새롭게 저작한 Map은 각 저작자들에게 공유될 수 있도록 기능 적용.

<그림 25 실감공간 저작도구 공간 저작 Process>

○ 콘텐츠 저작도구 개발

∙실감 공간 콘텐츠의 스토리에 맞추어 각각의 공통 기능을 모듈화 하여 창의체험 기능성 콘텐츠 제작의 효율성을 높일 수 있도록 함.

- 주요 결과물

① 실감 콘텐츠 저작도구 요구사항 정의서 1건

② 실감 콘텐츠 저작도구 개발 설계서 1건

③ 실감 콘텐츠 저작도구 SW 등록 1건

- 수행 결과

∙창의체험 기능성 콘텐츠 개발을 위해 필요한 핵심 기능 5가지를 도출하여 Unity Prefab 형태로 개발함.

∙콘텐츠 소스의 자율 변화, 확대 축소, 움직임 효과 등의 기능을 제공하여 콘텐츠 생성의 효율성을 향상하기 위하는 것에 주 목적이 있으므로 기존 Unity 3D 엔진과 의 호환성 확보를 통한 객체 Importing 기반 생성과 배치 기능을 설계함.

∙콘텐츠 저작도구는 Physics Prefab, Effect Prefab, Sound Prefab, Touch Prefab, Motion Prefab으로 총 5개의 Prefab으로 이루어져 있음.

(24)

Prefab 상세 소개 비고 Physics Prefab 에디터상의 각종 오브젝트에 물리 기능을 부여

Effect Prefab 공간의 특정 위치에서 각종 특수 효과의 표현 Sound Prefab 공간의 특정 위치에서 사운드 효과 구현

Touch Prefab 현재 입력된 모든 터치 좌표를 XML 형식으로 저장

Motion Prefab 키넥트를 통한 동작을 녹화하여 방향값을 XML 형식으로 저장

<표 3 콘텐츠 저작도구 상세 분류>

∙Physics Prefab은 Physics Prefab은 기본적으로 유니티에서 제공하는 Rigidbody 와 Box Collider 컴포넌트를 포함하고 있고, 각각의 옵션들의 값을 수정하고 체크하며 물리값들을 적용시킬 수 있음.

∙Physics Prefab 은 실제 물리적 공간에서 변경되는 속성들을 제어하기 위하여 설 계되었기 때문에, Unity 3D의 물리엔진을 사용하여 현실적으로 보이는 다양한 물리 현상들을 단순히 물체의 배치를 통해 구현할 수 있게 함.

<그림 26 Physics Prefab 기능 적용 캡처화면>

∙Effect Prefab 은 기본적으로 6개의 이펙트들을 내장하고 있으며 유니티 3D의 Particle System 컴포넌트를 받아와 수정할 수 있게 하였고, Change 버튼을 통하여 이펙트를 내장되어진 이펙트를 바꿀 수 있게 설계함.

<그림 27 Effect Prefab 기능 캡처화면>

∙Sound Prefab 은 기본적으로 5개의 소리들을 내장하고 있으며 유니티 3D의 Audio Source 컴포넌트를 받아와 수정할 수 있게 하였고, Change 버튼을 통하여 소리를 내장되어진 소리로 바꿀 수 있게 기능을 개발함.

<그림 28 Sound Prefab 기능 캡처화면>

∙Touch Prefab은 실감형 디바이스 (IoT)연동 기술에서 활용할 수 있는 기술임. 모 바일 폰마다 지정되어진 좌표값을 입력하여 해당하는 좌표에 맞는 콘텐츠가 적용될 수 있도록 함. 현재 입력되고 있는 모든 터치 좌표를 Save 버튼으로 저장하게 기능 을 개발하였으며, 좌표는 XML 형식으로 저장되어지며 OutPut 폴더에 저장됨.

(25)

Prefab 상세 소개 비고 Physics Prefab 에디터상의 각종 오브젝트에 물리 기능을 부여

Effect Prefab 공간의 특정 위치에서 각종 특수 효과의 표현 Sound Prefab 공간의 특정 위치에서 사운드 효과 구현

Touch Prefab 현재 입력된 모든 터치 좌표를 XML 형식으로 저장

Motion Prefab 키넥트를 통한 동작을 녹화하여 방향값을 XML 형식으로 저장

<표 3 콘텐츠 저작도구 상세 분류>

∙Physics Prefab은 Physics Prefab은 기본적으로 유니티에서 제공하는 Rigidbody 와 Box Collider 컴포넌트를 포함하고 있고, 각각의 옵션들의 값을 수정하고 체크하며 물리값들을 적용시킬 수 있음.

∙Physics Prefab 은 실제 물리적 공간에서 변경되는 속성들을 제어하기 위하여 설 계되었기 때문에, Unity 3D의 물리엔진을 사용하여 현실적으로 보이는 다양한 물리 현상들을 단순히 물체의 배치를 통해 구현할 수 있게 함.

<그림 26 Physics Prefab 기능 적용 캡처화면>

∙Effect Prefab 은 기본적으로 6개의 이펙트들을 내장하고 있으며 유니티 3D의 Particle System 컴포넌트를 받아와 수정할 수 있게 하였고, Change 버튼을 통하여 이펙트를 내장되어진 이펙트를 바꿀 수 있게 설계함.

<그림 27 Effect Prefab 기능 캡처화면>

∙Sound Prefab 은 기본적으로 5개의 소리들을 내장하고 있으며 유니티 3D의 Audio Source 컴포넌트를 받아와 수정할 수 있게 하였고, Change 버튼을 통하여 소리를 내장되어진 소리로 바꿀 수 있게 기능을 개발함.

<그림 28 Sound Prefab 기능 캡처화면>

∙Touch Prefab은 실감형 디바이스 (IoT)연동 기술에서 활용할 수 있는 기술임. 모 바일 폰마다 지정되어진 좌표값을 입력하여 해당하는 좌표에 맞는 콘텐츠가 적용될 수 있도록 함. 현재 입력되고 있는 모든 터치 좌표를 Save 버튼으로 저장하게 기능 을 개발하였으며, 좌표는 XML 형식으로 저장되어지며 OutPut 폴더에 저장됨.

(26)

Touch Prefab 은 현재 입력되고 있는 시작점들의 좌표값을 Xml 형식으로 저장될 수 있게 개발 되었고, 터치 좌표는 2D좌표이기 때문에 X값과 Y값이 기록됨.

<그림 29 Touch Prefab 기능 캡처화면>

∙Motion Prefab 은 사용자의 모션DATA값을 자동으로 학습시킬 수 있도록 학습 DATA를 입력하는 기능을 개발함. 키넥트의 Bone 중에 하나를 선택하여 현재 프레 임과 이전 프레임을 비교하여 영역값을 Record 버튼을 통해 기록되고, 저장은 Save 버튼으로 저장하게 함. 기록되어진 영역값은 XML 형식으로 저장되어지며 OutPut 폴더에 저장될 수 있도록 함.

<그림 30 Motion Prefab 기능 캡처화면>

3) 가상화 기반 실감형 창의 플랫폼

○ 컴퓨팅 퍼포먼스 최적화 기본 기술 개발 및 클라우드 환경 구축

∙서버의 물리적 자원을 효율적으로 활용할 수 있도록, 하나의 물리적 서버를 N개 의 가상 서버로 분리하고, 각각의 가상화된 서버에 물리적 자원을 최적 할당량으로 분배함으로써, 1) 물리적 자원의 활용 효율성을 높이고, 2) 고가용성을 확보하며, 3) 통합된 관리 시스템을 구축 함.

- 주요 결과물

① 클라우드 시스템 설계서 1건

② 자동화 대상 클라우드 서버 세팅 프로세스 설계서 1건

③ 어드민 및 개발자 사이트 UI 설계서 1건

④ 통합 어드민 개발자 사이트 1건 - rapi.cyebiz.com)(근거자료: 시연 동영상)

⑤ BridgeDB 연동 API CallFlow 정의서 1건

⑥ BridgeDB 연동 API 규격 설계서 1건

⑦ BridgeDB 스키마 정의서 1건

⑧ 클라우드 기술 및 서비스 동향 분석서 1건

⑨ VDI 기반 저작 프로그램 구동 소요 리소스 분석서 1건 (동영상/근거 데이터 포함)

⑩ VDI 기반 콘텐츠 시연 소요 리소스 분석서 1건 (동영상/근거 데이터 포함)

- 수행 결과

가. 클라우드 서버 구성

∙가상 체험 플랫폼이 구동되는 클라우드 서버는 다음과 같은 기능별로 가상화되어 구축함.

- DB 서버 : Master DB¹⁾ 서버 / Slave DB²⁾ 서버 - 웹 서버 : CMS 서버 / API 서버

- 기타 : 과제 수행 과정에서 필요할 경우 용도를 변경하는 테스트 서버

1) Master DB : 데이터 추가/변경/삭제를 처리하며, 새로운 이벤트 발생 시, Slave DB로 데이터 싱크 2) Slave DB : 데이터 조회 요청을 처리하며, Master DB의 부하를 분산하는 역할

(27)

Touch Prefab 은 현재 입력되고 있는 시작점들의 좌표값을 Xml 형식으로 저장될 수 있게 개발 되었고, 터치 좌표는 2D좌표이기 때문에 X값과 Y값이 기록됨.

<그림 29 Touch Prefab 기능 캡처화면>

∙Motion Prefab 은 사용자의 모션DATA값을 자동으로 학습시킬 수 있도록 학습 DATA를 입력하는 기능을 개발함. 키넥트의 Bone 중에 하나를 선택하여 현재 프레 임과 이전 프레임을 비교하여 영역값을 Record 버튼을 통해 기록되고, 저장은 Save 버튼으로 저장하게 함. 기록되어진 영역값은 XML 형식으로 저장되어지며 OutPut 폴더에 저장될 수 있도록 함.

<그림 30 Motion Prefab 기능 캡처화면>

3) 가상화 기반 실감형 창의 플랫폼

○ 컴퓨팅 퍼포먼스 최적화 기본 기술 개발 및 클라우드 환경 구축

∙서버의 물리적 자원을 효율적으로 활용할 수 있도록, 하나의 물리적 서버를 N개 의 가상 서버로 분리하고, 각각의 가상화된 서버에 물리적 자원을 최적 할당량으로 분배함으로써, 1) 물리적 자원의 활용 효율성을 높이고, 2) 고가용성을 확보하며, 3) 통합된 관리 시스템을 구축 함.

- 주요 결과물

① 클라우드 시스템 설계서 1건

② 자동화 대상 클라우드 서버 세팅 프로세스 설계서 1건

③ 어드민 및 개발자 사이트 UI 설계서 1건

④ 통합 어드민 개발자 사이트 1건 - rapi.cyebiz.com)(근거자료: 시연 동영상)

⑤ BridgeDB 연동 API CallFlow 정의서 1건

⑥ BridgeDB 연동 API 규격 설계서 1건

⑦ BridgeDB 스키마 정의서 1건

⑧ 클라우드 기술 및 서비스 동향 분석서 1건

⑨ VDI 기반 저작 프로그램 구동 소요 리소스 분석서 1건 (동영상/근거 데이터 포함)

⑩ VDI 기반 콘텐츠 시연 소요 리소스 분석서 1건 (동영상/근거 데이터 포함)

- 수행 결과

∙가상 체험 플랫폼이 구동되는 클라우드 서버는 다음과 같은 기능별로 가상화되어 구축함.

- DB 서버 : Master DB¹⁾ 서버 / Slave DB²⁾ 서버 - 웹 서버 : CMS 서버 / API 서버

- 기타 : 과제 수행 과정에서 필요할 경우 용도를 변경하는 테스트 서버

1) Master DB : 데이터 추가/변경/삭제를 처리하며, 새로운 이벤트 발생 시, Slave DB로 데이터 싱크 2) Slave DB : 데이터 조회 요청을 처리하며, Master DB의 부하를 분산하는 역할

(28)

<그림 31 클라우드 서버 기본 구성 개념도>

<그림 32 클라우드 플랫폼 서버 전체 구성도>

∙클라우드 플랫폼 서버는 통합 어드민 “서버 관리” 파트에서 통합 모니터링/관리 되도록 구성함.

<그림 33 통합 어드민 내 “서버 관리” 파트 인터페이스>

∙ 2차년도 개발 예정이었던 플랫폼 탑재 S/W와의 연동을 위해 클라우드 플랫폼 내에서 통합 관리하는 계정 정보 관리 및 인증을 수행하는 BDB API³⁾를 개발함.

API Code명 상세 개발현황 비고

DC API

Direct Connector

API

스토리지 데이터 저장/관리 규칙이 매우 제한적인 CMS/스토어 스토리지 영역과 저장/관리 규칙이 상대적으로 유연한 협업 스토리지 영역간 데이터 연동을 지원.

개발 및 연동 완료

고도화 및 기능 확장 필요

C. API Cloud API

폴더/권한/계정/할당량 등 주로 협업 환경 구성 및 구동에 필요한 클라우드 운영/개발 시스템으로의 접근을 지원.

개발 완료 기능 수정 필요

BDB. API

Bridge DB API

각 서비스에서 사용하는 공통 계정을 저장하는 Bri dge DB에 접근.

개발 완료 DC/RV Space

연동 완료

S.API Storage API

클라우드 내부의 스토리지에 존재하는 파일 정보 조회/수정 등을 지원하는 API로서 웹/애플리케이 션간 파일 관리 일원화.

클라우드 스토리지로의 모든

데이터 I/O 담당

2차년도 개발 예정

Auth.APIAuthorization

API 클라우드 접근 계정/폴더/권한 통합 관리 중단 타 API로 분산 병합

<표 4 API 명세>

3) BDB API : Brigde DB API : 클라우드 플랫폼을 구성하는 모든 소프트웨어에서 클라우드 DB의 공통 데이터에 대한 이벤트 를 담당하는 API

(29)

<그림 31 클라우드 서버 기본 구성 개념도>

<그림 32 클라우드 플랫폼 서버 전체 구성도>

∙클라우드 플랫폼 서버는 통합 어드민 “서버 관리” 파트에서 통합 모니터링/관리 되도록 구성함.

<그림 33 통합 어드민 내 “서버 관리” 파트 인터페이스>

∙ 2차년도 개발 예정이었던 플랫폼 탑재 S/W와의 연동을 위해 클라우드 플랫폼 내에서 통합 관리하는 계정 정보 관리 및 인증을 수행하는 BDB API³⁾를 개발함.

API Code명 상세 개발현황 비고

DC API

Direct Connector

API

스토리지 데이터 저장/관리 규칙이 매우 제한적인 CMS/스토어 스토리지 영역과 저장/관리 규칙이 상대적으로 유연한 협업 스토리지 영역간 데이터 연동을 지원.

개발 및 연동 완료

C. API Cloud API

폴더/권한/계정/할당량 등 주로 협업 환경 구성 및 구동에 필요한 클라우드 운영/개발 시스템으로의 접근을 지원.

개발 완료 기능 수정 필요

BDB.

API

Bridge DB API

각 서비스에서 사용하는 공통 계정을 저장하는 Bri dge DB에 접근.

개발 완료 DC/RV Space

연동 완료

S.API Storage API

클라우드 내부의 스토리지에 존재하는 파일 정보 조회/수정 등을 지원하는 API로서 웹/애플리케이 션간 파일 관리 일원화.

클라우드 스토리지로의 모든

데이터 I/O 담당

2차년도 개발 예정

Auth.APIAuthorization

API 클라우드 접근 계정/폴더/권한 통합 관리 중단 타 API로 분산 병합

<표 4 API 명세>

3) BDB API : Brigde DB API : 클라우드 플랫폼을 구성하는 모든 소프트웨어에서 클라우드 DB의 공통 데이터에 대한 이벤트 를 담당하는 API

(30)

∙ DC API 및 Cloud API와 연동하는 프로젝트 매니저를 개발하였으며, 주요 기능 은 계정 및 그룹관리, 리소스/콘텐츠 카테고리 관리, 프로젝트 간 리소스 공유를 위 한 Common 폴더 관리 등이 있음.

<그림 34 프로젝트 매니저 인터페이스>

나. 주요 적용 기술 및 기능

∙리눅스 기반 파일 시스템을 웹 기반으로 분석함.

∙Direct Connector 애플리케이션에서 사용하는 윈도우즈 기반 파일 시스템과 연동 할 수 있도록 데이터를 가공함.

<그림 35 DC API를 통한 운영 정책/스토리지 실시간 접근 흐름도>

∙콘텐츠 협업 프로젝트 관리 웹과 연동함. (보안된 DB 접근)

∙콘텐츠 저작 도구/체험 소프트웨어에서 실시간으로 원격 스토리지 데이터에 다중 액세스를 할 수 있도록 지원함.

<그림 36 BDB API를 이용한 통합 인증 프로세스 개념도>

∙다중 보안 통신 방식 적용

- 기본 인코딩 : URL Encodeing, Base64 Encoding

- 1차 암호화 : Public Key 기반의 AES 128 활용 (애플리케이션에서 호출 시) - 2차 암호화 : Private Key, Time Check 기반의 암호화 (자체 암호화 방식)

<그림 37 타임 기반 인증 실패 시, 통신 원천 차단>

<그림 38 보안 적용 전/후 패킷 캡쳐에 의한 획득 데이터 비교>

(31)

∙ DC API 및 Cloud API와 연동하는 프로젝트 매니저를 개발하였으며, 주요 기능 은 계정 및 그룹관리, 리소스/콘텐츠 카테고리 관리, 프로젝트 간 리소스 공유를 위 한 Common 폴더 관리 등이 있음.

<그림 34 프로젝트 매니저 인터페이스>

∙리눅스 기반 파일 시스템을 웹 기반으로 분석함.

∙Direct Connector 애플리케이션에서 사용하는 윈도우즈 기반 파일 시스템과 연동 할 수 있도록 데이터를 가공함.

<그림 35 DC API를 통한 운영 정책/스토리지 실시간 접근 흐름도>

∙콘텐츠 협업 프로젝트 관리 웹과 연동함. (보안된 DB 접근)

∙콘텐츠 저작 도구/체험 소프트웨어에서 실시간으로 원격 스토리지 데이터에 다중 액세스를 할 수 있도록 지원함.

<그림 36 BDB API를 이용한 통합 인증 프로세스 개념도>

∙다중 보안 통신 방식 적용

- 기본 인코딩 : URL Encodeing, Base64 Encoding

- 1차 암호화 : Public Key 기반의 AES 128 활용 (애플리케이션에서 호출 시) - 2차 암호화 : Private Key, Time Check 기반의 암호화 (자체 암호화 방식)

<그림 37 타임 기반 인증 실패 시, 통신 원천 차단>

<그림 38 보안 적용 전/후 패킷 캡쳐에 의한 획득 데이터 비교>

(32)

○ 기능성 콘텐츠 클라우드 스토리지 분산처리 기술 개발

∙스토리지 장비의 네트워크 I/O 트래픽 처리 능력 한계로 인해, 하나의 데이터를 여러 개의 오브젝트로 나누어 분산 저장을 하는 DFS⁴⁾를 구현함으로써 데이터 유실 방지 및 성능 저하를 최소화 하여야 함. 분산 처리 시스템은 이미 검증된 기술과 오픈 소스 및 상용 솔루션들이 양산되어 있으므로 이를 활용하여 단순 분산 처리 시스템이 해결하기 힘든 사용자 실수에 의해 발생한 데이터 유실까지도 대응할 수 있는 진보된 시스템 개발이 필요함. 클라우드 환경에서는 모든 데이터가 중앙 스토 리지에 저장이 되므로 장애 복구 및 사용자 실수에 의한 데이터 복구 등 복합적인 백업 및 분산 저장 시스템이 구축되어야 함.

- 주요 결과물

① 분산 처리 시스템 설계서 1건

② 클라우드 실시간 데이터 접근 성공률 1차 측정 결과서 1건

- 수행 결과

∙가상 체험 플랫폼 내에서 구성된 스토리지 서버는 메인 스토리지 서버, 실시간 백 업 서버, 타임 기반 딜레이 백업 서버로 구성됨.

<그림 39 클라우드 플랫폼 내 스토리지 기본 구성 개념도 (개선 전)>

4) DFS : Distributed File System : 분산 파일 시스템

∙데이터 분산 처리/다중 백업 시스템

- 데이터 I/O 성능 향상 및 저장소 보안을 위해 2대의 물리적 스토리지에 데이터를 분산 저장함. (DFS)

- 데이터 분산 저장 시, 시스템 장애(Disk Fail)에 대응하기 위해 Real-time Replicate 방식을 중복 적용함. (데이터 하나가 2대의 스토리지에 나뉘어 저장되며, 각 스토리 지의 데이터는 제3의 스토리지에 실시간으로 백업)

- 동시에 다수의 리소스를 읽어 들여 구동되는 저작 도구 및 클라우드 플랫폼 기반 협업 환경 특성 상 시스템 장애에 의한 데이터 유실이 아닌 사용자 실수에 의한 데 이터 손상/의도하지 않은 삭제 등에 대비하기 위해 타임 기반 딜레이 백업을 적용 함.

∙데이터 접근 성공률 및 무결성 검증

- Direct Connector 를 통한 스토리지 데이터 I/O 시 무결성 및 접근 성공률 분석 결과는 다음과 같음.

Case

원본 Data수

①

무결성 메타정보 OS

Pass

② Fail

=①-② 일치

③ 불일치

=①-③ 성공

④

=②+③ 실패

성공률

=④/①

*100 클라우드 플랫폼 -

외부 단말간 전송 성공률 300개 300개 0개 300개 0개 300개 0개 100%

<표 5 무결성 및 접근 성공률 분석 결과>

∙타임 딜레이 기반 백업

- 서비스 스토리지에 저장된 데이터를 일괄 백업하는 방식이 아닌, 변경된 파일만 백업하는 방식을 채택하여 서버 및 내부 네트워크 리소스를 감소시킴.

- 기본 RSYNC 데몬을 사용하여 백업 스크립트를 구성함.

- 백업 스크립트는 파일 메타 정보 / 생성일 / 수정일 / 용량 등 다양한 기준 적용 이 가능함.

<그림 40 스토리지 서버 구성 기본 개념도 (개선 후)>

(33)

○ 기능성 콘텐츠 클라우드 스토리지 분산처리 기술 개발

∙스토리지 장비의 네트워크 I/O 트래픽 처리 능력 한계로 인해, 하나의 데이터를 여러 개의 오브젝트로 나누어 분산 저장을 하는 DFS⁴⁾를 구현함으로써 데이터 유실 방지 및 성능 저하를 최소화 하여야 함. 분산 처리 시스템은 이미 검증된 기술과 오픈 소스 및 상용 솔루션들이 양산되어 있으므로 이를 활용하여 단순 분산 처리 시스템이 해결하기 힘든 사용자 실수에 의해 발생한 데이터 유실까지도 대응할 수 있는 진보된 시스템 개발이 필요함. 클라우드 환경에서는 모든 데이터가 중앙 스토 리지에 저장이 되므로 장애 복구 및 사용자 실수에 의한 데이터 복구 등 복합적인 백업 및 분산 저장 시스템이 구축되어야 함.

- 주요 결과물

① 분산 처리 시스템 설계서 1건

② 클라우드 실시간 데이터 접근 성공률 1차 측정 결과서 1건

- 수행 결과

∙가상 체험 플랫폼 내에서 구성된 스토리지 서버는 메인 스토리지 서버, 실시간 백 업 서버, 타임 기반 딜레이 백업 서버로 구성됨.

<그림 39 클라우드 플랫폼 내 스토리지 기본 구성 개념도 (개선 전)>

4) DFS : Distributed File System : 분산 파일 시스템

∙데이터 분산 처리/다중 백업 시스템

- 데이터 I/O 성능 향상 및 저장소 보안을 위해 2대의 물리적 스토리지에 데이터를 분산 저장함. (DFS)

- 데이터 분산 저장 시, 시스템 장애(Disk Fail)에 대응하기 위해 Real-time Replicate 방식을 중복 적용함. (데이터 하나가 2대의 스토리지에 나뉘어 저장되며, 각 스토리 지의 데이터는 제3의 스토리지에 실시간으로 백업)

- 동시에 다수의 리소스를 읽어 들여 구동되는 저작 도구 및 클라우드 플랫폼 기반 협업 환경 특성 상 시스템 장애에 의한 데이터 유실이 아닌 사용자 실수에 의한 데 이터 손상/의도하지 않은 삭제 등에 대비하기 위해 타임 기반 딜레이 백업을 적용 함.

∙데이터 접근 성공률 및 무결성 검증

- Direct Connector 를 통한 스토리지 데이터 I/O 시 무결성 및 접근 성공률 분석 결과는 다음과 같음.

Case

원본 Data수

①

무결성 메타정보 OS

Pass

② Fail

=①-② 일치

③ 불일치

=①-③ 성공

④

=②+③ 실패

성공률

=④/①

*100 클라우드 플랫폼 -

외부 단말간 전송 성공률 300개 300개 0개 300개 0개 300개 0개 100%

<표 5 무결성 및 접근 성공률 분석 결과>

∙타임 딜레이 기반 백업

- 서비스 스토리지에 저장된 데이터를 일괄 백업하는 방식이 아닌, 변경된 파일만 백업하는 방식을 채택하여 서버 및 내부 네트워크 리소스를 감소시킴.

- 기본 RSYNC 데몬을 사용하여 백업 스크립트를 구성함.

- 백업 스크립트는 파일 메타 정보 / 생성일 / 수정일 / 용량 등 다양한 기준 적용 이 가능함.

<그림 40 스토리지 서버 구성 기본 개념도 (개선 후)>