R&D연구결과보고서

(1)

보안과제( ), 일반과제( ^○) KCA-2012-12-971-04-004

방송통신기술개발사업

역동적인 모바일 아바타에 의한 미래의 SNS에 관한 연구

(Dynamic mobile avatar based SNS in the future)

2014. 05. 30.

중앙대학교 산학협력단

미 래 창 조 과 학 부

(2)

제 출 문

미래창조과학부 장관 귀하

이 보고서를 "역동적인 모바일 아바타에 의한 미래의 SNS에 관한 연구" 과제의 보 고서로 제출합니다.

2014. 05. 30

주관연구기관 : 중앙대학교 산학협력단

총괄 책임자 : 채 영호

참여연구기관 : ㈜제이텍솔루션 참여 책임자 : 김 희석

(3)

기술개발사업 최종보고서 초록

1. 일반현황

사업명 방송통신기술개발사업 기술분류 융합기술-융합콘텐츠-

응용 콘텐츠 과제명(과제번호) 역동적인 모바일 아바타에 의한 미래의 SNS

(KCA-2012-12-971-04-004)

주관기관

기관

(기업)명 중앙대학교 산학협력단 설립일 2004. 03. 17 주소 (156-756) 서울특별시 동작구 흑석로 84 대표자

(기관장) 김 원 용 연락처 02-820-6607

홈페이지 http://iacf.cau.ac.kr Fax 02-822-5495

기술개발 현황

총괄책임자 채 영 호 연락처 02-820-5335

실무담당자 김 두 범 연락처

(e-mail) yhchai@cau.ac.kr

참여기관 ㈜제이텍솔루션

총사업비 (천원)

정부출연금 민간부담금

현금 현물 합계

400,000 13,400 120,000 533,400 총개발

기간 2012. 05. 01. ~ 2014. 04. 30.

2. 개발결과 요약

키워드 소셜 네트워크 서비스, 모바일 아바타, 쉐이크 펜 인터페이스, 제스처 인식, 아바타 동작저작

핵심기술 자세오차 0.5°, 드리프트 1°/sec 이하 MARG 퓨전 동작인식을 통한 쉐이크 펜 인터페이스에 의한 역동적인 모바일 아바타 커뮤니케이션

최종목표

Ÿ MARG 퓨전 알고리즘을 이용하여 드리프트 없는 사용자의 입력동작 자세를 계산

Ÿ 3D 모델링 도구를 이용한 모바일에 최적화 된 모델링 및 캐릭터 셋업

Ÿ MARG 퓨전 추적 매핑을 통한 아바타 동작 구성 알고리즘

(4)

Ÿ MARG 퓨전추적 사용자 동작인식을 통한 아바타 동작 매핑용 쉐이크 펜 인터페이스의 개발

Ÿ 쉐이크 펜 인터페이스에 의한 아바타 동작 생성 저작도구의 개발 Ÿ 아바타 커뮤니케이션용 다중 계층 쉐이크 펜 인터페이스 확장 Ÿ 쉐이크 펜 인터페이스에 의한 아바타 커뮤니케이션 도구(SNS)의

개발

개발내용 및 결과

Ÿ MARG 퓨전 알고리즘을 이용하여 드리프트 없는 사용자의 입력동작 자세를 계산: 1, 2차 프로토타입 MARG 센서와

안드로이드 폰 내부장착 센서 출력을 quaternion complementary filter를 통해 드리프트 오차가 제로에 가까운 WIMU(Wireless Inertial Measurement Unit)의 입력 자세를 계산

Ÿ 3D 모델링 도구를 이용한 모바일에 최적화 된 모델링 및 캐릭터 셋업: 5,000폴리곤 이하의 로우폴리곤 모델링을 진행하였고 동작의 다양성과 추후 동작의 보간법을 적용할 수 있게 모션캡쳐 데이터를 데이터베이스화하여 적용

Ÿ MARG 퓨전 추적 매핑을 통한 아바타 동작 구성 알고리즘:

MARG 센서의 움직임을 SVM을 이용하여 패턴화하고 패턴 예측을 통해 사용자가 원하는 동작 데이터를 검색하여 아바타에 매칭하고 동작 데이터는 모션캡쳐 데이터인 BVH형식을 사용하여 파싱에 효율을 높이고 데이터 취득이 용이하게 함

Ÿ 사용자 동작인식을 통한 아바타 동작 매핑용 쉐이크 펜

인터페이스의 개발: 3차원 공간상에서 사용자간의 원활한 소통을 위한 인터페이스용 상황별 최소한의 기본 동작을 세분화된 관절 그룹을 이용하여 다양한 동작을 구성할 수 있게 설계

Ÿ 쉐이크 펜 인터페이스에 의한 아바타 동작 생성 저작도구의 개발:

1차 년도에 개발된 계층적 동작구성 알고리즘과 2차 년도에 개발된 관절입자 동역학을 이용한 즉흥적 동작저작 및 분석된 쉐이크 펜 UI를 토대로 관절 그룹에 따라 지정동작, 자세보간동작 및 동작변형보간 그룹으로 아바타 동작의 저작이 가능하게 개발 Ÿ 아바타 커뮤니케이션용 다중 계층 쉐이크 펜 인터페이스 확장:

쉐이크 펜의 회전 제스처를 어포던스에 기반한 제스처 메타포와 연관하여 아바타의 움직임을 구성하는 인터페이스로 확장하여 자세보간동작 및 동작변형보간 애니메이션이 가능하게 함

Ÿ 쉐이크 펜 인터페이스에 의한 아바타 커뮤니케이션 도구(SNS)의 개발: 아바타 동작을 쉐이크 펜과 폰 내장센서 움직임으로

저작하고 아바타 동작을 구동 및 전송하는 디스플레이 모듈과 채팅용 텍스트를 입출력하는 모듈을 결합한 어플리케이션 개발

(5)

기술개발배경

Ÿ 미래에는 ‘정보의 생성’ 보다 ‘정보의 전달’ 이 더 중요할 것이며, 정보 전달 의 수단으로 네트워크를 통해 언제 어디서나 쉽게 접근할 수 있는 모바일을 선호 할 것이고, 현재의 2차원적 모바일 화면보다 입체적이고 공감각적인 체감형 커뮤니케이션을 요구 Ÿ 행위동반 아바타는 감정의 행위를 통한 표현에 음성과 텍스트를

병행할 수 있어 사용자가 원하는 매체를 선택하여 감정의 표현이 가능하여 신체접촉 감정을 포함한 공감각적 커뮤니케이션이 가능 Ÿ 역동적인 모바일 아바타로 실현되는 SNS는 주관기관에서

개발되는 동작인식을 통한 아바타의 직관적인 동작생성원리가 미래 선도 핵심 원천기술개발 강화에 해당하며, 다양하지만 유니크하고 감성에 어필하는 아바타 동작의 저작이 참여기업이 가지고 있는 특화기술을 한 단계 업그레이드 하여 중소벤처의 핵심 기술 역량 제고를 이루어 과제를 통해 미래 스마트 신산업 육성이라는 본 사업의 목적을 정확하게 달성가능

핵심개발기술의 의의

Ÿ 센서퓨전: MARG 센서를 2차에 걸쳐 직접 설계, 외주 제작하고 quaternion complementary filter를 사용한 퓨전알고리즘을 이식하여 드리프트 오차가 제로에 가까운 WIMU의 실현

Ÿ 쉐이크펜 인터페이스: 쉐이크 펜 3축 가속도와 3축 자이로 회전 데이터와 터치인터페이스 및 계층구조모델과 결합된 어포던스 메타포를 통한 인터페이스로 무한의 아바타 동작이 저작가능 Ÿ 아바타저작 및 통신: MARG 센서의 데이터를 입력받아 SVM,

DTW로 패턴학습하고 부위별 BVH 모션을 이용 및 입자동역학을 이용한 즉흥저작으로 의미 있는 동작을 손쉽게 저작

적용분야

Ÿ 행위 동반 아바타를 이용한 온라인 커뮤니케이션은 기존의 텍스트, 음성, 화상통화가 갖지 못하는 특징을 갖고 있다.

가상공간상 아바타의 움직임을 통해 효과적인 커뮤니케이션을 가능케 하며 놀이적 요소를 포함 하고 있어 확장되고 진화된 형태의 커뮤니케이션 역할을 담당할 것으로 기대

3. 기술 및 경제적 성과

기술적 성과

Ÿ 센서퓨전: MARG센서를 이용한 “A noble combined interface based hybrid automotive design framework”을 Proceedings of the Institution of Mechanical Engineers, Part D: Journal of Automobile Engineering(SCI), Vol. 227(12), Dec. ‘13에 게재 Ÿ 쉐이크펜 인터페이스: WIMU 장치를 사용한 “해마학습법을

적용한 멀티미디어 영어교육 콘텐츠의 개발”논문이 한국

멀티미디어언어교육학회 논문지, Vol. 16(1), Spring ‘13에 게재

(6)

Ÿ 아바타저작 및 통신: “3D 모바일 아바타를 위한 적응적 계층 동작 저작”이 정보과학회논문지: 소프트웨어 및 응용, Vol. 40(9), Sep. ‘13에 게재되고 “모바일 기기에서의 아바타의 애니메이션 제어 방법”으로 2013년 4월 13일에 특허출원(0042185), 또한

“입자동역학을 이용한 모바일 아바타의 즉흥적 동작저작”이 정보과학회논문지: 소프트웨어 및 응용, Vol. 41(5), May ‘14에 게재되고 “아바타 동작 생성 방법 및 이를 수행하기 위한 컴퓨팅 디바이스”로 2013년 12월 6일에 특허출원(10-2013-0151561)

경제적 성과

Ÿ 시장 및 기술환경은 포털에서 SNS로, 웹에서 모바일로 중심축이 이동하고 있으며, 포털은 인터넷 위주의 사업에서 소셜/ 모바일 중심의 사업으로 전환 진행, 또한 SNS와 결합한 콘텐츠의 B2C 시작이 안착될 것으로 전망되며, SNS와 게임이 결합되어 커뮤니티 서비스와 게임을 동시에 즐길 수 있는 SNG의 인기는 지속될 것으로 예상되어 아바타 적용 기술의 기반 마련, SNS 기술의 다양화 요구에 과제의 결과가 유용하게 활용

4. 파급효과 및 기대효과

파급효과

Ÿ 간단한 동작 제어만 가능했던 아바타가 다양한 움직임을 표현할 수 있는 제어방법의 발전으로 진화된 형태의 아바타형 가상현실 게임 및 모바일 어플리케이션으로 응용 가능하며, 감성 기술을 반영한 감성적인 아바타의 움직임을 이용하여 가상회의,

가상교육에서 효과적인 의사전달 방법의 도구로 활용 가능하고, 다양하고 직관적인 움직임 제어를 이용하여 아바타 댄스

경연대회와 같은 엔터테인먼트 콘텐츠 분야로 확장이 가능

기대효과

Ÿ 인체동작을 이용한 아바타 커뮤니케이션 도구(SNS)는 국내에서 개발된 사례가 없으며 본 과제를 통해 개발 되는“역동적 행위를 동반한 모바일 아바타를 이용한 소셜 네트워크 서비스”는 미래의 네트워크 가상공간에서 정보 전달의 새로운 패러다임으로

이용될 것을 확신

5. 해당기술, 제품의 시장 현황

국내시장

Ÿ Full 3D 아바타를 생성하는 스마트폰용 앱이 소개 되고, 다양한 방면에서의 활용이 모색 되어 지고 있다. 하지만 모바일 기기 성능의 제약으로 실행속도가 느리고, 모바일 기기의 디스플레이 한계로 인하여 생성된 아바타의 활용이 극히 제한적, 현재 3D 아바타의 활용은 주로 자신을 표현하거나, 주소록에 있는 지인의 사진 대체용으로 대부분 사용

(7)

해외시장

Ÿ IT 시장조사기관인 ABI Research는 최근 “Mobile Device User Interfaces”라는 제하의 보고서를 통해 센서 기반의 UI가 향후 모바일 UI 혁신에 있어 급격히 부상하는 주제가 될 것이라고 주장했다. 즉, UI 혁신은 위치정보와 이용자 네트워크를 통한 상호 작용의 효과를 극대화시킬 수 있다는 것이다. 2013년경에 이르면 모든 스마트폰 중 85%가 GPS 기능을 탑재할 것으로 보이며, 50% 이상은 가속측정기능을, 그리고 50% 정도는 자이로스코프 기능을 탑재할 것이라고 예측

6. 제품 사진

(8)

기술개발사업 주요 연구성과

사업명 방송통신기술개발사업

과제명 역동적인 모바일 아바타에 의한 미래의 SNS

주관기관명 중앙대학교 산학협력단 설립일 2004. 03. 17

주소 (156-756) 서울특별시 동작구 흑석로 84

대표자(기관장) 김 원 용 연락처 02-820-5335

총괄책임자 채 영 호 FAX -

총개발기간 2012. 05. 01. ~ 2014. 04. 30.

총사업비(백만원) 533.4 정부출연금 400 민간부담금 133.4

참여기관(책임자) 김 희 석

성과지표 세부지표 성 과 비 고

사업화 성과

매출액

개발제품 개발후 현재까지 억원

향후 3년간 매출 억원

관련제품 개발후 현재까지 억원

향후 3년간 매출 억원

시장 점유율

개발제품

개발후 현재까지 국내 : % 국외 : % 향후 3년간 매출 국내 : % 국외 : %

국문 요약문

① 관 리 번 호 KCA-2012-12-971-04-004

② 보 고 서 명 역동적인 모바일 아바타에 의한 미래의 SNS

③ 사 업 명 방송통신연구개발사업

④ 총 괄 책 임 자 성 명 채 영호 직 위 교수

⑤ 주 관 기 관 중앙대학교 산학협력단

⑥ 연구내용 및 결과

Ⅰ. 제 목

역동적인 모바일 아바타에 의한 미래의 SNS

Ⅱ. 연구개발의 목적 및 필요성

Slide & Touch 인터페이스는 실감나는 아바타의 음성, 텍스트 및 행동을 쉽게 제어, 전 달하기에는 제한적이므로 아바타의 움직임을 모바일 기기로 제어하고 통신기능과 조합하 여 실감나고 신나는 소셜네트워크 서비스를 포함하는 모바일 커뮤니케이션 실현

Ⅲ. 연구개발의 내용 및 범위

① 센서퓨전: MARG 퓨전 알고리즘을 적용한 쉐이크 펜 프로토타입 제작

② 쉐이크펜 인터페이스: 사용자 동작인식을 통한 아바타 동작 매핑용 인터페이스 개발

③ 아바타 저작 및 통신: 아바타 동작 저작 알고리즘 및 모바일 커뮤니케이션 앱 개발

Ⅳ. 연구개발결과

① MARG 퓨전 알고리즘을 이용하여 자세추적오차 0.5°, 드리프트 1°/sec 이하 사용자 입력자세 계산

② MARG 퓨전추적 사용자 동작인식을 통한 아바타 동작구성 알고리즘 및 매핑용 쉐이 크펜 인터페이스 개발

③ 모바일 아바타를 위한 아바타 동작 저작도구의 개발 및 쉐이크펜 인터페이스에 의한 아바타 커뮤니케이션용 모바일 어플리케이션 개발

Ⅴ. 연구개발결과의 활용계획(활용에 대한 건의포함)

시장 및 기술환경은 포털에서 소셜네트워크서비스(SNS)로, 웹(Web)에서 모바일로 IT의 중심축이 이동하고 있으며, 주요 포털은 인터넷 위주의 사업에서 소셜/모바일 중심의 사 업으로 전환 진행에 따른 SNS 기술의 다양화 요구에 본 과제의 결과가 유용하게 활용

⑦ 키워드

소셜 네트워크 서비스, 모바일 아바타, 쉐이크 펜 인터페이스, 제스처 인식, 아바타 동작저작

(13)

S U M M A R Y

①Accession Number KCA-2012-12-971-04-004

② Title Dynamic mobile avatar based SNS in the future

③ Project Broadcasting Communications R&D Program

④ Author Name Chai, Young Ho Section Professor

⑤ Institute Industry-University Cooperation Agency, Chung-Ang University

⑥ Abstract

Ⅰ. Title

Dynamic mobile avatar based SNS in the future

Ⅱ. Objective and Necessity of Research and Development

Realization of mobile communication including the entertaining SNS by controlling the motion of avatar using mobile device and combining the communication, since Slide &

Touch interface is limited in delivering the realistic voice and motion of avatar easily.

Ⅲ. Contents and Scope of Research and Development

① Sensor Fusion: Fabrication of a shake pen prototype applying MARG fusion algorithm

② Shake pen Interface: Avatar motion mapping interface using user motion recognition

③ Authoring and Communication of Avatar: Development of the avatar motion authoring algorithm and mobile communication application for the mobile phone.

Ⅳ. Result of Research and Development

① MARG fusion algorithm has been developed in which pose tracking error is less than 0.5°and the drift is smaller than 1°/sec.

② Avatar motion authoring algorithm and the shake pen interface through the MARG fusion tracked user input motion recognition have been developed.

③ Avatar motion authoring tool for mobile avatar and the mobile application for the mobile communication using the shake pen interface have been developed.

Ⅴ. Application Plan of the Result of Research and Development

As the market and technology environments are moved from the portal to the SNS and the main trust of IT industry is migrated from the Web to the mobile, the results of this project will be used appropriately and helpfully for the requirement of the diversification of the SNS technology in the future.

⑦ Key Words

SNS, Mobile Avatar, Shake Pen Interface, Gesture Recognition, Avatar Motion Authoring

(14)

목 차

제 1 장 서론

제 1 절 개발기술의 중요성 및 필요성 제 2 절 국내 외 관련 기술 및 시장의 현황

제 3 절 기술개발 시 예상되는 기술적 경제적 파급효과

제 2 장 기술개발 내용 및 방법

제 1 절 최종 목표 및 평가 방법

제 2 절 연차별 개발 내용 및 개발범위

제 3 장 결과 및 향후계획

제 1 절 연구개발 결과

1. 연차 연구개발 추진 일정 2. 연차 연구개발 추진 실적

3. 기술개발 결과의 유형 및 무형 성과 전체를 기재 제 2 절 연구개발 추진 체계

제 3 절 시장현황 및 사업화 전망 제 4 절 사업비 사용현황

제 5 절 연구개발결과의 활용계획

별첨 1. 자체평가서

별첨 2. 자체보안관리진단표

부 록

(15)

표 목 차

(표 1-1) 2011년 주요 소셜커머스 업체 매출액 ··· 26

(표 1-2) 연간 SNS 예상 성장률 ··· 26

(표 1-3) 주요 SNS 사용자 현황 규모 ··· 27

(표 1-4) 국내외 SNS 수요처 및 수요량 ··· 27

(표 1-5) 국내 SNS관련 사용자 현황 ··· 28

(표 1-6) 관련 기술/제품의 국내 지식재산권(특허 등)현황 ··· 29

(표 1-7) 관련 기술/제품의 국외 지식재산권(특허 등)현황 ··· 29

(표 1-8) 관련 기술분야의 기술격차 및 상대적 수준 ··· 30

(표 2-1) 최종 목표 및 평가 방법 ··· 32

(표 2-2) 정량적 목표 항목 ··· 32

(표 2-3) 핵심 키워드 ··· 33

(표 2-4) IPR에 대한 정량적 연차적 세부 목표 ··· 33

(표 2-5) 단계 목표 및 평가 방법 ··· 34

(표 2-6) 연차별 개발 내용 총괄 ··· 34

(표 2-7) 감정에 따른 상황분류 ··· 36

(표 2-8) 행동에 따른 상황분류 ··· 37

(표 2-9) 아바타의 동작에 따른 상황분류 ··· 39

(표 2-10) 아바타의 감정 표현 ··· 40

(표 2-11) 아바타의 머리동작 ··· 40

(표 2-12) 아바타의 팔동작 ··· 40

(표 2-13) 아바타의 손동작 ··· 41

(표 2-14) 아바타의 발동작 ··· 41

(표 2-15) 스마트 폰에서 지원하는 모션 센서 이벤트 ··· 42

(표 3-1) 총괄 추진 체계 ··· 47

(표 3-2) 총괄 추진 일정 ··· 48

(표 3-3) 쉐이크펜 예약동작 ··· 66

(표 3-4) 입자동역학 저작 시스템 저작 평가 ··· 93

(표 3-5) DTW알고리즘의 목표 제스처에 대한 confusion matrix ··· 135

(표 3-6) Joint Orientation Limits ··· 137

(표 3-7) 기관별 추진 체계 ··· 145

(표 3-8) 개발 종료 후 생산 계획 ··· 150

(표 3-9) 개발 종료 후 투자 계획 ··· 150

(16)

그 림 목 차

(그림 1-1) 안드로이드폰용 3D 아바타 생성기 ··· 21

(그림 1-2) 일기예보 하는 3D 아바타 ··· 22

(그림 1-3) 일정을 설명하는 비서 아바타 ··· 22

(그림 1-4) 노래방 점수에 따라 상이한 동작을 연출하는 치어리더 아바타 ··· 23

(그림 1-5) 동작 인식 컨트롤러의 게임 산업 적용 사례 ··· 24

(그림 1-6) 자이로 센서의 모바일 적용 ··· 24

(그림 1-7) 세계 스마트폰 가입자 전망 ··· 25

(그림 1-8) 싸이월드와 페이스북의 국내 월간 방문자수 ··· 27

(그림 1-9) 네이트온에서 사용할 수 있는 이모티콘 이미지 자료 ··· 28

(그림 1-10) 스마트폰 SNS 관련 업게 시장 전망 ··· 31

(그림 2-1) Complementary filter의 블록 다이어그램 ··· 35

(그림 2-2) 카메라 트래킹 이미지 ··· 35

(그림 2-3) Kalman filter algorithm ··· 36

(그림 2-4) Skinning 알고리즘 ··· 37

(그림 2-5) 쉐이크 펜과 아바타 동작 구역 매핑 ··· 38

(그림 2-6) 쉐이크 펜 동작 선택 및 실행 ··· 39

(그림 2-7) 사용자 정의 애니메이션 방법의 예 ··· 39

(그림 2-8) 아바타의 감정 표현의 예 ··· 40

(그림 2-9) 쉐이크 펜 모바일 센서 시스템 ··· 43

(그림 2-10) 아바타의 관절 설계 ··· 43

(그림 2-11) 22개의 계층적 관절 구조와 6개의 관절 그룹 정의 ··· 44

(그림 2-12) 5개의 애니메이션 그룹 정의 ··· 44

(그림 2-13) 쉐이크 펜을 이용한 아바타 저작 인터페이스 ··· 45

(그림 2-14) 듀얼 방식의 센서와 아바타 동작 저작 인터페이스 ··· 46

(그림 2-15) 아바타를 이용한 SNS 서비스 상상도 ··· 46

(그림 3-1) MARG 장치의 구조 ··· 49

(그림 3-2) 4층 구조의 PCB 디자인 ··· 49

(그림 3-3) MARG 장치 PCB 디자인 ··· 50

(그림 3-4) SWD/JTAG를 이용해 프로그래밍 된 MARG와 펜 형태의 센서 케이스 ··· 50

(그림 3-5) Quaternion complementary filter 블록 다이어그램 ··· 51

(그림 3-6) Xtras Bone을 활용한 관절 구조방식 변경 ··· 52

(그림 3-7) 아바타 모델링과 모바일 실시간 렌더링 ··· 52

(그림 3-8) 모션캡쳐 데이터 적용의 예 ··· 53

(그림 3-9) 모션의 동작 분류와 생성 ··· 54

(그림 3-10) BVH의 헤더 구조 ··· 55

(그림 3-11) BVH의 모션 데이터 구조 ··· 55

(그림 3-12) BVH를 이용한 동작 생성 절차 ··· 55

(17)

(그림 3-13) 동작 생성을 위한 BVH 구성 ··· 56

(그림 3-14) “ROOT” 기반의 이동 ··· 56

(그림 3-15) 부모 관절의 회전에 다른 자식 관절의 회전 ··· 57

(그림 3-16) 아바타의 모션 관절 보간 ··· 57

(그림 3-17) 커뮤니케이션 과업 수행 절차 ··· 66

(그림 3-18) 보유 동작을 이용한 커뮤니케이션의 예 ··· 67

(그림 3-19) 동작합성 절차 ··· 67

(그림 3-20) 쉐이크펜을 이용하여 아바타의 자세를 생성하는 경우의 예 ··· 68

(그림 3-21) 인공지능 메타포 제스쳐 ··· 68

(그림 3-22) MPU-9150 센서의 퓨전 알고리즘 블록 다이어그램 ··· 82

(그림 3-23) MPU-9150 센서 회로도 ··· 82

(그림 3-24) 전원 회로도 ··· 82

(그림 3-25) 마이크로컨트롤러 회로도 ··· 83

(그림 3-26) JTAG 프로그래밍포트 회로도 ··· 83

(그림 3-27) Bluetooth 칩 회로도 ··· 84

(그림 3-28) 제작 PCB 윗면 ··· 84

(그림 3-29) 제작 PCB 아랫면 ··· 84

(그림 3-30) 드리프트 제거용 9축 퓨전 알고리즘 ··· 85

(그림 3-31) 완성된 MARG IMU 센서와 하우징 ··· 85

(그림 3-32) 1차년도 센서(v2)와 2차년도 보완된 센서(v3)의 자세추적 드리프트 비교 · 85 (그림 3-33) 동작 구성 시스템 ··· 87

(그림 3-34) 관절 입자 정의 ··· 87

(그림 3-35) 관절 입자의 움직임 ··· 88

(그림 3-36) 동작 큐 ··· 88

(그림 3-37) 동작 큐를 이용한 걷기 동작 ··· 89

(그림 3-38) 지속/지연 시간을 이용한 동작 생성 ··· 89

(그림 3-39) 관성 및 구속관계의 움직임 ··· 91

(그림 3-40) 관절입자에 적용되는 힘의 관계 ··· 91

(그림 3-41) 아바타 생성 파이프라인 ··· 92

(그림 3-42) 관절입자의 움직임 해석 ··· 92

(그림 3-43) 입자동역학을 이용한 다양한 저작 결과 ··· 94

(그림 3-44) 무감정 아바타 보간 사례 ··· 104

(그림 3-45) 어포던스 기반의 제스쳐 메타포 디자인 사례 ··· 104

(그림 3-46) 감정표현을 위한 제스쳐 메타포 사례 ··· 105

(그림 3-47) 유사 인사동작의 상이한 감정표현 사례 ··· 106

(그림 3-48) 쉐이크 펜 인터페이스에 의한 아바타 커뮤니케이션 앱 ··· 119

(그림 3-49) XMPP Server Architecture Diagram ··· 119

(그림 3-50) Open Fire server Architecture ··· 120

(그림 3-51) 액션톡 Application flow 다이어그램 ··· 121

(18)

(그림 3-52) 액션톡 Model Class 다이어그램 ··· 122

(그림 3-53) 액션톡 View Class 다이어그램 ··· 123

(그림 3-54) 액션톡 Controller class 다이어그램 ··· 124

(그림 3-55) Login and Register Layouts ··· 125

(그림 3-56) Help Page and Contacts List Layouts ··· 126

(그림 3-57) Conference and Add contacts Layout ··· 127

(그림 3-58) Predefined Action and Avatar change window Layout ··· 128

(그림 3-59) Pose Interpolation Action window layout ··· 129

(그림 3-60) Text Message window Layout ··· 130

(그림 3-61) MARG device interaction with Android Phone ··· 131

(그림 3-62) WIMU Sensor and Mobile Communication ··· 132

(그림 3-63) DTW알고리즘 제스처 분류용 Default 모션 ··· 132

(그림 3-64) DTW알고리즘 제스처 분류용 Front 모션 ··· 133

(그림 3-65) DTW알고리즘 제스처 분류용 Side 모션 ··· 133

(그림 3-66) DTW알고리즘 제스처 분류용 Jab 모션 ··· 133

(그림 3-67) DTW알고리즘 제스처 분류용 Hook 모션 ··· 133

(그림 3-68) DTW알고리즘 제스처 분류용 Happy 모션 ··· 134

(그림 3-69) DTW알고리즘 제스처 분류용 Reluctant 모션 ··· 134

(그림 3-70) DTW알고리즘 제스처 분류용 Pleasant 모션 ··· 134

(그림 3-71) DTW알고리즘 제스처 분류용 Excited 모션 ··· 134

(그림 3-72) DTW알고리즘 제스처 분류용 Disappoint 모션 ··· 135

(그림 3-73) DTW알고리즘 제스처 분류용 Angry 모션 ··· 135

(그림 3-74) DTW알고리즘 제스처 분류용 Happy 모션의 폰센서 구현 ··· 136

(그림 3-75) DTW알고리즘 제스처 분류용 Reluctant 모션의 폰센서 구현 ··· 136

(그림 3-76) DTW알고리즘 제스처 분류용 Pleasant와 Disappoint 모션의 폰센서 구현 136 (그림 3-77) DTW알고리즘 제스처 분류용 Excited와 Angry 모션의 폰센서 구현 ··· 136

(그림 3-78) (a) Avatar Coordinate System (b) Joint Hierarchy (c) Joint DOF ··· 137

(그림 3-79) Motion Interpolation Synthesis ··· 138

(그림 3-80) WIMU and Avatar Mapping ··· 138

(그림 3-81) Features of Gesture ··· 139

(그림 3-82) Low Front Kick ··· 140

(그림 3-83) Mid Front Kick ··· 140

(그림 3-84) High Front Kick ··· 140

(그림 3-85) Low Side Kick ··· 141

(그림 3-86) Mid Side Kick ··· 141

(그림 3-87) High Side Kick ··· 141

(그림 3-88) Joint Angles of LeftArm of Hook Punch ··· 142

(그림 3-89) Joint Angles of RightArm of Hook Punch ··· 142

(그림 3-90) Joint Angles of LeftArm of Jab Punch ··· 143

(19)

(그림 3-91) Joint Angles of RightArm of Jab Punch ··· 143

(그림 3-92) 가상환경 연구실 추진 내역 ··· 146

(그림 3-93) 신문방송학부 추진 내역 ··· 147

(그림 3-94) (주)제이텍솔루션 추진 내역 ··· 148

(그림 3-95) 모바일 디자인 분야의 환경 변화 ··· 149

(그림 3-96) 가상공간상 아바타의 움직임을 이용한 효과적인 커뮤니케이션 ··· 154

(그림 3-97) 온라인 게임 세컨드 라이프 속 인터뷰 ··· 155

(그림 3-98) 아바타 댄스 경연대회 ··· 155

(20)

C O N T E N T S

Chapter 1. Introduction

1. The importance and necessity of the technology

2. Domestic & international status of the related technologies and markets 3. Expected technical and economical impact of the development

Chapter 2. Contents and methods of technology development

1. The ultimate goal and evaluation method 2. Contents and scope of the annual development

Chapter 3. Results and future plans

1. Results of the research and development

1. Schedule of the annual research and development 2. Performance of the annual research and development

3. Tangible and intangible outputs of the research and development 2. Implementing system of the research and development

3. Market condition and the prospect of the commercialization 4. Status of use of the project expenses

5. Application plan of the result of the research and development

Appendix 1. Self-evaluation report

Appendix 2. Self-diagnosis table of safety management

Supplement materials

(21)

제 1 장 서론

제 1 절 개발기술의 중요성 및 필요성

1. 기술의 개념

Ÿ 기존의 온라인 커뮤니케이션의 정보 전달은 텍스트, 음성, 이미지, 동영상등을 활용하였지만, 동작 제어가 가능한 역동적인 모바일 아바타는 한층 진보된 직접적 행위 표현을 통하여 감정을 포함한 정보의 전달이 이루어짐, 예를 들면 상대 아바타를 껴안아 주는 행위를 통해 스킨십의 표현도 가능

Ÿ 행위동반 아바타는 감정의 행위를 통한 표현에 음성과 텍스트를 병행할 수 있어 사용자가 원하는 매체를 선택하여 감정의 표현이 가능하여 신체접촉 감정을 포함한 공감각적 커뮤니케이션이 가능

Ÿ 신체언어로써 아바타 동작은 단어나 문장을 함축적으로 표현하기 때문에 네트워크 모바일 가상공간에서 인간의 감정을 효과적으로 전달하는 수단이 될 수 있음 2. 기술의 공공성

Ÿ 미래에는 ‘정보의 생성’ 보다 ‘정보의 전달’ 이 더 중요할 것이며, 정보 전달 의 수단으로 네트워크를 통해 언제 어디서나 쉽게 접근할 수 있는 모바일을 선호 할 것이고, 현재의 2차원적 모바일 화면보다 입체적이고 공감각적인 체감형

커뮤니케이션을 요구

Ÿ 본 과제를 통해 개발 되는 “역동적 행위를 동반한 모바일 아바타를 이용한 소셜 네트워크 서비스”는 미래의 네트워크 가상공간에서 정보 전달의 새로운

패러다임으로 이용될 것을 확신 3. 개발 대상 기술․제품의 중요성

Ÿ 역동적인 모바일 아바타로 실현되는 SNS는 주관기관에서 개발되는 동작인식을 통한 아바타의 직관적인 동작생성원리가 미래 선도 핵심 원천기술개발 강화에 해당하며, 다양하지만 유니크하고 감성에 어필하는 아바타 동작의 저작이 참여기업이 가지고 있는 특화기술을 한 단계 업그레이드 하여 중소벤처의 핵심 기술 역량 제고를 이루어 과제를 통해 미래 스마트 신산업 육성이라는 본 사업의 목적을 정확하게 달성가능

Ÿ 본 과제에 참여하는 주관기관과 참여기업은 공동으로 2010.08.~2011.01.에 진행한 지식경제부 정보통신산업진흥원지원의 IT/SW 창의연구과정을 통하여 스마트폰용 3D 실감형 아바타 기술개발[최종평가: 성공(우수)]을 이루었으며 관련인력의

(22)

양성이 이루어졌다. 이 결과를 활용하여 본 과제의 진행이 이루어지면 관련기술의 산업화로 연결되어 정부사업 목적접합성이 아주 이상적임

Ÿ 현재의 Slide & Touch 인터페이스는 현장감 있고 실감나는 아바타의 음성, 텍스트 및 행동을 쉽게 제어하고 전달하기에는 제한적이므로, 역동적인 아바타 동작제어 인터페이스를 자세추적을 포함하는 스마트 쉐이크 펜이나 스마트폰 내부의 동작인식 센서를 활성화시켜 아바타를 통한 커뮤니케이션의 몰입감 상승

Ÿ 스마트폰이나 별도 입력장치의 센서를 추적하여 흔들고 터치하는 인터페이스로 아바타의 행위를 제어할 수 있으므로, 관련 스마트폰 앱의 개발을 유도할 뿐만 아니라 아바타의 움직임을 모바일 기기로 제어하고 통신기능과 조합하여 실감나고 신나는 소셜 네트워크 서비스를 포함하는 모바일 네트워크 커뮤니케이션을 실현 Ÿ 2012년 하반기 국내 스마트폰 보급률이 80%에 이를 것으로 전망하고 있으며 국내

스마트폰 사용자들의 47.4%는 이메일, SNS등의 교류활동을 위해 사용한다고 한다.

본 과제를 통하여 개발되는 상품은 이와 같이 대부분의 국민의 사용이 가능한 범용이 되며 동시에 통신의 방법을 근본적으로 바꿀 수 있는 기술임

제 2 절 국내‧외 관련 기술의 현황

1. 국내․외 기술 현황

가. 국내 기술 동향 및 수준(신청 기관 포함): 모바일 아바타의 현황과 문제점

Ÿ 초기 모바일 기기에서의 아바타는 모바일 장치의 하드웨어 한계로 2D 이미지의 연속적인 디스플레이를 통한 표현 방법이 대부분이고 모바일 아바타의 생성에 관한 기술 개발이 주류

Ÿ 최근에는 스마트폰의 보급으로 Full 3D 아바타를 생성하는 스마트폰용 앱이 소개 되고, 다양한 방면에서의 활용이 모색 되어 지고 있다. 하지만 모바일 기기 성능의 제약으로 실행속도가 느림

<그림 1-1. 안드로이드폰용 3D 아바타 생성기>

Ÿ 아바타 행위 표현에 관한 대표적인 언어는 AML, CML, VHML, STEP 등으로 아바타의 행위를 상위 프로그램 레벨에서 표현이 가능한 PC 환경에 적합. 최근

(23)

스마트폰의 등장으로 모바일 기기에서도 이들을 이용한 아바타 행위표현이 가능 Ÿ 하지만, 모바일 기기의 디스플레이 한계로 인하여 생성된 아바타의 활용이 극히

제한적, 현재 3D 아바타의 활용은 주로 자신을 표현하거나, 주소록에 있는 지인의 사진 대체용으로 대부분 사용

Ÿ OpenGL-ES(OpenGL Embedded Systems)과 JSR(Java Specification

Request)-148이 모바일기기에서 3D를 표현하기 위한 표준으로 부각 되면서 3D 아바타에 생성과 제어에 관한 연구와 기술개발이 진행

Ÿ 3D 아바타의 제작이 가능해지면서 아바타 제어에 관한 기술이 부각되어졌고, 이에 따른 기술 개발도 다양하게 이루어지고 있음

Ÿ 본 과제 주관기관과 참여기업은 공동으로 2010.08.01.~2011.01.31. 지식경제부 정보통신산업진흥원지원의 IT/SW 창의연구과정을 통하여 스마트폰용 3D 실감형 아바타 기술개발[최종평가: 성공(우수)]에서 실사에 가까운 실감형 3D아바타의 CG와 동작제어기술이 아래와 같이 개발됨

<그림 1-2. 일기예보 하는 3D 아바타>

<그림 1-3. 일정을 설명하는 비서 아바타>

ü Android는 java base이며 iphone은 object-c base로 보다 호환성이 뛰어난 Android를 기준으로 개발을 진행

ü Android는 Java 언어로 프로그램 되지만 JNI로 C 코드로 구성된 프로그램을 Java와 연동하여 Ansi C로 구성을 하고 JNI를 통해 링크, 구동

(24)

ü JNI는 Android NDK을 이용하여 컴파일

ü Android NDK 는 Linux, OSX 와 Windows의 cygwin(또는 MSys)를 이용 ü 본 과제에서는 Windows에서 cygwin을 사용하는 방식보다, 한 시스템에서

C언어의 컴파일과 JAVA의 연동을 위해 OSX (Leopard 10.6.6)을 사용하였으며 아래는 동작제어를 구현한 아바타의 사례임

<그림 1-4. 노래방 점수에 따라 상이한 동작을 연출하는 치어리더 아바타>

Ÿ 스마트폰용 3D 실감형 아바타 기술개발[최종평가: 성공(우수)]에서 아바타의 음 성 스케줄러 기술도 아래와 같이 개발 진행

ü 미리 정해놓은 스케줄을 음성으로 알려주는 서비스 기술개발

ü Android 의 TTS(Text to Speech)기능을 위해서 폰에 기본적으로 엔진이 있어야한다. 폰의 음성 입력&출력에서 TTS 설정에 Android의 기본 엔진인 Pico TTS가 있어야 폰에서 동작

ü 기본 엔진인 Pico TTS에서는 독일어, 영어(영국), 영어(미국), 스페인어, 프랑스어, 이탈리아어의 6개 옵션이 있고 본 과제에서는 미국 영어를 사용 ü 언어의 선택은 엔진에 직접 세팅이 가능하지만 프로그램으로 언어를 선택 ü 참고로 한글 음성 데이터의 경우에는 SVOX Korean /한국어 Female Voice를

설치하면 가능하지만 $1.99의 유료 앱이기 때문에, 개발의 편의성과 확장성을 위해서 본 과제에서는 기본 엔진만을 사용

나. 국외 기술 동향 및 수준: 공간추적 사용자 인터페이스 기술의 현황과 문제점 Ÿ 공간추적 사용자 인터페이스 기술은 디지털 기기의 핵심 경쟁요소로 급부상 하고

있음. 2011년 미국 MIT가 펴내는 ‘테크놀로지 리뷰’지는 신체의 동작을 이용해 컴퓨터를 제어하는 ‘제스처 인터페이스’ 및 그래픽 소프트웨어 처리 결과를 모바일 기기에 빠르게 전달하는 ‘클라우드 스트리밍’기술과 같은 인터페이스 기술을 10대 유망기술 중 두 개로 선정함

Ÿ 2006년 닌텐도의 Wii를 시작으로 동작 인식 컨트롤러는 스포츠 게임, 댄스 게임 등 간단히 즐길 수 있는 캐주얼 게임 위주로 시장에 급속도로 확대되었다. 소니와

(25)

MS는 PS무브, 키넥트로 각각 동작인식 게임시장에 뛰어들었다. 하지만 까다로운 설치와 넓은 공간이 필요하고 신체를 많이 사용해야 되기 때문에 장시간 이용이 불가능하고 calibration과정이 몰입을 방해했다. 또한 적용 부분이 한정적이었고 고가이며 정교함을 요구하는 콘텐츠일수록 조작이 복잡, 조잡해짐

(a)제스쳐를 이용한 키넥트 (b)움직임을 이용한 소니 무브 (c)닌텐도 Wii 제어 <그림 1-5. 동작 인식 컨트롤러의 게임 산업 적용 사례>

Ÿ 하지만, 공간 인터페이스는 물리적 입력 디바이스 외에도 모션 센싱 등의 공간 움직임을 추적하는 테크닉을 사용하여 더욱 효과적이고 역동적인 가상 콘텐츠를 제공한다. 문화나 언어의 영향을 덜 받는 신체의 움직임은 별다른 학습이

필요하지 않을뿐더러 직관적인 인터페이스로의 발전이 용이하고 상품 디자인, 과학적 데이터 분석, 예술의 영역까지도 확장이 가능한 범용적인 분야임

Ÿ IT 시장조사기관인 ABI Research는 최근 “Mobile Device User Interfaces”라는 제하의 보고서를 통해 모바일 디바이스 UI의 주요 시장 및 기술 트렌드를 설명했다. 이는 선도적인 디바이스 제조업체의 UI를 분석하고, 이와 관련된 프레임워크와 터치스크린, GPS, 센서, 기타 구성 요소에 대한 분석을 제공한다.

아울러 운영체제와 모바일 증강현실 어플리케이션 다운로드, 그리고 주요 센서 및 기타 구성요소에 대한 도입 비율 등에 따른 디바이스 출하량을 설명

Ÿ ABI Research는 센서 기반의 UI가 향후 모바일 UI 혁신에 있어 급격히 부상하는 주제가 될 것이라고 주장했다. 즉, UI 혁신은 위치정보와 이용자 네트워크를 통한 상호 작용의 효과를 극대화시킬 수 있다는 것이다. 2013년경에 이르면 모든 스마트폰 중 85%가 GPS 기능을 탑재할 것으로 보이며, 50% 이상은

가속측정기능을, 그리고 50% 정도는 자이로스코프 기능을 탑재할 것이라고 예측

(a)iPhone4의 기본사양 자이로 (b)자이로기타 (c)가속도센서 주사위 <그림 1-6. 자이로 센서의 모바일 적용>

(26)

Ÿ ABI Research의 선임연구원인 Victoria Fodale은 게임과 위치정보 인식, 증강현실 그리고 움직임을 통한 명령어(motion command)의 증가로 인해 스마트폰 내의 센서시장이 크게 성장하고 있다고 말했다. 또한, API를 제공하는 스마트폰의 운영체계가 등장하면서 카메라와 센서, GPS 수신기로부터의 데이터를 활용하는 사례가 크게 증가하고 있다고 함

Ÿ 가속측정기와 자이로스코프가 결합될 경우, 개발자들은 상하, 좌우, 전후 등을 포함한 6가지 방향으로 흔들리는 움직임을 감지할 수 있는 어플리케이션을 개발할 수 있게 된다. 이를 통해 모바일 디바이스에 현재 닌텐도 Wii에 구현된 게임 콘트롤러의 기능을 구현할 수 있게 됨

Ÿ 센서 기능은 스마트폰 시장에서 터치스크린 UI를 활용한 차별화 전략 이상의 혁신 기회를 제조업체에게 제공한다. 그러나 부가적인 기능성은 반드시 편의성을 동반해야 한다. Fodale은 기술과 관련된 내재적인 패러독스가 있다고 말했다.

그는 모바일 디바이스가 더욱 많은 기술과 통합될수록 UI는 이용자에게 직관적인 단순한 형태로 구현되어야 한다고 지적

Ÿ 애플의 아이폰과 같은 이용자 인터페이스(UI, User Interface)의 혁신으로 스마트폰 제조업체들은 UI 디자인과 개발에 많은 자원을 투입하고 있다. 아울러 구글의 안드로이드 OS를 이용하는 대다수의 제조업체들은 자신들의 고유 UI 개발을 위해 노력

2. 국내․외 시장 현황

가. 국내․외 시장 규모 및 수출․입 현황

Ÿ 2012년 하반기 국내 스마트폰 보급률이 80%에 이를 것으로 전망하고 있으며 국내 스마트폰 사용자들의 47.4%는 이메일, SNS등의 교류활동을 위해

사용한다고 한다. 미국에서는 2014년 모바일 인터넷 사용자 수가 데스크톱을 넘어설 것으로 보고 있으며 국내외 인터넷 이용자 3,940만 명 중 65.7%가 SNS이용자 임¹⁾

<그림 1-7. 세계 스마트폰 가입자 전망 (출처: 산은경제연구소, 스위스 은행)>

1) 출처 : MAKIIND