R&D연구결과보고서

(1)

한국전자통신연구원 연구개발 지원사업

전통 및 대중 무용의 체험 학습 창작을 위한 퍼포먼스 분석 및 생성 기술 개발

한국전자통신연구원

정보통신기술진흥센터

(2)

(3)

과제 고유 번호 B0101-15-0152 해당 단계 연구 기간

2015.03.01 ~

2016.02.29 단계구분 3단계 /

3단계

연구사업명

사업명 한국전자통신연구원 연구개발 지원사업

세부사업명

연구과제명

대과제명

세부과제명 전통 및 대중 무용의 체험 학습 창작을 위한

퍼포먼스 분석 및 생성 기술 개발

연구책임자 김명규

해당단계 참여 연구원 수

총: 30 명 내부: 29 명 외부: 1 명

해당단계 연구개발비

정부: 1,200,000천원 민간: 400,000천원 계: 1,600,000천원

총 연구기간 참여 연구원 수

총: 83 명 내부: 82 명 외부: 1 명

총 연구개발비

정부: 4,200,000천원 민간: 1,400,000천원 계: 5,600,000천원

연구기관명 및 소속 부서명

한국전자통신연구원 차세대콘텐츠연구본부

참여기업명

상명대학교, ㈜크래비스

국제공동연구

위탁연구

연구기관명: 계명대학교 연구기관명: YM나을텍 연구기관명: ㈜세모그래픽스

연구책임자: 성만규 연구책임자: 남미영 연구책임자: 신인섭

무용 동작 정밀 분석 및 센서 기반 모션 추적 기술 개발 - 손발 포함 24개 관절 정밀 추적(음영지역 포함 추적 에러율

5% 이하)

- 상용 모션 추적 기술 대비 상대적 정확도 200%

- 센서 기반 무용 의상 착용 상태 모션 추적

퍼포먼스 획득 시스템 개발

- 340fps@Full-HD RGB 카메라 개발(동기화 이내, 6Gbps 전송)

- Depth 카메라(30fps@WSVGA) 개발

133 면

보고서 요약서

(4)

스케치 기반 인터랙티브 무용 퍼포먼스 생성 기술 개발 - 일반 사용자를 위한 인터페이스(멀티터치/스마트펜/카메라) - 퍼포먼스 생성 속도 30fps 이상

실시간 사용자 무용 자세 획득 기술 개발

- 손발 포함 23개 관절 추적 및 관절 노이즈 제거(30fps) - 사용자 가이드 리빌딩 정확도 99%

무용 동작 특수코드화 기술 개발

- 맨몸/도구/감정 포함 동작 특수코드화(에러율 5% 미만)

학습/체험/창작을 위한 퍼포먼스 플랫폼/콘텐츠 개발 - 퍼포먼스 학습을 위한 MV 플랫폼

- 무용 퍼포먼스 창작 SW(리얼모션 컴포우저) - 무용 체험 콘텐츠(리얼모션 트레이너)

(5)

연구개발사업 주요 연구성과

성과지표 세부지표 성 과 비 고

사업화 성과

매출액

개발제품 개발후 현재까지 1.8 억원 향후 3년간 매출 3 억원 관련제품 개발후 현재까지 16.7 억원

향후 3년간 매출 20 억원

시장 점유율

개발제품

개발후 현재까지 국내 : 2 % 국외 : 0 % 향후 3년간 매출 국내 : 5 % 국외 : 1 %

〈 SUMMARY 〉

(10)

C. Development of accurate dance motion analysis technique with multiple high-speed RGB-D images

(1) Development of accurate dance motion tracking technique for experts (2) Development of dance motion tracking technique for experts with motion

sensors

(3) Development of real motion analyzer for dance performance

II. Development of performance creation technology for choreography composition and guide model

A. Sketch based interactive dance performance planning technique (1) Development of Dance Performance data editing technique

(i) Automation of joint noise removal rate 70% or more (ii) Physics-based motion filtering rate up to 20fps@120Hz (2) Dance performance guide generation technique

(i) Motion path of the user input based dance motion automatic generation (ii) Achievement of performance generation rate over 20fps

(3) Interactive dance performance generation technique

(i) User sketch input based dance motion automatic generation (ii) Achievement of performance generation rate over 30fps

B. Development of Real time user performance acquisition and comparison technique

(1) A plurality of sensor based 3D posture acquisition technique (2) Real-time 23 joints noise reduction(30fps)

(3) Performance motion comparison (guide re-building accuracy of 99% or more) C. Performance special code conversion technique

(1) Conversion of special code of bare body dance(ballet) motion data and development of software which combine and visualize various virtual dance motion using the special code database (conversion error 4.88%RoM)

(2) Conversion of special code of implement(sword) dance motion data and development of software which combine and visualize various virtual sword dance motion using the special code database (conversion error 3.39%RoM) (3) Conversion of special code of Korean dance motion(Korean national basics)

data (conversion error 3.64%RoM)

III. Development of multiple high-speed RGB-D camera-based performance imaging system

A. Development of the RGB camera(340fps@Full-HD) and synchronization device (SyncGen) (synchronization error )

B. Development of real-motion camera system

C. Depth camera development completion (30fps@WSVGA)

(11)

IV. Performance platform/content development

A. MV platform and content production for performance motion learning (1) Build tangible dance motion learning mobile MV platform

(2) Offer mobile sensor based dance motion learning guide (3) The production of dance motion learning MV content B. Real-Motion Composer

(1) Support of Multi dance content creation (Classical, modern, popular dance) (2) Touch interface support for performance creation of dance expert

(3) Multi sensors(camera, smart-pen) support for performance creation of public user

(4) Motion search and sketch based motion editing support for efficient creation C. Real-Motion Trainer

(1) User avatar based K-Pop dance experience and learning system (2) Virtual dance experience display system

(3) User point cloud based traditional dance experience and learning system (4) Visualization of comparison result of user and expert

D. Development of realistic mobile MV platform and contents for learning dance motion

(1) Development of realistic mobile MV platform for learning dance motion (2) Development of mobile MV contents for learning dance motion

Expected Contribution

I. Development of performance analysis technique with multiple high-speed RGB-D images

A. Capturing, recording and restoring dance performance of experts with image-based dance motion analysis system

B. Indirect experience and image learning of dances of experts with realistic mobile performance contents

C. Help Real motion analyzer efficiently analyze dance performance by visualizing 9-view RGB-D images and skeletons of human body parts

D. Estimate skeletons of human body parts covered with clothes and deal with self-occlusion

E. Make it possible to track dance performance motion for all human body parts wearing a complex clothes and even outdoor.

II. Development of performance creation technique for choreography composition and guide model

A. New motion data generation by editing existing motion data B. Data quality improvement by correcting noisy data

C. Reprocessing of motion data for user desired purpose

D. Performance experience and learning through a direct and seamless comparison of postures between characters of different body sizes

(12)

III. Performance platform/content development

A. Replacing conventional analog performance planning to digital choreography authoring tools

B. Reduction of concert production time and costs by supporting preview of virtual dance concert

C. Apply to various performance concert creation activities of dance expert and public user

Keywords dance

performance motion analysis guide generation high-speed camera

experience learning creating

(13)

〈 본 문 목 차 〉

1. 연구개발과제의 개요 ··································································································13

2. 국내외 기술 개발 현황 ································································································24

2-1. 국내 기술 동향 및 수준 ····················································································24

2-2. 국외 기술 동향 및 수준 ····················································································29

3. 연구 수행 내용 및 성과 ······························································································35

3-1. 다중 고속 RGB-D 영상 기반 퍼포먼스 분석 기술 개발 ······························35

3-2. 안무 창작 및 가이드 모델을 위한 퍼포먼스 생성 기술 개발 ··················56

3-3. 다중 고속 RGB-D 카메라 기반 리얼모션 카메라 시스템 개발 ··················91

3-4. 학습/체험/창작을 위한 퍼포먼스 플랫폼/콘텐츠 개발 ····························106

4. 목표 달성도 및 관련 분야 기여도 ··········································································117

5. 연구개발성과의 활용 계획 ························································································120

6. 연구 과정에서 수집한 해외 과학기술 정보 ··························································123

7. 연구개발성과의 보안등급 ························································································128

8. 연구개발과제 수행에 따른 연구실 등의 안전 조치 이행 실적 ························129

9. 연구개발과제의 대표적 연구 실적 ··········································································130

10. 참고 문헌 ······················································································································131

(14)

1. 연구개발 목적

본 과제는 전통 및 대중 무용 전문가의 퍼포먼스 분석 및 생성 기술 개발을 통해 사용자가 무용 퍼포먼스를 체험하고 학습하며 창작할 수 있는 참여형 문화예술 활동을 위한 서비스를 제공하는데 목적이 있음

여기서 퍼포먼스란 빠른 신체 동작 뿐 아니라 의상에 의해 가려진 신체 추정, 활용하는 소품/

도구 및 감성을 모두 포함하는 개념임

목적을 달성하기 위한 기술 개발 목표는 다음과 같음

- 다중 고속 RGB-D 영상 기반 퍼포먼스 분석 및 생성 기술 개발 - 다중 고속 RGB-D 카메라 기반 퍼포먼스 촬영 시스템 개발 - 무용 퍼포먼스 특수코드 변환 기술

- 학습/체험/창작을 위한 퍼포먼스 콘텐츠/서비스 플랫폼

<퍼포먼스 분석/생성 기술 및 체험/학습/창작 콘텐츠/서비스 개념도>

2. 연구개발의 필요성

무용, 춤 등의 전문가 퍼포먼스를 분석, 학습, 보급하는 콘텐츠 기술 개발은 문화산업의 중요 한 당면 과제임

- (전통 문화 재현) 유네스코 무형유산협약은 무형문화재의 보호를 위해 진행되어야할 최우선 과제로 ‘무형유산의 기록’을 권고

- (새로운 안무 창조) 안무 제작을 위한 전자안무노트 등 사전 검토 및 다양한 창작의 시도를 통해 보다 질 높은 작품 제작 가능

- (신 한류문화 확산) 대중문화에서 ‘한국문화 전반’으로, 아날로그에서 ‘디지털 융합’으 로, 단방향에서 ‘양방향 문화’로 변화를 통한 한류문화 고도화 및 확산

제1장. 연구개발과제의 개요

(15)

기존 기술은 동작만 인식하고 감성/도구를 포함하지 않으며, 단순 열람은 가능하나 학습/체험/

보급을 위한 방법이 부재함

- 국립 문화재 연구소와 한국 문화재보호재단에서 슈트와 마커를 착용한 상태에서 신체적 동 작만 캡쳐 하였으나, 도구 및 의상 내 동작까지 확대가 필요하며 체험/학습을 위한 데이터 변환 방안 필요

< 모션 캡쳐를 이용한 기록화 작업 – 모션 캡쳐 및 모델화 >

- 무형문화재 기록화 가이드북/DVD 제작에 영상 기록 및 사진 기록에 관한 사항은 포함되어 있으나 이를 일반인 시점에서 학습할 수 있는 효율적인 방법은 포함되지 않음 (※출처: 국립 문화재연구소, 2011)

< 무형문화재 기록화 가이드북 – 움직임이 중요한 종목 >

삶의 질 향상을 위해서 다양한 퍼포먼스를 체험/학습하는 참여형 여가 산업 증대

- 국내 여가 산업(오락문화) 시장은 2006년 약 39조원에서 2012년에는 약 50조 원으로 11조원 증가하였으며, 사업체수는 약 26,000개로 늘어남

- 문화예술 체험/학습 방법으로 특정 시간/장소에서 고가의 개인 레슨을 받거나, 단방향 텍스 트/사진/동영상 교본 수준임

빠르고 능동적인 무용 퍼포먼스 및 스포츠 동작에 대한 영상 획득 시스템 부재

- 동작만 캡쳐하는 카메라와 달리 무용 퍼포먼스 및 스포츠 동작 캡쳐(동작 + 도구, 의상 내 모션 추정)가 가능한 3차원 퍼포먼스 영상 획득이 필요함

- 기존 시스템에 사용되는 카메라 모듈은 대개 전용으로 제작되어 가격이 높으며, 개별적으로 제작되어 동기 기능이 없거나 취약함

- 또한 마커 기반 시스템은 부자연스러운 복장 상태에서 몸이나 도구에 직접 센서를 부착하여 불편한 자세로 퍼포먼스 동작을 캡쳐해야 하는 문제가 있어서 이를 해결하기 위해 센서 부 착 없이 자연스러운 복장 상태에서 동작(마커 기반 실측 대비 추적 정확도 95% 이상)과 도 구를 동시에 분석 가능한 기술이 요구됨

- 기존 시스템에 사용되는 카메라 모듈은 흑백 카메라 또는 깊이 정보에 기반한 Depth 카메라 만으로 이루어져 카메라 간 연동이 쉽지 않기 때문에 많은 양의 정보가 포함된 효과적인 퍼 포먼스 영상을 얻을 수 없으므로, 효과적으로 퍼포먼스 정보를 얻기 위해 고속, 고화질의 RGB 카메라들을 동기화하고, Depth 카메라의 정보까지 연동시킨 다중 RGB-D 카메라 일체 형 시스템 개발 필요

(16)

- 기존 마커리스 모션 캡쳐는 일반 카메라(60~120fps)를 사용하여 느린 동작에 대해서만 적용 가능하나, 고속 움직임을 세밀하게 잡아내기 위해 다중 고속 고해상도 RGB-D 영상(8시점 이상, 340fps 이상, Full-HD급 이상, 동기화 에러 0.5ms 이내)에서 마커 없이 데이터 분석이 가능한 기술이 필요함

무용 동작에 대한 특수코드는 다양한 창조로 이어짐

- 목판인쇄를 금속활자가 대체하고, 24개 자모의 한글이 거의 모든 소리를 표현하듯이 특수코 드화 된 동작 DB는 모든 신체활동을 별도의 모션 캡쳐 없이 그대로 활용 가능

- 기본 단위 동작 특수코드화를 통해 인체동작을 자유롭게 변형하고 연결조합하여 창의적인 무한 재생산 가능

- 창의무용 및 감성표현 동작을 특수코드화 함으로써 예술적 감정표현도 디지털화할 수 있는 기반 마련

퍼포먼스 분석/생성 원천 기술 및 콘텐츠 개발

- 전통/대중 퍼포먼스를 분석/창조하기 위해 제약 없이 퍼포먼스(동작+도구+의상내+감성)를 기 록, 분석, 변환하는 원천 기술 개발 필요

- 언제 어디서든 누구나 체험하고 학습할 수 있는 새로운 퍼포먼스 연상, 교정, 실전 콘텐츠 개발 필요

- 사용자 체험 및 학습을 위해 사용자에게 맞는 가이드를 제공하고 신체 사이즈가 다른 캐릭 터에 대해 동작 변환 없이 직접적으로 비교하는 기술이 필요함

- 모션 캡쳐 데이터를 활용한 기존 기술들은 동작 자체에 중요성을 두고 있어서 사용자가 다 루기 어려운 문제점이 있으므로, 감성이 포함된 무용 퍼포먼스에 대해 인터랙티브 창작(생성 속도 30fps 이상)이 가능한 기술 필요함

- 기존의 모션 캡쳐 DB는 퍼포먼스 전체 또는 단위 동작 수준이라 무용 동작 재생산 또는 활 용성이 제한적이므로 간단하면서도 최적화된 특수코드 개발을 통해 사용자 인터페이스의 편 리성 향상, 저장 공간 최소화, 빠른 실행속도 등을 통해 모바일 환경 및 인터넷 환경에서도 활용성을 높이는 것이 요구됨

- 동작뿐만 아니라 그 안에 깃든 예술적 감성까지도 코드화함으로써 사용자가 무용 창작에 있 어 실제 무용동작에 더 가깝고 다양한 표현이 가능한 기술이 필요함

세계 연구소 및 산업계에서 퍼포먼스 기술 개발 및 상용화

- 미국 테일러메이드사의 특수 동작 분석 시스템 ‘매트’는 몸에 28개 센서를 부착 후 6-9개 의 카메라로 동작을 분석 (국내 판매가 약 5억 원)

- 미국 MotionAnalysis사의 모션 캡쳐 시스템은 중요 부위에 마커를 부착하여 동작을 분석하고 있으며, 게임, 애니메이션, 영화, 스포츠 등에 활용

- 독일 MPI연구소, 프랑스 INRIA연구소 및 미국 Microsoft사, EA사(게임), ILM(영화) 등에서 관 련 기반 기술들이 연구되고 있어, 고가의 해외 동작 분석 시스템을 능가하는 퍼포먼스 분석/

생성 기술 개발 시급

RGB-D 카메라 시스템은 퍼포먼스 동작 영상 획득에 가장 적합한 기술임

- 3차원적으로 가공된 대상물의 형상을 정확하게 검사하려는 수요는 대단히 높으나, 일반 카 메라는 2차원적인 정보의 취득만 가능하여 굴곡이나 홈 같은 부분을 인식할 수 없으며, 깊 이 정보의 취득이 가능한 Depth 카메라는 고가임에도 불구하고 해상도가 낮아 정밀한 검사 가 어려움

(17)

- 상대적으로 고속/고해상도 촬영이 용이한 RGB 또는 흑백카메라를 Depth 카메라와 동기화 시켜 3차원 정보를 이용하면 보다 정확하고 폭 넓은 검사가 가능하게 되어 무용과 같이 능 동적인 동작 뿐 아니라 도구/소품과 같은 세컨더리(Secondary) 동작들에 대한 영상 획득이 가능함

퍼포먼스 분석 및 생성 기술은 기존 동작/이모션 캡쳐보다 상위 개념의 단계적 도약 기술임 - 자연스러운 복장 및 최소 센서 사용으로 퍼포먼스 캡쳐 및 분석하는 기술은 기존 동작 캡쳐

/분석 시스템에서 확장된 기술임

- 동작과 도구의 움직임을 추적하며 이를 통해 맞춤형 가이드를 제공하는 퍼포먼스 분석/생성 기술은 진보된 기술임

- 340fps@Full-HD급 고속 카메라로 마커 없이 빠른 동작을 캡쳐하는 기술은 현재 120fps 수준 을 뛰어넘는 기술임

- 음영 지역 및 의상 내 모션 역추적, 도구 모션 동시 추적 기술은 해외 일부 대학에서 연구 중에 있으며 아직 현장에서 사용할 수준은 아니나 제안 기술은 상용화 가능한 기술임

특수코드화 기술은 기존 동작 DB보다 우수한 기술임

- 기존 동작 DB는 캡쳐한 인체 동작을 단순 저장하고 재생하는 수준이나 특수코드화 변환 기 술은 동작, 도구, 의상, 감성 등 보다 다양한 데이터에 대해 세분화 및 재생산이 가능함 - 사용자 인터페이스의 편리성, 저장 공간 최소화, 빠른 실행속도 등으로 인해 모바일 또는 인

터넷 기반 콘텐츠가 양적 질적으로 빠르게 팽창될 것임

- 각종 퍼포먼스 창작뿐만 아니라 모든 신체활동의 교육 훈련 관련 분야에서 활용성이 높은 기술임

새로운 형태의 체험/학습 콘텐츠는 K-pop과 함께 한류를 이어갈 것으로 전망

- 2012년 12월 싸이 ‘강남스타일’은 유튜브 조회 10억 회를 돌파했으며 1년 만에 17억 회를 돌파함. 영국, 호주, 대만 등 전 세계 대부분 나라에서 차트 1위를 기록하였고 미국 빌보드

‘Hot 100’ 2위에 오름

- 동방신기(2008 오리콘 차트 싱글 1위 최다 기록, 2009 오리콘 영상부문 종합 차트 1위), 원더 걸스(2010 홍콩 음반 인기 순위 1위 차지), 슈퍼주니어(2010년 브라질 아시아 음원차트 1위) 등 전 세계적으로 K-pop 열풍이 계속 되고 있음

- 유튜브 등 단방향 동영상 위주 학습 수준에서 향후 양방향 실감 체험(@체험/훈련을 위한 인 터랙션 및 서비스 기술)이 가능한 한류 콘텐츠 고도화가 기대됨

- 무형 데이터의 유형화(디지털 기록)를 기반으로 현대적 재창조(@퍼포먼스 생성 및 저작 기 술)에 의한 전통무용문화 콘텐츠 수출

- 기존 무용 예술의 디지털 융합을 통한 새로운 퍼포먼스 창조(@안무 저작 도구)로 퍼포먼스 콘텐츠 분야 세계 시장 진출

무형 데이터에 대한 유형화 및 능동적 참여형 문화예술 기대 - 무용 및 무예와 같은 무형 문화재의 기록 및 학습 그 자체로 중요

- 전통 무용 및 무예의 단순 계승에 그치지 않고, 정확한 평가와 무한한 창작이 용이해짐으로 써 대중친화력이 높아져 문화예술 및 스포츠 참여 활동 저변 확대 및 세계화 기반 마련 - 오프라인 위주의 무용 및 무예 학습/체험이 인터넷이나 모바일 환경 친화성으로 인해 온라

인 전수활동이 용이해지며 대중화 및 세계화 촉진

(18)

- 서울을 방문하는 외국인을 대상으로 K-Pop 댄스 체험 프로그램과 같은 여행 프로그램과 연 동하여 특별한 여행 경험을 만드는데 일조

산업 파급 효과 - 퍼포먼스 데이터에 대한 활용도가 높음

- 가상현실/게임/영화/애니메이션 등 문화콘텐츠 산업(디지털액터 분야) 전반에 승수 효과 유발 - 저가의 RGB-D 카메라 시스템은 산업용 3D 비전 시스템, 교통 통제 시스템, 얼굴 인식 등의

보안 시스템 등에 적용이 가능함

- 체험 활동 활성화로 관련 장비, 용품, 시설, 서비스 시장의 동반 성장 - 문화수출확대 전략 중 2020년 세계 5위 콘텐츠 수출 목표에 일조

국내 콘텐츠 산업의 경제적 기대효과 (단위: 명, 10억 원)

- 국내 콘텐츠 산업은 모바일용 게임 산업 확대, 저가형 레저 활동으로 연평균 7% 이상 성장 전망

- 콘텐츠 산업은 매출 대비 13.9명의 취업유발 효과, 10.4명의 고용유발 효과가 있으며(2010년 기준 콘텐츠 산업 최종수요의 취업 및 고용 유발효과는 서비스업과 비슷한 수준이며 제조업 이나 SOC산업에 비해서는 큰 편임), 일자리 증가율도 과거 5년 간 제조업의 20배인 122%를 기록하며 폭발적인 증가세를 보이고 있음

- 콘텐츠산업 내 문화서비스 분야의 고용유발 효과는 오락서비스 분야와 함께 방송, 광고, 출 판서비스 등의 콘텐츠산업 내 타 분야의 평균보다 상대적으로 높은 것으로 나타남

산업분류 고용유발계수 취업유발계수

2006 2008 2010 2006 2008 2010

제조업 7.6 6.1 5.9 10.7 8.3 7.9

서비스업 13.2 12.2 12.1 18.8 17.3 16.8

콘텐츠 산업

방송 8.5 8.4 7.7 10.7 10.3 9.6

광고 12.1 11.9 11.4 15.5 15.0 14.3

출판서비스 13.9 12.8 12.1 17.4 15.9 14.9

오락서비스 10.9 9.7 9.0 19.7 16.3 15.0

문화서비스 10.8 10.7 11.8 17.1 17.1 18.9

<콘텐츠산업의 고용창출 활성화를 위한 정책 방안의 모색, 한국콘텐츠진흥원, 2012>

- 콘텐츠산업 내 문화서비스 분야의 부가가치 유발효과는 오락서비스 분야와 함께 방송, 광고, 출판서비스 등의 콘텐츠산업 내 타 분야의 평균보다 상대적으로 높은 것으로 나타남

구분 2007 2008 2009 2010

콘텐츠 산업

방송 0.857 0.834 0.841 0.837

광고 0.843 0.803 0.813 0.813

출판서비스 0.802 0.756 0.776 0.761

오락서비스 0.925 0.903 0.906 0.898

문화서비스 0.886 0.845 0.857 0.857

<콘텐츠산업의 부가가치 유발효과: 한국은행 산업 연관표 통계자료, 2010>

- 향후 디지털 콘텐츠와 인터넷 서비스 부분에서 큰 성장이 있을 것으로 기대됨

(19)

<소프트웨어 부문 구조변화: 디지털 콘텐츠 분야의 확대>

<출처: 정보통신정책연구원, 유진투자증권>

3. 연구개발 범위

가. 최종목표

참여형 무용/스포츠 퍼포먼스 학습-체험-창작을 위한 무용/스포츠 전문가의 퍼포먼스 분석 및 생성 기술 개발

- 다중 고속 RGB-D 영상 기반 퍼포먼스 분석 및 생성 기술 개발 (한국전자통신연구원) - 다중 고속 RGB-D 카메라 기반 퍼포먼스 촬영 시스템 개발 (크래비스)

- 퍼포먼스 특수코드화 변환 기술 (상명대학교)

- 학습-체험-창작을 위한 퍼포먼스 MV/AR/MR 콘텐츠/서비스 플랫폼 (한국전자통신연구원) 나. 세부목표

다중 고속 RGB-D 영상 기반 퍼포먼스 분석 기술 개발 (한국전자통신연구원) - 무용 자세 모델 추출 및 동작 모션 분석 기술

- 무용/스포츠 도구 모션 추적 및 음영 내 동작 모션 추정 기술 - 무용 동작/도구 정밀 추적 및 센서 기반 모션 추적 기술

안무 창작 및 가이드 모델을 위한 퍼포먼스 생성 기술 개발 (한국전자통신연구원, 상명대학교) - 포스처(posture) 기반 무용 동작 저작 기술

- 맞춤형 가이드 생성 및 사용자 퍼포먼스 실시간 획득/비교 기술 - 동작 DB 기반 인터랙티브 무용 퍼포먼스 창작 기술

- 퍼포먼스 특수코드화 변환 기술 및 DB

다중 고속 RGB-D 카메라 기반 퍼포먼스 촬영 시스템 개발 (크래비스) - 340fps@Full-HD급 고화질 고속 RGB 카메라 개발

- 다중 고속 RGB-D 카메라 연동 시스템 개발 - 영상 보정 및 염가 Depth 카메라 개발

학습/체험/창작을 위한 퍼포먼스 플랫폼/콘텐츠 개발 (한국전자통신연구원) - 무용 동작 학습 모바일 MV 플랫폼/콘텐츠 및 가이드 기술 개발

- 가상 무용 체험 스마트 AR 플랫폼/콘텐츠 및 인터랙션 기술 - 체험형 MR 기반 무용 체험 및 콘텐츠/서비스 플랫폼 기술

(20)

다. 1차년도(2013년도) 연구내용 (1) 개발 목표

< 1차년도 기술 개발 개념도 >

(가) 주관기관(한국전자통신연구원)

① 다중 RGB-D 영상 기반 무용 동작 분석 기술 개발

② 자세 기반 무용 퍼포먼스 동작 저작 기술 개발

③ 실감형 모바일 MV 기반 무용 동작 학습 (나) 참여기관 1(크래비스)

① 다중 RGB-D 카메라 기반 퍼포먼스 영상 획득 기술 개발 (다) 참여기관 2(상명대학교)

① 무용 퍼포먼스 동작 특수코드화 (2) 개발 내용 및 범위

(가) 주관기관 : 한국전자통신연구원

① 다중 RGB-D 영상 기반 무용 동작 분석

전문가 무용 자세 모델 추출 기술

전문가 무용 동작 내 스켈레톤 모션 추적 기술 - 간편 의상 착용 상태의 무용 전문가 1명 대상 - 무용 동작 모션 추적 에러율 10% 이하

퍼포먼스 촬영 및 분석 데이터 가시화 기술 - 120fps@VGA급 퍼포먼스 촬영 시스템 연동 - 데이터 가시화 속도 30fps 이상

② 자세 기반 무용 퍼포먼스 생성/편집 및 전통 무용 DB

퍼포먼스 동작 프리프로세싱 기술

- 노이즈(관절 떨림, 발 미끄러짐) 제거 자동화율 60%

- 반복 동작 자동 생성 (C2 연속성 만족 - 가속도)

물리 기반 퍼포먼스 변형 기술

- 물리 기반 동작 필터링 시간 20fps@120Hz 데이터로 향상 (기존 15fps@30Hz 데이터 수준)

자세(posture) 기반 퍼포먼스 생성 기술

- 동작 DB 및 자세 간 상관관계에 따른 2D-to-3D 자세 추정 - 3D 자세 기반 무용 동작 자동 생성

(21)

③ 실감형 모바일 MV 기반 무용 동작 학습

실감형 무용 동작 학습 모바일 MV 플랫폼

모바일 센서 기반 무용 동작 학습 가이드

무용 동작 학습용 모바일 MV 콘텐츠

- 모바일 MV 콘텐츠 2종 이상(발레, 현대무용 등) 나) 참여기관 1 : 크래비스

① 다중 RGB-D 카메라 기반 퍼포먼스 영상 획득

120fps@VGA급 고화질 RGB 카메라 모듈

다중 RGB-D 카메라 기반 퍼포먼스 촬영 시스템 - 120fps@VGA급 RGB 카메라 8대 지원

- 복합 Depth 센서 연동 - 카메라 동기화 2ms 이내

- 1 Gbps급 카메라 데이터 전송 및 저장 지원 - 다중 2-1 카메라-서버 네트워크 구성 지원

다중 RGB-D 카메라 내부 및 외부 보정 기술 다) 참여기관 2 : 상명대학교

① 자세 기반 무용 퍼포먼스 생성/편집 및 전통 무용 DB

무용 동작 특수코드 변환 기술

- 동작 특수코드 정의 및 데이터 구조 설계 - 수치화 된 무용 데이터를 기호(코드)로 변환

- 맨몸으로 하는 무용 동작 DB 구축(발레, 마사 그래함의 현대무용 기본기) - 특수코드 DB 가시화 프로그램 설계 및 구축

- 무용 동작 특수코드의 동작 변환 에러율 5% 이하

라. 2차년도(2014년도) 연구내용 (1) 개발 목표

(22)

① 다중 고속 RGB-D 영상 기반 무용 동작/도구 분석 기술 개발

② 퍼포먼스 가이드 생성 및 사용자 퍼포먼스 획득 기술 개발

③ 맞춤형 스마트 AR 기반 가상 무용 체험 콘텐츠 (나) 참여기관 1(크래비스)

① 다중 고속 RGB-D 카메라 기반 퍼포먼스 영상 획득 HW 및 제어 SW 개발 (다) 참여기관 2(상명대학교)

① 도구 또는 소품이 포함된 전통 및 대중무용 동작 특수코드화 DB (2) 개발 내용 및 범위

① 다중 고속 RGB-D 영상 기반 무용 동작 및 도구 동시 분석 기술 개발

마커리스 기반 전문가 무용 동작 및 도구(정형) 동시 추적 기술 - 인체와 도구 모델 스켈레톤 병합 기술

- 인체와 도구 영역 분할 및 동시 추적 기술 - 무용 동작 및 도구 모션 추적 에러율 5% 이하 - 연습 의상 착용 상태의 무용 전문가 1명 대상

카메라 음영 지역 및 전문가 의상 내 모션 추정 기술

- 영상에 잡히지 않은 일부 신체 부분 추정하여 3차원 스켈레톤 복원 - 의상에 의해 가려지는 일부 신체 부분을 동작 기반으로 내부 모션 추정

퍼포먼스 촬영 및 분석 데이터 구조화

- 120fps@Full-HD급 퍼포먼스 촬영 시스템 연동 - 대용량 퍼포먼스 데이터 색인 및 검색 지원 - 데이터 구조화 계층 4레벨 이상

② 무용 퍼포먼스 가이드 생성 및 고전/대중 무용 DB

체험을 위한 사용자 퍼포먼스 실시간 획득 기술

- 저가형 RGB-D 센서(4대 이상) 기반 실시간(15fps 이상) 사용자 자세 캡쳐 - 실시간 노이즈(관절 떨림, 발 미끄러짐) 제거 속도 15fps 이상

맞춤형 퍼포먼스 가이드 생성 및 편집 기술

- 전문가 가이드 동작을 사용자 신체 사이즈에 맞게 변환 - 특수코드 기반 무용 동작 변형 및 편집 기술

- 리빌딩 후 퍼포먼스 정확도 85% 이상

인터랙티브 무용 퍼포먼스 생성 기술

- 사용자 입력 이동 경로 기반 무용 동작 자동 생성 - 퍼포먼스 생성 속도 20fps 이상

③ 맞춤형 스마트 AR 기반 무용 가상 체험

맞춤형 무용 가상 체험 스마트 AR 플랫폼

RGB-D 센서 기반 가상 무용 체험 인터랙션

가상 무용 체험용 스마트 AR 콘텐츠 2종 이상(전통/대중) (나) 참여기관 1 : 크래비스

(23)

① 다중 고속 RGB-D 카메라 기반 퍼포먼스 영상 획득 시스템

120fps@Full-HD 고화질 고속 RGB 카메라 모듈

염가 Depth 카메라 설계 및 핵심 모듈 개발 - 30fps이상, QVGA급, 외부동기 지원

② 다중 고속 RGB-D 카메라-서버 제어 기술 개발

다중 고속 RGB-D 카메라 동기 제어 기술

- 고속 RGB 카메라(120fps@Full-HD) 8대 이상 제어 - 고속 카메라 간 동기화 1ms 이내 제어 기술

카메라 서버 네트워크 제어 기술 개발

- 2 Gbps급 카메라 데이터 전송 및 저장 기술 - 다중 1-1 카메라-서버 네트워크 구성 및 제어 기술 (다) 참여기관 2 : 상명대학교

① 무용 퍼포먼스 가이드 생성 및 고전/대중 무용 DB

소품/도구 포함 무용 동작 특수코드 변환 기술 - 소품/도구 동작 특수코드 설계

- 국가지정 중요무형문화재, 한국전통무용 중 소품/도구 포함 동작DB 구축 - 대중(실용)무용 특수코드화 DB 구축

- 특수코드 재사용을 위한 검색/편집 도구 설계/구축 - 도구/동작 특수코드의 동작 변환 에러율 5% 이하 마. 3차년도(2015년도) 연구내용

(1) 개발 목표

① 다중 고속 RGB-D 영상 기반 무용 동작 정밀 분석 기술 개발

② 인터랙티브 퍼포먼스 생성 기술 개발 (나) 참여기관 1(크래비스)

① 다중 고속 RGB-D 카메라 기반 영상 획득 HW 및 제어 SW 개발

(24)

(다) 참여기관 2(상명대학교)

① 감정이 포함된 무용 동작 특수코드화 DB (2) 개발 내용 및 범위

① 다중 고속 RGB-D 영상 기반 무용 동작 정밀 분석

전문가 무용 동작 모션 정밀 추적 기술

- 세밀한 동작 분석을 위한 손, 발 관절 포함 24개 관절 추적 - 손, 발 관절 포함 자세/동작 추적 에러율 5% 이하

모션 센서 기반 전문가 무용 동작 모션 추적 기술 - 센서 기반 모션 추적 데이터 노이즈 필터링 - 시간 및 자세에 따른 밸런스 분포 측정 - 무용 의상 착용 상태의 무용 전문가 1명 대상

② 인터랙티브 퍼포먼스 생성 기술

스케치 기반 인터랙티브 무용 퍼포먼스 플래닝 기술 - 사용자 스케치 입력 기반 무용 동작 자동 생성 - 퍼포먼스 생성 속도 30fps

실시간 사용자 무용 자세 획득 기술

- 실시간 사용자 관절 추적 기술(손, 발 관절 포함 22개 관절 추적) - 손 자세 시뮬레이션 기술

- 무용 자세 비교를 위한 관절 데이터 필터링 기술 (나) 참여기관 1 : 크래비스

① 다중 고속 RGB-D 카메라 기반 퍼포먼스 영상 획득 시스템

340fps@Full-HD 고화질 고속 RGB 카메라 모듈

염가 Depth 카메라 모듈 통합, 구동 SW 및 시제품 개발 - 30fps이상, WSVGA급, 외부동기 지원

② 다중 고속 RGB-D 카메라-서버 제어 기술 개발

다중 고속 RGB-D 카메라 기반 퍼포먼스 촬영 시스템 - 고속 카메라 간 동기화 0.01ms 이내 제어 기술

카메라 서버 네트워크 제어 기술 개발

- 6 Gbps급 카메라 데이터 전송 및 저장 기술

- 다중 1-1 카메라-서버 네트워크 구성 및 제어 기술 (다) 참여기관 2 : 상명대학교

① 감정 포함 무용 동작 특수코드 변환 기술

감정 포함 무용 동작 특수코드 설계 (감정 특성적 요소 코드화)

감정을 포함한 창작 무용 동작 DB 구축

특수코드 재사용을 위한 검색/조합 도구 설계/구축

감정 포함 무용동작 특수코드 조합/재생 에러율 5% 이하