모션캡처, 애니메이션
모션 캡처 애니메이션 프로세스 연구 : 단편 애니메이션 ‘Drip’을 중심으로
김지수
울산과학대학교 디지털콘텐츠디자인과 [email protected]
A study on motion capture animation process : Focusing on short animation film ‘Drip’
Jisoo kim
Dept. of Digital Contents Design, Ulsan College
요 약
이 연구는 단편 애니메이션 ‘Drip’을 통해 키 프레임 애니메이션과 모션 캡처 애니메이션을 융합하여 애니메이션 제작을 실현하는 기법을 제안한다. 상호 유기적 연결을 통해 효율적인 프 로세스 관리가 가능할 뿐만 아니라 키 프레임 애니메이션과 모션 캡처 애니메이션의 단점을 서 로 보완하는 과정을 처리함으로써 제작 기간을 단축 시켰다. 이를 통해 키 프레임 애니메이션 과 모션 캡처 애니메이션의 한계를 극복하고 복합적인 프로세스를 인지하고 응용하여 효율적인 애니메이션 제작에 도움이 되고자 한다.
ABSTRACT
This study suggests a technique to implement the production of animation by blending between key frame animation and motion capture animation through short animation 'Drip.' It reduced the time taken to produce an animation by not only enabling efficient process management through mutual organic connection but also conducting a process of mutually making up for weak points of key frame animation and motion capture animation. Through this, it was intended to be helpful in efficient animation production by overcoming the limitation of key frame animation and motion capture animation and perceiving and applying a complex process.
Keywords : Motion Capture(모션 캡처), Key Frame Animation(키 프레임 애니메이션)
Received: Jul, 10, 2016 Revised : Jul, 26, 2016 Accepted: Aug, 19, 2016
Corresponding Author: Jisoo kim(Ulsan College) E-mail: [email protected]
ISSN: 1598-4540 / eISSN: 2287-8211
Ⓒ The Korea Game Society. All rights reserved. This is an open-access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.otg/licenses/by-nc/3.0), which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
1. 서 론
애니메이션은 오늘날 창조적인 미디어의 형태로 우리에게 가까이 다가서고 있다. 다른 미디어에 비 해 애니메이션이 갖는 차별성은 움직임을 담아낸다 는데 있다[1].
작은 아이디어가 드로잉으로 그려지고, 스토리텔 링이 더해져 마법처럼 한 편의 애니메이션이 완성 되기까지 애니메이터는 역동성을 지닌 움직임을 만 들어 낸다. 이러한 애니메이터의 작업은 많은 부분 수작업에 의존하며, 사실적인 동작을 만들어 내기 위해서 실제 자연 속의 움직임을 관찰하고, 오랜 기간의 훈련 과정을 거쳐야 하며 상당한 노력과 시간을 투자해야 한다.
컴퓨터의 발달로 3차원 공간상에서 움직이는 좌 표의 위치를 측정할 수 있는 다양한 방법들이 개 발되었고, 모션 캡처 시스템은 센서를 이용하여 실 제 사람의 움직임과 동작을 정교하게 재현하는 것 이 가능해졌다. 하지만, 모션 캡처 시스템만으로 애니메이션을 만드는 것은 다소 제한적이며, 아직 까지 기존의 문제점들을 충분히 해결하지 못하고 있는 실정이다. 또한 전통적인 애니메이션 기법과 같이 움직임의 중요 장면들을 수작업에 의해 생성 하고, 이들 사이의 중간 장면 등을 채우는 방식으 로 제작되는 키 프레임 애니메이션도 제작에 필요 한 부분이다[2].
이에 본 논문은 광학식 모션 캡처 시스템을 활 용한 모션 캡처 애니메이션 제작 프로세스 기술에 대해 다룬다. 본 연구에서 제안하는 프로세스는 단 편 애니메이션 ‘Drip’을 통해 키 프레임 애니메이 션과 모션 캡처 애니메이션을 융합하여 애니메이션 제작을 실현하는 기법을 제안한다.
2. 관련 연구 2.1 광학식 모션 캡처 시스템
순히 카메라에 부착되어 있는 적외선 라이트의 빛 을 반사시키는 것을 목적으로 하기 때문에 가벼운 반사물질로 되어 있으므로 가볍고 부착감이 적으며 무선이므로 자유롭고 액션 연기도 가능하다. 단점 은 카메라에 포착되는 마커들을 분석해서 데이터를 처리하는 방식이기 때문에 마커가 카메라에 제대로 포착이 안 될 경우 오차가 생긴다. 예를 들어, 수 영을 하거나 야외 장면 캡처 등 장비의 특성을 초 과하는 장면이나 캡처 볼륨을 초과하는 대규모의 전투장면 등 에서는 표현이 제한적이다. 또한, 카 툰 캐릭터의 과장된 액팅이나 얼굴 표정 등의 섬 세한 연기의 경우 아직까지 키 프레임 애니메이션 만큼 디테일하게 표현하기는 어렵다.
모션 캡처를 활용한 애니메이션의 중요한 문제 들은 중량의 배분과 과장에 대한 것이다. 액터들은 카툰 캐릭터와 같이 과장된 동작을 연기할 수 없 고, 신체 비례가 적용되었을 때 중량의 이동이 자 연스럽지 못하다는 문제점들이 있다.
[Fig. 1] Optical motion capture system
2.2 키 프레임 애니메이션과 모션 캡처 애니메이션
애니메이션은 테크니컬 한 측면에서 판단할 때 포즈와 타이밍으로 표현되는 예술이다. 어떤 동작 을 나타내려면 그 동작의 위치를 나타내는 포즈와 동작의 이동속도를 나타내는 타이밍이 정확히 표현 되어야 좋은 애니메이션이라 할 수 있다[3].
임을 생성하여 그 사이에 프레임을 컴퓨터가 자동 으로 보간 해 주거나 애니메이터가 직접 그 프레 임을 생성하는 방식이다. 키 프레임 애니메이션은 캐릭터 골격의 각 관절을 회전하거나 위치를 이동 함으로써 원하는 프레임에 원하는 방향으로 키를 조정하여 캐릭터의 움직임을 만들기 때문에 실제 움직임과 비슷한 동작을 구현하는 목적보다는 과장 된 캐릭터의 움직임을 표현하는 데 효과적이다. 키 프레임 애니메이션의 단점은 모든 제어점의 위치를 세부적으로 지정해 주어야 하고 사용자가 수작업으 로 움직임을 만들어 내기 때문에 제작기간이 길고 시간과 비용이 많이 들며 전문적인 애니메이팅 기 술이 필요하다. 반면에 애니메이션 제작 시스템의 개발이 상대적으로 어렵지 않고 제작자가 애니메이 션의 미세한 부분까지 직접 제어할 수 있으며 캐 릭터의 풍부한 연기가 가능하다는 장점이 있다.
[Fig. 2] Key frame animation key settings
모션 캡처 애니메이션은 자연스러운 3차원 캐릭 터의 애니메이션을 생성하기 위해 광학적 마커가 부착된 사용자의 3차원 움직임을 여러 대의 카메 라를 통해 추적한 후, 이 마커의 3차원 위치를 파 악하여 파일 형태로 저장하며, 이 데이터를 3차원 캐릭터에 적용해 애니메이션을 생성하는 방식이다 [4]. 모션 캡처 애니메이션의 단점은 투자비용이 높고, 캐릭터의 과장된 표현이나 액터의 행동이 제 한적이다. 반면에 시간대비 결과물이 좋고 사람의 실제 움직임을 그대로 표현할 수 있다는 장점이 있다.
[Fig. 3] Animation-producing pipeline that utilizes motion capture
모션 캡처 단계는 첫째, 사전단계에서는 스토리 보드와 촬영 리스트를 작성하고 액터 고용, 리허설 과정이 이루어진다.
둘째, 본 단계에서는 마커 부착, 모션 캡처, 모 션 캡처 데이터 선별의 과정이 이루어진다. 모션 캡처 작업도중 카메라가 약간만 흔들려도 데이터가 끊어지거나 부정확한 데이터가 나올 수 있으므로 주의가 필요하다. 마커를 액터에 부착하기 전부터 동작의 목적과 상황에 따라 사전에 모션 캡처를 어떻게 활용하여 데이터를 처리 할 것인지 미리 계획해야한다.
셋째, 후처리 단계에서는 비디오나 컴퓨터를 통 해 선별된 데이터를 관찰하고 모션 데이터 수정과 파일 변환과정, 애니메이션 작업이 이루어진다. 캡 처된 데이터가 유실되는 부분도 있고, 센서의 잡음 으로 캐릭터에 바로 적용할 수 없을 때는 모션 데 이터를 바르게 고쳐주는 작업이 필요하다[5].
3. 실험 방법
본 논문에서는 광학식 모션 캡처 시스템을 제안 한다. 단일 카메라는 깊이 정보를 제공하지 못하므 로 카메라의 시점과 수직하는 평면상태의 움직임에 는 강하지만 일반 환경의 3차원 정보를 취합할 수 없고 카메라와 수직하는 평면 외에 움직이는 마커 의 중첩이나 폐쇄에 취약하다는 문제점을 보완하기 위해 12대의 카메라를 이용하여 화면상에서 마커 의 위치를 인식하고 움직임을 잡아내는 방법을 제 안한다.
[Table 1] Setting of laboratory system Classification System name and
setting Motion Capture
System
Optical Motion Capture Optitrack Capture Space
Volume 7M×7M
Camera 12 OptiTrack Flex : V100R2 Cameras Marker 34 infrared markers
Data Editing
OptiTrack Arena, Autodesk Motionbuilder Animating Autodesk Maya,
Motionbuilder Character Setup Autodesk Maya,
Motionbuilder
애니메이션 ‘Drip' 캐릭터에 사용될 동작을 광학 식 모션 캡처 시스템으로 활용하여 개발하였다. 보 다 현실감 있는 움직임을 연출하기 위해서 키 프 레임 애니메이션과 모션 캡처 애니메이션을 함께 적용하였다. 모션 캡처는 스토리를 연기로 표현하 는 액터가 수트(suit)를 착용하고 [Fig. 4]와 같이 진행하였다. 애니메이션 제작 툴로는 Autodesk사 의 Motionbuilder와 Maya를 사용하고 액터의 모
사용한다.
[Fig. 4] Motion capture actor setting
4. 블렌딩 프로세스 절차
4.1 애니메이션 기획
모션 캡처 애니메이션 제작을 위한 기획단계는 기존 영상 기획과는 다른 접근 방식이 필요하다.
기획단계에서 제작, 상영까지 이루어져야 하기 때 문에 그 기획이 총괄적으로 이루어져야 하며 캐릭 터의 성격, 개성, 행동 등에 대한 컨셉을 설정한다.
모션 캡처 촬영 전에 액터는 캐릭터의 움직임 을 충분히 숙지한 후 캡처 촬영에 들어가야 한다.
모션 캡처 촬영 시에는 액터가 본인의 모습이 캐 릭터에 적용된 화면을 보면서 작업 한다. 특히,
‘Drip'의 캐릭터 디자인은 사람 인체와 다르게 과 장 되어있어, 액터가 발생 가능한 문제를 미리 숙 지하고 연기를 해야 한다. 주어진 공간에 캡처 볼 륨 (Capture Volume)을 충분히 가득 차게 하여 카메라가 모션 캡처 센서를 잘 인식 하도록 하며 작업도중 카메라가 약간만 흔들려도 데이터가 끊어 지거나 부정확한 데이터가 나올 수 있으므로 스토 리보드를 바탕으로 모션 캡처를 활용할 씬(Scene) 과 키 프레임 애니메이션을 사용할 씬(Scene)들을 구분하여 사전 작업 프로세스 계획을 세운다.
4.2 캐릭터 셋업
‘Drip' 캐릭터 스켈레톤(Skeleton) 셋업의 경우,
션용으로 사용할 캐릭터 셋업을 따로 제작 한다.
이는 작업의 효율성을 위해 모션 캡처와 키 프레 임 애니메이션을 혼용하여 사용하기 위함이다. 이 때 Motionbuilder와 Maya를 연동하기 위해서는 캐릭터의 조인트(joint) 이름을 동일하게 만드는 것 이 중요하다. 모션 캡처용으로 Motionbuilder에서 Characterize를 시키기 위해 캐릭터의 조인트 (joint) 이름을 Maya에서의 조인트(joint) 이름과 동일하게 해준다.
[Fig. 5] Skeletons for motion capture and key frame animation
키 프레임 애니메이션을 위한 캐릭터 세팅은 IK와 FK를 번갈아 사용 할 수 있도록 세팅 시켰다. 이는 키 프레임 애니메이션 제작 시 캐릭터의 움직임을 애니메이터가 보다 편리하게 조절하게 하기 위함이 다. 예전에는 Maya의 캐릭터 셋업을 Motionbuilder 와 연동하기 위해 여러 차례 서로 교환하는 과정에 서 예상하지 못하는 문제가 발생 하였으나 최근에는 Motionbuilder와 Maya 사이에 캐릭터 셋업 데이터 를 오류 없이 자유롭게 불러올 수 있다.
4.3 블렌드 쉐이핑
현재 모션 캡처 장비의 개발이 아무리 발달되었 다 하더라도 캐릭터의 미세한 동작, 심리적인 표현 등 감성적이며 예술적인 부분은 모션 캡처 애니메 이션만으로는 부족하며 애니메이터의 키 프레임 애 니메이션으로 표현 되어야 한다.
‘Drip' 캐릭터의 경우 얼굴 표정은 31개의 다른 표정과 15개의 이빨 모양, 14개의 혀의 모양, 12개 의 눈썹 모양으로 블렌드 쉐이프(Blend Shape)를
미리 만들었다. 완성된 블렌드 쉐이프(Blend Shape)는 캐릭터 셋업 레이어에 저장하여 최종 애 니메이션 작업 시 사용한다.
손가락 움직임은 Set driven으로 연결해 놓은 속성들을 이용해 애니메이션을 더욱 자연스럽게 맞 추어 주어야 한다.
[Fig. 6] Blend shape setting
4.4 모션 캡처링
모션 캡처를 위한 최소 카메라 필요 대수는 6대 를 기본으로 하지만 더욱 정확한 캡처를 위해서 본 연구에서는 총 12대의 광학식 카메라를 설치한 다. 모션 캡처 액터는 총 34개의 마커를 부착한다.
마커의 개수는 머리 부분 3개, 상체 부분 15개, 하 체부분에 16개를 부착한다. 모션 캡처링 시 액터는 캡처 볼륨 (Capture Volume)을 벗어나지 않는 범 위 안에서 캐릭터의 성격에 맞는 연기를 하며 키 프레임 애니메이션과의 연결을 위해 기획된 액팅을 실시한다. 이는 후반 데이터 보정 작업 시 많은 시 간을 단축 할 수 있다.
[Fig. 7] Motion Capturing in OptiTrack Arena 액터와 캐릭터의 비율이 맞지 않으면 모션 캡처 후 모션 데이터를 3차원 캐릭터에 입력 했을 때
문제가 발생한다. 이를 위해 모션 캡처링 시 캐릭 터를 Motiobuilder로 불러와 액터와 연결 한 후 작업을 하는 것도 후반 수정 작업 시간을 단축시 킬 수 있는 좋은 방법이다. 마커가 가려져 카메라 가 마커를 놓치는 경우를 대비해 액터는 장비의 특성을 최대한 고려하여 연기 한다. 부득이하게 마 커의 좌표를 순간적으로 놓쳤을 때, 모션 캡처 후 캡처 데이터를 OptiTrack Arena로 불러와 마커를 놓친 부분의 갭을 수동이나 오토 기능으로 보정한 다. 이는 최후의 방법임으로 모션 캡처 시 최대한 마커 손실을 최소화하여 작업 하는게 바람직하다.
[Fig. 8] Initial motion capture data
4.5 모션 캡처 데이터 수정
모션 캡처는 매 프레임마다 키(key)가 생성된다.
이때 카메라가 마커의 위치를 놓쳤거나 마커 데 이터가 심하게 떨렸을 경우에는 모션 캡처 프로그 램에서 수정을 할 수 있다. 수정 시 전체 캡처 데 이터에 Smooth를 주었을 경우 결과물이 예상과 다르게 표현 될 수 있다. 따라서 시간은 많이 걸리 나 데이터에 문제가 있는 부분을 하나하나 수정해 주는 것이 가장 좋은 방법이다.
[Fig. 9] Modifying motion capture data 일반적으로 폴리곤 개수나 텍스쳐 사이즈가 많
어 프레임 버퍼링 속도가 느려지고 렉(lag) 현상이 생기는 등 원활한 작업 진행에 문제가 생긴다. 카 메라가 마커를 놓친 수정 부분에 Fill Gap 기능과 캡처 데이터가 심하게 떨린 부분에 Smooth를 적 용하는데, 이것은 여러 번 적용하면 할수록 결과물 이 부드러워지나 너무 적용시키면 오히려 결과물이 어색해진다. 수정된 모션 캡처 데이터는 C3d 또는 Fbx 파일로 저장하여 Motion builder로 보낸다.
캡처 데이터를 Motionbuilder에서 Actor와 연결 시키고, 이때 Actor의 크기와 위치를 조절하여 마 커와 비슷하게 맞추어 준다. 이때 캡처된 모션 데 이터를 3차원 캐릭터에 적용 시 캐릭터의 비율 및 디자인의 차이에 의해 의도하지 않은 애니메이션이 생길 수 있다. 이러한 경우 작업자가 모션을 조절 해가며 연출된 의도대로 수정한다.
[Fig. 10] Motion capture data in Motionbuilder
4.6 모션 캡처와 키 프레임 애니메이션 블랜딩
모션 캡처와 키 프레임 애니메이션을 블렌딩하 는 방법에는 애니메이션 레이어를 만들어서 모션캡 처 데이터에 키 프레임 애니메이션을 추가하는 방 법과 애니메이션 트랙들을 블렌딩 시키는 방법으로 진행 한다.
[Fig. 11] Adding key frame to motion capture data
세부적인 애니메이션은 작업자가 키 프레임 수 정을 통해 애니메이션을 더욱 자연스럽게 맞추어 주어야 한다. 작품 ‘Drip'에서 캐릭터가 헤엄치는 장면은 모션 캡처로 구현 할 수가 없어 키 프레임 애니메이션을 추가하여 작업하였다. 이때 주의 할 점은 모션 캡처와 키 프레임 애니메이션간의 움직 임을 자연스럽게 연결 해주는 것이다. 모션 캡처의 사실적인 움직임과 키 프레임 방식의 카툰적인 움 직임을 애니메이터가 적절하게 조절하여 장면을 연 출한다.
[Fig. 12] Key frame animating in Motionbuilder
Motionbuilder에서 작업된 애니메이션은 Fbx 파일로 저장하여 Maya에 불러와 Blend Shape을 이용하여 캐릭터의 얼굴표정을 연출하고 Set driven으로 연결해 놓은 속성들을 이용해 손동작 애니메이션을 더욱 자연스럽게 작업 한다. 이때 Motionbuilder에서 작업한 애니메이션의 수정이 필요한 경우 Maya에서 애니메이션 레이어를 추가 하여 애니메이션 수정 후 최종적인 작품을 완성한 다.
[Fig. 13] Final Image of the work
5. 결 론
본 연구에서는 단편 애니메이션 ‘Drip'을 통해 모션 캡처 애니메이션 프로세스 기술을 제시하였 다. 제안된 기술은 모션 캡처 애니메이션과 키 프 레임 애니메이션의 장점에 착안하여, 상호 유기적 연결을 통해 효율적인 프로세스 과정을 처리함으로 써 작품 제작 기술의 효과성을 보였다. 그러나 캐 릭터의 미세한 동작, 감성적이며 예술적인 부분은 모션 캡처 애니메이션만으로는 충분하게 표현하기 어려웠으며 애니메이터의 키 프레임 애니메이션 작 업이 추가 되어야 보다 나은 결과를 만들 수가 있 었다. 본 기술은 키 프레임 애니메이션과 모션 캡 처 애니메이션을 복합적으로 사용하여 ‘Drip' 단편 애니메이션에 적용하였으며 단순히 제작 기간 단축 만을 목적으로 하는 것이 아니라 적합한 수준의 애니메이션 제작 또한 가능함을 검증하였다.
본 연구가 애니메이션 제작 시 모션 캡처 애니 메이션과 키 프레임 애니메이션을 효율적으로 사용 하여 시간과 비용 절감, 수준 높은 작품을 만드는 데 도움이 되길 기대한다.
REFERENCES
[1] Jehee Lee, “Motion Capture: Past Present and Future”, Journal of Computing Science and Engineering, Vol. 21, No. 7, pp.24-292, 2003.
[2] Minsung Kim, “The Efficient Utilization Plan of Motion Capture System Using Key frame Method”, Journal of the Korea Entertainment Industry Association, Vol.8, NO.1, pp161-164, 2011.
[3] Hyukje Choi, Hongyul Choi, “A Study about the Efficiency of Motion Capture Animation for Real-Time Virtual Cjaracters”, Vol 7, No.2, pp87-95, 2007.
[4] L.Kovar, M Gleicher, F. Pighin, “Motion Graphs”, ACM Transzctions on Graphics, Vol.21, No.3, pp473-482, 2002.
[5] Jisoo Kim, “A study on using of motioncapture of animation”, The korean society for computer game, No 14, pp109-116. 2008.
[6] Hongsub Lee, Hyungwoo Jung, Weejoon Park, “A study on the usability of users and the interactive human motion capture of avatar in HMD”, Korean society for game, Vol.28, No3, pp151-157, 2015.
[7] Jeongjin Lee, Moonkoo Kang, ho Lee, Byeongseok Shin, “3D Cloud Animation using Cloud Modeling Method of 2D Meteorological Satellite Images”, Vol.10, No1, pp147-156, 2010.
[8] Mankyu Sung, “Automatic Pose similarity Computation of Motion Capture Data Through Topological Analysis”, Journal of the Korea Institute of Information and Communication Engineering, Vol.19, No5, pp1199-1206, 2015.
[9] http://what-when-how.com/wp-content/uploa ds/2012/07/tmpc2f9164_thumb2_thumb.png [10] Juhyun Nam, “A Studyon Efficient Motion
Data Editing of Motion Capture System;
Focused ‘Fighters Club’ Character”, Journal of Korea Game Society, vol.14, No3, pp25-34, 2014.
[11] Mankyu Sung, “Automatic Pose similarity of Motion Capture Data Through Topological Analysis”, Journal of the korea Institute of Information and Communication Engineering, Vol.19, No.5, pp1199-1206, 2015.
[12] Byungyul Kim, Youngjoon Han, Hemsoo Hahn, “Motion Capture System using Integrated Pose Sensors”, Journal of the korea Society of Computer and Information, Vol.15, No4, pp 4-74, 2010.
[13] Joonhyun Jeon, Euijun Jeong, “A study of Effective game designing processes”, Journal of Korea Game Society, vol.16, No3, pp35-44, 2016.
[14] Mi-ohk Yoo, Kyoungju Park, “Comparison of the Character Movement from key- frame and Motion Capture Animation, Journal of the korea Contents Association, Vol.8, No 9, pp74-83, 2008.
[15] Sehun Kim, “Study on Arts and Contents Industry Convergence”, Journal of Culture
김 지 수(Kim, Ji Soo)
Griffith University, Visual Art of Animation 학사 홍익대학교 산업대학원 애니메이션전공 석사 Union University, Art Dept. 초빙교수
현) 울산과학대학교 디지털콘텐츠디자인과 부교수
관심분야 : 애니메이션, 모션캡처, 입체영상, VR
