디지털예술공학멀티미디어논문지 http://dx.doi.org/10.29056/idaem.2019.06.04
모션캡처 기반 태권도 움직임 궤적 시각화 미디어아트 기법 Motion Capture based Taekwondo Motion Trajectory
Visualization Media Art Technique
이지용
1, 김영은
2, 남상훈
3*
JiYong Lee
1, YoungEun Kim
2, SangHun Nam
3*
요 약
인간의 움직임의 궤적을 시각화하기 위한 예술적인 노력은 계속해서 진행되었다. 일정 시간동안 발생하였던 움직임의 궤적을 하나의 프레임 안에서 시각화하면 움직임이 가지고 있는 특성을 시각적 으로 형상화할 수 있다. 본 연구에서는 공간에서 인간의 움직임을 추적할 수 있는 모션캡처 기술로 생성된 데이터를 기반으로 하여 게임엔진을 사용하여 움직임의 궤적들을 심미적으로 표현하는 시각 화 기법을 연구하였다. 특히, 공중동작의 역동성과 발차기의 화려한 기술을 갖고 있는 대한민국의 대 표적인 무도인 태권도 움직임 데이터를 사용하여 움직임의 궤적을 심미적으로 표현하는 미디어아트 작품의 제작기법에 대하여 연구하고 작품을 제작하였다.
핵심어 : 모션캡처, 태권도, 움직임 궤적, 움직임 시각화, 미디어 아트
Abstract
Artistic efforts to visualize the trajectory of human motion have been tried consistently. By visualizing the trajectory of motion that occurred during a period of time in one frame, it is possible to visualize the characteristics of motion. In this paper, visualization technique that expresses the trajectories of motion based on spatial data generated by motion capture technology has been studied using a game engine. In particular, we studied about the production technique of media art that expresses the trajectory of Taekwondo, representative martial art of Republic of Korea, which has dynamic technique of aerial motion and splendid technique of kicking.
Keyword : Motion Capture, Taekwondo, Motion Trajectory, Motion Visualization, Media Art
1 Department of New Media, Seoul Media Institute of Technology, Seoul, Korea [Graduate School]
e-mail : [email protected]
2 School of Public Administration and Public Policy, College of Social Science, Kookmin University, Seoul, Korea [Professor]
e-mail : [email protected]
3 Department of New Media, Seoul Media Institute of Technology, Seoul, Korea [Professor]
e-mail : [email protected], (Corresponding Author)
* 본 논문은 2017년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임
(No. NRF-2017R1D1A1B03034041)
Received(March 26, 2019), Review Result(1st: April 08, 2019), Accepted(June 03, 2019), Published(June 30, 2019)
1. 서론
물체의 연속된 움직임을 시각화하려는 예술적인 노력들은 계속 진행되었다. 미래주의의 영향을 받은 Giacomo Balla의 ‘Line of Movement and Dynamic Succession’ (1913) 는 하나의 캔버스에 움직 이는 새의 형상을 반복적으로 그리고 움직임의 흐름을 곡선으로 표현하면서 회화 작품에서 시간과 움직임을 표현했다[1][2]. 시차 사진술(time of picture)을 사용한 Eadweard Muybridge와 Etienne Jules Marey는 인간의 눈으로 인지하기 힘든 빠른 움직임들을 사진기술을 사용해서 이미지를 획득하고 배치함으로써 아주 짧은 시간에 변화하는 사물의 움직임을 시각화하여 정보를 전달하였다[3]. 과거 에는 사물의 움직임을 캔버스나 필름과 같이 평면적으로 분석하였다면 최근에는 모션캡처 기술을 사용하여 사물의 움직임을 3차원 공간에서 분석할 수 있다. 모션캡처 기술은 영화, 게임 산업에서 주로 활용되며 발전해 왔으며, 가상현실을 비롯하여 의료, 스포츠, 미디어 아트 등의 분야로 사용 성이 확대되며 다양한 종류와 가격대의 장비들이 출시되고 있다. 모션캡처 방식은 영상 추적(visual tracking) 방식과, 몸에 장비를 부착하는 비영상 추적(non-visual tracking) 방식으로 분류할 수 있다 [4]. 대표적인 영상 추적방식은 적외선 마커(IR marker)를 사람의 몸에 부착하고 다수의 적외선 카 메라들이 마커의 위치를 정확하고 빠르게 추적한다. 작은 범위의 공간에서는 키넥트(Kinect)가 주로 사용되며, 사람의 움직임과 뼈대(skeleton)을 실시간으로 제공하기 때문에 신체 인터페이스로 많이 사용된다[5]. 비영상 추적방식은 IMU가 내장되어 있는 장치를 신체에 부착하여 사용하는 방식으로 최근 자이로(gyro) 센서의 드리프트 문제가 보완되었으며, 마커기반의 모션캡처 장비보다 가격이 낮고 외부 장치를 설치하지 않아도 되기 때문에 사용이 간편하다는 장점을 갖는다[6].
춤, 무용, 무술과 같은 비언어 예술(non-verbal art)은 언어가 아닌 움직임을 통하여 메시지를 전 달하기 때문에 움직임의 표현이 다양하다. ‘300 Years Hakka Kung Fu: Re-Actor’ 작품에서는 Kung Fu 마스터가 적외선 마커가 부착된 의상을 입고 쿵푸를 시연했으며, 신체의 움직임의 궤적을 다양 한 시각적 효과를 적용하여 시각화하였다[7]. ‘Theatron’공연에서는 실제 배우들과 함께 자이로 모 션캡처 장비를 착용한 액터(Actor)가 실시간으로 무대공간의 아바타를 연기하였다[8]. 본 논문은 공 중동작의 역동성과 발차기의 화려한 기술을 보여주며 ‘Jump’와 같은 퍼포먼스 공연으로 세계인의 사랑을 받고 있는 태권도를 주제로 하였다. 태권도의 모션캡처 데이터를 사용하여 태권도 동작의 움직임의 궤적을 심미적 관점에서 표현하는 미디어아트 제작기법에 대하여 연구하였으며, 실시간 인터랙션 기반의 미디어 아트로의 확장을 고려하여 유니티 게임 엔진을 사용하였다.
2. 태권도 캐릭터 애니메이션 생성
3차원 공간에서의 태권도 움직임 데이터를 획득하기 위하여 모션캡처 장비가 필요하다. 태권도
는 팔과 다리의 움직임이 크고 빠르기 때문에 시연자가 장비를 착용하지 않고 자유롭게 움직일 수 있도록 광학식 모션캡처 장비가 적합하다. 태권도 시연자의 모션캡처 데이터를 획득하기 위하여 [그림 1]과 같이 적외선 카메라들을 설치하고 정확한 카메라들 사이의 관계를 정의하는 캘리브레 이션(calibration) 작업을 수행하였다. 일반적으로 시연자는 반사마커가 부착된 의복을 착용하지만 공중 동작 등 태권도 움직임에 방해되지 않도록 적외선 마커를 신체에 직접 부착하였다.
[그림 1] 태권도 모션캡처 시스템 [Fig. 1] Taekwondo Motion Capture System
모션캡처 시스템은 적외선 카메라들에 입력되는 영상들의 상관관계를 사용하여 [그림 2]와 같이 시연자에게 부착된 27개의 마커(head, cla_R, cla_L, c7, R_shoulder, R_elbow, R_wrist, R_hand, L_shoulder, L_elbow, L_wrist, L_hand, sternum, R_hip, L_hip, T12, L2, L5, sacrum, R_knee, R_ankle, R_heel, R_toe, L_knee, L_ankle, L_heel, L_toe)들의 위치를 계산하여 저장한다. 모션캡처 시스템은 100fps로 데이터를 획득함으로써 [그림 3]과 같이 발차기와 공중동작과 같은 빠른 움직임을 안정적 으로 획득하였다.
모션캡처 장치에서 획득된 적외선 마커들과 유니티 게임엔진에서 사용할 캐릭터의 스켈레톤과
맵핑하기 위하여 Autodesk사의 모션빌더(Motion Builder)를 사용하였다. [그림 4]와 같이 마커들과
캐릭터의 스켈레톤을 정확하게 맵핑하기 위하여 시연자의 T자세에서 획득한 마커의 위치와 모션
빌더에서 추가한 액터(actor)의 신체적 특성이 일치하도록 신장, 팔, 다리, 허리 등의 신체 부위들이
일치하도록 길이와 방향 등을 조절한다. T자세에서 마커들과 캐릭터의 뼈대(skeleton)와의 관계를
맵핑한 후 Marker Set를 저장한다. 추후에 동일한 마커위치를 갖는 모션캡처 데이터들이 입력되면
쉽게 Market Set를 맵핑할 수 있다. Actor Settings에서 Active를 설정하면 마커들의 위치와 캐릭터가
일치하며 액터와 Market Set이 결합한다. 기본 스켈레톤(bone_skeleton)을 생성하고 캐릭터를 생성한 후 기본 스켈레톤과 Biped 방식으로 결합한 후, 캐릭터의 Input Typed를 Actor로 변경하고 Active를 설정하면 액터와 캐릭터가 결합하며 캐릭터 기반의 애니메이션 데이터를 생성할 수 있다.
[그림 2] 마커 기반 3D 움직임 데이터 [Fig. 2] Marker based 3D Motion Data
[그림 3] 태권도 동작 데이터 획득 [Fig. 3] Taekwondo Motion Data Capturing
[그림 4] 모션빌더 마커-캐릭터 맵핑 [Fig. 4] Motion Builder Marker-Character Mapping
3. 태권도 움직임 시각화
사람의 움직임 애니메이션을 시각화하는 미디어아트 작품들은 주로 Autodesk 3DS Max, Maya, Maxon Cinema 4D와 같은 모델링 및 렌더링 소프트웨어를 사용한다. 고품질의 시각 효과를 나타내 기 위해서는 계산량이 많은 작업을 수행하기 때문에 프레임(frame) 단위로 렌더링 한 이미지들을 연결하여 동영상을 생성한다. 최근에는 하드웨어의 성능이 좋아지고 실시간 특성을 갖는 게임엔진 을 사용함으로써 실시간 미디어아트 콘텐츠를 제작하는 사례가 증가하였다. 게임엔진을 사용하면 렌더링 소프트웨어를 사용하는 것보다는 시각효과 품질의 제한이 있지만 사용자와 상호작용을 할 수 있고 시각효과를 실시간으로 변화시킬 수 있다.
모션빌더에서 생성된 캐릭터 애니메이션은 유니티 게임엔진에서 인간형 아바타에 적용하여 실
시간으로 애니메이션을 할 수 있다. 유니티를 사용하여 움직임 애니메이션을 나타내는 방식은 크
게 아바타의 형상 데이터를 사용하는 방식과 뼈대 데이터를 사용하는 방식으로 나눌 수 있다. 첫
째로 [그림 5]와 같이 캐릭터 애니메이션에 결합된 인간형 아바타의 폴리곤 데이터와 텍스처
(texture)를 사용하면 직관적인 태권도 동작 애니메이션을 표현할 수 있다. 아바타의 기하학적 특성
을 나타내는 폴리곤 또는 정점(vertex)들의 데이터를 사용하고 연속적인 시간에서 중복적으로 데이
터를 시각화 하면 [그림 6]과 같이 아바타 형상의 잔상을 표현함으로써 태권도의 움직임의 변화를
시각화 할 수 있다.
[그림 5] 아바타 기반 태권도 애니메이션 [Fig. 5] Avatar Based Taekwondo Animation
[그림 6] 기하학 기반 태권도 애니메이션 [Fig. 6] Geometry Based Taekwondo Animation
둘째로는 아바타의 뼈대 데이터를 사용하여 움직임의 궤적을 시각화 할 수 있다. 아바타가 가지
고 있는 뼈대에서 움직임의 특성을 잘 나타낼 수 있는 뼈(bone)들을 선택한다. 태권도 미디어아트
는 시각화에 사용하는 스켈레톤을 9개의 뼈(Head-Hips, LeftHand-LeftForeArm, LeftForeArm-LeftArm,
RightHand-RightForeArm, RightForeArm-RightArm, LeftUpLeg-LeftLeg, LeftLeg-LeftFoot, RightUpLeg-
RightLeg, RightLeg-RightFoot)들로 단순화하고 뼈의 내부에 궤적 발생체(trajectory object)들을 설정하
였다. 태권도의 움직임을 살펴보면 발의 움직임은 크고 작은 회전 움직임을 갖으며 손의 움직임은
빠르고 직선적인 움직임을 갖는다. 태권도의 중요한 특성을 나타내는 4개의 조인트(LeftHand,
RightHand, LeftFoot, RightHand)에 궤적 발생체를 설정하였다. 궤적 발생체에 연속된 위치 데이터의
시간, 속도, 거리 등의 물리적인 데이터를 속성 값으로 적용하고, line, mesh, texture, trail, particle과
같은 시각효과 컴포넌트들을 적용함으로써 [그림 7]과 같이 다양한 시각적 효과를 나타낼 수 있다.
[그림 7] 시각효과 컴포넌트 [Fig. 7] Visual Effect Component
4. 결론
본 논문은 모션캡처 시스템으로 획득한 사람의 움직임의 궤적을 시각화하는 미디어아트를 제작
하는 제작기법에 대하여 연구하였다. 대한민국의 무도인 태권도 시연자의 움직임을 모션캡처 시스
템을 통해 획득하였으며, 모션캡처 데이터를 사용하여 움직임의 궤적을 심미적으로 표현하는 미디
어 아트를 제작기술을 소개하였다. 적외선 마커 데이터를 인간의 뼈대 형태를 갖는 움직임 데이터
로 변환한다. 인간의 뼈대를 아바타에 적용하여 아바타의 외형 데이터가 가지고 있는 정점의 위치
데이터를 사용하여 인간의 형상을 갖는 움직임의 궤적을 표현하는 방법과, 뼈대와 조인트의 위치
를 기반으로 하는 움직임의 궤적의 표현방법을 설명하였다.
References
[1] S. H. Artut, Futurism art and its significance to computational generative art, Proceedings of XXI Generative Art Conference, (2018) December 18-20; Roma, Italy.
[2] G. Balla, Lines of Movement and Dynamic Succession, https://www.wikiart.org/en/giacomo-balla/lines-of- movement-and-dynamic-succession-1913, Retrieved: May 25 (2019).
[3] A. P. Shimamura, Muybridge in motion: travels in art, psychology and neurology, History of Photography.
(2002) Vol.26, No.4, pp.341-350.
[4] H. Zhou and H. Hu, Human motion tracking for rehabilitation - A survey, Biomedical Signal Processing and Control. (2008) Vol.3, No.1, pp.1-18.
[5] M. Song, S. A. Mokhov, S. P. Mudur, and P. Grogono, Rapid interactive real-time application prototyping for media arts and stage performance. SIGGRAPH Asia 2015 Courses, (2015).
[6] S. Narang, A. Best, A. Feng, S. H. Kang, D. Manocha, and A. Shapiro, Motion recognition of self and others on realistic 3D avatars, Computer Animation and Virtual Worlds. (2017) Vol.28 No.3-4
[7] S. Kenderdine, EMBODIED MUSEOGRAPHY, The digital in Cultural Spaces Conference Publication, Culture Academy Singapore. (2012), pp.24-43.
[8] A. Andreadis, A. Hemery, A. Antonakakis, G. Gourdoglou, P. Mauridis, D. Christopoulos, and J. N.
Karigiannis, Real-time motion capture technology on a live theatrical performance with computer generated scenery, Proceedings of the 14th Panhellenic Conference on Informatics, (2010) September 10-12; Tripoli, Greece.