Emotional Expression through the Selection Control of Gestures of a 3D Avatar

<응용논문> pISSN 1226-0606 eISSN 2288-6036

3D 아바타 동작의 선택 제어를 통한 감정 표현

이지혜· 진영훈· 채영호

^†

Emotional Expression through the Selection Control of Gestures of a 3D Avatar

JiHye Lee, YoungHoon Jin, and YoungHo Chai

^†

Graduate School of Advanced Imaging Science, Multimedia and Film Chung-Ang University

Received 7 October 2014; received in revised 30 October 2014; accepted 8 November 2014

ABSTRACT

In this paper, an intuitive emotional expression of the 3D avatar is presented. Using the motion selection control of 3D avatar, an easy-to-use communication which is more intuitive than emot- icon is possible. 12 pieces different emotions of avatar are classified as positive emotions such as cheers, impressive, joy, welcoming, fun, pleasure and negative emotions of anger, jealousy, wrath, frustration, sadness, loneliness. The combination of lower body motion is used to repre- sent additional emotions of amusing, joyous, surprise, enthusiasm, glad, excite, sulk, discom- fort, irritation, embarrassment, anxiety, sorrow. In order to get the realistic human posture, BVH format of motion capture data are used and the synthesis of BVH file data are implemented by applying the proposed emotional expression rules of the 3D avatar.

Key Words : Avatar emotion, BVH, Interactive avatar control, Selection control

1. 서 론

사회를 구성하고 있는 집단의 구성원들 사이에 서의 의사소통은 올바른 정보전달을 위해 다양한 형태로 진화 되어왔다. 의사소통이란 대화상대의 생각과 의도를 수신자가 인지한 이후 발신자의 느 낌과 동작들을 올바르게 인식하고 연결성 있고 지 속적인 의미의 내용들을 연속성 있게 전달하는 것 을 의미한다

^[1]

현재의사소통 방식은 스마트폰을 이용한 SNS(Social Networking Service), 즉 가상환경 안에서의 의사 전달 방식으로 진화되었다. 한국에서 가장 많이 사 용되고 있는 SNS로는 “카카오톡”(Kakao talk),

“라인”(Line), “틱톡”(Tictoc)을 대표로 들 수 있 다. 이러한 가상환경 안에서의 의사소통은 빠르게 상대방과 소통한다는 장점은 있으나 직접적인 만 남으로 의사를 전달할 때에 비해서 발신자의 정확 한 의도가 전달되지 못한다는 단점이 있다. 텍스 트만으로 의사를 전달하기에는 오해의 소지가 생 길 수 있으며, 정확성이 떨어지게 된다. 그렇기 때 문에 오늘날 가상환경에서의 의사소통에는 ‘이모 티콘’이라는 대부분 표정으로 이루어진 평면(2D)

†Corresponding Author, [email protected]

©2014 Society of CAD/CAM Engineers

형태의 그림을 이용한 전달 방식이 추가 되었다.

기존의 가상 공간 안에서의 감정 전달은 ‘텍스 트’와 ‘음성’ 또는 ‘평면(2D) 이모티콘’의 단순한 형태로 전달 되어왔다. 하지만 성공적으로 의사를 전달하기 위해서는 전달자의 표정과 동작이 효과 적으로 병행되어야 하고, 수신자가 이를 올바르게 해석할 수 있어야 한다

^[2]

‘이모티콘’들을 참고하여, 감정표현을 돕는 동작들 을 분류하고, 사람의 감정과 연관하여 ‘입체(3D) 아바타’의 감정으로 분류를 하도록 한다. 감정을 표현하는 ‘입체(3D) 아바타’의 동작은 모션캡처 데 이터를 이용하여 짧은 시간 안에 동작을 생성 할 수 있도록 한다. 모션캡처 데이터는 현재 영화, 입 체(3D) 게임, 애니메이션 등 다양한 분야에서 사 용되어지고 있다. 하지만 이러한 다양하고 방대한 모션캡쳐 데이터들 중에 사용자가 원하는 감정을 표현하는 동작을 찾는 것은 매우 어렵다. 따라서 이미 저장되어 있는 모션캡쳐 데이터들 중에 사용 자가 원하는 감정을 표현하는 동작들을 선택하여 조합할 수 있도록 입체(3D) 아바타의 동작 선택을 제어하여 조합한다.

본 논문은 전달자와 수신자의 의사소통을 원활 하고, 정확하게 주고 받기 위하여 전달자가 직접 본인의 감정을 표현할 수 있도록 다양한 감정 동 작들을 조합하여, 수신자에게 전달 할 수 있도록 한다. 즉, 감정표현 동작을 사용자가 원하는 의도 로 감성적이면서 명확하게 전달 할 수 있는 선택 제어를 제안한다.

본 논문의 2장에서는 사람의 감정 표현을 분류 하고, 한국 정서에 따른 감정을 분류한다. 또한 가 상환경에서 사용되는 ‘평면(2D) 이모티콘’의 감정

표현들을 분류한다. 3장에서는 입체(3D) 아바타의 감정 표현을 분류하고 정의하여 사람의 감정을 표 현하는 ‘입체(3D) 아바타’를 생성한다. 4장에서는

‘입체(3D) 아바타’의 감정을 표현하는 동작을 선 택하고 제어하는 방법에 대해 제시하고, 사용자 실 험을 통해 본 논문의 제안을 입증한다. 5장은 감 정을 제어하는 ‘입체(3D) 아바타’의 향후 연구계 획에 대해 언급한다.

2. 사람의 감정 표현

가상환경 안에서 가장 많이 사용되어지고 있는

‘이모티콘’으로 표현되어진 사람의 감정에는 슬 픔, 화, 두려움, 혐오, 기쁨, 놀람으로 총 6가지의 감정이 있다(Table 1)

^[3-7]

대표적인 사람의 감정 분류에는 이자드(Izard, 1977)가 제시한 ‘관심’, ‘기쁨’, ‘분노’, ‘두려움’,

‘수치심’, ‘역겨움’, ‘죄책감’ 등의 기본 정서가 있 고

^[8]

의 6가지의 기본 감정 존재를 제시하였다

^[9-11]

^[12]

에 발표된 글래스고 대학의(University of Glasgow) 과학자들은 사람의 감정은 4가지의 기본 감정이 존재하며, 기본 감정으로는 ‘행복’, ‘슬픔’, ‘공포 (놀람)’, ‘분노(혐오감)’가 존재한다고 제시하였 다

^[13]

Izard (1991)

Ekman (1992)

Damasio (1994)

Plutchik (2001)

Kalat & Shiota (2007)

Sadness Sadness Sadness Sadness Sadness

Anger Anger Anger Anger Anger

Fear Fear Fear Fear Fear

Disgust Disgust Disgust Disgust Disgust

Joy - Joy Joy Joy

Surprise surprise surprise Surprise -

과 부정’의 감정은 감정의 평가적 차원이고, 기본 수준에서의 감정들은 감정의 강도를 나타낸다고 발표하였다

^[14,15]

2.1 한국의 정서에 따른 감정 분류

1990년대부터 한국의 정서구조를 정의하고, 한 국인의 감정을 표현하는 단어들을 분류하려는 연 구가 시작되었다. 이만영과 이흥철(1990)의 연구 에서는 대학생들의 응답을 대상으로 ‘기쁨’, ‘두려 움’, ‘분노’, ‘짜증과 경멸’, ‘슬픔과 괴로움’, ‘각성’

의 6개의 군집으로 감정을 분류하였다

^[16]

^[17]

^[18]

‘사랑’(긍정적 감정), ‘공포’, ‘분노’, ‘연민’, ‘수 치’, ‘좌절’, ‘슬픔’(부정적 감정)으로 분류하는 것 이 감정을 명확하게 표현하는 것이라고 발표하였 다. 더 나아가 3차적으로는 ‘감동’, ‘행복’, ‘긍지’,

‘흥분’, ‘두려움’, ‘놀람’ 등의 25개의 감정들을 포 함시켰다

^[19]

^[20]

신체 자세가 어떻게 변화하는지 특징을 포착하 고, 주요 신체의 특징을 설정하여 사람의 감정으 로 정의 내렸다(Fig. 1)

^[21]

2.2 SNS 이모티콘 감정 분류

한국에서 스마트폰 사용자들이 가장 많이 사용 하고 있는 SNS 메신저들 중에는 “카카오톡”(Kakao talk), “라인”(Line), “틱톡”(Tictoc) 등이 있다. SNS 에서 사용되어지고 있는 감정 표현을 위한 ‘이모 티콘’들을 분류한다. 대부분의 ‘이모티콘’들은 얼 굴 표정만으로 감정을 표현하고 있지만, 최근에는 동작을 추가한 ‘이모티콘’들이 등장하고 있으며, 사람 모양의 형태보다는 동물의 형태이거나 혹은 새로운 형태의 캐릭터를 만들어 감정을 표현하고 있는 ‘평면(2D) 이모티콘’이 대다수이다.

분류의 형태는 2.1 사람의 감정 분류를 참고하 여 감정을 표현하는 단어와 다양한 SNS에서 사용 되어 지고 있는 이모티콘들 중 유사한 동작을 취 하고 있는 ‘평면(2D) 이모티콘’들을 취합하고 카 테고리화 한다. 분류의 기준은 팔 동작의 형태와 표정으로 분류하였다. 분류되어진 ‘평면(2D) 이모 티콘’들의 감정 표현에는 기쁨, 슬픔, 놀람, 두려 움, 분노, 혐오 등의 감정이 존재한다(Fig. 1).

3. 입체(3D) 아바타 감정 표현 생성

3.1 입체(3D) 아바타의 감정 분류

2장에서 분류했던 사람의 감정과 SNS 메신저에 서 ‘평면(2D) 이모티콘’을 통한 감정 표현을 근거 하여 ‘입체(3D) 아바타’의 감정 표현을 분류한다.

각각의 SNS의 ‘평면(2D) 이모티콘’들은 다양한 캐 Fig. 1 Emoticons of SNS

릭터를 제공하고 있어 다양성과 창의성은 있으나 규칙화 되어지지 않았다. 수신자와 발신자의 감정 표현은 개개인의 성향에 따라 다양하게 표현될 수 있고, 환경과 상황에 따라 변화될 수 있다.

‘입체(3D) 아바타’의 감정의 분류를 상위 단계 에서 긍정적인 감정(+Emotion)과 부정적인 감정 (-Emotion)으로 구분하고, 중간 단계의 감정은 크 게 희(喜), 노(怒), 애(哀), 락(樂)으로 분류한다. 중 간단계에 속하는 희(喜), 노(怒), 애(哀), 락(樂)의 감 정을 세분화 하고, 각각의 감정에는 환호, 감동, 기 쁨, 환영, 재미, 즐거움, 분노, 질투, 노여움, 좌절, 외로움, 슬픔의 감정이 포함되어 진다(Fig. 2).

현실 세계에서 사람들 사이의 감정 표현을 위한 동작은 대부분 팔 동작으로 이루어진 상반신 위주 의 동작들이 대부분이다

^[22]

3.2 입체(3D) 아바타의 감정 동작 정의

전달하고자 하는 감정을 표정의 변화를 제외한 신체의 동작만으로 상대방에게 전달하는 것은 매 우 어렵다. 대부분의 감정을 전달하는 의사소통은 같은 동작이지만 다양한 표정의 변화를 통하여 의 사를 전달하기 때문이다

^[23]

3.1 ‘입체(3D) 아바타’의 감정 분류에 해당하는

감정 표현의 동작을 각각의 감정에 적합하도록 정 의한다. 상위단계 긍정적인 감정(+Emot ion)에 속 하는 감정 표현으로 각각의 감정은 기쁨, 환호, 감 동, 즐거움, 환영, 재미의 감정으로 구성되어 있으 며 이 감정들은 상체의 움직임으로 구성되어 있다 (Table 2, Fig. 3). 상위 단계 부정적인 감정(-Emotion) 에 속하는 감정 표현에는 노여움, 분노, 질투, 슬 픔, 좌절, 외로움의 감정으로 구성되어 있으며 감 정들을 표현하는 동작은 상체의 움직임으로 구성 되어 있다(Table 3, Fig. 4).

하체의 동작은 기본적인 대화에 사용하거나 혹 은 감정을 강조하고자 할 때 취하는 동작으로 구 성한다(Table 4, Fig. 5).

Fig. 2 Hierarchy of 3D avatar Emotion

Table 2 +Emotion Upper body Gesture

감정 동작

1 기쁨 양팔 벌리기

2 환호 위로 팔 벌리기

3 감동 한 손 입 가리기

4 환영 한팔 들기

5 즐거움 양팔 흔들기

6 재미 양팔 사방으로 흔들기

Table 3 -Emotion Upper body Gesture

감정 동작

1 노여움 팔짱 끼기

2 분노 양손으로 머리 잡기

3 질투 외면하기

4 슬픔 양 손으로 얼굴 가리기

5 좌절 양 손으로 입 가리기

6 외로움 한 손으로 이마 잡기

Table 4 Lower Body Gesture

감정 동작

1 흔들기 양 다리 번갈아 앞으로 내밀기

2 달리기 앞으로 달리기

3 걷기 앞으로 걷기

4 발차기 앞으로 발차기

5 앞뒤반복 양 다리 앞뒤로 반복 6 천천히 걷기 천천히 앞으로 걷기

7 급정지 앞으로 달리다가 멈추기

3.3 입체(3D) 아바타 생성

사람은 상황에 따라 표현하고자 하는 감정 표현 을 위하여 관절들을 각각의 동작 범위 안에서 움 직인다. 기본적으로 사람이 감정을 표현하기 위해 많이 사용하는 상체의 경우 하체와는 다르게 그 각도가 다양한 범위에서 동작이 가능하다. 사람의 신체 중 요추의 후굴 자세의 정상 범위는 20

^o

^o

^o

^o

^o

^[24]

사람의 감정 표현을 위한 동작을 ‘입체(3D) 아

Fig. 4 -Emotion of 3D Avatar

Fig. 5 Lower Body Gesture of 3D Avatar

Table 5 3D Avatar Joint and BVH Joint set BVH Joint Avatar Joint

1 Hips Pelvis

2 LHipJoint Spine 3 LowerBack Spine1

4 Neck1 Neck

5 Head Head

6 LeftShoulder L Clavicle 7 LeftArm L UpperArm 8 LeftForeArm L Forearm 9 LeftHand L Hand 10 RightShoulder R Clavicle 11 RightArm R UpperArm 12 RightForeaArm R Forearm 13 RightHand R Hand 14 LeftUpLeg L Thigh 15 LeftLeg L Calf 16 LeftFoot L Foot 17 RightUpLeg R Thigh 18 RightLeg R Calf 19 RightFoot R Foot Fig. 6 Joint of Human and 3D Avatar Fig. 3 +Emotion of 3D Avatar

바타’가 동일하게 표현하기 위해서 카네기 멜론 대학에서 제공하는 모션캡처 BVH 파일 포맷을 이 용한다. 모션캡처 데이터를 이용한 BVH 데이터 의 관절과 입체(3D) 아바타의 관절들을 동일하게 일치 시킨다. 사람의 골격을 구성하는 뼈의 수는 206개로 구성 되어져 있다.

206개의 뼈를 연결시켜 주는 관절들을 ‘입체(3D) 아바타’의 관절들과 모두 대응시키는 방법은 매우 복잡하고 어렵다. 본 논문에서는 관절의 최소화를 위하여 감정을 표현하는 동작 중 많이 사용 되어 지는 관절들을 선택하여 관절의 개수를 총 19개로 구성하였다(Table 5, Fig. 6)

^[25-28]

4. 입체(3D) 아바타의 동작 선택 제어

4.1 입체(3D) 아바타의 감정 표현을 위한 선택 제어

사용자가 표현 하고자 하는 ‘입체(3D) 아바타’

의 감정 표현을 제어하기 위하여 상체와 하체의 선택을 제어할 수 있는 단계를 구성한다.

Step 1 시작과 함께 모션캡처를 이용한 BVH 데 이터의 관절과 ‘입체(3D) 아바타’의 관절을 일치 시켜주는 단계이다. 정확하게 관절이 일치되어야 관절의 움직임이 자연스럽기 때문에 시작과 동시 에 실행되는 단계이다.

Step 2 사용자가 원하는 감정 표현을 직접 선택

할 수 있는 단계로 긍정적인 감정(+Emotion)을 표 현하는 동작과 부정적인 감정(-Emotion)을 표현하 는 동작을 선택할 수 있는 단계이다. 사용자가 선 택한 감정의 표현은 bvhAvatar1에 저장된다.

Step 3 사용자가 직접 선택한 bvhAvatar1에 하 체(Lower Body)를 이용한 동작을 추가하는 단계 이다. 상체와 하체가 조합된 동작은 bvhAvatar2에 저장되어진다. 사용자는 하체의 동작을 통해 감정 을 더 풍성하게 만들 수 있지만, 하체를 비(非) 선 택 시에는 bvhAvatar1에 저장되어 있는 기본 감정 을 표현할 수 있다.

Step 4 사용자가 선택한 감정을 최종적으로 출 력하는 단계이다. 사용자는 원하는 또 다른 감정 을 표현하기 위해 출력 후에도 Step1의 단계로 돌 아가 감정을 재 선택할 수 있다(Fig. 7).

4.2 입체(3D) 아바타의 감정 표현을 위한 복합 동작

상체(Upper Body)와 하체(Lower Body)의 조합 을 통한 감정 표현을 위해 하체(Lower Body)의 동 작을 3가지의 긍정(+Emotion)의 동작과, 4가지의 부정(-Emotion)의 동작으로 분류한다(Fig. 8). 조합 된 감정은 상체의 움직임에 근거하여, 하체(Lower Body)의 동작을 조합하여 상체(Upper Body)의 감 정에 하위 단계에 속하는 감정을 표현한다. 상체 로 이루어진 감정 표현에 하체 동작을 조합한 ‘입 체(3D) 아바타’의 감정은 기존의 감정과는 다른 새로운 감정을 표현할 수 있다. 사용자의 상황에 맞춰 상체와 하체의 조합을 통한 감정표현이 가능 해 진다(Fig. 9, Fig. 10).

상체의 긍정적(+Emotion)인 감정에 하체의 긍 정적(+Emotion)인 감정을 조합하면 긍정의

Fig. 7 Flow chart of selection control Fig. 8 Classification of Upper Body and Lower Body

(+Emotion) 감정이 표현되며, 하체의 부정의 (-Emotion) 감정을 조합하면 상체로 표현되는 긍 정의(+Emotion) 감정에 근거하여 감정의 강약의 정도가 조절되어진다. 또한 상체의 부정적인 (-Emotion) 감정에 하체의 긍정적(+Emotion)인 감정을 조합하면 상체로 표현되어지는 부정적 (-Emotion)인 감정에 근거하여 감정의 강약의 정 도가 조절되어지고, 하체로 표현되는 부정적인 (-Emotion) 감정을 조합하면 부정의(-Emotion) 감

Fig. 9 Classification of Combination +Emotion

Fig. 10 Classification of Combination -Emotion

Table 6 Combination Emotion

감정 상체 조합 하체

1 흥겨움 환호 흔들기

2 흥분 환호 달리기

3 영광 환호 걷기

4 환호(강) 환호 앞뒤반복

5 환호(중) 환호 천천히걷기

6 환호(약) 환호 급정지

7 행복함 감동 흔들기

8 감탄 감동 달리기

9 놀람 감동 걷기

10 놀람(강) 감동 앞뒤반복

11 놀람(중) 감동 천천히걷기

12 놀람(약) 감동 급정지

13 후련함 기쁨 흔들기

14 신남 기쁨 달리기

15 성취감 기쁨 걷기

16 기쁨(강) 기쁨 앞뒤반복

17 기쁨(중) 기쁨 천천히걷기

18 기쁨(약) 기쁨 급정지

19 흡족함 환영 흔들기

20 열망 환영 달리기

21 반가움 환영 걷기

22 환영(강) 환영 앞뒤반복

23 환영(중) 환영 천천히걷기

24 환영(약) 환영 급정지

25 유쾌함 재미 흔들기

26 짜릿함 재미 달리기

27 흥미로움 재미 걷기

28 재미(강) 재미 앞뒤반복

29 재미(중) 재미 천천히걷기

30 재미(약) 재미 급정지

31 설레임 즐거움 흔들기

32 열광 즐거움 달리기

33 뿌듯함 즐거움 걷기

34 즐거움(강) 즐거움 앞뒤반복

35 즐거움(중) 즐거움 천천히걷기

36 즐거움(약) 즐거움 급정지

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

정이 표현된다. 하지만, 원활한 의사소통과 명확 한 감정의 전달을 위하여 상체와 하체의 조합으로 표현하고자 하는 기본적인 감정을 정의 내리도록 한다(Table 6). 긍정적(+Emotion)인 감정에 속하는 환호, 감동, 기쁨, 환영, 재미, 즐거움의 감정 표현 에 하체(Lower Body)로 이루어진 긍정적인 감정 (+Emotion) 표현인 흔들기, 걷기, 달리기의 움직임 을 조합하여 기본적인 긍정(+Emotion)의 조합 감 정인 흥겨움, 놀람, 유쾌함, 반가움, 산남, 열광의 감정을 표현할 수 있다. 부정적(-Emotion)인 감정 에 속하는 분노, 질투 노여움, 좌절, 슬픔, 외로움 의 감정 표현에 하체(Lower Body)로 이루어진 부 정적인 감정(-Emotion) 표현인 급정지, 발차기, 앞 Table 6 Combination Emotion

감정 상체 조합 하체

37 노여움(강) 노여움 달리기

38 노여움(약) 노여움 걷기

39 짜증남 노여움 발차기

40 실망함 노여움 앞뒤반복

41 얄미움 노여움 천천히걷기

42 약오름 노여움 급정지

43 분노(강) 분노 달리기

44 분노(약) 분노 걷기

45 격분함 분노 발차기

46 억울함 분노 앞뒤반복

47 괘씸함 분노 천천히걷기

48 불쾌함 분노 급정지

49 질투(강) 질투 달리기

50 질투(약) 질투 걷기

51 신경질 질투 발차기

52 증오함 질투 앞뒤반복

53 혐오함 질투 천천히걷기

54 토라짐 질투 급정지

55 슬픔(강) 슬픔 달리기

56 슬픔(약) 슬픔 걷기

57 원망함 슬픔 발차기

58 상실감 슬픔 앞뒤반복

59 허탈함 슬픔 천천히걷기

60 수치스러움 슬픔 급정지

61 좌절(강) 좌절 달리기

62 좌절(약) 좌절 걷기

63 참담함 좌절 발차기

64 초조함 좌절 앞뒤반복

65 괴로움 좌절 천천히걷기

66 답답함 좌절 급정지

67 외로움(강) 외로움 달리기

68 외로움(약) 외로움 걷기

69 비참함 외로움 발차기

70 걱정스러움 외로움 앞뒤반복

71 서러움 외로움 천천히걷기

72 심란함 외로움 급정지

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

⊕

Fig. 11 Combination of +Emotion Gesture

Fig. 12 Combination of -Emotion Gesture

뒤 반복, 천천히 걷기의 동작을 조합하여 기본적 인 부정(-Emotion)의 조합 감정인 불쾌함, 토라짐, 짜증남, 초조함, 수치스러움, 서러움의 감정을 표 현할 수 있다.

상체(Upper Body)와 하체(Lower Body)의 조합 으로 표현할 수 있는 조합된 감정들 중 12가지의 감정 표현을 기본 조합 감정으로 정의 내린다(Fig.

11, Fig. 12).

4.3 입체(3D) 아바타의 대표 복합 동작에 대한 사용자 실험

감정을 표현하는 ‘입체(3D) 아바타’를 통한 감 정 전달 기반의 의사소통을 위해 사용자가 ‘입체 (3D) 아바타’의 동작만을 전달 받았을 경우 그에 대응하는 감정을 느꼈는가에 대한 조사가 이루어 졌다. 감정은 일반화 되어지기가 어려우며, 개개 인마다 감정을 표현하는 성향이 다르며, 주어진 상 황에 따라 감정의 기복이 달라지고, 그에 따라 취 하는 동작 또한 변하게 된다. 사용자 실험을 통해 감정을 표현하는 ‘입체(3D) 아바타’의 대표 복합 동작들의 정확도를 평가하도록 한다. 본 연구에서 는 사용자 실험을 계획함에 있어 평소 SNS를 사 용하는 집단을 대상으로 평가를 계획하였다. 자료 수집의 방법으로는 표적 집단 설문조사를 실시하였다.

4.3.1 사용자 실험 피시험자 구성 및 실험방법 실험 대상은 스마트폰을 사용하고, SNS를 사용 하는 20대~50대 남녀 25명으로 구성하고, 사용자 경험과 복합동작으로 감정을 표현하고 있는 ‘입체 (3D) 아바타’(Fig. 11, Fig. 12)를 감정단어(Table 6) 들과 연관 짓는 설문조사를 실시하였다.

피시험자 그룹 구성으로는 20대 10명, 30대, 10명, 40대 3명, 50대 2명으로 각 연령대별 남녀 비율은 남성보다 여성이 더 높았다.

각 연령대별 비율은 20대 남성 16%, 여성 24%, 30대 남성 12%, 여성 28%, 40대 남성 4%, 여성 8%, 50대 남성 4%, 여성 4%로 각 연령대별 SNS 를 가장 자주 이용하는 그룹으로 20대 여성과 30대 여성으로 조사되었다.

SNS 상에서의 기존의 ‘이모티콘’과 본 논문에 서 제안하는 ‘입체(3D) 아바타’를 비교하기 위하 여 다음과 같은 항목의 조사를 실시하였다.

우선적으로, ‘이모티콘’을 이용한 감정전달의 정 확성을 판단하기 위하여 ‘이모티콘’의 사용현황과

감정을 표현하는 ‘입체(3D) 아바타’에 관한 선호 도에 관하여 조사를 실시하였고, 그 이후 감정을 표현하는 ‘입체(3D) 아바타’에 관한 설문조사를 실 시하였다.

4.3.2 사용자 실험 평가 결과

사용자 평가에서 가장 많이 사용하는 SNS로는 카카오톡(68%), 라인(24%), 틱톡(8%)의 순서로 조 사되었다. SNS 상에서 ‘이모티콘’을 사용하는가 에 대한 조사에서는 약 98%로 매우 높은 사용량 을 알 수 있었고, ‘이모티콘’ 사용자들을 대상으로 조사한 주로 사용하는 ‘이모티콘’의 감정표현으로 는 긍정적인 ‘이모티콘’을 주로 사용한다는 대답 율이 91%로 대다수의 사람들은 부정적인 감정과 중립적인 감정에 비해 긍정적인 감정을 ‘이모티 콘’으로 표현하고 있다는 것을 알수 있었다. ‘이모 티콘’의 사용으로 사용자의 감정이 잘못 전달 되 었던 경험이 있는가에 대한 질문에는 약 85%의 사람들이 경험이 있다고 답했으며, 이러한 경험이 있는 사람들을 대상으로 사용자가 동작을 선택하 여 감정을 표현하는 ‘입체(3D) 아바타’를 통해 상 대방과의 의사소통에 감정의 전달이 원활하게 이 루어질것에 대한 기대감을 묻는 질문에는 75%의 사람들이 기대감을 드러냈으며, 이러한 ‘입체(3D) 아바타’가 SNS 상에서 사용할 수 있다면 사용할 것인가에 대한 질문에는 95% 이상이 사용할 것이 라고 답했다(Table 7).

첫 번째 사용자 평가를 통해 ‘입체(3D) 아바타’

를 사용하겠다는 사람들을 대상으로 복합동작을 통해 감정을 표현하고 있는 ‘아바타’에 대한 분류 테스트를 실시하였다. 긍정적인 동작을 표현하고 있는 그룹과 부정적인 동작을 표현하고 있는 그룹 을 분류하는 조사에서는 100%의 사람들이 그룹을

Fig. 13 User Test Group

정확하게 분류하였다. 감정 전달의 정확성을 판단 하기 위해 긍정적인 감정을 표현하는 그룹(Fig. 11) 과 부정적인 감정을 표현하는 그룹(Fig. 12)을 Table 6의 감정 단어들과 연관하여 선택하는 조사를 실 시하였다.

긍정적인 감정에 대한 실험 결과로 열광을 표현 하는 감정은 60%, 반가움을 표현하는 감정은 80%, 유쾌함을 표현하는 감정은 64%, 신남을 표현하는 감정은 60%, 놀람을 표현하는 감정은 80%, 흥겨 움을 표현하는 감정은 68%로 평균 68.66% 감정 일치를 보여주었다(Table 8, Fig. 14).

부정적인 감정에 대한 실험 결과로 불쾌함을 표 현하는 감정은 64%, 수치심을 표현하는 감정 은 72%, 서러움을 표현하는 감정은 68%, 초조함을 표현하는 감정은 80%, 토라짐을 표현하는 감정은 72%, 짜증남을 표현하는 감정은 64%로 평균 70%

감정 일치를 보여주었다(Table 9, Fig. 15).

조사결과 동작으로 표현하는 긍정적인 감정과 부정적인 감정의 평균 감정의 일치률은 69.33%로 조사되었다.

본 조사는 감정을 표현하는 동작과 제안된 감정 Table 7 User Test 1

Q A 백분율

1 주로 사용하는 SNS는? 카카오톡 68.00%

2 ‘이모티콘’사용 여부 YES 97.91%

2-1 주로 사용하는 감정표현 긍정 91.66%

3 감정 전달의 오류 경험 YES 85.41%

3-1 입체아바타를 통한 의사

소통의 가능성 YES 75.00%

4 입체 아바타의 사용여부 YES 95.83%

Fig. 14 User Test 2(+Emotion accuracy)

Table 8 User Test 2(+Emotion)

감정

열광 반가움 유쾌함 신남 놀람 흥겨움 총

열광 15 2 2 1 5 0 25

반가움 5 20 0 0 0 0 25

유쾌함 1 1 16 3 0 5 25

신남 1 1 6 15 0 2 25

놀람 1 1 1 1 20 1 25

흥겨움 2 1 0 5 0 17 25

총 25 25 25 25 25 25 150

Table 9 User Test 2(-Emotion)

감정

불쾌함 수치심 서러움 초조함 토라짐 짜증남 총

불쾌함 16 0 0 2 1 6 25

수치심 0 18 5 0 0 2 25

서러움 0 5 17 1 2 0 25

초조함 0 0 2 20 2 1 25

토라짐 3 2 0 2 18 0 25

짜증남 6 0 1 0 2 16 25

총 25 25 25 25 25 25 150

단어들과 연관성을 알아 보았던 조사로 긍정적인 감정과 부정적인 감정의 분류는 정확하게 분류가 되었다. 하지만 긍정적인 감정들에 포함되어 있는 세부적인 감정분류와 부정적인 감정들에 포함되 어 있는 세부적인 감정분류는 사람마다 느끼는 감 정의 표현 단어가 일관적이지 않음이 조사결과 밝혀졌다. 그렇지만 긍정적인 감정표현에서 ‘반 가움’과 ‘놀람’의 감정표현의 경우 80%의 일치률 을 보였고, 부정적인 감정 표현에서 ‘초조함’의 감 정표현이 80%의 일치률을 보였다.

5. 결 론

상체(Upper Body)로 표현되는 감정과 상체(Upper Body)와 하체(Lower Body)의 조합으로 표현할 수 있는 ‘입체(3D) 아바타’의 감정 표현은 최소 12가 지의 감정에서 약 84가지의 동작을 선택 제어 하 여 감정을 표현할 수 있으며, 발신자의 감정을 현 실 세계에서의 감정 표현과 유사하게 전달 할 수 있어 수신자와 발신자 사이의 감성적인 의사 표현 을 가능하게 할 것으로 생각된다. 실제 사람들이 표현하는 감정 표현은 개인의 취향과 상황에 따라 차이가 있을 수 있고, 개인의 특징에 따라 다른 동 작으로 다양하게 표현된다. 실험 결과 동작으로만 감정을 전달할 경우 감정의 완벽한 전달은 어려웠 다. 긍정적인 감정의 ‘열광’과 ‘신남’, ‘흥겨움’의 감정 표현 동작들은 감정표현방식이 유사하여 표 정의 변화없이 정확하게 감정을 전달하는 것은 어 려울 것으로 판단되어 지고, 마찬가지로 부정적인 감정에서의 ‘불쾌함’, ‘짜증남’의 감정표현 역시 표 정의 변화가 추가되어야 정확한 감정 전달이 가능 할 것으로 생각된다.

따라서 향후 제안되어진 감정들을 유사한 감정

들끼리 연관하여 통합한 후 사람들에게 선택할 수 있도록 하고, 사용자의 상황 변화에 초점을 맞추 어 사용자가 감정을 세분화하고 표정을 추가하고 동작들을 확장하여 감정의 조합이 제한적이지 않 도록 감정의 특징들을 정확하고 다양하게 표현 하 도록 한다.

감사의 글

본 논문은 2012년도 교육부의 재원으로 한국 연 구재단의 기초연구사업(NRF-2012R1A1A2006919) 의 지원으로 인한 결과물임을 밝힙니다.

References

1. Pantic, M. and Rothkrantz, L.J., 2003, Toward an Affect-sensitive Multimodal Human-computer Inter Action, Proceedings of the IEEE, 91(9), pp.1370-1390.

2. Lee, M.Y., Hong, S.H. and Kim, J.H., 2011, Making Packets from Animation Gestures-Based on the Effort Element of LMA, The Journal of the Korea Contents Association, 11(3), pp.179-189.

3. Izard, C.E., 1991, The Psychology of Emotions.

Springer.

4. Ekman, P., 1992, An Argument for Basic Emo- tions, Cognition and Emotion, 6, pp.169-200.

5. Damasio, A.R., 1994, Descartes' error : Emotion, reason and the Human Brain, NewYork, NY : Grosset/Putnam Book.

6. Plutchik, R., 2001, The Nature of Motions. Amer- ican Scientist, 89(4), pp.344-350.

7. Kalat, J.W. and Shiota, M.N. Emotion. 2007.

elmont, CA: Thomson Wadsworth.

8. Izard, C. E. (Ed.), 1977, Human Emotions. Boom Koninklijke Uitgevers.

9. Ekman, P., 1971, Universals and Cultural Dif- ferences in Facial Expressions of Emotion. In Nebraska Symposium on Motivation. University of Nebraska Press.

10. Ekman, P., 1992, “Are There Basic Emotions?.”

Psychological Review, 99, pp.550-553.

11. Ekman, P., 2007, Emotions Revealed: Recog- nizing Faces and Feelings to Improve Commu- nication and Emotional Life. Macmillan.

12. Epstein, S., 1984, Controversial Issues in Emo- tion Theory. Review of Personality & Social Psychology.

13. Oatley, K. and Johnson-Laird, P.N., 1987, Towards a Cognitive Theory of Emotions. Cog- nition and Emotion, 1(1), pp.29-50.

Fig. 15 User Test 2-1(-Emotion accuracy)

14. Shaver, P., Schwartz, J., Kirson, D. and O'connor, C., 1987, Emotion Knowledge: Further Explo- ration of a Prototype Approach, Journal of Per- sonality and Social Psychology, 52(6), pp.1061.

15. Shaver, P.R., Wu, S. and Schwartz, J.C., 1992, Cross-cultural Similarities and Differences in Emotion and Its Representation. Sage Publica- tions, Inc.

16. Lee, M.Y. and Lee, H.C., 1990, The Structural Analysis of Adjective Meanings : Related to Affective Voca Bulary Korean, Korean Jounal of Experimental and Cognitive Psychology, 2, pp.118-138.

17. Hahn, D.W., 2000, Empirical Studies on the Four Seven Emotion Debate of Korean Neo Confucianism, Korean Jounal of Social and Per- sonality Psychology, 14(2), pp.145-166.

18. Park, I.J. and Min, K.H., 2005, Making a List of Korean Emotion Terms and Exploring Dimen- sions Underlying Them,Korean Jounal of Social and Personality Psychology, 19(1), pp.109-129.

19. Song, H.J., Kim, H.S. and Lee, J.W., 2008, Cogni tive Appraisal of Primary Polls, Emotional Responses, and their Impacts on Political Action Korean Language and Literature Association, 52(4), pp.353-376.

20. Chung, M.G., Lee, M.Y., Kim, S.H. and Kim, J.H., 2007, The Study on Body Language in Animation as Functional Aspects-Focusing on Mulan, Beauty and the Beast, Aladdin, Sinbad, Jounal of Korean Society of Design Science, 20(1), pp.55-64.

21. Kim, J.O., 2011, Posture Features and Emotion Pre Dictive Models for Affective Postures Rec- ognition, KSII Transactions on Internet and Infor- mation Systems, 12(6), pp.83-94.

22. Pollick, Frank E., et al., “Perceiving Affect from Arm Movement,” Cognition 82.2 (2001): B51- B61.

23. Park, W., 1997, The Case Study on the Non- verbal Communication. University of Inha.

24. Kim, S.J. and Kuc, T.Y., 1998, Motion Control of 3D Human Character Using Motion Database, Multimedia-Assisted Language Learning, (2), 262-267.

25. Jin, Y.H., Kim, D.B., Chai, Y.H. and Nam, S.H., 2013, Adaptive Hierarchical Motion Authoring for 3D Mobile Avatar, Journal of the Korean Data And Information Science Sociaty, 40(9), pp.511-518.

26. Jin, Y.H. and Chai, Y.H., 2014, Spontaneous Motion Authoring for Mobile Avatar Using Par- ticle Dynamics, Journal of the Korean Data and Information Science Sociaty, 41(5), pp.367-375.

27. Lee, J., Han, J. and Yang, J., 2014, Depth Cam- era-Based Posture Discrimination and Motion Interpolation for Real-Time Human Simulation, Transactions of the Society of CAD/CAM Engi- neers, 19(1), pp.68-79.

28. Jung, M., Lee, K., Cho, H., Kim, T., Yanzhao, M. and Lee, S., 2007, Digital Human Modeling for Human-centered CAD System, Transactions of the Society of CAD/CAM Engineers, 12(6), pp.429-440.

이 지 혜

2012년 서울디지털대학교 컴퓨터 정 보통신공학사

2012년~현재 중앙대학교 첨단영상 대학원 석사과정

관심분야: HCI, 가상환경, UX

채 영 호

1989년 중앙대학교 기계공학사 1989년~1992년 삼성전기 연구원 1994년 SUNY Buffalo 기계공학석사 1997년 ISU 기계공학박사 1998년~1999년 중앙대 기계공학부 1999년~현재 첨단영상대학원 교수 관심분야: UI/UX, 가상 디자인

진 영 훈

2005년 서울산업대학교컴퓨터공학사 2014년 중앙대학교 첨단영상대학원

영상공학 석사

2014년~현재 중앙대학교 첨단영상 대학원 영상공학 박사과정 관심분야: 영상처리, 인공지능