전산학적 스토리 자동 생성 연구에 대한 고찰

(1)

전산학적 스토리 자동 생성 연구에 대한 고찰

유은순

¹

, 이오준

²

, 김진택

^2,

*

Computational Narrative Generation: A Survey

Eun-Soon You

¹

, O-Joun Lee

²

, Jin-Tak Kim

^2*

6)

요 약

소설부터 영화 시나리오에 이르기까지 다양한 장르의 스토리 자동 생성(story generation)이 큰 주목을 받고 있다. 현재 일기예보나 스포츠 기사와 같은 정보 전달을 위한 텍스트는 점점 로봇에 의 해 대체되고 있다. 하지만 스토리는 인간의 상상력과 창의성이 가장 잘 발현되는 고차원적 인지 영 역이기 때문에 스토리 자동 생성은 인공지능과 자연어생성(Natural Language Generation) 분야 에서 매우 도전적인 연구 분야이다. 이에 본 논문은 컴퓨터의 스토리 창작의 기술적 변화를 살펴보 는 것을 목적으로 하였다. 이를 위해 먼저 스토리 자동 생성에 이론적 토대를 제공한 중요한 서사 (narrative)이론을 기술하고 서사 이론에 근거한 스토리 저작 도구의 원리와 기능을 소개하였다.

그리고 현재 딥러닝(deep learning) 기술을 이용한 스토리 자동 생성의 구체적 연구 사례를 통해 과거의 저작 도구와의 차이점을 제시하고 컴퓨터의 스토리 창작이 갖는 철학적 쟁점을 고찰하였다.

Abstract

The computational narrative generation studies have got attention in various genres and media from novels to movie scripts. Recently, robots are replacing humans in writing informative and straightforward texts. However, generating narratives is still challenging since it requires high-level perceptions, including imagination and creativity. This study aims to review technological advances in the computational narrative generation. We first introduce narratology theories that are foundations of this research area. Then, we show the existing narrative generation tools, which are based on narratology theories. Also, there are generation tools based on deep learning techniques. We compare them with conventional methods and present their limitations. Finally, we suggest further research directions in the computational narrative generation.

1인하대학교(인천광역시 미추출구 인하로 100) (강사)

2포항공과대학교(경상북도 포항시 남구 청암로 77) (전임연구원, 대우부교수)

*Corresponding Author : [email protected] 접수일자 : 2020. 03. 16.

1차 심사 : 2020. 03. 19.

2차 심사 : 2020. 05. 13.

게재확정 : 2020. 05. 20.

DOI : http://data.doi.or.kr/10.22733/JITAE.2020.10.01.002

(2)

Keywords : Computational Narrative Generation, Story Authoring, Authoring Support, Narratology

1. 서 론

예술 창작에서 인공지능의 역할이 커지고 있 다. 예술은 창의성과 독창성이 요구되는 영역으 로 오랫동안 인간의 고유한 영역으로 여겨져 왔다. 하지만 기계학습(machine learning)의 눈부신 발전으로 딥러닝이 인공지능에 적용되 면서 그 효율성과 정확성이 높아짐에 따라 예 술 창작에까지 활용 영역을 넓혀가고 있다.

인공 신경망(Artificial Neural Network) 을 이용한 구글의 ‘딥드림(Deep Dream)’¹⁾과

‘더 넥스트 렘브란트(The Next Rembrandt)’

프로젝트²⁾, 그리고 ‘마젠타 프로젝트(Magenta Project)’³⁾는 인공지능이 미술과 음악에 적용 된 대표적인 사례이다.

음악과 미술에 이어 소설, 시를 쓰는 인공지 능이 출현했다. 인공지능이 창작한 소설이 문학 상 심사에서 통과⁴⁾되는가 하면 인공지능이 쓴 SF 시나리오가 영화로 만들어져 영화제에 출품 되기도 했다⁵⁾.

이처럼 인공지능이 인간 고유의 영역에까지 그 영향력을 확대하고 있는 현재의 시점에서 인공지능의 창작에 대한 논의는 매우 중요한 문제라고 할 수 있다. 본 연구는 스토리 자동 생성 기술과 연구 동향을 소개하고자 한다.

유발 하라리(Yuval Noah Harari)에 의하 면 스토리(story)는 인류의 역사에서 일어난 첫 번째 혁명인 인지혁명과 매우 관계가 깊다.

하라리(Harari)는 그의 저서 사피엔스에서

인류 역사를 크게 세 개의 혁명으로 나눈다. 인 지혁명, 농업혁명, 그리고 과학혁명이 그것이 다. 약 7만 년 전에서 3만 년 전 사이 인지혁 명을 통해 ‘언어’를 창조한 호모 사피엔스가 네 안데르탈인과 같은 유사 사람종과의 경쟁에서 이겨 살아남을 수 있었다고 강조한다. 그리고 호모 사피엔스가 그러한 ‘언어’를 이용하여 ‘허 구를 말하고 믿는 능력’을 갖추게 되면서 다른 종들을 능가하는 대규모 협력 체제를 구축할 수 있었을 뿐만 아니라 주위 환경의 변화에 빠 른 속도로 적응할 수 있었다고 한다. 언어로 경 쟁 개체를 정복하고 신화, 전설, 종교, 권력, 국가 등 가상의 실재를 만들어 인류 문화를 건 설했다[2]는 하라리의 주장은 스토리의 시작 이 곧 인류 역사의 시작임을 강하게 암시하고 있다. 인지과학자 장 루이 데살(Jean-Louis Dessalles) 역시 언어의 기원에서 언어는 이 야기를 하기 위해 선택되었다고 주장한다[3].

그렇게 언어에 의해 만들어진 수많은 스토리를 통해 인간은 세계를 인식해 왔다. 스토리는 인 류의 “공생의 도구”[4]인 셈이다. 그런데 인류 역사의 시작이자 인간의 존재론적 물음의 근거 인 이야기를 창작하는 주체로 인공지능이 등장 하기 시작했다는 것은 우리에게 중요한 사실을 시사한다. 바로 컴퓨터의 “서사 지능(narrative intelligence)”[5]의 가능성이다. 컴퓨터는 더 이상 정보처리 도구에 머무르지 않고 “스토리를 만들고, 말하고 이해하고 감정적으로 반응”[5]

할 수 있는 창작의 주체로 진화하고 있다는 사 1) 인공 신경망(Artificial Neural Network)을 이용하여 방대한 양의 이미지 학습을 통해 패턴을 인식하도록 한 후 새로 운 이미지가 입력되면 학습을 통해 알고 있던 이미지 패턴과 유사한 것과 그렇지 않은 것을 찾아낸다. 유사한 것은 그대 로 두고 새롭게 인식된 이미지 패턴에 자신이 알고 있는 패턴을 적용하여 자신이 아는 인식 결과로 나타나도록 이미지를 변화, 왜곡시킨다[1].

2) 안면인식 기술을 활용해 네덜란드 화가 렘브란트의 초상화 346점을 분석하고 그 결과를 3D 프린터를 통해 재현하도록 하였다. 렘브란트가 자주 사용한 구도와 색채, 유화의 질감을 그대로 살려내는 데 성공했다[1].

3) 다양한 악기와 음을 학습하여 새로운 음악을 만들어내 큰 화제를 불러일으켰다.

4) 2016년 3월에는 일본의 ‘호시 신이치(星新一) 문학상’ 공모전에서 인공지능이 작성한 컴퓨터가 소설을 쓰는 날(コンピュタが小説を書く日) 이 예심을 통과했다.

5) 인공지능 벤자민(Benjamin)이 쓴 SF시나리오가 2016년에 영화 <선스프링(Sunspring)>으로 만들어져 런던에서 열 린 공상과학영화제에 출품되었다.

(3)

실이다.

본 논문은 기계의 스토리 창작의 기술적 변 화 과정을 살펴보기 위해 과거 스토리 저작 도 구와 오늘날 인공지능 기술 기반의 스토리 자 동 생성의 연구 동향을 비교, 분석하고자 한다.

본 연구의 주요 내용은 다음과 같다. 2장에 서는 컴퓨터의 스토리 생성의 개발에 이론적 근거와 토대를 제공한 다양한 서사 이론을 소 개한다. 3장에서는 국내외 대표적인 스토리 저 작 도구를, 4장에서는 현재 개발된 인공지능 기반의 스토리 생성 연구의 구체적인 사례를 소개할 것이다.

2. 스토리 자동 생성에 기여한 서사 이론

2.1 극적 구조

스토리의 구성 요소를 이해하고 형식화하기 위한 노력들은 매우 오래전부터 진행되어 왔다.

이야기의 구조와 요소, 내용에 관한 다양한 연 구들 가운데 아리스토텔레스(Aristoteles)의

시학(Peri poiētikēs)은 이야기 구조의 비밀 을 밝혀주는 첫 번째 비평서이다. 인류 최초의 비평서라고도 일컬어지는 시학에서 그는 “이 야기는 시초와 중간과 종말을 가진 하나의 전 체적이고 완결된 행위를 취급하지 않으면 안 된다. 그래야만 작품은 유기적인 통일성을 지닌 생물과도 같을 것”[6]이라고 하였다. 이것을 3 막 구조라고 하는데 모든 이야기는 3막 구조에 서 크게 벗어나지 않는다. 그림 1은 아리스토 텔레스가 정의한 이야기의 3막 구조를 나타낸 것이다.

그림 1. 아리스토텔레스의 3막 구조.

Fig. 1. Three Act Structure of Aristotle.

뿐만 아니라 그는 이야기의 논리적 구조를

설명하기 위해 이야기는 시간적 순서나 인과 관계에 의해 전개되어야 한다는 이야기의 개연 성과 필연성의 개념을 제시하였다.

아리스토텔레스의 3막 구조 이후 극적 구조 에 대한 연구들이 뒤를 이었는데, 그림 2에서 처럼 독일의 작가 구스타프 프라이타크(Gustav Freytag)는 플롯 피라미드를 통해 이야기를 발단 (Exposition) → 전개 (Rising Action)

→ 절정 (Climax) → 해결 (Falling Action, Final Suspension and Resolution) → 결 말 (Conclusion), 다섯 단계로 구분하였다[7].

그림 2. 프라이타크의 피라미드.

Fig. 2. Freytag's pyramid.

2.1 구조주의

19세기 언어학자 페르디낭 드 소쉬르Ferdinand de Saussure)의 기호학으로 시작된 구조주의 는 서사로부터 일련의 패턴과 규칙을 추출하고 분석이 가능할 수 있도록 서사에 대한 과학적 분석 방법의 토대를 마련해주었다. 대표적인 연 구는 러시아의 민속학자 블라디미르 프로프 (Vladimir Propp)의 민담형태론이다. 그는 러시아의 마법담(faily tail)을 분석하여 그것 을 구성하는 모든 요소들을 형태론(morphology) 에 근거하여 유형화하여 민담들이 공유하는 공 통적 문법을 제시하였다. 그는 표 1에서처럼 민담에 등장하는 인물들의 공통적인 행위를 31 가지 기능(function)으로 체계화하고 기호화하 였다[8]. 또한, 등장인물을 주인공(hero), 악 당(villain), 후원자(doner), 조력자(helper), 공주나 찾아내어야 할 것, 그리고 그녀의 아버 지(princess or prize, and her father), 파 견자(dispatcher), 가짜 주인공(false hero), 7개로 유형화하고[8] 31개의 기능 중에서 각 각의 인물들이 해야 하는 행위를 정의하였다.

(4)

예를 들어 주인공의 행위는‘탐색을 위한 파견 (C￪)’, ‘증여자의 요구에 대한 반응(E)’, ‘결혼 (W)’으로 정의된다.

표 1. 프로프의 31개 기능 목록.

Table 1. 31 Functions proposed by Propp.

2.3 시모어 채트먼(Semour Chatman)의 서사의 이원적 구조

채트먼Chatman)은 그림 3에서와 같이 서사 를 일련의 사건들과 등장인물, 배경을 포함하는

‘스토리(story)’와 이야기를 표현하는 형식인

‘담화(discourse)’로 분리하였다⁶⁾. 스토리는 다 시 사건들(Events)과 존재물들(Existents)로 구성되는데, 사건들은 인물들의 행위(actions) 와 사고(happening)이며, 존재물들은 인물 (character)과 인물들이 위치하는 시공간적 배 경(setting)이다[9].

그림 3. 서사의 이중적 구조.

Fig. 3. The Twofold Structure of Narratives.

6) 러시아 형식주의자들은 ‘이야기’와 ‘담화’라는 용어 대신 각각 ‘파뷸라(fablula)’와 ‘쉬젯트(sjuzet)’라는 용어를 사용하였 고, 프랑스 구조주의자들은 ‘이스뚜아르(histoire)’와 ‘디스꾸르(discours)’, 그리고 영국의 평론가 E.M. Forster는 ‘스 토리’와 ‘플롯(plot)’이라는 용어를 사용하며 서사의 이원성을 설명하였다.

번호 기능 기호 정의

1 부재 β 가족 구성원 가운데 한사람이 집을 떠나 있다.

2 금지 γ 주인공에게 금지가 내려진다 3 위반 δ 금지를 위반한다.

4 탐색 ε 적이 정보를 찾고자 시도한다.

5 누설 ζ 적에게 희생자에 대한 정보가 제공된다.

6 속임수 η

적이 희생자나 그가 가진 것을 획득하기 위해 희생자를 속이 려 한다.

7 방조 θ

희생자가 속임수에 넘어가고, 그로 인해 자신의 의지와 상관 없이 적을 돕게 된다.

8 가해 A

적이 가족 구성원 가운데 한 명에게 해를 끼치거나 손해를 입힌다

8-a 결여 A

가족 구성원 가운데 한 명에게 무언가 부족하거나, 그가 무언 가를 갖기를 원한다.

9 중개, 연결

요소 B

불행 또는 결여가 알려지고, 주인공에게 요청 또는 명령이 내려지면서, 주인공이 파견되 거나 출발이 허락된다.

10 대항

개시 C 탐색자가 저항을 결심하거나 동의한다.

11 파견 ￪ 주인공이 집을 떠난다.

12

증여자의 첫 번째

기능 D

주인공이 시험을 당하거나 심 문을 받거나 공격을 받는 등 마법의 도구나 조력자를 얻는 발판을 마련한다.

13 주인공의

반응 E 주인공이 미래의 증여자의 행 동에 반응한다.

14 마법의

도구 획득 F 주인공이 마법의 도구를 획득 한다.

15

두 나라 사이의 공간이동,

여행안내 G

주인공이 그가 찾는 대상이 존 재하는 장소로 옮겨지거나 인 도되거나 안내된다.

16 투쟁 H 주인공과 적이 직접적인 싸움 에 돌입한다.

17 낙인,

표시 J 주인공이 표지를 받는다.

18 승리 I 적이 패배한다.

19

최초 불행 이나 결핍 의 청산

K 최초의 불행 또는 부족이 해소 된다.

번호 기능 기호 정의

20 귀환 ￬ 주인공이 돌아온다.

21 추적,

추격 Pr 주인공이 추적당한다.

22 구조 Rs 주인공이 추적에서 벗어난다.

23 은밀한

도착 ° 주인공이 집이나 다른 나라로 몰래 들어간다.

24 부당한

요구 L 가짜 주인공이 부당한 요구를 제안한다.

25 난제 M 주인공에게 어려운 과제가 부 여된다.

26 해결 N 과제가 해결된다.

27 인지 Q 주인공을 인지한다

28 폭로 Ex 가짜 주인공 또는 적의 정체가 드러난다.

29 변신 T 주인공에게 새로운 모습이 부 여된다.

30 처벌 U 적이 벌을 받는다.

31 결혼 W 주인공이 결혼을 하고 임금님 이 된다.

(5)

2.4 조지프 캠벨(Joseph John Campbell) 의 ‘Hero’s Journey(영웅의 모험) 스키마 캠벨은 전 세계의 영웅 신화를 조사, 분석하 여 모든 영웅 신화에서 공통적으로 나타나는 스 토리 원형 구조를 제시하였다. 그것이 바로 그 의 저서 천의 얼굴을 가진 영웅에서도 소개된

‘영웅의 모험’ 혹은 ‘원질신화(Monomyth)’이다.

그는 영웅의 모험을 크게 ‘출발 (Departure)’,

‘입문(Initiation)’, ‘회귀(Return)’로 나누고 각각의 단계를 다시 세분화하여 17개의 단계로 구분하였다. ‘출발’은 영웅이 모험을 시작하기 전 단계로 평범한 주인공이 처음에는 자신에게 주어진 소명을 거부하나 결국엔 자신의 운명을 받아들이고 초자연적 조력을 얻으며 첫 관문을 통과하는 과정으로 이루어져 있다. 입문에서는 영웅이 주어진 소명을 다하기 위해 미지의 세 상으로 여행을 떠나면서 겪게 되는 시련과 성 취의 모험이 펼쳐진다. 마지막 ‘귀환’은 미션을 수행하면서 획득한 지식이나 힘을 가지고 평범 한 일상세계로 돌아오는 단계이다. 표 2는 영 웅의 모험의 17단계를 각각 나타낸 것이다[10].

표 2. 캠벨의 영웅의 모험 17단계.

Table 2. 17 Steps in heroes adventures proposed by Campbell.

출발 입문 귀환

모험에의 소명 시련의 길 귀환의 거부 소명의 거부 여신과의 만남 불가사의한 탈출 초자연적인 조력 유혹자로서의

여성

외부로부터의 구조 첫 관문의 통과 아버지와의 화해 귀환 관문의 통과

고래의 배 신격화 두 세계의 스승

홍익 삶의 자유

2.5 크리스토퍼 보글러(Christopher Vogler) 의 ‘영웅의 모험’

보글러는 조셉 캠벨의 영웅의 원형적 스토리 에 근거하여 표 3에서처럼 영웅의 여정을 12단 계로 정형화하였다[11].

표 3. 보글러의 영웅의 모험 12단계.

Table 3. 12 Steps in heroes adventures proposed by Vogler.

영웅의 여정 단계 정의

1. 일상 세계 이야기 시작

2. 모험에의 소명 평범한 일상을 떠나 특별한 세계로 모험을 떠나게 됨 3. 소명의 거부 두려움으로 부름을 거절 4. 정신적 스승과의 만남 조언자를 만남

5. 첫 관문의 통과 모험을 떠나게 되는 계기기 주 어지고 특별한 세계로 들어감 6. 시험, 협력자, 적대자 영웅이 몇 가지 시험을 통과 7. 동굴 가장 깊은

곳으로의 접근

시험 과정을 성공적으로 끝내 고 향후 다가올 시련에 대비

8. 시련 강력한 적대자와의 만남

9. 보상 시련을 극복한 영웅에게 승리 를 위한 보상이 주어짐

10. 귀환의 길

보상을 손에 쥐고 집으로 오 지만 적들이 재결합하고 영웅 을 위협

11. 부활 최후의 전투를 수행 승리 12. 영약을 가지고 귀환 영웅이 보상을 가지고 고향에

돌아와 일상으로 복귀.

위에서 기술한 서사 이론들은 스토리의 일정 한 구조와 패턴, 규칙들을 제시함으로써 컴퓨터 를 이용하여 그것을 자동 생성할 수 있다는 가 능성을 제공하였다.

3. 스토리 저작 도구의 등장과 발전

인간의 창작 과정을 모사하려는 노력은 오랫 동안 인공지능을 비롯하여 다양한 분야에서 중 요한 연구 주제였다.

1980년대부터 다양한 서사 이론에 근거하여 서사 창작 과정을 체계화하고 그것을 컴퓨터 프 로그램으로 구현한 다양한 소프트웨어들이 개발 되기 시작했다. 창작 과정은 크게 프리 프로덕 션(Pre-Production), 프로덕션(Production), 포스트 프로덕션(Post-Production)으로 구분 되는데, 기존의 국내외 저작도구는 주로 앞의 두 단계인 프리프로덕션과 프로덕션 단계를 지 원한다.

(6)

3.1. 영화 시나리오 저작 소프트웨어 ‘드라마 티카 프로(Dramatica-Pro)’

미국에서 개발된 대표적인 스토리 저작 도구는 영화 시나리오 저작 도구인 드라마티카 프로와 파이널 드래프트(Final Draft), 파워 스트럭쳐 (Power Structure), 스토리뷰(Storyview)등 이 있다. 그 중에서 드라마티카 프로가 가장 높 은 판매고를 올리고 있으며 실제 많은 할리우 드 작가들과 드라마 작가들이 사용하는 것으로 알려져 있다.

드라마티카 프로는 미국 Write Brothers사 에서 만든 제품으로 시나리오 창작에 필요한 캐릭터 설정, 플롯 구성, 테마 선정, 용어사전 등 12개의 도구를 제공한다.

스토리 저작 소프트웨어는 서사 이론을 차용 하고 있는데, 드라마티카 프로는 ‘New theroy of Story’라고 하는 새로운 극작 이론에 근거하 고 있다. 이 이론은 드라마티카 프로를 개발한 맬라니 앤 필립스(Melanie Anne Phillips)와 크리스 헌틀리(Chris Huntley)가 기존의 흥 행에 성공한 영화와 인기 드라마의 스토리 구 조와 캐릭터 유형을 분석하여 체계적으로 정리 한 집필 이론이다[12].

드라마티카 프로는 스토리 형성(Story Forming), 스토리 구체화(Story Illustrating or Story Encoding), 스토리 엮기(Story Weaving), 총 세 단계를 통해 스토리가 생성된다. 스토리 형성 단계에서 사용자는 ‘스토리 가이드’라고도 불리는 ‘쿼리 시스템(Query System)’을 이용 하는데, 스토리 창작에 필요한 제목과 배경 설 정, 플롯, 시놉시스 등의 정보를 입력한다. 스 토리 구체화는 이전 스토리 형성 단계에서 입 력한 기본적인 내용을 구체화하는 단계이다. 그 리고 마지막 스토리 엮기 단계에서 스토리가 최종 완성된다.

3.2 국내 스토리텔링 창작도구 ‘스토리헬퍼 (Story Helper)’

스토리헬퍼는 국내에서 처음으로 개발된 소 설, 영화, 드라마, 애니메이션 등의 스토리 창 작을 지원하는 소프트웨어이다. 이화여자대하교

디지털 스토리텔링 연구소와 엔시소프트가 공 동 개발한 스토리헬퍼는 1500편의 영화 DB를 제공하고 있는데 해당 영화들은 대중성과 작품 성, 뚜렷한 서사 체계를 기준으로 선정되었으며 모두 시퀀스와 장면으로 분할되어 있다.

스토리헬퍼의 전체적인 창작 프로세스는 기 존의 스토리를 참고, 변형하는 사례 기반 추론 (Cased-based Reasoning)에 근거하고 있다.

기존의 영화를 분석하여 205개의 핵심적인 모 티프를 제공하는데 이것은 이야기의 살에 해당 된다. 그리고 막(Act)과 장(scene)으로 구성 된, 이야기의 뼈대가 되는 플롯을 제공한다.

스토리 저작 단계는 네 단계로 이루어져 있 는데 스토리 아이디어를 구체화하는 아이디에 이션, 구체화된 아이디어로 이야기의 뼈대를 만 드는 트리트먼트, 시나리오를 완성할 수 있는 파이널 스크립트, 그리고 아이디에이션과 트리 트먼트 작성 과정에서 산출된 시트를 저장하는 마이 아카이브가 그것이다[13].

스토리헬퍼도 드라마티카 프로의 쿼리 시스 템처럼 아이디에이션, 트리트먼트 단계에서 사 용자에게 스토리 생성에 필요한 다양한 질문을 제공한다.

스토리헬퍼의 가장 큰 특징은 시뮬레이션을 통해 사용자가 입력한 스토리와 기존 작품의 스토리 간의 유사성을 측정해준다는 것이다. 사 용자에게 자신의 이야기가 기존의 작품들과 얼 마나 유사한지를 알려주고 사용자가 보다 더 독창적인 창작 활동을 할 수 있도록 지원한다.

지금까지 개발된 스토리 저작 도구의 공통된 주요 기능은 크게 두 가지로 요약될 수 있다.

첫째, 서사 이론이나 시나리오의 작법에 근거하 여 캐릭터, 지문, 대사가 미리 포맷되어 있어 사용자는 각각의 항목을 채우면 한 편의 시나 리오가 완성된다. 둘째, 위에서 기술한 드라마 티카 프로와 스토리헬퍼의 기능에서 알 수 있 듯이 대부분의 저작 도구들은 쿼리 기능을 통 해 장르와 인물, 주제 등을 선택하게 함으로써 스토리를 체계화한다.

저작 도구들은 특정 작가의 집필 프로세스나 서사 이론을 바탕으로 미리 포맷된 프로세스에 따라 스토리가 만들어지기 때문에 엄밀한 의미

(7)

에서 스토리 자동 생성이라고 보기 힘들며, 작 가의 창작을 일부 보조하는 역할을 한다.

딥러닝 기술을 인공지능에 적용하게 되면서 스토리 자동 생성은 큰 변화를 맞게 되는데 그 구체적인 사례를 4장에서 살펴보기로 한다.

4. 딥러닝 기반의 스토리 자동 생성 연구

스토리 자동 생성 연구는 현재 자연어생성연 구(Natural Language Generation, NLG) 와 컴퓨터 창의성(Computational Creativity) 분야에서 큰 주목을 받고 있다. 4장에서는 딥 러닝 기술을 활용한 스토리 자동 생성 연구 동 향과 특징을 소개한다.

4.1 기계와 사용자 간의 상호작용을 통한 스토리 자동 생성

매사추세츠 공과 대학(MIT)은 최초의 SF 소설이라고 평가받는 프랑켄슈타인의 작가 셸리(M.W.Shelley)의 이름을 딴 호러 소설 창작 인공지능 ‘셸리(Shelley)’를 개발했다. 창 작은 인간과 컴퓨터의 상호 작용을 통해 이루 어진다. 인공지능 셸리가 인터넷에 떠도는 이야 기 데이터를 학습하고 트위터에서 유저들과 트 윗을 주고받으며 공포물을 만들어낸다. 셸리가 한두 문장으로 이야기를 시작하면, 다른 트위터 유저가 이 문장을 읽고 연속적인 글을 쓴다. 이 후 셸리가 해당 글이 중단된 부분에서 이야기

그림 4. 셸리의 트위터 계정[14].

Fig. 4. Twitter account of ‘Shelley’.

를 덧붙여 이어 나가는 방식이다. 그림 4는 셸 리의 트위터를 소개한 것이다.

순환신경망((Recurrent Neural Network, RNN)을 이용하여 웹 블로그에서 수집된 약 이천만 개의 이야기들의 문장을 학습한 스토리 생성기 ‘크리에이티브 헬프(Creative Help)’도 사용자가 스토리를 만들기 위한 문장을 입력하 면 시스템은 다음에 올 문장을 제안하는 방식 을 통해 스토리를 만들어간다[15].

컴퓨터와 사용자 간의 협업 방식은 소설 뿐 만 아니라 시, 랩과 같이 다양한 장르의 텍스트 생성에서도 활용되고 있다. Wu and Tosa[16]

는 Haiku phrase corpus 기반의 시 생성 시 스템을 제안했다. 사용자가 단어(word)나 구절 (phrase)을 입력하면 코퍼스에서 해당 단어나 구절(phrase)이 포함된 표현들을 코퍼스에서 찾아 시를 작성한다.

핀란드의 인공지능 연구자들이 개발한 인공 지능 랩퍼 딥비트(Deepbeat)는 유명 아티스트 100명 이상의 랩 12,500곡에서 추출한 641,000라인의 영어, 핀란드어 랩 가사를 학 습하였다. 사용자가 키워드나 랩 가사 일부를 입력하면 나머지 랩 가사를 생성해준다. 그리고 자동으로 생성된 랩 가사의 적절성을 평가하기 위하여 가사의 각 행을 행의 길이, 포함된 라 임, 단어 가방 모형, LSA(Laten Semantic Allocation, 잠재적 의미 할당), 등의 특징을 바탕으로 벡터 형태로 나타낸다. 이후 현재 행 과 다음 행 후보의 특징 벡터를 입력으로 하여 다음 행의 적절성을 예측하는 인공신경망 모델 을 학습한다. 학습은 기존 랩 가수들에 의해 씌 여진 가사들을 참값으로 하여 이뤄진다. 하지 만, 이 연구에는 다음 행의 후보들 중 적절한 것을 고르는 방법만이 제시되어 있을 뿐, 그 후 보들을 구성하기 위한 방법은 명확히 제시되지 는 않았다[17].

4.2 작가의 문체를 모방한 스토리 자동 생성 Wang et al.[18]은 장단기 메모리(Long short-term memory, LSTM)를 이용하여 중 국의 시인 두보(Du Fu)의 문체를 모방하는 중 국어 자동 시 생성기를 제안했다. 두보의 시

(8)

1000편 이상을 학습한 이 모델은 첫 글자가 주어지면 나머지 글자들을 생성하는데 두보의 시에 내재된 우울한 어조와 리듬을 반영하고 있다. 이 모델은 글자 하나를 하나의 용어 (term)으로 간주하고 시를 행(line)으로 나눈 후 LSTM을 이용하여 각 용어의 확률을 계산 한다.

Zugarini and Maggini[19] 역시 LSTM 을 이용하여 단테(Dante Alighieri) 시의 특 징인 3행구(tercets)를 생성하는 모델을 소개 하였다. 이 모델의 특징은 글자(character)나 어절(phrase)이 아닌 시의 운율(rhythm)에 중요한 역할을 하는 음절(syllable)을 기반으 로 하고 있다.

4.3 마이크로소프트의 시 쓰는 챗봇

‘샤오이스(Xiaoice)’

마이크로소프트는 2014년 중국에서 AI 기반 의 챗봇 ‘샤오이스(Xiaoice)’를 공개했다. 그리 고 2017년 5월 샤오이스가 작성한 시를 모아 시집 햇살은 유리창을 잃고(Sunshine Misses Windows) 를 출간했다. 샤오이스는 1920년 이후 현대 시인 519명의 작품 수천 편을 스스 로 학습해 1만여 편의 시를 집필했다. 출간된 시집은 샤오이스가 쓴 1만여 편의 시 중 139 편을 선정해 펴낸 것이며, 시집의 제목도 인공 지능 챗봇 샤오이스가 지은 것이다. 하지만 시 의 문장이 자연스럽지 못하고 문법적으로 맞지 않는 등 인공지능이 지은 것임을 쉽게 알 수 있다[20].

4.4 시나리오를 쓰는 인공지능 벤자민 (Benjamin)

영화 감독 오스카 샤프(Oscar Sharp)와 컴 퓨터공학자 로스 굿윈(Ross Goodsin)이 개발 한 인공지능 벤자민은 LSTM을 이용하여 20편 의 SF 영화 시나리오를 문장 단위로 학습하였 다. 벤자민이 쓴 공상 과학 시나리오 2편은 2016년과 2017년에 각각 <선스프링(sunspring>

과 <It’s no game>이라는 영화로 제작되면서 큰 화제가 되었다. 벤자민은 SF 영화에 자주 나오는 단어와 표현들을 사용하는 등 SF 영화

의 전형성을 모방하려 했다는 점에서 주목을 받았다. 그러나 벤자민이 생성한 인물들의 대사 는 인간이 쓴 영화 대사와 비교할 때 질적인 측면에서 여러 문제점을 노출했다[21]. 인물들 이 주고 받는 대화는 맥락에 맞지 않고 대화의 내용을 이해하기 힘들 정도로 부자연스럽다. 현 재 벤자민 홈페이지에서 새롭게 생성한 영화 스크립트가 지속적으로 업그레이드 되고 있다.

그림 5는 벤자민이 쓴 시나리오의 일부이며 그 림 6은 영화 <Sunspring>의 한 장면이다.

그림 5. 벤자민이 생성한 스크립트 중 일부.

Fig. 5. A part of a script generated by

‘Benjamin’.

그림 6. 영화 <Sunspring>의 한 장면[23].

Fig. 6. A scene in the movie, <Sunspring>.

5. 결론 : 컴퓨터도 창의성(Creativity)을 가질 수 있는가?

이제는 인공지능이 단순히 예술을 시뮬레이 션하는 것을 넘어 컴퓨터도 인간과 같은 창의 성을 갖출 수 있는가에 대한 문제가 제기되고 있다. 그렇다면 창의성이란 무엇인가? 우리는 다양한 분야에서 인창의성을 경험한다. 특히 예 술과 문학은 창의성이 가장 잘 드러나는 분야 다. 하지만 우리는 아직 어떻게 창의적인 생각

(9)

과 영감이 떠오르는지에 대해 알지 못한다. 창 의성이 발현되는 과정은 아직도 비밀로 남아 있다.

제렌트 위긴스(Geraint A.Wiggins) 교수에 의 하면 ‘컴퓨터 창의력(Computational Creativity)’

이란 바로 어떤 특정한 일에 대해 컴퓨터가 사 유할 수 있는 능력을 의미한다. 인간에 의해 미 리 프로그래밍 된 일을 하는 것이 아니라 기계 스스로 독자적인 생각을 고안할 수 있는 능력 을 말한다[24]. 이것이 가능할까? 일반적으로 지금까지 인공지능이 생산한 그림, 음악 등을 창의적인 작품으로 인정하지 않는다. 그것은 방 대한 데이터 학습을 통해 공통적인 패턴을 발 견하고 그것의 변형에 불과하다고 판단하고 있 기 때문이다.

위에서 살펴본 것처럼 소설과 시, 그리고 랩 에 이르기까지 현재 딥러닝을 이용한 다양한 장르의 텍스트 생성 연구가 활발하게 진행되고 있다. 이것은 인간에 의해 미리 짜여진 순서에 따라 글을 생성하는 저작 도구와는 완전히 다 른, 학습에 의한 모방 내지 독창적인 글쓰기를 시도한 것이다. 하지만 그 결과물에 대해 우리 는 회의적이다.

그렇다고 컴퓨터가 창의성을 가질 가능성은 없는 것인가? 머지않은 미래에 창작의 영역에 서도 기계가 인간의 창의성을 뛰어넘는 ‘특이점 (Singularity)’이 올 수도 있지 않을까?

이제는 컴퓨터의 창작 기술뿐만 아니라 컴퓨 터가 생산한 문학과 예술의 존재론에 대한 논 의가 그 어느 때보다 필요한 시점이다.

참고 문헌

[1] ETRI WEBZINE, Vol. 122, 2019.

[2] 유발 하라리, “사피엔스”, 김영사, 2015.

[3] 파스칼 피크, 베르나르 빅토리, 장 루이 데살,

“언어의 기원”, 알마, 2009.

[4] 이인화, “스토리텔링 진화론”, 해냄출판사, 2014.

[5] M. O. Riedl, “Computational narrative intelligence: A human-centered goal for artificial intelligence”, arXiv preprint

arXiv:1602.06484, 2016.

[6] 아리스토텔레스, “시학”, 문예출판사, 2002.

[7] G. Freytag, “Freytag's Technique of Drama : an exposition of dramatic composition and art”, Scholarly Press, 1968.

[8] 블라디미르 프로프, “민담형태론”, 지식을만드 는지식, 2013.

[9] 시모어 채트먼, “영화와 소설의 서사구조”, 민 음사, 1995.

[10] 조지프 캠벨, “천의 얼굴을 가진 영웅”, 민음 사, 2018.

[11] 크리스토퍼 보글러, “신화 영웅 그리고 시나리 오 쓰기”, 비즈앤비즈, 2013.

[12] 류철균, 서성은, “디지털 서사 창작 도구의 서 사 알고리즘 연구”, 현대소설연구, 제38권, pp. 117-152, 2008.

[13] 류철균, 윤혜영, “디지털 서사 창작도구의 CBR 모델 비교 연구”, 한국디지털콘텐츠학회 논문지, 제13권, 제2호, pp. 213-224, 2012.

[14] MIT Media Lab, https://www.media.mit.

edu/projects/shelley, 2012.

[15] M. Roemmele, and A. S. Gordon,

“Creative help: A story writing assistan”, In International Conference on Interactive Digital Storytelling, Springer, Cham. pp. 81-92, 2015.

[16] X. Wu, N. Tosa, and R. Nakatsu, “New hitch haiku: An interactive renku poem composition supporting tool applied for sightseeing navigation system”, International Conference on Entertainment Computing, Springer, Berlin, Heidelberg, pp. 191- 196, 2000.

[17] E. Malmi, P. Takala, H. Toivonen, T.

Raiko, and A. Gionis, “Dopelearning: A computational approach to rap lyrics generation”, Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 195-204, 2016.

[18] K. Wang, J. Tian, R. Gao, and C. Yao,

(10)

“The machine poetry generator imitating Du Fu's styles”, In 2018 International Conference on Artificial Intelligence and Big Data (ICAIBD), pp. 261-265. 2018.

[19] A. Zugarini, S. Melacci, and M.

Maggini, “Neural Poetry: Learning to Generate Poems Using Syllables”, International Conference on Artificial Neural Networks, pp. 313-325. 2019.

[20] 고찬수, “인공지능 콘텐츠 혁명”, 한빛미디어, 2018.

[21] 유은순, 송재원, 박승보, “Classification of Characters in Movie by Correlation Analysis of Genre and Linguistic Style”, 한국컴퓨터정보학회논문지, 제13권, 제1호, pp. 49-55, 2019.

[22] https://sockrotation.com/2016/06/11/

sunspring-a-short-film-written-by-an-al gorithm

[22] SOCKROTATION, Creativity, technology

& culture?, https://sockrotation.com/2016/

06/11/sunspring-a-short-film-written-by -an-algorithm, 2016

[23] O. Sharp, Benjamin, "Sunspring", 2016.

[24] S. Colton, and G. A. Wiggins,

"Computational creativity: The final frontier?", Ecai, Vol. 12, pp. 21-26, 2012.