A Study on New Gameplay Experience Based on Brain-Computer Interface

(1)

BCI를 기반으로 하는 플레이어의 새로운 게임플레이 경험 연구

고민진*, 오규환***, 배경우**

아주대학교 미디어학과 인터랙티브 엔터테인먼트랩

[email protected]*, [email protected]***, [email protected]**

1)

A Study on New Gameplay Experience Based on Brain-Computer Interface

Minjin Ko*, Gyuhwan Oh***, Kyoungwoo Bae**

Interactive Entertainment Lab, Division of Digital Media, Ajou University

요 약

Brain-Computer Interface(이하 BCI)는 뇌파를 활용하여 인간의 의지로 컴퓨터를 제어하는 수단이 나 행위이다. 뇌파 인터페이스 관련 하드웨어 제작 기술이 발전함에 따라 고가이면서 대형이었던 뇌 파 측정 장비가 최근에는 소형화 되고 개인이 구매 가능한 가격대로 출시되면서 앞으로 다양한 멀티 미디어 분야에서 응용이 될 것으로 예상된다. 이 논문은 뇌파 인터페이스 장치를 게임의 새로운 장치 로 활용이 가능한지에 대해 게임 디자인적 관점에서 접근한다. 먼저 논문에서는 뇌파 인터페이스 장 치를 적극적으로 활용할 수 있는 게임 플레이 요소를 제안하고 체계화하며, 이를 기반으로 하는 게임 의 시제품을 제작하였다. 다음으로 기존의 키보드, 마우스를 입력 장치로 사용하는 게임과의 비교 체 험을 통해 뇌파 인터페이스 장치의 활용이 직관적이고 효율적인 게임 플레이를 제공하는지에 대해 통계적인 분석을 하였으며, 실제로 직관성과 흥미로움을 제공한다는 사실이 검증되었다. 본 논문의 결과는 BCI 기반 게임 제작을 위한 효과적인 게임 디자인 가이드라인이 될 것으로 판단된다.

ABSTRACT

BCI (Brain-Computer Interface) is a way to control computer by using the human brain waves. As the hardware using brain wave technologies has developed, former expensive and big sized brain wave measuring devices have recently become much smaller and cheaper in their prices, making it possible for the individuals to buy them. This predicts them to be applied in various fields of multimedia industry. This thesis is to give an insight into whether the BCI device can be used as a new gaming device approaching it in a game designing point of view. At first, we proposed game play elements that can effectively utilizing the BCI devices, systematize, and produced a game prototype adopting the BCI device based on such game play elements. Next, we verified it with statistical data analysis to show that the prototype adopting the BCI device gives more clear and efficient controls in its game play than a game of only adopting keyboard & mouse devices and analysis verified that BCI-based game play elements provide users with a more intuitive and interesting experience than traditional non-BcI-based game play elements. The results will give a guideline for effective game design methodology for making BCI based games.

Keyword : BCI, Game Design, Intuitive, Gameplay 접수일자 : 2009년 07월 08일

일차수정 : 2009년 10월 22일 심사완료 : 2009년 11월 04일

(2)

1. 서 론

1.1 연구 배경

BCI란 뇌파를 활용하여 인간의 의지로 컴퓨터를 제어하는 수단이나 행위이다. 현재 BCI는 주로 뉴 로피드백(Neuro-Feedback)의 형태로 의료 및 교 육 분야에서 활용되고 있다. 뉴로피드백은 뇌파를 활용한 일종의 바이오피드백(Biofeedback)이다. 바 이오피드백은 일반적으로 혈압이나 체온, 맥박 수 등을 이용하여 자율 신경계의 반응을 조절하는 치 료법으로, 뉴로피드백은 사람의 뇌파를 이용하여 현 두뇌의 성향을 조정하거나 개선하는 것이다 [1,2].

[그림 1] 뉴로피드백 치료에 활용되는 대표적인 기기 중 하나인 뉴로 콤프 시스템[3]

지금까지는 [그림 1]과 같이 BCI와 관련하여 뇌 파를 측정할 수 있는 장비가 고가이면서 대형이었 기 때문에 개인보다는 병원이나 클리닉 등 뇌파를 연구하는 기관에서 주로 뇌파 측정 장비를 도입하 여 사용하고 있었다. 그러나 뇌파 인터페이스 관련 하드웨어 제작 기술이 발전함에 따라 뇌파 측정 장비가 소형화되고 개인이 구매 가능한 가격대로 출시되면서, 앞으로 BCI는 게임을 비롯한 다양한 멀티미디어 분야에서 응용될 것으로 예상된다.

1.2 선행연구 사례

뇌파 인터페이스 관련 하드웨어 제작기술의 발

전과 함께 다양한 멀티미디어 분야에서 BCI를 활 용하는 방법들이 활발하게 연구되고 있다.

美 공군 연구소(AFRL, Air Force Research Laboratory)에서는 손을 쓰지 않고 조종을 할 수 있는 방법들을 연구, 평가하는 ACT(Alternative Control Technology) 프로그램의 일환으로 BCI를 연구하였다. 이 연구에서는 후두부 근처의 두 부분 (O1, O2)에서 발생하는 뇌파 신호를 측정하여 이 신호의 진폭 크기의 변화로 컴퓨터 프로그램 혹은 물체를 조종할 수 있게 하였다. Middendorf, M.

등은 위 연구와 같은 방식으로 사용되는 BCI 기술 을 소개하고 연구 결과를 요약하였으며, 연구에 따 르면 피실험자들이 연습을 하면 할수록 뇌에서 발 생하는 뇌파 신호의 진폭 크기를 스스로 능숙하게 조절할 수 있었다고 한다[4].

[그림 2] Jaime A. Pineda의 실험에 사용된, BCI를 사용하고 있는 FPS 게임

Jaime A. Pineda 등은 또다른 실험을 통해 게 임 내에서 BCI를 사용하여 뇌파 신호를 조절하는 법을 사용자가 배울 수 있다는 것을 검증하였다.

실험을 위해 기존의 PC게임을 사용하였으며([그림 2]), 피실험자의 좌뇌와 우뇌에서 발생하는 각각의 특정한 뇌파 신호 값을 인식하여, 두 신호의 수준 값이 비슷할 때와 차이가 날 때 게임 속 캐릭터가 각각 좌우 방향으로 이동하게 하였다. 실험은 회당 45분씩 일주일에 두 번, 총 5주에 걸쳐 진행되었는 데, 후반부로 갈수록 피실험자들이 더욱 능숙하게 방향 전환을 할 수 있었다[5].

Lalor E. 등은 SSVEP(Steady-state Visual Evoked Potential) 응용 프로그램을 기반으로 한

(3)

BCI가 게임 프레임워크 상에서도 별 문제 없이 실 시간으로 돌아갈 수 있는지에 대해 조사하였다.

SSVEP란 특정한 주파수의 시각적 자극에 자연적 으로 반응하여 발생하는 신호들로, 시각적 자극의 주파수가 다르면 해당 자극에 반응하여 발생하는 뇌의 신호들도 다르다. 실험에서는 흑과 백이 일정 한 시간 간격에 따라 서로 바뀌는 체크보드를 준 비하여, 일반 상황에서 두 종류의 간격에 따라 발 생하는 각각의 신호들을 먼저 측정하였다. 그리고 [그림 3]에서와 같이 화면 내에 일반 상황과 같은 시간 간격으로 변하는 체크보드가 포함되어 있는, 실험을 위해 자체 개발한 게임을 피실험자들이 하 도록 한다. 이 때, 일반 상황에서와 마찬가지로, 피 실험자가 게임 속 체크보드를 바라볼 때도 뇌파 신호가 발생하게 된다. 같은 주파수의 시각적 자극 에는 뇌파에서 동일한 신호가 발생한다는 SSVEP 의 특징에 따라, 피실험자가 체크보드를 바라볼 때 발생하는 뇌파 신호를 분석하면 현재 어느 방향을 바라 보고 있는지를 파악할 수 있으며, 게임에서는 피실험자가 바라보고 있는 쪽으로 캐릭터의 몸이 실시간으로 기울어지게 하였다.

[그림 3] "Mind Balance" 게임 화면. 하단에 서로 다른 주파수의 체크보드가 있다.

실험 결과, 게임 속에서 실시간으로 체크한 뇌파 인식 성능이 게임이 아닌 일반 상황에서의 성능과 크게 다르지 않았다. 이 실험의 결과를 통해 SSVEP 응용 프로그램을 기반으로 한 BCI가 게임 프레임워크 상에서도 별 문제 없이 실시간으로 돌 아갈 수 있다는 것을 알 수 있다[6].

Bredan Z. Allison 등은 이전에 나온 BCI 관련 연구들을 기반으로 하여, SSVEP 기반 BCI를 사 용해서 뇌파를 측정할 때, 뇌파가 어떤 요소들에 영향을 받는지에 대해서 연구를 하였다[7]. 연구 결과에 따르면, SSVEP 기반 BCI를 사용해서 측 정한 뇌파의 값은 시선의 변화에 큰 영향을 받으 며 나이와 성별 색 등과는 별다른 상관관계가 없 는 것으로 밝혀졌다. 그러나 여기서 특이할 만한 점은 비디오 게임과 같은 활동을 자주 하는 사람 일수록 BCI에 대해 높은 적응력과 활용성을 보여 준 점이다. 이는 사람들이 연습을 할수록 자신의 뇌파를 다루는데 능숙해진다는 사실의 연장 선상에 있으며, BCI를 사용하는 비디오 게임 등을 플레이 하면서 BCI 활용 및 뇌파를 다루는 훈련을 할 수 있다는 사실을 보여주고 있다. 이 연구에서는 위와 같은 내용을 언급하면서, BCI가 앞으로 다양한 분 야에서 효과적으로 사용될 수 있다는 가능성을 제 시하였다.

실험 결과, 게임 속에서 실시간으로 체크한 뇌파 인식 성능이 게임이 아닌 일반 상황에서의 성능과 크게 다르지 않았다. 이 실험의 결과를 통해 SSVEP 응용 프로그램을 기반으로 한 BCI가 게임 프레임워크 상에서도 별 문제 없이 실시간으로 돌 아갈 수 있다는 것을 알 수 있다[7].

국내에서도 BCI를 활용하는 방법들이 활발하게 연구되고 있다. 대구가톨릭대학 심범수 등은 BCI 와 관련된 연구들에서 수집되는 뇌파들이 실험환경 에 영향을 많이 받는 등의 문제점들을 지적하며, 그러한 문제점들에 대한 해결책으로 피실험자의 뇌 파가 실험환경에 큰 영향을 받지 않도록 안정적인 상태를 유지하게끔 도와주는 3D 게임을 개발, 제 시하였다[8].

피실험자들은 [그림 4]와 같이 외줄타기 게임을 하게 된다. 피실험자의 좌뇌와 우뇌에서 발생하는 뇌파 값들을 측정, 두 값의 균형이 맞는다면 외줄 위의 캐릭터가 앞으로 전진하고, 균형이 흐트러지 면 캐릭터가 땅에 떨어진다. 실험 결과, 피실험자 들은 연습을 통해 자신의 뇌파를 능숙하게 안정적 으로 조절할 수 있었다.

(4)

[그림 4] 심범수 등의 실험을 위해 개발된 게임

이 연구를 위해 개발된 게임은 뇌파를 입력 수 단으로 사용한다는 점과 플레이어가 반복적인 플레 이를 통해 자신의 뇌파를 능숙하게 조절할 수 있 다는 점에서 BCI를 게임 분야의 새로운 입력 수단 으로 사용할 수 있다는 것을 보여주고 있다. 그러 나 [그림 4]의 게임은 피실험자의 뇌파가 안정적인 상태를 유지하도록 돕기 위한 방편으로 제작된 것 으로, BCI를 게임 디자인 측면으로 접근해서 사용 자의 뇌파 상태를 신호화하여 컴퓨터에 직접적으로 전달하는 BCI 만의 고유한 특성을 반영할 수 있는 게임 플레이 요소를 체계화하여 제시하지는 못하고 있다.

[그림 5] 최근 국내 연구에서 개발한 BCI를 사용하는 게임의 게임 플레이 화면

최근 국내 연구에서는 BCI를 사용하여 집중력을 향상시키는 기능성 게임을 개발하기도 하였다. 이 연구에서는 뇌파 측정 장비를 사용하여 피실험자의 집중력과 관련된 뇌파 신호를 실시간으로 측정, 수 치화하여 게임에 활용하였다. [그림 5]와 같이 짝을

맞추는 게임에 BCI를 사용, 플레이어의 집중 정도 에 따라 화면의 투명도가 변화하도록 하였다[9].

이 연구는 BCI를 게임 디자인 측면으로 접근하 고 실제 게임을 제작하여 기능성 게임으로의 활용 가능성을 연구하였지만, BCI를 활용할 수 있는 게 임 플레이 요소를 체계화하여 제시하지는 못하고 있다.

1.3 연구 목적

1.2에서 살펴본 연구들을 포함하는 대다수의 연 구들은 BCI를 응용 프로그램에 실제 적용하는 방 법이나 기술, 다양한 분야에서의 활용 가능성만을 제시하고 있으며, 게임 디자인 측면에서 BCI 기술 을 활용하는 게임 플레이를 체계화하고 제안하는 연구는 찾아보기 어려운 상태이다.

따라서 본 연구에서는 새로운 입력 장치로 BCI 를 활용하는 게임에 대해 게임 디자인적 관점에서 접근하여, BCI를 활용하는 흥미로운 게임 플레이 를 제안하고 체계화하고자 한다. 그리고 제안한 플 레이 요소들을 바탕으로 실제 게임을 제작해 본다.

시제작한 게임을 바탕으로 실험과 설문 과정을 통 해, ‘기존의 일반적인 PC게임 환경에 BCI를 추가 하면 플레이어는 더욱 직관적이고 흥미로운 게임 플레이를 즐길 수 있다’는 사실을 검증하고자 한다.

2. BCI의 산업적 활용 사례 정리

BCI를 기반으로 하는 게임 플레이에 대해 연구 하기 위해서는 BCI를 활용하고 있는 분야에 대한 연구도 필요하다. BCI는 아래의 [그림 6]에서와 같 이 교육, 의료, 국방, 엔터테인먼트 분야 등 매우 다양한 분야에서 응용되고 있다.

(5)

[그림 6] BCI의 응용분야[10]

美 나사(NASA)에서는 뇌파를 활용하여 우주인 의 모의 훈련에 도움을 주는 프로젝트를 추진하고 있다. 그리고 사람의 감정 상태에 반응하는 장난감 인형의 개발과 같이 놀이와 관련된 분야와 스트레 스 체크를 통한 안정감 유도와 마음의 평정을 찾 도록 돕는 웰빙 수단의 한 방편으로도 BCI를 응용 하고자 하는 시도가 이루어지고 있다.

[그림 7] 미국의 뇌 기능 활성화 시장 전망

뇌파를 활용하여 상업적으로 성과를 거두고 있 는 대표적인 분야는 뉴로피드백을 활용한 의료 및 교육 분야이다. 미국 Sharpbrain社가 제공하는 Brain Industry Software 시장 매출보고서[그림 7]에 따르면 뇌기능 활성화를 위해 뉴로피드백을 활용하는 시장은 미국의 경우, 2007년부터 시장이 형성되기 시작했고, 2007년 약 2,200억 원 수준에 서 매년 50% 이상의 성장률을 보이고 있다. 한국 의 경우 2007년부터 시장이 형성되기 시작하여 정 신 치료 클리닉(clinic)을 중심으로 급격히 확산 중 이고, 2008년 현재 관련 시장의 규모는 시장이 형 성이 되는 시기이기 때문에 객관적인 통계 자료를 구하기 어렵지만 약 100억 ～ 150억 원대 규모로 예측되고 있다[11].

[그림 8] 뉴로피드백 치료를 위한 배치 형태

[그림 9] 뉴로피드백 치료를 위해 뉴로콤프 시스템에서 제공하는 게임의 예

국내의 한 뉴로피드백 관련 클리닉에서는 [그림 8,9]처럼 게임을 통해 뉴로피드백을 실행하고 있다.

치료자는 반복하여 게임을 플레이하고, 옆에 있는 치료사가 치료자의 상태에 맞게 조언을 하여 치료 자 스스로 관련뇌파를 조절하는 노력을 할 수 있 게 돕는다. [그림 9]의 우측에 있는 게임은 치료자 가 편안한 상태일 때는 좌측 우주선이, 집중을 하 고 있을 때는 중앙의 우주선이, 그리고 졸릴 때와 같은 비효율적 상태일 때는 우측 우주선의 속도가 빨라지게 된다.

BCI 기반의 게임 플레이 요소를 연구하기 위해 [그림 9]의 게임들에서 주목할 점은 BCI가 게임의 입력 장치로 활용되고 있다는 점이다. 플레이어(치 료자)는 게임을 진행하기 위해 뇌파 측정 장비를 통해 측정된 자신의 뇌파 정보를 사용한다.

그러나 이 게임들은 게임의 형태와 게임 플레이 가 매우 단순하며, 게임 플레이 요소로서의 한계성 을 지니고 있다. 게임 요소란 지금 만들고 있는 게 임을 다른 게임들과 구분 짓는 특징이며, 게임 플 레이란 플레이어로 하여금 전략을 짜도록 하는 것 이다[12]. BCI를 사용하는 게임이 다른 게임들과 구별되는 대표적인 특징은 사용자의 뇌파 상태가

(6)

신호화되어 컴퓨터에 직접적으로 전달되는 것이며, 뉴로피드백에서 활용되고 있는 게임들은 BCI만의 특성을 게임 요소로서 사용하고 있다. 그러나 게임 플레이 요소로서 사용되고 있지는 않다. 현재 플레 이어(치료자)의 뇌파 상태가 이미지를 통해 화면에 표시되고 있지만, 플레이어가 뇌파의 사용을 전략 적으로 활용하지는 못하기 때문이다.

따라서 BCI를 기반으로 하는 게임 플레이 요소 를 연구하기 위해서는 뉴로피드백에서 사용되는 게 임들의 게임 플레이와 달리, 플레이어가 게임을 진 행하는데 있어서 자신의 뇌파를 전략적으로 활용할 수 있게 하는 게임 플레이 요소의 연구가 필요하 다. 그리고 게임 플레이 요소들을 체계화하여 게임 내에서 다양하게 활용될 수 있도록 한다.

3. BCI를 활용할 수 있는 게임 플레이 요소

3.1 BCI를 통해 전달되는 뇌파 정보 종류의 정의

BCI를 활용할 수 있는 게임 플레이 요소에 대 해 알아보기 위해서 BCI를 통해 플레이어가 컴퓨 터에게 전달하는 정보의 종류를 정의하는 과정이 필요하다. 본 연구에서는 BCI를 통해 전달되는 정 보가 집중(immersion/attention), 편안함(relaxed/

meditation), 긴장(tension/anxiety)과 같은 플레이 어의 현재 감정임을 가정한다. 세 가지 감정은 소 형화되어 출시되는 뇌파 측정 장비들([그림 10]) 중 감정을 인식하는 장비들이 공통적으로 인식하는 감정이다. 각 뇌파 측정 장비들에서 인식하는 정보 들은 [표 1]과 같다[13,14,15].

[그림 10] 소형화되어 출시되는 뇌파 측정 장비들 (좌로부터 NIA, EPOC, Mind Set)

[표 1] 세 종류의 뇌파 측정 장비에서 인식하는 DATA들

뇌파측정

장비종류 각 장비별 인식 DATA

NIA

- 얼굴 근육과 안구 근육의 움직임에 관 여하는 뇌파들의 전압 변화를 인식 예) 윙크, 눈썹 찌푸림, 미소 - 감정 인식 불가

EPOC

- 얼굴 근육과 안구 근육의 움직임에 관 여하는 뇌파들의 전압 변화를 인식 예) 윙크, 눈썹 찌푸림, 미소

- 감정 인식

예) immersion(집중), relaxed(편안함), tension(긴장), boredom(지루함/졸 림), excitement, frustration - 주로 팔의 움직임과 관련된 행위를 인

식

예) lift, push, pull, drop, rotate

Mind Set

- 얼굴 근육과 안구 근육의 움직임에 관 여하는 뇌파들의 전압 변화는 인식 불 가

- 감정 인식

예) attention(집중), meditation(편안함), anxiety(긴장), drowse(지루함/졸림)

3.2 기존 게임의 게임플레이 요소 분석

BCI를 게임의 새로운 입력 장치로 활용하기 위 해서는 기존 게임의 게임 플레이 요소를 살펴볼 필요도 있다. 새로운 입력장치가 사용된 게임은 이 전의 방식을 대체한 게임 플레이 요소나 이전에는 없었던 새로운 게임 플레이 요소를 보여주지만, 새 로 등장한 게임 플레이 요소 역시 기존의 게임 플 레이 요소를 바탕으로 하고 있기 때문이다. 일례로 일본의 Nintendo 社에서 개발된 콘솔 게임기인

‘위(Wii)’를 들 수 있다. ‘위(Wii)’는 자이로 센서가 탑재된 리모트 컨트롤러를 입력장치로 사용하여, 캐릭터의 좌우 이동을 버튼 입력이 아닌 컨트롤러 를 흔드는 행위로 대체할 수 있게 하였다. 그리고 실제로 몸을 움직이는 행위 전체가 전부 게임에 반영되는, 이전에는 경험할 수 없었던 게임 플레이 를 보여 주었다. 그러나 이 역시 입력 장치를 통해 전달되는 정보로 캐릭터를 움직이는 기존 게임 플 레이 요소를 바탕으로 하고 있다. 그러므로 본 연

(7)

구에서는 BCI를 활용할 수 있는 게임 플레이 요소 를 제안하는데 있어서, 기존 게임의 게임 플레이 요소도 함께 살펴보고자 한다.

게임에 사용되는 입력장치들은 플레이어가 게임 내에서 선택하는 수단으로 쓰인다. 그리고 플레이 어의 선택에 의해 게임 속 플레이어 캐릭터와 플 레이어가 영향을 받거나 캐릭터를 둘러싼 환경이 변하게 된다.

전자의 경우, 레이싱이나 FPS 장르의 게임을 그 예로 들 수 있다. 레이싱 게임에서는 플레이어의 선택에 따라 플레이어가 운전하고 있는 자동차의 속도가 빨라지거나 느려지게 된다. FPS 장르에서 는 플레이어의 선택으로 조준할 목표물을 결정할 수 있다. 후자의 경우, 어드벤처 장르의 게임을 예 로 들 수 있다. 어드벤처 장르에서 플레이어는 화 면에 숨겨져 있는 힌트들을 토대로 주어진 문제를 해결해나가야 한다. 힌트들을 바탕으로 어떤 사물 을 선택하여 어떻게 조작하는가에 따라 플레이어의 진행을 방해하고 있는 장애물이 사라지기도 한다.

3.3 BCI를 활용할 수 있는 게임 플레이 요소 제안

3.2에서 살펴본 게임 플레이 요소들의 예 중, BCI를 플레이어의 선택 수단으로 사용할 수 있는 게임 플레이 요소에 대해 살펴본다.

3.3.1 플레이어 캐릭터와 플레이어가 영향을 받는 경우

먼저 플레이어 캐릭터와 플레이어가 변하는 경 우, [표 2]에서처럼 BCI를 통해 전달되는 뇌파 정 보 중 플레이어가 현재 집중하고 있는 정도나 편 안함 정도를 플레이어의 선택 수단으로 사용할 수 있다.

[표 2] 플레이어 캐릭터와 플레이어가 변하는 경우, 각 특성별 감정 대입이 가능한 요소들의 예

구분 감정 대입이

가능한 요소들

연결 가능한 감정 요소

이동

<레이싱, 어드벤처, 액 션 등>

- 이동 속도의 증감 (橫이동)

- 점프 높이의 증감 (縱이동)

- 집중 정도 - 집중 정도

행동

- 조준의 명중률 - 집중 정도(크로스 헤어의 흔들림과 연결)

<RPG, 액션>

- 기술의 성공률이나 실패율

- 공격 기술로 적에게 입히는 피해 증감

- 집중이나 편안함 정도

- 집중 정도

상태

<RPG, 액션>

- 상태 이상 저항률이나 회복율

- 체력이나 마력 등의 회복 속도나 회복량 증감

- 편안함 정도

캐릭터의 이동과 관련해서, 이동 속도나 점프 높 이의 증감에 집중 정도를 사용할 수 있다. 예를 들 어 레이싱 게임의 경우에는 플레이어의 집중 정도 가 현재 운전하고 있는 자동차의 속도에 영향을 줘서, 플레이어가 보다 집중할수록 자동차의 속도 가 높아지는 방식으로 사용할 수 있다. 그리고 일 반 어드벤처 게임에서는 플레이어의 집중 정도가 플레이어 캐릭터가 점프하는 높이에 영향을 주게 해서, 플레이어가 보다 집중할수록 캐릭터가 더 높 이 점프하는 방식으로 사용할 수 있다. 실제로 이 러한 방식들은 [그림 11]의 ‘Smart Brain Games’

라고 하는 콘솔 기기용 툴 셋에서 사용되고 있다 [16]. 그러나 이 툴 셋은 단순히 기존에 출시된 게 임들을 플레이 할 때 입력 장치의 버튼 중 일부를 대체하는 것에 그치고 있다.

(8)

[그림 11] Smart Brain System의 툴 셋

다음으로, 캐릭터의 행동에서 플레이어의 집중이 나 편안함 정도를 사용할 수 있다. FPS 형식의 게 임에서는 조준의 정확도와 명중률이 플레이어의 집 중 정도에 영향을 받도록 BCI를 사용할 수 있다.

예를 들어, [그림 12]와 같이 게임 도중 저격을 위 해서 목표물을 조준할 때, 플레이어가 보다 집중할 수록 목표물을 향한 크로스헤어의 흔들림이 줄어들 게 하여 사격의 성공 확률을 높여주는 방식으로 사용할 수 있다. RPG(Role Playing Games)나 액 션 장르의 게임에서는 집중이나 편안함 정도가 캐 릭터가 사용하는 기술의 성공률이나 실패율, 그리 고 공격 기술로 상대방에게 입힐 수 있는 피해의 정도를 높여주거나 낮춰주는 방식으로 사용할 수 있다.

[그림12] ‘Sniper Elite’ 게임 이미지

캐릭터의 상태와 관련해서도 집중이나 편안함 정도를 사용할 수 있다. 예를 들어, RPG나 액션 장르의 게임에서, 플레이어의 집중이나 편안함 정 도가 플레이어 캐릭터가 상태 이상에 저항하는 확

률이나 상태 이상에 빠져 있을 때 상태 이상에서 회복되는 확률에 영향을 주게 해서, 플레이어가 보 다 집중하거나 편안한 마음 상태를 가질 때 그 확 률을 높여주는 방식으로 사용할 수 있다. 그리고 플레이어의 편안함 정도가 플레이어 캐릭터의 체력 이나 마력을 회복하는 속도 혹은 회복하는 양에 영향을 주게 해서, 플레이어가 보다 편안한 마음 상태를 가질 때 플레이어 캐릭터가 더 빨리, 더 많 이 체력이나 마력을 회복하는 방식으로 사용할 수 있다.

3.3.2 플레이어 캐릭터를 둘러싼 환경이 변하 는 경우

플레이어 캐릭터를 둘러싼 환경이 변하는 경우 도 BCI를 통해 전달되는 뇌파 정보 중 집중이나 편안함, 긴장 등의 감정을 플레이어의 선택 수단으 로 사용할 수 있다[표 3].

[표 3] 플레이어 캐릭터 주위의 환경이 변하는 경우, 각 특성별 감정 대입이 가능한 요소들의 예

종류 감정 대입이

가능한 요소들

연결 가능한 감정 요소

물체

<어드벤처 등>

- 힌트 제시 - 오브젝트의 등장/

퇴장

NPC 의 행동 패턴

<잠입액션, 호러물 형 식 등>

- NPC의 AI 변화 - 적의 등장 빈도

(수) 증감

- 긴장 정도 - 긴장 정도

먼저, 플레이어 캐릭터 주위의 환경 중, 무언가 가 나타나거나 사라지는 것에 집중이나 편안함 정 도를 사용할 수 있다. 어드벤처 장르의 게임에서 응용한다면, 사건을 해결하는데 도움이 될 실마리 (물체)가 사건 현장에 숨겨져는 있지만 겉으로 드 러나 있지 않은 상황에서, 플레이어의 집중 정도가 어느 수치 이상을 넘어설 때에서야 그 실마리가 사건 현장 위에 드러나는 방식으로 사용할 수 있

(9)

다. 또한 플레이어의 명상(편안함) 정도가 어느 수 치 이상을 넘었을 때, 즉, 플레이어가 긴장을 풀고 마음을 편안하게 가졌을 때, 플레이어가 사건 해결 에 도움이 되는 추리와 가정, 힌트 등을 얻을 수 있는 방식으로도 사용할 수 있다.

다음으로, 플레이어 캐릭터 주위에 있는 적대 관 계의 캐릭터들 혹은 중립 상태의 캐릭터들(NPC, None Player Character)의 행동 패턴을 변화시키 는 것에 플레이어의 긴장 정도를 사용할 수 있다.

예를 들어, 잠입 액션이나 호러 형식의 게임에서, 플레이어가 긴장하고 있는 정도에 따라 플레이어 주위에 있는 NPC의 AI가 변화하도록 해서, 만약 플레이어가 불안해하거나 긴장할수록 플레이어를 향해 NPC들이 다가오게 하는 방식으로 사용할 수 있다. 그리고 플레이어의 현재 마음 상태에 따라 등장하는 적들의 숫자를 조절할 수도 있다. 이 방 법을 활용한다면, 실제 플레이어가 자신의 개인 정 보에 플레이어가 두렵거나 깜짝 놀라는 상황을 즐 기는가에 대한 여부를 입력할 수 있고 그 상황의 정도를 조절할 수 있다면, 위 형식의 게임에서는 플레이어 개개인의 상황에 적합한 난이도를 제공할 수 있다. 만약 플레이어가 두렵거나 깜짝 놀라는 상황을 즐기지 않는다면, 현재 플레이어의 긴장 정 도가 플레이어가 허용한 긴장의 정도를 넘어설 경 우 등장하는 적들의 숫자나 등장 빈도를 적당한 수준으로 조절하여, 플레이어에게 적합한 난이도를 제공할 수 있다. 단, 이처럼 두려움이나 공포에서 오는 긴장감을 효과적으로 활용하기 위해서는 게임 내 미장센과 스토리, 게임에서 플레이어가 현재 처 해 있는 상황 등이 플레이어가 게임 디자이너들이 목표로 한 감정을 자연스럽게 느낄 수 있는 형태 가 되도록 구성되어야 할 것이다.

4. BCI기반 게임 제작

본 논문에서는 위에서 제시한 BCI를 활용하는 여러 게임 플레이 요소들 중 일부를 사용하는 PC

게임을 실제 제작해 보았다. 뇌파 측정 장비로는 [표 2]의 소형 장비들 중 NeuroSky社의 Mind Set을 사용하였다.

게임 상에서 사용하는 플레이어의 뇌파 상태는

‘집중’과 ‘명상’의 두 가지이며, 이 두 가지는 소형 화되어 출시되는 뇌파 측정 장비들 중 감정을 측 정할 수 있는 장비들이 공통적으로 측정 가능한 뇌파 상태이다. 이 두 뇌파 상태의 높낮이 정도는 [그림 13,14]와 같이 게임의 GUI에 게이지 바와 표정의 형태로 표시된다. 뇌파 측정 장비에 의해 측정된 플레이어 뇌파 상태의 정도는 0∼100 사이 의 값으로 변환되어 게임에 반영된다. 뇌파 상태의 정도를 나타내는 수치에 따라 GUI에 있는 게이지 바의 길이가 변화하며, 그 수치가 [0-25], [26-50], [51-75], [76-100]의 네 단계 중 어느 단계에 속하 는가에 따라 표정도 네 가지 단계에 걸쳐 변화하 게 된다.

[그림 13] 집중 정도에 따라 게이지 바와 함께 표정(총 4단계)이 변화하게 된다.

[그림 14] 명상 정도에 따라 게이지 바와 함께 표정(총 4단계)이 변화하게 된다.

본 논문을 위해 제작한 게임에서는 3.3에서 제안 한 플레이 요소들 중 세 가지를 반영하였다. 플레 이어의 선택에 의해 플레이어 캐릭터의 특성이 변 화하게 되는 플레이 요소들 중에서는 목표물을 ‘조

(10)

준’하여 맞히는 사격의 요소를 사용하기로 하였다.

실제 사격에서도 목표물을 조준하여 맞히기 위해서 는 높은 ‘집중력’이 필요하고, 게임 속 조준도 ‘집 중’ 정도가 높을수록 목표물을 맞히기가 쉽다. 현 실에서의 행위와 게임 속에서의 행위가 유사하며 해당 행위에 필요한 능력(집중력)이 일치하기 때문 에 매우 직관적이고 몰입을 높여준다는 점에서 ‘집 중을 사용하는 조준’의 요소를 사용하였다. 게임 속 ‘조준’에서는 [그림 15]와 같이 플레이어의 집중 력에 따라 물체를 조준하는 크로스 헤어의 흔들리 는 정도가 변화하며, 집중을 할수록 크로스 헤어의 흔들림이 줄어들어 맞히기가 쉬워진다.

[그림 15] 조준 중인 화면. 집중을 할수록 크로스 헤어의 흔들림이 줄어든다.

플레이어 캐릭터의 특성이 변화하게 되는 또 다 른 플레이 요소로 ‘휴식’을 사용하였다. ‘조준’에서 플레이어의 집중 정도가 게임에 반영된다면, ‘휴식’

에서는 플레이어의 명상 정도를 게임에 반영한다.

보통, 긴장을 늦추고 마음을 편히 가지면 몸도 편 안하게 휴식을 취할 수 있다는 점을 착안하여, 게 임에서 ‘명상을 사용하는 휴식’의 요소를 사용하였 다. 게임에서는 플레이어의 명상 정도에 따라 플레 이어 캐릭터의 체력 회복 속도가 빨라지거나 [그림 16]과 같이 플레이어 주위의 시들어있는 꽃이나 나 무들이 활짝 피어나게 된다.

[그림 16] 휴식 중인 화면. 마음이 편안한 상태일수록 식물들이 활짝 피어나게 된다.

플레이어의 선택에 따라 플레이어 캐릭터를 둘 러싼 환경이 변화하게 되는 플레이 요소들 중에서 는 평소에 보이지 않던 게임 속 물체를 ‘집중’하여 찾는 탐색의 요소를 사용하기로 하였다. 실생활에 서 물건을 찾을 때도 주의를 기울여 찾아볼 때 찾 기 쉽다. ‘탐색’ 역시 ‘조준’의 경우와 마찬가지로, 현실에서의 행위와 게임에서의 행위가 유사하며 해 당 행위를 할 때 사용되는 능력(집중력)이 일치하 므로 직관적이고 몰입을 높여준다는 점에서 ‘집중 을 사용하는 탐색’의 요소를 사용하였다. 게임에서 는 플레이어의 집중 정도에 따라 [그림 17]과 같이 화면에 보이지 않던 오브젝트가 보이기도 한다.

[그림 17] 탐색 중인 화면. 보이지 않던 열쇠가 집중 정도가 높아지면 나타난다.

(11)

게임은 시나리오 기반의 싱글 게임과 4가지의 간단한 게임으로 구성된 미니 게임으로 구성된다.

게임의 대략적인 흐름은 아래 [그림 18]과 같다.

[그림 18] BCI를 활용하는 PC 게임의 flowchart

싱글 게임의 경우, 튜토리얼과 스테이지 두 개, 총 세 개의 스테이지로 구성되어 있다. 플레이어는 캐릭터를 조작해서 캐릭터가 지나갈 수 있는 길을 찾거나 만들어가야 한다. 뇌파의 현재 상태는 [그 림 19]와 같이 플레이어 캐릭터의 점프 높이 등 게 임 진행 과정 내에 계속 반영된다. 그리고 진행 도 중 곳곳에 위치한 특정 장소에서는 위에서 언급한

‘조준’과 ‘탐색’ 등의 행동을 취할 수 있다.

[그림 19] 게임 속 고양이 캐릭터는 평소 점프를 할 수 있으며, 집중 정도가 높을수록 높이 점프할 수 있다.

집중 정도가 낮을 때는 올라갈 수 없었던 언덕(왼 쪽 그림)도 집중 정도가 높을 때는 뛰어 올라갈 수

있다(오른쪽 그림).

5. 게임에서 사용된 BCI 요소 평가 본 연구에서는 BCI를 활용할 수 있는 게임 플

레이를 제안하고 그 중 몇 가지 요소를 포함한 게 임을 제작한 후, 기존의 일반적인 PC 게임 환경에 BCI를 추가했을 때 실제로 플레이어가 더욱 직관 적이고 흥미로운 게임 플레이를 즐길 수 있는지를 검증하고자 한다.

실제로 제작한 게임에서 사용된 BCI 요소를 평 가하기 위해서 먼저 제작된 BCI 활용 게임에서 BCI 요소를 제외한 게임을 추가적으로 하나 더 제 작하였다. 이 두 게임은 BCI의 활용 여부만 차이 가 있고, 기존의 키보드, 마우스를 입력 장치로 사 용하는 것과 게임 내 다른 플레이 요소들은 모두 동일하다.

5.1 피험자

게임을 즐겨 하는 20대 대학생과 대학원생 15명 (평균연령 24.5세)과 일반인 5명(평균연령 28세), 총 20명이 본 실험에 참여하였다. 10명씩 두 집단 으로 나누어 실험이 진행된다.

5.2 실험 환경

[표 4] 두 집단별 실험에 사용된 게임의 제작 환경 및 실험 환경 비교

구분 BCI 사용 BCI 미사용

플랫폼 PC

제작

환경 XNA 2.0, .Net Framework 2.0/2.0SP1 입력

장치

키보드, 마우스, 뇌파 측정 장비 (Neurosky社의 Mind

Set)

키보드, 마우스

연구를 위해 자체 개발한 게임 두 가지를 사용 하였으며, 하나는 BCI를 사용하고 다른 하나는 BCI를 사용하지 않는다. 두 게임은 BCI 사용 여부 의 차이 외에 다른 게임 요소는 모두 동일하다.

두 게임 모두 XNA 2.0과 .Net Framework 2.0/2.0 SP1을 기반으로 제작하였으며, 실제 게임 플레이는 PC에서 진행되었다. 뇌파 측정 장비로는

(12)

뇌파를 측정하는 소형 장비들 중 NeuroSky社의 Mind Set을 사용하였으며, 다른 뇌파 측정 소형 장비들이 공통적으로 인식하는 감정인 집중과 명상 을 게임에서 주로 사용하였다.

5.3 실험 절차

10명씩 두 집단으로 나누어 실험이 진행되었다.

한 집단은 BCI를 활용한 게임을 플레이 하고, 다 른 집단은 BCI를 활용하지 않은 게임을 플레이 하 였으며 각 집단에게 다른 집단의 게임에 대한 정 보를 주지 않았다.

모든 피실험자들은 시나리오 기반의 싱글 게임 을 처음부터 시작해 두 번째 스테이지 중반까지 진행한 후, ‘조준’과 ‘탐색’을 행하는 미니 게임도 두 가지 진행하였으며, 전체 게임 플레이 시간은 약 20분 정도이다. 그리고 게임을 마친 후에는 설 문지를 배부하여, 주어진 설문지의 문항에 답하게 하였다. 설문 조사는 대상자의 나이와 함께 게임 전체에 대한 조작의 편이성과 흥미로움, 직관성의 정도에 관한 2문항과 BCI를 사용한 부분(혹은 사 용하지 않은 부분)에 대한 조작의 편이성과 흥미로 움, 직관성의 정도에 관한 4문항으로 이루어져 있 다. 각 항목의 척도는 ‘매우 그렇다’, ‘그렇다’, ‘보 통’, ‘그렇지 않다’, ‘매우 그렇지 않다’로 이루어져 있으며, 각 항목의 척도를 수치화할 때, 5(매우 그 렇다), 4(그렇다), 3(보통), 2(그렇지 않다), 1(매우 그렇지 않다)의 점수를 부여하였다. 두 집단에게 배부된 설문지의 내용은 모두 동일하다.

5.4 실험 결과

게임 플레이 후 진행된 설문 자료에서 항목별 점수들을 바탕으로 독립표본 t-test를 하였으며, 자 료 값은 아래 [표 5]와 같다.

[표 5] 항목별 점수들의 자료 값 (자유도(df)=9, α=0.05, t.05(18)≒2.101)

고 민 진(Minjin Ko)

2001년 - 2008년 아주대학교 미디어학부 학사 2008년 - 현재 아주대학교 미디어학과 석사과정 관심분야 : 게임디자인, BCI

오 규 환(Gyuhwan Oh)

1987년 - 1990년 한국과학기술원 전산학과 학사 1991년 - 1992년 한국과학기술원 전산학과 석사 1993년 - 1998년 한국과학기술원 전산학과 박사 2000년 - 2005년 (주)넥슨 게임 개발 실장 2005년 - 현재 (주)넥슨 기술고문

2005년 - 현재 (주)네오위즈게임아카데미 감수위원 2005년 - 현재 아주대학교 미디어학부 조교수 관심분야 : 온라인 게임제작, 실시간 컴퓨터 그래픽스

기술, Texture Synthesis & Analysis

배 경 우(Kyungwoo Bae)

2001년 - 2008년 아주대학교 미디어학부 학사 2008년 - 현재 아주대학교 미디어학과 석사과정 관심분야 : 게임디자인, 3D게임 프로그래밍

컴퓨터그래픽스