A Study on New Gameplay Based on Brain-Computer Interface

BCI 기반의 새로운 게임 플레이 연구

A Study on New Gameplay Based on Brain-Computer Interface

고민진, Minjin Ko*, 배경우, Kyoungwoo Bae**, 오규환, Gyuhwan Oh***

요약 Brain-Computer Interface(이하 BCI)는 뇌파를 활용하여 인간의 의지로 컴퓨터를 제어하는 수단이나 행위이다. 뇌파 인터페이스 관련 하드웨어 제작 기술이 발전함에 따라 고가이면서 대형이었던 뇌파 측정 장비가 최근에는 소형화 되고 개인이 구매 가능한 가격대로 출시되면서 앞으로 다양한 멀티미디어 분야에서 응용이 될 것으로 예상된다. 이 논문은 뇌파 인터페이스 장치를 게임의 새로운 장치로 활용이 가능한지에 대해 게임 디자인적 관점에서 접근한다. 먼저 논문에서는 뇌파 인터페이스 장치를 적극적으로 활용할 수 있는 게임 플레이 요소를 제안하고, 이를 기반으로 하는 게임의 시제품을 제작한다. 다음으로 기존의 키보드, 마우스를 입력 장치로 사용하는 게임과의 비교 체험을 통해 뇌파 인터페이스 장치의 활용이 직관적이고 효율적인 게임 플레이를 제공하는지에 대해 통계적인 분석을 통해 검증한다. 본 논문의 결과는 BCI 기반 게임 제작을 위한 효과적인 게임 디자인 가이드라인이 될 것으로 판단된다.

Abstract BCI (Brain-Computer Interface) is a way to control computer by using the human brain waves. As the hardware using brain wave technologies has developed, former expensive and big sized brain wave measuring devices have recently become much smaller and cheaper in their prices, making it possible for the individuals to buy them. This predicts them to be applied in various fields of multimedia industry. This thesis is to give an insight into whether the BCI device can be used as a new gaming device approaching it in a game designing point of view. At first, we propose game play elements that can effectively utilizing the BCI devices and produce a game prototype adopting the BCI device based on such game play elements. Next, we verify it with statistical data analysis to show that the prototype adopting the BCI device gives more clear and efficient controls in its game play than a game of only adopting keyboard & mouse devices. The results will give a guideline for effective game design methodology for making BCI based games.

Keywords: BCI, Game Design, Intuitive, Gameplay 핵심어: BCI, 게임 디자인, 직관성, 게임플레이

1. 서론

BCI 란 뇌파를 활용하여 인간의 의지로 컴퓨터를 제어하는 수단이나 행위이다. BCI 는 현재 *주저자 : 아주대학교 일반대학원 미디어학과 석사과정; e-mail: [email protected] **공동저자 : 아주대학교 일반대학원 미디어학과 석사과정; e-mail: [email protected] **교신저자 : 아주대학교 미디어학부 교수; e-mail: [email protected]

뉴로피드백(Neuro-Feedback)의 형태로 의료 및 교육 분야에서 활용되고 있다. 뉴로피드백은 뇌파를 활용한 일종의 바이오피드백(Biofeedback)이다. 바이오 피드백은 일반적으로 혈압이나 체온, 맥박수 등을 이용하여 자율 신경계의 반응을 조절하는 치료법으로, 뉴로피드백은 사람의 뇌파를 이용하여 현 두뇌의 성향을 조정하거나 개선하는 것이다.[1][2] 지금까지는 BCI 와 관련하여 뇌파를 측정할 수 있는 장비가 고가이면서 대형이었기 때문에 개인보다는 병원이나 클리닉 등 뇌파를 연구하는 기관에서 주로 뇌파 측정 장비를 도입하여 사용하고 있었다. 그러나 뇌파 인터페이스 관련 하드웨어 제작 기술이 발전함에 따라 뇌파 측정 장비가 소형화되고 개인이 구매 가능한 가격대로 출시되면서, 앞으로 BCI 는 게임을 비롯한 다양한 멀티미디어 분야에서 응용될 것으로 예상된다. 더불어 다양한 멀티미디어 분야에서 BCI 를 활용하는 방법들도 활발하게 연구되고 있다. 매튜 미덴도프 등은 실험을 통해 게임 내에서 BCI 를 사용하여 뇌파 신호를 조절하는 법을 사용자가 배울 수 있다는 것을 검증하였다. 실험에서는 기존의 PC 게임을 사용하였으며, 피실험자의 좌뇌와 우뇌에서 발생하는 각각의 특정한 뇌파 신호 값을 인식하여, 두 신호의 수준 값이 비슷할 때와 차이가 날 때 게임 속 캐릭터가 각각 좌우 방향으로 이동하게 하였다. 실험은 일주일에 각각 45 분씩 두 번, 총 5 주에 걸쳐 진행되었는데, 후반부로 갈수록 피실험자들이 더욱 능숙하게 방향 전환을 할 수 있었다.[3] 위의 실험 등을 바탕으로, E. 레일러 등은 SSVEP(Steady-state Visual Evoked Potential) 응용 프로그램을 기반으로 한 BCI 가 게임 프레임워크 상에서도 별 문제 없이 실시간으로 돌아갈 수 있는지에 대해 조사하였다. SSVEP 란 특정한 주파수의 시각적 자극에 자연적으로 반응하여 발생하는 신호들로, 시각적 자극의 주파수가 다르면 자극에 반응하여 발생하는 뇌의 신호들도 다르다. 실험에서는 흑과 백이 일정한 시간 간격에 따라 서로 바뀌는 체크보드를 준비하여 일반 상황에서 두 종류의 간격에 따라 발생하는 신호를 각각 먼저 측정하였다. 그 다음 실험을 위해 자체 개발한 게임을 하는데, 그림 1 에서와 같이 화면 내에 일반 상황과 같은 시간 간격으로 변하는 체크보드가 있다. SSVEP 의 특징에 따라 피실험자가 체크보드를 바라볼 때 발생하는 뇌파 신호를 분석하면 현재 어느 방향을 바라 보고 있는지를 파악할 수 있으며, 피실험자가 바라보고 있는 쪽으로 캐릭터의 몸이 실시간으로 기울어지게 하였다. 그림 1 "Mind Balance" 게임 화면. 하단에 서로 다른 주파수의 체크보드가 있다. 실험 결과, 게임 속에서 실시간으로 체크한 뇌파 인식 성능이 게임이 아닌 일반 상황에서의 성능과 크게 다르지 않았다. 이 실험의 결과를 통해 SSVEP 응용 프로그램을 기반으로 한 BCI 가 게임 프레임워크 상에서도 별 문제 없이 실시간으로 돌아갈 수 있다는 것을 알 수 있다.[4] 위에서 제시한 두 연구 외에도 BCI 를 활용하는 방법에 대한 연구가 활발히 진행되고 있다. 그러나 위의 두 연구를 포함한 대다수의 연구는 BCI 를 응용 프로그램에 실제 적용하는 방법이나 기술만을 제시하고 있으며, 게임 디자인 측면에서 BCI 기술을 활용하는 게임 플레이를 제안하는 연구는 활발히 이루어지고 있지 않다.

따라서 본 연구에서는 새로운 입력 장치로 BCI 를 활용하는 게임에 대해 게임 디자인적 관점에서 접근하여, BCI 를 활용하는 게임 플레이를 제안하고자 한다. 그리고 제안한 플레이 요소들을 바탕으로 실제 게임을 제작해 본다. 시제작한 게임을 바탕으로 실험과 설문 과정을 통해, ‘기존의 일반적인 PC 게임 환경에 BCI 를 추가하면 플레이어는 더욱 직관적이고 흥미로운 게임 플레이를 즐길 수 있다’는 사실을 검증하고자 한다.

2. BCI 를 활용할 수 있는 게임 플레이 요소

BCI 를 활용할 수 있는 게임 플레이 요소에 대하여 제안하기 위해서는 기존 게임의 게임 플레이 요소를 살펴보는 과정과 BCI 를 통해 하드웨어로 전달되는 뇌파 정보의 종류를 정의하는 과정이 필요하다.

2.1 BCI 를 통해 전달되는 뇌파 정보 종류의 정의

BCI 를 활용할 수 있는 게임 플레이 요소에 대해 알아보기 위해서 BCI 를 통해 플레이어가 컴퓨터에게 전달하는 정보의 종류를 정의하는 과정이 필요하다. 본 연구에서는 BCI 를 통해 전달되는 정보가 집중력, 명상, 긴장과 같은 현재 플레이어의 감정임을 가정한다. 세 가지 감정은 소형화되어 출시되는 뇌파 측정 장비들 중 감정을 인식하는 장비들이 공통적으로 인식하는 감정이다. 대표적인 각 뇌파 측정 장비들에서 인식하는 정보들은 표 1 과 표 2 와 같다.[5-7] 표 1 세 종류의 뇌파 측정 장비에서 인식하는 DATA 들 뇌파 측정 장비 종류 표정의 변화 감정 행동 Gyro NIA - 얼굴 근육과 안구 근육의 움직임에 관여하는 뇌파들의 전압 변화를 인식 - 윙크, 눈썹 찌푸림, 웃음 등 X X 1Axis EPOC - 유사 감정 •relaxed (meditation), tense (anxiety), boredom (drowse) - 팔 근육의 움직임에 관여하는 뇌파들의 전압 변화를 인식 - lift, push, pull 등 2Axis Mind Set X X X 표 2 감정을 측정할 수 있는 뇌파 측정 장비에서 인식하는 감정 DATA 들 뇌파 측정 장비 종류 유사점 차이점

EPOC - relaxed / meditation - tense / anxiety - boredom / drowse

- excitement, frustration

Mind Set - attention, drowse

2.2 기존 게임의 게임 플레이 요소 분석

BCI 를 게임의 새로운 입력 장치로 활용하기 위해서는 기존 게임의 게임 플레이 요소를 살펴볼 필요가 있다. 새로운 입력장치가 사용된 게임은 이전의 방식을 대체한 게임 플레이 요소나 이전에는 없었던 새로운 게임 플레이 요소를 보여주지만, 새로 등장한 게임 플레이 요소 역시 기존의 게임 플레이 요소를 바탕으로 하고 있기 때문이다. 일례로 일본 닌텐도(Nintendo) 社에서 개발된 콘솔 게임기인 ‘위(Wii)’를 들 수 있다. ‘위(Wii)’는 자이로 센서가 탑재된 리모트 컨트롤러를 입력장치로 사용하여, 캐릭터의 좌우 이동을 버튼 입력이 아닌 컨트롤러를 흔드는 행위로 대체할 수 있게 하였다. 그리고 실제로 몸을 움직이는 행위 전체가 전부 게임에 반영되는, 이전에는 경험할 수 없었던 게임 플레이를 보여 주었다. 그러나 이 역시 입력 장치를 통해 전달되는 정보로 캐릭터를 움직이는 기존 게임 플레이 요소를 바탕으로 하고 있다. 그러므로 본 연구에서는 BCI 를 활용할 수 있는 게임 플레이 요소를 제안하는데 있어서, 기존 게임의 게임 플레이 요소도 함께 살펴보고자 한다. 게임에 사용되는 입력장치들은 플레이어가 게임 내에서 선택하는 수단으로 쓰인다. 그리고 플레이어의 선택에 의해 게임 속 플레이어 캐릭터의 능력이 변하거나 캐릭터를 둘러싼 환경이 변하게 된다. 전자의 경우, 레이싱이나 FPS 장르의 게임을 그 예로 들 수 있다. 레이싱 게임은 플레이어의 선택에 따라 플레이어가 운전하고 있는 자동차의 속도가 빨라지거나

느려지게 된다. FPS 장르에서는 플레이어의 선택으로 조준할 목표물을 결정할 수 있다. 후자의 경우, 어드벤처 장르의 게임을 예로 들 수 있다. 어드벤처 장르에서 플레이어는 화면에 숨겨져 있는 힌트들을 토대로 주어진 문제를 해결해나가야 한다. 현장에 남아있는 숨겨진 힌트들은 보통 크기가 작거나 은밀한 곳에 숨겨져 있어 주의 깊게 살펴보아야 찾을 수 있다.

2.3 BCI 를 활용할 수 있는 게임 플레이 요소 제안

2.2 에서 살펴본 게임 플레이 요소들의 예에서 BCI 를 플레이어의 선택 수단으로 사용한 게임 플레이 요소에 대해 살펴본다. 먼저 플레이어 캐릭터의 능력이 변하는 경우, BCI 를 통해 전달되는 뇌파 정보 중 플레이어가 현재 집중하고 있는 정도를 플레이어의 선택 수단으로 사용할 수 있다. 레이싱 게임의 경우, 집중 정도가 플레이어가 운전하는 자동차의 속도에 영향을 주어, 보다 집중할수록 자동차의 속도가 높아지게 할 수 있다. 실제로 이는 그림 2 와 같은‘Smart Brain Games’라고 하는 콘솔 기기용 툴 셋에서 사용하고 있다. 그러나 이 툴 셋은 기존에 출시된 게임을 플레이 할 때, 입력 장치의 버튼 중 일부를 대체하고 있을 뿐이다.[8]

그림 2 Smart Brain System 의 툴 셋

FPS 게임에서 사용된다면, 집중력이 조준의 정확도와 명중률에 영향을 주게 할 수 있다. 그림 4 와 같이 FPS 게임 도중 저격을 해야 할 경우, 조준 시, 보다 집중할수록 타깃을 향한 크로스 헤어의 흔들림이 줄어들어 사격이 성공할 확률이 높아지는 것과 같은 식으로 사용할 수 있을 것이다. 이외에도 RPG(Role Playing Games)나 액션 장르의 게임에서는 특정 감정(집중이나 명상 등)이 캐릭터가 사용하는 기술의 성공률이나 실패율, 상태 이상에서의 회복 정도 등에 영향을 주는 방법으로 사용할 수 있을 것이다. 그림 3 'Sniper Elite' 게임 이미지 다음으로 플레이어 캐릭터를 둘러싼 환경이 변하는 경우, BCI 를 통해 전달되는 뇌파 정보 중 집중이나 명상 등의 감정을 플레이어의 선택 수단으로 사용할 수 있다. 어드벤처 게임에서 응용한다면, 사건 현장에 숨겨져 있던 눈에 잘 띄지 않는 힌트가 어느 정도 수치 이상 집중 했을 때 드러난다든가 어느 정도 수치 이상 명상을 했을 때, 즉, 긴장을 풀고 마음을 편안히 가졌을 때 사건 해결에 도움이 되는 추리와 가정, 힌트 등을 얻을 수 있는 방법으로 사용할 수 있다. 잠입 액션이나 호러 형식의 게임일 경우, 플레이어가 느끼는 긴장감에 따라 플레이어 주위에 있는 적대 관계의 캐릭터 혹은 중립 상태의 캐릭터들의 행동에 영향을 주어, 플레이어가 불안해하거나 긴장할수록 플레이어를 향해 다가오게 하는 방식으로 사용할 수 있다. 단, 두려움이나 공포에서 오는 긴장감을 효과적으로 활용하기 위해서는 게임 내 미장센과 스토리, 게임에서 플레이어가 현재 처해 있는 상황 등이 게임

디자이너들이 목표로 한 감정을 플레이어가 자연스럽게 느낄 수 있는 형태가 되도록 구성되어야 할 것이다.

3. BCI 를 사용하는 실제 PC 게임 제작

본 논문에서는 위에서 제시한 BCI 를 활용하는 여러 게임 플레이 요소들 중 ‘조준’과 ‘탐색’, ‘휴식’을 사용하는 PC 게임을 실제 제작해 보았다. 집중력이 높을수록 ‘조준’이 쉬워지며 조준한 대상을 맞히기가 쉬워진다. 그리고 집중할 때 혹은 마음이 편안한 상태에서 평소에 찾기 힘든 물체를 쉽게 ‘찾을 수’ 있다. 그리고 긴장을 늦추고 마음을 편히 가지면 편안한 상태로 ‘휴식’을 취할 수 있다. 먼저 ‘조준’에서는 플레이어의 집중력에 따라 물체를 조준하는 크로스 헤어의 흔들리는 정도가 변화하며, 집중을 할수록 크로스 헤어의 흔들림이 줄어들어 맞히기가 쉬워진다. ‘탐색’은 화면 위에 숨겨져 있는 물건을 찾는 것으로, 플레이어의 집중이나 명상 정도에 따라 화면 상에 보이지 않던 오브젝트가 보이기도 한다. ‘휴식’의 경우는 플레이어의 명상 정도에 따라 플레이어 캐릭터의 체력 회복 속도가 빨라지거나 플레이어 주위의 시들어있는 꽃이나 나무들이 활짝 피어나게 된다. 그림 4 조준 중인 화면. 크로스 헤어의 흔들림이 줄어든다. 그림 5 탐색 중인 화면. 보이지 않던 쥐구멍이 나타난다. 게임은 시나리오 기반의 싱글 게임과 4 가지의 간단한 게임으로 구성된 미니 게임으로 구성된다. 게임의 대략적인 흐름은 아래 그림 6 과 같다. 그림 6 BCI 를 활용하는 PC 게임의 flowchart 싱글 게임의 경우, 튜토리얼과 스테이지 두 개, 총 세 개의 스테이지로 구성되어 있다. 플레이어는 캐릭터를 조작해서 캐릭터가 지나갈 수 있는 길을 찾거나 만들어가야 한다. 뇌파의 현재 상태가 게임 진행 과정 내에 계속 반영되며, 진행 도중 곳곳에 위치한 특정 장소에서는 위에서 언급한 ‘조준’과 ‘탐색’ 등의 행동을 취할 수 있다.

4. 게임에서 사용된 BCI 요소 평가

본 연구에서는 BCI 를 활용할 수 있는 게임 플레이를 제안하고 그 중 몇 가지 요소를 포함한 게임을 제작한 후, 기존의 일반적인 PC 게임 환경에 BCI 를 추가했을

때, 실제로 플레이어가 더욱 직관적이고 흥미로운 게임 플레이를 즐길 수 있는지를 검증하고자 한다. 실제로 제작한 게임에서 사용된 BCI 요소를 평가하기 위해서 먼저 제작된 BCI 활용 게임에서 BCI 요소를 제외한 게임을 추가적으로 하나 더 제작하였다. 이 두 게임은 BCI 의 활용 여부만 차이가 있고, 기존의 키보드, 마우스를 입력 장치로 사용하는 것과 게임 내 다른 플레이 요소들은 모두 동일하다.

4.1 피험자

게임을 즐겨 하는 20 대 대학생과 대학원생 15 명(평균연령 24.5 세)과 일반인 5 명(평균연령 28 세), 총 20 명이 본 실험에 참여하였다. 10 명씩 두 집단으로 나누어 실험이 진행된다.

4.2 실험환경

연구를 위해 자체 개발한 게임 두 가지를 사용하였으며, 하나는 BCI 를 사용하며, 다른 하나는 BCI 를 사용하지 않는다. 두 게임은 BCI 활용하는가 하지 않는가의 차이 외에 다른 게임 요소는 모두 동일하다.

두 게임 모두 XNA 2.0 과 .Net Framework 2.0/2.0 SP1 을 기반으로 제작하였으며, 실제 게임 플레이는 PC 에서 진행되었다. 뇌파 측정 장비로는, 뇌파를 측정하는 소형 장비들 중 NeuroSky 社의 Mind Set 을 사용하였으며, 다른 뇌파 측정 소형 장비들이 공통적으로 인식하는 감정을 게임에서 사용하였다.

4.3 실험절차

10 명씩 두 집단으로 나누어 실험이 진행되었다. 한 집단은 BCI 를 활용한 게임을 플레이하고, 다른 집단은 BCI 를 활용하지 않은 게임을 플레이 하였으며 각 집단에게 다른 집단의 게임에 대한 정보를 일절 주지 않았다. 모든 피실험자들은 시나리오 기반의 싱글 게임을 처음부터 시작해 두 번째 스테이지 중반까지 진행한 후, ‘조준’과 ‘탐색’을 행하는 미니 게임도 두 가지 진행하였으며, 전체 게임 플레이 시간은 약 20 분 정도이다. 그리고 게임을 마친 후에는 설문지를 배부하여, 주어진 설문지의 문항에 답하게 하였다. 설문 조사는 게임 전체에 대한 조작의 편이성과 흥미로움, 직관성의 정도와 BCI 를 사용한 부분(혹은 사용하지 않은 부분)에 대한 조작의 편이성과 흥미로움, 직관성의 정도를 묻고 있으며, 각각 2 문항과 4 문항으로 이루어져 있다. 각 항목의 척도는 ‘매우 그렇다’, ‘그렇다’, ‘보통’, ‘그렇지 않다’, ‘매우 그렇지 않다’로 이루어져 있으며, 각 항목의 척도를 수치화할 때, 4(매우 그렇다), 3(그렇다), 2(보통), 1(그렇지 않다), 0(매우 그렇지 않다)의 점수를 부여하였다. 두 집단에게 배부된 설문지의 내용은 모두 동일하다.

4.4 실험 결과

게임 플레이 후 진행된 설문 자료에서, BCI 사용 여부에서 차이를 보이는 게임 요소들에 대한 항목별 점수들의 자료 값은 아래 표 3 과 같다. 표 3 항목별 점수들의 자료값 집단 총합 평균 표준편차 자유도(df) BCI 사용 149 14.9 2.645 9 BCI 미사용 102 10.2 4.18 9 위 자료를 바탕으로 t-test 를 한 결과, BCI 를 사용한 게임이 사용하지 않은 게임보다 게임의 편이성과 흥미로움, 직관성이 유의미하게 더 뛰어나다는 것을 알 수 있었다(α=0.05, t.05(18)≒2.101, t≒5.605).

5. 결론 및 논의

본 연구에서는 BCI 를 게임의 새로운 장치로 활용할 수 있는지에 대해 게임 디자인적 관점에서 접근하여 BCI 와 플레이어의 감정을 적극적으로 활용할 수 있는 게임 플레이를 연구, 제안하고자 하였다. 그리고 제안한 플레이를 경험해 본 플레이어에게 실제로 직관성과 흥미로움을 제공할 수 있는지에 대해 알아보기 위해,

제안한 게임 플레이 요소 중 일부가 반영된 시제품을 제작하고 테스트와 설문 조사를 하였다. 설문 조사 결과, 본 논문에서 제안한 게임 플레이 요소들이 실제로 직관성과 흥미로움을 제공한다는 사실이 검증되었으며, 이 결과에서‘기존의 일반적인 PC 게임 환경에 BCI 를 추가하면 플레이어는 더욱 직관적인 게임 플레이를 즐길 수 있다’는 사실도 유추할 수 있다. 본 논문에서의 결과는 BCI 기반 게임 제작을 위한 효과적인 게임 디자인 가이드라인이 될 것으로 판단된다.

참고문헌

[1] 최종원, "뇌-컴퓨터 인터페이스(BCI) 기술 동향", 특허동향보고서, 한국특허정보원, pp. 1~10, 2003. [2] 김현덕, 이지하, "바이오피드백의 심리학적 활용", 한국심리학회 연차학술대회 논문집, 한국심리학회, pp. 94~95, 2007.

[3] Middendorf, M., McMillan, G. R., Calhoun, G. L., and Jones, K. S., "Brain-computer interfaces based on the steady-state visual-evoked response", Neural Systems and Rehabilitation Engineering, Vol. 8, No. 2, IEEE Transactions on, pp. 211~214, 2000

[4] Lalor E, Kelly S.P., Finucane C., Burke R., Reilly R.B., McDarby G., "Brain Computer Interface based on the Steady-state VEP for Immersive Gaming Control", Biomedizinsche Tecknik, pp. 63~64, 2004.

[5] http://emotiv.com, Emotiv Systems Inc. [6] http://neurosky.biz, NeuroSky Inc.

[7] http://www.ocztechnology.com, OCZ Technology Inc.

[8] http://www.smartbraintech.com, SmartBrain

Technology