http://dx.doi.org/10.5369/JSST.2015.24.6.392 pISSN 1225-5475/eISSN 2093-7563
스마트 인터페이스를 위한 뇌파의 게임몰입 분석
가윤한1·최태진2·윤길원2,+
Analysis of Game Immersion using EEG signal for Computer Smart Interface
Yunhan Ga1, Taejin Choi2, and Gilwon Yoon2,+
Abstract
Recently computer games have been widely spread. For the purpose of studying brain activities, EEG was measured during the com- puter game and analyzed in terms of channels and frequency bands. EEG data were obtained during the resting state and game immer- sion. Then the power spectra of alpha, beta and theta bands were computed. During game immersion, the ratio between theta / alpha could effectively differentiate between rest and game immersion. Changes in brain activity (26~53%) were observed in the parietal and occipital lobes. Interestingly, immersion shows different features compared to concentration. The state of game immersion could be detected. Therefore, it is possible to utilize the state of immersion as one of the game parameters or to generate a control signal that may be used to provide a warning message or abort the game when the situation of the excessive indulgence in the game reaches. EEG can be applied as smart interface for computer game.
Keywords: EEG, Immersion, computer game, smart interface
1. 서 론
인간이 사고를 통하여 신체활동을 넘어 사회적 존재로 살아 가는데 두뇌의 역할이 절대적이다. 현대사회에 이르러 고등사 고, 판단을 담당하는 뇌의 기능적 분석에 사회적으로 관심이 인 류 역사상 어느 때보다도 크다. 뇌에 대해서는 다방면에서의 연 구가 활발히 진행되고 있다. IT 기술의 급속한 발전은 사회 문 화 정치 여러 분야의 양식을 바꿔놓고 있다. 한 걸음 더 나아가 인간의 뇌의 상태를 측정하여 IT 기술에 접목시키는 소위 컴퓨 터 스마트 인터페이스 (brain -computer smart interface) 가 각 광을 받고 있다. 이에 따라 뇌의 기능적 활성화를 통해 더욱 나 은 정보처리의 효율성과 그 파급력을 극대화하기 위한 기술적 응용연구 또한 많이 진행되고 있다.
정보화 사회에 이르러 인류가 다루게 되는 정보의 양이 많아 지고, 사회가 복잡계를 구성하면서 뇌의 정보처리에 문제가 발 생하는 경우가 다수 발생하고 있다. 집중장애나 인터넷, 게임, 약물 등에 대한 문제도 또한 있다. 남녀노소를 가리지 않고 정 상적인, 건강한 뇌기능에 대한 필요성이 대두되는 바, 최근 보 건, 의료학계에서는 이러한 문제에 대한 원인규명 필요성을 각 종 질환 및 사회문제 통계 자료를 통하여 제시 하고 있다[1]. 뇌 질환에 대한 임상적 치료와 응용연구에 쓰이는 방법 (이하 바이 오피드백 : Bio feedback) 으로는 비교 군과 대조 군을 설정한 뒤 분류하기 위한 특정 지표를 설정하게 되는데, 뇌파에서는 이 를 인덱스 (Index) 라고 표현한다. 뇌파는 컴퓨터와 연결된 측 정 장치에서 검출한 신호의 직접분석이 아닌 주파수 변화를 통 하여 각 주파수 대역별로 뇌파의 특징 지표를 분석한다. 이에 정서상태와의 연관성과 관련하여 이전 연구에서 특정 부분에 대 한 측정 지표를 목표, 설정으로 하여 실험을 진행한 바 있어 이 와 같은 특수상황에 대한 뇌의 다양한 반응을 측정하고자 하는 시도를 알 수 있다[2,3].
뇌파를 주파수 대역별로 구별하는 데 일반적인 표지자로는 델 타 파 (δ = 0.2~3.99 Hz ), 세타파 (θ = 4~7.99 Hz ), 알파파 (α
= 8~11.99 Hz ), 베타파 (β = 12~29.99 Hz ), 감마파 (γ = 30~49.99 Hz) 가 있다. 추가적으로 구간을 나누어 표기 사용하는 SMR (sensory motor rhythm) 파 (12~14.99 Hz), mid-beta파 (15~19.99 Hz), high-beta파 (20~29.99 Hz) 대역도 있다.
각 대역 별로는 신체기능의 상태를 설명하는 것에도 상관관
1서울과학기술대학교 대학원 전자공학과 (Department of Electronic Engineering)
2서울과학기술대학교 전자 IT 미디어공학과 (Department of Electronic &
IT Media Engineering, Seoul National Unversity of Science & Technology) 232 Gongneung-ro, Nowon-gu, Seoul, 01811, Korea
+Corresponding author: [email protected] (Received: Sep. 21, 2015, Accepted: Nov. 20, 2015)
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/
licenses/bync/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
계가 있다. 델타파는 깊은 수면 또는 잡파의 경우로도 분류하고 세타파는 평상시 수면상태, 알파파는 일상적인 각성상태, 베타 파는 주의집중 상태, 감마파는 과 긴장, 흥분상태를 설명하고 있 다. 이전 선행연구들의 경우에서는 주파수 대역을 단일 기준점 으로 한정하여 특정 가설에 의해 분석하는 경우가 있거나, 다채 널 뇌파장치를 통하여 전체 대역에 대한 장시간에 이르는 측정, 분석을 통해 피험자의 피로도나 오차 발생, 잡음 발생 및 재 실 험 등의 본연의 실험목적에 맞는 결과값의 도출이 어려운 경우 들이 있기도 하였다. 뇌파를 측정하기 위하여 본 논문에서는 표 준 뇌파 전극법 (EEG 10-20 System)을 사용하였다 [4]. 이에 본 연구에서는 전체 측정된 뇌파 데이터 중 θ (세타파) / α (알파 파) 로 나눈 값에 대해 휴식상태 대비 게임 몰입 시 뇌파의 변 화 비율로 분석한 결과에 의해 단 시간 내 뇌의 기능적 분류에 따른 차이가 나는 뇌파 특징 변수를 인덱스로 하여 국소적으로 확인 가능함을 조사하였다.
2. 본 론
2.1 실험방법
인체가 숨을 쉬고 일상생활을 하는 동안 뇌 역시 멈추지 않 고 신경세포들의 활성화들이 끊임없이 일어나고 있다. 뇌파 측 정에도 이에 대한 변화적인 내부, 외부적인 상황들을 변수로 고 려할 때, 발생 가능 한 큰 오류가 개입되지 않도록 해야 한다.
뇌파를 측정하는 피험자에게서 최대한의 뇌파유발조건을 준비 하여 본 연구의 목적과 같은 몰입 조건의 상황을 조성한다. 피 험자 선정은 만 23세에서 26세의 남, 여 6명을 대상으로 하였 다. 신체적, 정신적 질환 병력이 없으며 연구기간 중 실험 직전 술, 담배, 커피, 등의 자극 요소를 제한하였다. 본 연구에서는 해 당 피험자 6명을 각 V1~ V6로 명명한다. 설정조건은 다음과 같 다. 외부자극이 제한된 방에 뇌파 측정 장치와 컴퓨터를 준비하 고 피험자 1명과 측정자 1명이 입실한다. 뇌파측정장치는 뇌파 를 8개 채널로 구분하여 측정 가능한 LAXTHA
TM의 QEEG-8 장비 이고, 신호 추출에는 동 회사의 전용측정 프로그램 TeleScan
TM을 사용하여 주파수 대역 별, 전극 채널 별로 raw data 에서의 파워스펙트럼을 구하고 측정 시간 분할 값마다의 데이터를 해 석 하였다. 해당 해석에는 자동적으로 주파수 대역 별 설정을 통한 대역 통과 필터 (band pass filter) 기능을 사용할 수 있다.
이를 통해 출력된 데이터의 평균값과 표준편차, 인덱스 증가비 율의 분석은 Microsoft 의 Office - Excel 2013을 이용하였다. 전 극 설정으로는 EEG 10-20 System 중 측정 장치에서 지원하는 8개 채널에 맞는 8개의 위치를 간소화 하여 전극을 적용하였 다. 해당 전극위치 표시는 Fig. 1와 같다.
실험에 쓰인 설정 조건은 다음과 같다. 인터넷에서 접속 가능 한 퍼즐을 맞추는 Netmarble 社 의 ‘사천성’ 이라는 게임을 이
용하였다. 해당 게임에 사전 경험이 없는 피험자가 1분 동안 게 임을 하지 않고 눈을 뜨고 대기하고, 2분간은 게임을 하도록 하 며 총 3분간의 뇌파를 측정하고, 이를 10회 반복측정 한다. 게 임 횟수가 진행됨에 따라 사이 간격을 두어 1분 이상의 휴식을 부여하고 6명의 피험자 모두가 동일한 조건의 게임 화면에서 측 정 실험을 응하도록 하였다. 휴식은 바른 자세로 앉아 모니터 화면 전면방향으로 눈을 응시하되 움직임을 최소화 하도록 하 였고, 게임에는 해당 게임에서 경쟁보다도 최선을 다하도록 피 험자 각각에게 전달하였다. 실험 중 게임을 하는 데에 눈을 깜 빡이고, 손으로 마우스를 움직인다는 점은 완전히 통제가 어렵 지만 신체 움직임과 말, 추가적인 활동이 없도록 사전 주의사항 을 두었다. 다음 Fig. 2는 실험에 적용한 게임 ‘사천성’ 의 실행 화면이다.
2.2 분석방법
분석방법에 있어서는 뇌파 주파수 대역별 파워 스펙트럼 분 석을 사용하였다. 뇌파를 측정하기 위해 피험자의 두피 (전두엽 Fig. 1. 8 Channel / EEG 10-20 System.
Fig. 2. Captured screen- ‘Sachunsung’ (Netmarble)
: FP1, FP2 / 두정엽 : C3,C4 / 측두엽 : T3, T4 / 후두엽 : O1, O2 ) (FP1 : 1CH, FP2 : 2CH, T3 : 3CH, C3 : 4CH, C4 : 5CH, T4 : 6CH, O1 : 7CH, O2 : 8CH) 에 부착한 전극의 각 채널 별로 추출되는 측정시의 뇌파신호의 세기 차이를 그래프변화를 통해 나타낸 것이 파워 스펙트럼 분석이고, 뇌의 기능별로 분류한 뇌 파의 주파수 대역마다의 실험 후 피험자 별 측정된 raw data 를 기준으로 하여 분석된 결과의 신호 특징을 분석하는데 쓰인다.
본 연구에서 제안하는 게임 몰입에 대한 최적화 된 측정 지표 를 찾는 데에는 이론적 배경에 비추어 볼 때, 평상시 일반인의 행동양식과 사고과정을 기준으로 고위험 군의 가능성을 가진 사 람들을 생각해 본다면 ‘무엇인가에 강박적인 또는 집착적인 증 상을 보인다’는 점을 보편적으로 알 수 있다. 뇌 활성도가 전체 적으로 균형이 맞지 않고 일정부분에서의 과 활성화 또는 위축 이 관측될 것으로 가설을 생각해볼 수 있다. 또한 해당 뇌 기능 에 대한 주파수대역의 뇌파 또한 활성도의 비율이 달라짐으로 도 볼 수 있다. 이에 해당 연구에서의 휴식상황 대비 게임 몰입 시 뇌파의 변화 비율을 찾는 데에는 60초간 휴식과 120초간 게 임 몰입 시의 뇌파 파워 평균증감비율의 차이를 비교, 분석 한 다. 피험자 마다 이 측정을 10번 반복하였다. 서론에서의 주파 수 대역 별 뇌파의 기능분류를 따라서는 평상시 깨어있는 상태 들 중에서 뇌가 다른 변화를 보이는 경우에 대하여 분석을 위 해 주파수 대역 별 값들 중 평상시 각성상태인 알파 파(α : 8 ~ 12.99 Hz) 를 분모로, 수면상태인 세타 파(θ : 4~7.99 Hz ) 를 분자로 나누어 뇌의 활성도가 과 활성 정도가 표현가능한지를 확인하였다. 주파수대역을 계산한 인덱스는 아래 (1) 과 같다.
INDEX = (1)
해당 계산식이 선택된 근거는 이전의 선행연구들에서 사용하 고 언급한, 뇌의 상태를 나타내는 여러 인덱스들이 있었으나, 초 기 언급된 인덱스를 통해 실험조건을 다르게 하여 효용성이 다 방면에 이용될 수 있다는 측면이 우선 강조된 경우들이 있었다.
이는 피험자의 조건과 실험조건이 모두 제각기 다를뿐더러 대 역 별 평균값 차이, 오차에 대한 부분을 최소화 하여야 한다는 필요성을 제기할 수 있는 부분이다. 이에 피험자의 실험조건을 적용한 각성상태 대비 뇌 활성도의 변화를 게임몰입에 대한 측 면에서 알아보고자 이렇게 계산식을 설정하게 되었다.
3. 결과 및 고찰
3.1 뇌 기능적 분류에 따른 국소적 뇌 활성화
뇌 기능적 분류에 따른 뇌의 국소적 활성화가 확인되었다. 이 는 게임몰입에 대한 생각을 해볼 때 매체에 대한 접촉이 익숙 하다는 점을 게임 몰입 상황에서의 신체 기관의 움직임을 연결 지어 보면 컴퓨터를 하는 정적인 자세이지만 화면을 보는 시각
과 마우스를 움직이는 손과 팔의 움직임, 이렇게 보면 체성 영 역인 두정엽 (C3, C4) 과 시각중추인 후두엽 (O1, O2) 이 활성 화 되는 것이 맞다. 그러나 본 연구에서 정상인을 대상으로 전 체 뇌 활성화 대비 약간의 활성 정도를 예측해 본 초기에 비해 결과적으로 전반적인 활성도가 확인이 가능하였다. 해당 실험 조건과 유사하게 숙련도에 대한 내용으로 기존의 연구에서 뇌 활성도의 변화를 언급하는 것처럼 집중도와 같은 뇌의 활성도 를 측정하여 이를 기능적으로나 의학적인 분석 등 다양한 해석 을 추구 하고 있음 또한 알 수 있다[5].
기본적인 집중에 대한 전두엽의 활성화 부분을 포함하고 이 외의 부분에서 발견 가능한 추가적인 활성도 비율을 알 수 있 다. 이는 앉아서 컴퓨터를 통해 게임을 하는 상황임에도 뇌는 전반적인 게임에 대한 몰입도가 높아지는 것만큼 짧은 시간이 지만 과다사용에 가까운 (세타파 : 수면 및 둔화 상태) 상태로 진행됨을 알 수 있다. 또한 눈과 손을 사용하여 게임을 진행하 는 피험자의 측두엽 - 청각중추 (3, 6 CH), 두정엽 - 체성영역 (4, 5 CH), 후두엽 - 시각중추 (7, 8 CH)의 활성도 비율이 조금 α θ
---
Fig. 3. Comparison between resting and Game immersion (theta / alpha band)
Fig. 4. Representation of EEG activity from the scalp (theta / alpha
band)
더 높게 나타남도 확인할 수 있다. 아무래도 뇌에서 반응하는 정보 들 중 시각정보에 의한 비율이 크기 때문에 이러한 비율 적인 차이가 당연하다 라고도 볼 수 있다. 해당 실험에서의 진 행 회차가 거듭할수록 휴식 대비 게임몰입도가 흐트러지는 것 을 방지하기 위해 피험자 마다 추가적인 휴식을 가변적으로 허 용하였다.
피험자 총 6명의 전체 뇌파 측정 데이터 중 분석에서의 유의 미한 결과로는 다음과 같다. 첫 번째는 휴식상태의 뇌파 출력 파워 값이다. 뇌파의 출력파워 검출 단위는 uV 단위이다. 그리 고 두 번째는 게임 몰입 시 뇌파의 출력 파워이다. 마지막 세 번째 그래프는 휴식대비 게임 몰입시의 뇌파 파워 증가 비율을 나타낸 것이다. 이를 세타파 / 알파파 비율의 인덱스를 통해 나 눈 총 6명의 피험자 전체 평균 파워스펙트럼 값을 활성도 비율 과 함께 다음 Fig. 3에 나타내었다. Fig. 4에는 채널 별 전극 부 착법에 의한 두피 부분의 활성화 정도를 표현 한 것이다.
3.2. 기존 게임몰입 관련 연구 대비 뇌 활성 영역 구별 확인
기존 집중에 대한 선행 연구들에서의 제안된 인덱스 값에 비 해 게임몰입에 대한 적용성은 언급된 바가 없다. 실제적인 뇌 상태에 따라 분류한 주파수 대역을 통해서 생각해본다면 각성 상태 중 뇌 의 활성도 저하 비율 = (theta / alpha) 을 생각해 볼 수 있다. 이를 토대로 기존 연구에서의 인덱스 분석 결과 대비 본 연구에서의 게임몰입 검출 인덱스에 대한 효용성을 확인하 였으며, 휴식대비 집중을 넘어 몰입상태에 이르는 단계적 활성 도를 이전의 게임 관련 논문에서 언급한 뇌의 불균형적 변화를 통해 실제 과다사용에 대한 사용자의 인지장애 가능성이 있는 지 유무를 타진 할 수 있는 것이다. 물론 생명활동이 진행 중 인, 살아있는 상태의 인체에서는 뇌의 전체 영역과 전체 대역 에서의 활동을 뇌파로 모두 확인할 수 있다. 다만 이처럼 특정 상황과 조건에 맞는 뇌의 상태를 설명하기 위해선 상호 간 비
교를 위한 기준 값 척도와 비교 값이 명확해져야 한다는 것이 다. 그래서 이전 선행연구 들 중 집중에 대한 인덱스를 사용하 여 뇌파를 측정 했던 것을 대조하여 본 게임몰입에 대한 지표 분석이 잘 이루어지는지 추가 확인 하였다.
아래의 Fig. 5는 참고문헌 [6]에서 이용한 집중을 나타내는 인 덱스 식 (2) 를 사용하여 비교 분석한 결과 값이다.
INDEX = (2)
본 연구에서의 게임몰입을 분석해보면 전체적인 집중도의 저 하를 표현하는 그래프의 결과에서 볼 수 있듯이 게임 몰입 시 집중에 대한 식(2)의 인덱스를 사용 한 경우 4,5,7,8 채널에서의 더 크게 떨어지는 것을 확인할 수 있었다. 이는 위에서의 세타 / 알파 분석의 경우를 뒷받침하는 근거로 볼 수 있다. 각성상태 (alpha) 대비 수면상태 (theta) 로 본 경우 뇌의 활성도를 + 측면 에서 보게 되고, 집중상태 (SMR, mid-beta) 의 경우는 수면상 태 (theta) 대비 뇌의 활성도를 측면에서 보게됨으로 집중도 가 낮아지는 것을 표현한다. 다만 % 의 차이가 크게 표현되는 이유는 상대적으로 평균값이 작은 세타 파 대비 집중도의 영향 을 미치는 베타 파의 평균값의 변동이 크기 때문이다.
3.3. 몰입과 집중의 차이
몰입과 집중의 차이를 파악하기 위하여 집중에 대한 실험을 실시하고 뇌파를 분석하였다. 집중의 실험은 피험자가 뇌파 측 정장치를 착용 한 채 컴퓨터 앞에 앉아 모니터에 나타나는 빨 간 점을 응시하는 것이다. 휴식을 30초하고 있다가 집중을 하여 해당 빨간 점을 응시한다. 그리고 다시 반복을 한다. 휴식에는 빈 화면을 보고 다른 외부조건 없이 편안히 휴식한다. 해당 실 험에 참여했던 피험자들의 모집 조건은 본 논문에서의 몰입실 험과 동일하다. 다음 Fig. 6과 7은 집중을 하였을 때 식(1)과 식
SMR Mid + β --- θ
Fig. 5. Comparison between resting and Game immersion [(SMR + Mid β) / theta]
Fig. 6. Comparison between resting and Point concentration [(SMR
+ Mid β) / theta band]
(2) 의 인덱스를 이용하여 분석한 것이다.
이는 집중 조건에서의 집중 인덱스의 효용성과 몰입 인덱스 는 몰입조건에서의 판별 효용성을 보이는 것임을 나타낸다. 몰 입 인덱스를 집중 조건에 적용하여 나타나는 결과로는 전 영역 의 채널에서의 출력 감소를 나타내고 집중 인덱스는 전두엽 1, 2 채널에서의 활성도를 명확히 나타내고 있다.
결과적으로 어떤 조건에 대한 분석에 앞서 단순히 피험자의, 대상자의 각성 상태에 맞는 주파수 대역에 맞춰서 짜여진 단일 인덱스만으로 판단하기 보다는 복수 개의 인덱스를 실험 조건 과 목적에 따라 분석 한 뒤 효용성을 복합적으로 고려하여 선 택적으로 적용 하는 것이 적합하다고 볼 수 있다. 이에 실제적 인 게임몰입상태의 뇌파를 표현, 측정하는 데에는 각성상태 대 비 뇌 활성도를 표현하는 세타 / 알파의 증가와 동시에 SMR + mid beta / theta 가 감소할때를 기준으로 하는 것이 바람직 할 것으로 보인다. 이 경우 단순이 집중하는 경우를 배제할 수 있 기 때문이다.
4. 결 론
본 논문에서는 뇌파를 분석하는데 있어 소채널의 영역으로 게 임 몰입 상태의 뇌의 활성도 비율 확인이 가능한지를 실험을 통 해 알아보고자 하였다. 이를 위해 게임자극이 거의 없는 피험자 들을 대상으로 실제게임을 하면서 뇌파 측정을 기록하고 평상 시 휴식상태 대비 게임을 통해 몰입을 하게 되는 뇌의 활성도 를 전극을 붙인 두피의 영역마다 검출된 뇌파의 파워 스펙트럼 의 비교로 분석을 하였다. 그 결과 게임 몰입 시 휴식 대비 뇌 의 전체 영역이 고루 활성화가 확인되었다. 조금 더 국소화 하 여 확인한다면 시각중추인 후두엽 부분과 체성 영역인 두정엽 부분으로 알 수 있다. 본 논문에서 언급하는 위치로는 3, 4, 5, 6, 7, 8 채널이다. 그리고 주파수 별 변화로는 세타파 (θ) 가 모
든 피험자에게서 예외 없이 증가하고 알파파 (α) 는 감소하는 경향을 보였다. 이는 실제 각성상태 대비 신체적 활성도 는 낮 아지고, 정신적 비활성도가 증가함을 확인할 수 있다. 다만 집 중을 넘어선 몰입에 대해 뇌파 의 전체적인 활성도를 매우 국 소적인 영역으로 한정시켜 분석하기 위해서는 기능적 분류에 따 른 뇌와 신체 기관 간 반응의 차이를 더욱 면밀한 실험 조건을 통하여 확인해 볼 필요가 있다.
본 연구의 목적가설 에서는 과 활성화가 내용의 주가 될 수 있으나, 실제 분석에서는 게임 몰입 시 뇌에서의 변화 차이를 구별해보고자 한 것이기에 이는 이후 직접적인 신체증상 및 질 환에 대한 연구 필요성을 확인한 것이라고 볼 수 있을 것이다.
이에 이전 선행 연구와의 차이점으로 집중에서의 인덱스와 게 임을 비롯한 몰입과 같은 뇌의 상태에 따라 다른 인덱스 척도 가 적용되어야 뇌파 분석, 또는 생체신호의 분석 분별력을 높일 수 있음을 생각해볼 수 있는 부분이다[7-11].
이후 피험자의 수가 늘고 실제 사회문제시 되는 게임 과다사 용의 상위후보군, 그 외 변수들을 종합하여 나아가 중독에 관련 된 연구에도 기반 선행연구로써의 의미를 확보 가능할 것으로 보인다. 또한 다채널 뇌파측정 분석, 연구에 비해 본 논문에서 제시한 간편하고 오차율이 적은 측정시스템, 탐색 인덱스의 구 성, 개발에 있어 더욱 개선해 가야 할 것이다.
감사의 글
이 연구는 서울과학기술대학교 교내연구비의 지원으로 수행 되었습니다.
REFERENCES
![Fig. 6. Comparison between resting and Point concentration [(SMR + Mid β) / theta band]](https://thumb-ap.123doks.com/thumbv2/123dokinfo/4801983.278382/4.892.80.426.846.1094/fig-comparison-resting-point-concentration-smr-mid-theta.webp)
