저작자표시-비영리 - S-Space

저작자표시-비영리-동일조건변경허락 2.0 대한민국 이용자는 아래의 조건을 따르는 경우에 한하여 자유롭게

l 이 저작물을 복제, 배포, 전송, 전시, 공연 및 방송할 수 있습니다. l 이차적 저작물을 작성할 수 있습니다.

다음과 같은 조건을 따라야 합니다:

l 귀하는, 이 저작물의 재이용이나 배포의 경우, 이 저작물에 적용된 이용허락조건 을 명확하게 나타내어야 합니다.

l 저작권자로부터 별도의 허가를 받으면 이러한 조건들은 적용되지 않습니다.

저작권법에 따른 이용자의 권리는 위의 내용에 의하여 영향을 받지 않습니다. 이것은 이용허락규약(Legal Code)을 이해하기 쉽게 요약한 것입니다.

Disclaimer

저작자표시. 귀하는 원저작자를 표시하여야 합니다.

비영리. 귀하는 이 저작물을 영리 목적으로 이용할 수 없습니다.

동일조건변경허락. 귀하가 이 저작물을 개작, 변형 또는 가공했을 경우 에는, 이 저작물과 동일한 이용허락조건하에서만 배포할 수 있습니다.

공학석사 학위논문

음악과 자연의 소리를 이용한 청각정상상태반응 기반의

뇌-컴퓨터 인터페이스

ASSR-bas e dBr ai nComput e rI nt e r f ac e us i ngMus i candNat ur alSound

2 0 1 3 년 2 월

서울대학교 대학원

협동과정 바이오엔지니어링 전공

허 정

음악과 자연의 소리를 이용한 청각정상상태반응 기반의

뇌-컴퓨터 인터페이스

ASSR-bas e dBr ai nComput e rI nt e r f ac e us i ngMus i candNat ur alSound

지도교수 박 광 석

이 논문을 공학석사 학위논문으로 제출함 2 0 1 3 년 2 월

서울대학교 대학원

협동과정 바이오엔지니어링 전공 허 정

허정의 공학석사 학위논문을 인준함 2 0 1 3 년 2 월

위 원 장 ㅁㅁㅁㅁㅁㅁ ( 인)

국문초록

완전 감금증후군(Totallocked-in syndrome)환자와 같이 의식은 있으 나 시각을 비롯한 온 몸의 근육이 마비된 환자들은 자신의 의사를 외부에 표현할 수 있는 방법이 없다.이런 환자들의 남아있는 감각과 생체 신호 를 이용하여 최소한의 의사표현을 보조함으로써 삶의 질을 높이는 시스템 의 필요성이 증가하고 있다.

청각 정상상태반응이란 일정한 주파수로 진폭 변조된 소리 자극을 들었 을 때 뇌파에서 자극 주파수와 일치하는 파가 강하게 나타나는 현상을 의 미한다.최근 양쪽 귀에 서로 다른 청각 자극을 들려주고 한쪽 방향의 소 리에만 선택적으로 집중할 경우,그에 따라 청각 정상상태반응이 조절되 는 현상이 발표되었고,이를 활용하여 선택적 집중을 통해 왼쪽이나 오른 쪽을 선택할 수 있는 뇌-컴퓨터 인터페이스 패러다임이 제안되었다. 하 지만 선행 연구들에서 사용된 청각자극은 단일 톤의 캐리어(carrier)를 진 폭 변조시켜 만들어진 소리로,사용자가 오래 듣는데 불편함을 유발한다 는 단점이 있다.본 연구에서는 이와 같은 사용자의 불편함을 줄이기 위 하여 단일 톤의 캐리어를 사용자에게 익숙한 음악이나 자연의 소리로 대 체함으로써,사용자의 피로도를 최소화하고 집중력을 향상시키는 방법을 제안하고 있다.

총 세 명의 피험자가 실험에 참여하였고 뇌파는 Cz,Oz,T7,T8에서 512Hz의 sampling rate로 측정되었다.한 트라이얼(trial)은 5초간의 음성 안내와 20초간의 청각자극으로 구성되었다.50번의 트라이얼이 한 세션 (session)으로 이루어졌고 50번의 trial중 40번의 trial을 분류기의 트레이 닝 데이터로,10번의 trial을 테스트 데이터로 사용하여 오프라인 분석을 진행하였다.선형판별분석(linear discriminantanalysis:LDA) 분류기를 사용하였고 분류에 사용된 feature는 뇌파측정에 사용된 각 전극에서의 38Hz,42Hz(각 자극의 메시지 주파수)의 주파수 파워를 사용하였다.

서로 다른 두 음악을 자극으로 사용하여 각각 다른 귀에 들려주었을 때 평균 87.3%의 분류 정확도를 얻을 수 있었고,한쪽 귀에는 물 흐르는 소 리,반대 쪽 귀에는 매미소리를 자극으로 들려주었을 경우 평균 90%의 분류 정확도를 얻을 수 있었다.또한 실험 후 피험자들에게 설문한 결과, 본 연구에서 사용된 자극이 선행 연구들에서 사용된 자극보다 훨씬 듣기 편했다는 결과를 얻을 수 있었다.

주요어 :뇌-컴퓨터 인터페이스,뇌전도,청각 정상상태반응,음악,자 연의 소리

학번 :2011-21134

- 3 -

Abst r act

He oJ e ong I nt e r di s c i pl i nar yPr ogr a m ofBi oe ngi ne e r i ng TheGr adua t eSc hool Se oulNa t i onalUni ve r s i t y

The patients with totallocked-in syndrome do have consciousness, butthey cannotexpress themselves because ofparalyzed nearly all voluntarymusclesandevenlosteyesight.Forimprovingqualityoflife of these patients, the necessity of communication supporting technologies using remaining senses and physiological signals are increasing.

Auditory steady state response (ASSR) is electro-physiologic response to auditory stimulation which is amplitude modulated by specific frequency.Recently,phenomenon thatASSR is modulated by concentration to auditory stimulation was founded. Using this phenomenon,new brain computerinterface(BCI)paradigm to classify patient’s selective attention was suggested.Butauditory stimuliused in previous studies made subjects uncomfortable because of high frequency monotonecarrier.In thisstudy,wesuggestnew stimulation method for minimization of subject’s auditory stress by replacing monotone carrier to music or naturalsounds which are familiar to subject.

Three subjects are participated. electroencephalogram (EEG) was recorded at four electrodes (Cz,Oz,T7,T8).Analog EEG signals converted todigitalsignalswith 16-bitresolution and512Hzsampling rate.One trialwas defined as 5 seconds auditory instruction and 20

secondsauditory stimulation.Total50trialswereperformed.40trials wereusedasareferencedatasetwhichtrainedclassifierandtherest 10trialswereusedasatestset.Toclassify subject’sselection linear discriminantanalysis(LDA)wasused.Spectralpowerof38Hz,42Hz andthoseratiosineachelectrodewereusedasfeatures.

When using two different modulated music as a stimuli, classification accuracy was87.3%.And when using naturalsoundsas a stimuli,classification accuracy was90%.Afterexperiment,subjects toldthattheyfeltmorecomfortablethanwhenusingmonotonecarrier.

keywords : brain computer interface, electroencephalogram, auditory steady stateresponse,music,naturalsounds

St udentNumber:2011-21134

목차

제 1장 서론 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·1

제 1절 감금증후근 ···1

제 2절 뇌-컴퓨터 인터페이스 ···3

제 3절 청각 정상상태반응 ···6

제 4절 연구목적 ···8

제 2장 방법 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·9

제 1절 자극 ···9

제 2절 데이터 획득 ···13

제 3절 실험 프로토콜 ···15

제 4절 신호처리 및 분석 ···16

제 3장 결과 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·17

제 4장 결론 및 토의 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·24

참고문헌 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·25

표 목차

[표 1]음악자극에서 변조지수에 따른 각 피험자별 모든 특징점에 대한

분류 정확도 ···18

[표 2]자연의 소리자극에서 변조지수에 따른 각 피험자별 모든 특징점에 대한 분류 정확도 ···18

[표 3]음악자극에서 변조지수에 따른 각 피험자별 최고 분류 정확도와 그 특징점 ···19

[표 4]음악자극에서 변조지수에 따른 각 피험자별 최고 분류 정확도와 그 특징점 ···19

[표 5]단일 톤 자극에 대한 듣기 편안한 정도 설문 ···23

[표 6]음악 자극에 대한 듣기 편안한 정도 설문 ··· ··23

[표 7]자연의 소리 자극에 대한 듣기 편안한 정도 설문 ···23

그림 목차

[그림 1] ALS(루게릭병)연령별,성별 진료인원 추이 ···1

[그림 2]ALS(루게릭병)연도별,성별 진료인원 추이 ···1

[그림 3]뇌-컴퓨터 인터페이스의 기본적인 개념도 ···5

[그림 4]청각 정상상태반응(auditorysteadystateresponse:ASSR)···7

[그림 5]변조지수에 따른 진폭 변조된 웨이브의 파형 ···10

[그림 6]변조 지수에 따른 청각 정상상태반응의 크기 ···11

[그림 7]진폭 변조된 음악 자극과 자연의 소리 자극 ···12

[그림 8]뇌전도 측정 장비(g.USBamp)···13

[그림 9]뇌전도 측정에 사용된 전극의 위치 ···14

[그림 10]청각 자극을 들으며 뇌전도를 측정하는 모습 ···14

[그림 11]트라이얼 한 번의 구성 ···15

[그림 12]음악 자극에서 변조지수에 따른 피험자 별 최고 분류 정확도 ···20

[그림 13]음악 자극에서 변조지수에 따른 총 피험자 평균 분류 정확도 ···20

[그림 14]자연의 소리 자극에서 변조지수에 따른 피험자 별 최고 분류 정확도 ···21

[그림 15]자연의 소리 자극에서 변조지수에 따른 총 피험자 평균 분류 정확도 ···21

제 1장 서론

제 1 절 감금증후군

감금증후근(Locked-in syndrome)이란 전신 마비로 인해 의식이 있고 깨어 있으나 움직이거나 의사소통을 할 수 없는 환자의 상태를 말한다.

뇌간은 척수와 대뇌사이에 위치하고 있어 뇌에서 나오는 운동신경을 척수 로 이어주는 역할을 한다.운동신경은 뇌간 중 다리뇌(교뇌)에서 가장 앞 쪽을 지나가는데,이 부분에서 양쪽 운동신경이 모두 손상을 받으면 얼굴 을 포함하여 팔다리를 움직이지 못하게 된다.중간뇌(중뇌)가 손상되지 않 은 경우에는 눈을 뜨거나 눈을 수직방향으로 움직이는 것은 가능하지만, 이 부분도 손상된 경우 눈조차 움직이지 못하게 되고 이런 상태를 완전감 금증후군(Totallocked-in syndrome)이라고 한다.자발적인 움직임을 보 이지 않기 때문에 외관상 혼수상태로 잘못 판단할 수 있다.[1]근위축성 축삭경화증(amyotrophic lateralsclerosis:ALS)환자의 경우도 대뇌 및 척수 운동신경이 선택적으로 파괴되면서 발병 초기에는 손발의 움직임에 운동장애가 오고 증세가 심해짐에 따라 전신의 근육이 마비되고 마지막에 는 심근이 정지하여 사망한다.일반적으로는 안구운동장애가 일어나진 않 지만 발병 전부터 시각에 문제가 있던 환자의 경우 사망 직전까지 완전감 금상태가 된다.[2]건강보험심사평가원은 2004

∼2008년 5년 동안 ALS 환

- 2 -

그림 1 ALS(루게릭병) 연령별, 성별 진료인원 추이[3]

그림 2 ALS(루게릭병) 연도별, 성별 진료인원 추이[3]

제 2 절 뇌-컴퓨터 인터페이스

뇌-컴퓨터 인터페이스(Brain-Computerinterface:BCI)란 뇌신경계로부 터의 신로를 측정,분석하여 컴퓨터 또는 외부기기를 제어하거나 사용자 의 의사,의도를 외부에 전달하기 위한 기술을 통칭한다.BCI는 선천적 혹은 후천적 요인들로 인하여 뇌와 근육 사이의 신경 연결이 끊어진 환자 들이 외부와의 소통을 할 수 있는 인터페이스를 제공할 수 있다는 점에서 매우 큰 사회적,경제적 파급효과를 창출할 것으로 기대되고 있다.[4][27]

BCI는 뇌전도(electroencephalogram: EEG)[5], 뇌자도 (magnetoencephalogram: MEG), 근적외선분광(near infra-red spectroscopy: NIRS), 기능적 자기공명장치(functional magnetic resonanceimaging:fMRI)등에 기반한 비침습적인 측정방식[6]과 탐침형 전극을 통해 측정되는 단일신경신호에 기반한 침습적인 방법[7-9]이 널리 연구되고 있으면 최근에는 두 방식의 절충형태인 두개강내뇌파 (electrocorticogram:ECoG)나 국소장전위(localfieldpotential:LPF)를 통 해 인터페이스를 구현하는 연구도 진행되고 있다.[10-12]또한 인터페이 스 구현을 위한 패러다임의 외부 자극 포함 유무에 따라 의존적 (dependent)BCI와 비의존적(independent)BCI로 나눌 수 있다.의존적 BCI의 대표적인 패러다임으로는 P300 기반의 BCI,정상상태 시각유발전 위(steady statevidualevokedpotential:SSVEP)기반의 BCI가 있고 비 의존적 BCI의 대표적인 패러다임으로는 운동심상(motorimagery)기반의 BCI가 있다.P300은 피험자가 집중하고 있는 개체가 보통(standard)상태 에서 순간적으로 특이한(deviant)상태로 바뀌는 순간으로부터 300ms이후 머리의 중앙부위와 두정엽 부위에서 발생하는 양(positive)의 전위를 말한 다.이를 통해 사용자가 어느 개체에 집중하고 있는지를 알아내는 패러다 임을 P300기반의 BCI라고 말한다.[13-16]정상상태 시각유발전위는 피험 자가 일정한 주파수로 깜빡거리는 자극을 바라보았을 때 그 자극 주파수 와 일치하는 파가 후두엽 시각피질에서 나타나는 현상을 의미한다.이 현

- 4 -

성을 이용하여 각각 다른 주파수로 깜빡이는 자극들을 여러 개 배치하고 피험자가 어느 자극을 바라보는지 알아내는 패러다임을 SSVEP기반의 BCI라고 말한다.[17-21]운동심상 기반의 BCI는 인체의 일부분을 움직이 는 상상을 할 때 감각운동피질 중 움직임을 상상한 부분과 관련 있는 위 치에서 뮤리듬(8

∼12Hz

∼22Hz

그림 3 뇌-컴퓨터 인터페이스의 기본적인 개념도[27]

- 6 -

제 3 절 청각정상상태반응 기반의 뇌-컴퓨터 인터페이스

안구운동이 가능하고 시각이 남아있는 감금증후군 환자의 경우 위에서 언급한 SSVEP기반의 BCI나 P300기반의 BCI로 외부와의 소통을 할 수 있다.뇌파를 이용하는 BCI시스템 뿐 아니라 동공추적(eye-tracking)시 스템을 이용할 수도 있다.하지만 안구운동 마저 불가능한 완전감금증후 군 환자는 이런 시스템조차 이용할 수 없기 때문에 남아있는 청각,촉각, 미각,후각 등의 감각을 이용해야한다.

청각 정상상태반응(auditory steady stateresponse:ASSR)은 정상상태 시각유발전위와 비슷하게 일정한 주파수로 진폭 변조된 청각 자극을 들었 을 때 뇌파에서 자극 주파수와 일치하는 파가 강하게 나타나는 현상을 의 미한다.임상에서는 청력검사나 청력도를 추정하는데 사용된다.청각 정상 상태반응을 유발하는 자극은 1000Hz 이상의 고주파 단일 톤 캐리어를 100Hz이하의 저주파 메시지 주파수로 진폭변조하여 만들어 진다.피험자 가 이 청각자극을 들으면 뇌파의 파워 스펙트럼 밀도(power spectrum density:PSD)에서 자극의 메시지 주파수에 해당하는 파워가 증가한다.

최근 양쪽 귀에 서로 다른 청각 자극을 들려주고 한쪽 방향의 소리에만 선택적으로 집중함에 따라 청각 정상상태반응이 조절되는 현상이 발표되 었고[27-32,37],이를 활용하여 선택적 집중을 통해 왼쪽이나 오른쪽을 선택할 수 있는 청각 정상상태 기반의 BCI패러다임이 제안되었다.[33]

그림 4 청각 정상상태반응(auditory steady state response: ASSR)[34]

- 8 -

제 4 절 연구목적

기존의 청각 정상상태반응을 기반으로 하는 BCI에 사용되는 자극은 위 에서 언급한 바와 같이 고주파의 단일 톤(tone)의 캐리어를 40Hz부근의 메시지로 진폭변조 하여 만들어진다.[33,37]이 자극은 피험자가 오랫동 안 자극을 듣고 있는데 불편함을 유발하여 피험자에게 피로감을 느끼게 하고 집중력을 저하시키는 단점이 있다.

본 연구는 사용자가 캐리어의 차이를 인지하고 선택적 집중을 하는 것 에 착안하여 고주파의 단일 톤 캐리어를 사용자가 듣기 편한 익숙한 소리 로 대체함으로써 사용자의 피로도를 최소화하고 집중력을 향상시켜 장시 간 사용에도 적합한 사용자 친화적 뇌-컴퓨터 인터페이스 시스템을 개발 에 목적을 두고 있다.

제 2장 방법

제 1 절 자극

제 1 항 진폭변조( Ampl i t udeModul at i on)

기존 청각 정상 상태 반응을 유도하기 위한 자극은 그림 5와 같이 고주 파의 단일 톤 캐리어를 저주파 메시지로 진폭 변조하여 만들어진다.

   ∙sin 

 



   ∙cos

  



위의 식과 같이 캐리어 웨이브를

c ( t )

m( t )

     ∙ 

  ∙   ∙cos

  

 ∙sin

  



제 2 항 변조 지수( Modul a t i onI nde x)

변조 지수란 캐리어의 진폭이 변조 후 얼마나 크게 진동하는지를 나타 낸 지수이며 변조 깊이(Modulation depth)라고도 한다.변조 지수는 아래 식과 같이 표현된다.

   

 

  



- 10 -

그림 5 변조지수에 따른 진폭 변조된 웨이브의 파형

제 3 항 음악 및 자연의 소리 자극

단일 톤의 캐리어를 대체하기 위한 음악은 가사가 없는 연주곡을 선택 하였다.서로 다른 두 자극의 확연한 구분을 위하여 한쪽 자극은 바이올 린 연주곡을,나머지 한쪽 자극은 피아노 연주곡을 선택했다.선택된 두 음악은 각각 38Hz,42Hz로 진폭변조 되었다.캐리어로 사용되는 소리는 끊기지 않고 연속적이어야 하기 때문에 자연의 소리 자극에는 물 흐르는 소리와 매미 울음소리가 사용되었다.마찬가지로 두 소리는 각각 38Hz, 42Hz로 진폭변조 되었다.그림 7은 음악 및 자연의 소리를 진폭 변조한 파형을 나타내고 있다.메시지 주파수를 40Hz근방의 주파수로 사용한 이 유는 그림 6과 같이 40Hz부근에서 청각 정상상태반응이 가장 잘 나타난 다는 선행 연구결과를 바탕으로 하였다.[34]

그림 6 변조 지수에 따른 청각 정상상태반응의 크기[34]

- 12 -

그림 7 진폭 변조된 음악 자극과 자연의 소리 자극(위에서부터 물 흐르는 소 리, 매미 울음소리, 바이올린 연주곡, 피아노 연주곡)

제 2 절 데이터 획득

뇌전도 데이터는 그림 8과 같이 상용 뇌파 측정 장치(g.USBamp,g.tec, Austria)를 이용하여 획득하였다.데이터는 512Hz로 샘플링 되었고 5Hz

∼

∼62Hz노치필터가 사용되었다.데이터 수집 장치의 총 16

그림 8 뇌전도 측정 장비(g.USBamp, g.tec, Austria)

- 14 -

그림 9 뇌전도 측정에 사용된 전극의 위치

그림 10 청각 자극을 들으며 뇌파를 측정하 는 모습

제 3 절 실험 프로토콜

총 세 명의 피험자가 실험에 참여하였다.세 명 모두 남자이고 평균나 이는 29세이다. 세 명 모두 현재 청각에 이상이 없고,과거에 청각관련 질환을 진단 받은 적이 없었다.피험자는 모니터와 1m 가량 떨어진 의자 에 편안한 자세로 앉아 귀에 이어폰(XBA-1,SONY,,Tokyo,Japan)을 착 용하였다.방음실이 아닌 일반 사무실에서 실험을 진행하였기 때문에 주 변의 소음을 최대한 차단하기 위하여 커널형 이어폰을 사용하였다.한 트 라이얼은 그림 11과 같이 5초간의 음성안내와 20초간의 청각자극,그리고 4초간의 처리시간과 휴식시간으로 이루어졌다.음성안내 구간에서는 집중 해야 할 방향(왼쪽 혹은 오른쪽)을 음성으로 알려주고 모니터에도 집중해 야 할 방향을 단어로 보여주었다.한 세션은 총 50번의 트라이얼로 구성 되는데 왼쪽 25번 오른쪽 25번이 무작위로 수행되었다.10번째,20번째, 30번째,40번째 트라이얼 후의 휴식 시간에는 피험자가 자리에서 일어나 지 않은 채로 최대 1분까지 휴식을 취하였다.총 실험은 단일 톤 캐리어 를 사용한 자극을 이용한 실험 한 세션,음악 자극을 이용하여 세 세션, 자연의 소리 자극을 이용하여 세 세션,이렇게 한 피험자 당 총 7세션을 수행하였다.음악 자극과 자연의 소리 세 세션은 각각 변조 지수를 다르 게 하여 수행하였다.

그림 11 트라이얼 한 번의 구성

- 16 -

제 4 절 신호처리 및 분석

청각 정상상태 반응은 청각 자극에 실려 있는 메시지 주파수대역에서만 나타나기 때문에 측정 된 뇌파를 30Hz∼ 50Hz대역으로 밴드패스필터링 하였다.필터는 5차 버터워스필터를 사용하였다.각각 다른 두 자극에 대 한 청각 정상상태반응의 변화를 관찰하기 위해 각 자극의 메시지 주파수 인 38Hz와 42Hz의 주파수 파워를 각 전극에서 특징점으로 추출하였다 (Cz_38,Cz_42,Oz_38,Oz,_42,T7_38,T7_42,T8_38,T9_42).총 50번의 트라이얼 중 40번을 트레이닝 데이터로 사용하고 10번을 테스트 데이터로 사용하여 교차 타당도를 구하였다(5fold crossvalidation).선형반별분석 (lineardiscriminantanalysis:LDA)분류기를 사용하여 왼쪽 클래스와 오 른쪽 클래스를 구별하였다.

제 3장 결과

표 1은 음악자극을 이용한 실험에서 각 특징점(feature)별 분류 정확도 를 나타낸 표이다.모든 특징점들이 다 선택적 집중을 반영하지는 않는 것을 볼 수 있다.가장 분류 정확도가 높은 특징점으로 결과를 비교하면, 변조지수가 1인 실험 결과에서는 피험자 1 92%(T8_38Hz)로 가장 높은 정확도를 보였고 피험자 2가 82%(Cz_38Hz)로 가장 낮은 분류 정확도를 보였다.모든 피험자의 평균 분류 정확도는 87.33%로 나타났다.

표 2는 자연의 소리를 자극으로 사용한 실험에서의 각 특징점 별 분류 정확도를 나타낸 표이다.마찬가지로 변조지수가 1.0인 실험 결과에서 분 류 정확도가 가장 높게 나타난 특징점으로 결과를 비교하면 피험자 1이 92%(Cz_38Hz,Oz_38Hz)로 가장 높은 분류 정확도를 나타내었고 피험자 2가 88%로 가장 낮은 분류 정확도를 나타내었다.모든 피험자의 평균 분 류 정확도는 90%로 음악자극을 이용한 실험보다 약 2.7% 높은 정확도를 나타내었다.

표 3과 표 4는 표 1과 표 2에서의 변조 지수 조절에 따른 각 피험자 별 분류 정확도가 가장 높은 특징점들과 그 특징점에서의 분류 정확도를 나 타낸 표이다.그림 12와 그림 14는 각각 표 3과 표4를 보기 쉽게 3차원으 로 나태낸 그래프이다.피험자 한명씩의 결과를 보면 변조지수를 낮춤으 로써 분류 정확도가 낮아지는 경우도 있고 아닌 경우도 있지만 그림 13과 그림 15와 같이 모든 피험자들의 결과를 평균하여 보면 변조지수가 낮아 질수록 분류 정확도가 떨어지는 것을 볼 수 있다.

- 18 -

Subject#1 Subject#2 Subject#3 MI1.0 MI0.5 MI0.3 MI1.0 MI0.5 MI0.3 MI1.0 MI0.5 MI0.3

Cz_38 0.9 0.76 0.76 0.82 0.7 0.66 0.58 0.84 0.82 Cz_42 0.66 0.7 0.66 0.8 0.4 0.76 0.58 0.62 0.7 Oz_38 0.9 0.78 0.78 0.68 0.66 0.6 0.88 0.9 0.74 Oz_42 0.78 0.68 0.44 0.76 0.54 0.62 0.56 0.78 0.64 T7_38 0.9 0.74 0.74 0.76 0.72 0.64 0.86 0.9 0.74 T7_42 0.42 0.66 0.56 0.76 0.52 0.66 0.58 0.8 0.62 T8_38 0.92 0.82 0.78 0.8 0.56 0.68 0.84 0.9 0.74 T8_42 0.68 0.58 0.62 0.76 0.34 0.76 0.78 0.8 0.62 표 1 음악자극에서 변조지수에 따른 각 피험자별 모든 특징점에 대한 분류 정확 도

Subject#1 Subject#2 Subject#3 MI1.0 MI0.7 MI0.5 MI1.0 MI0.7 MI0.5 MI1.0 MI0.7 MI0.5

Cz_38 0.92 0.84 0.62 0.88 0.84 0.72 0.7 0.64 0.58 Cz_42 0.7 0.64 0.64 0.86 0.82 0.76 0.4 0.52 0.72 Oz_38 0.92 0.82 0.64 0.88 0.76 0.74 0.9 0.74 0.84 Oz_42 0.6 0.64 0.66 0.76 0.78 0.82 0.76 0.7 0.78 T7_38 0.88 0.82 0.62 0.84 0.64 0.7 0.8 0.66 0.8 T7_42 0.82 0.7 0.62 0.72 0.72 0.56 0.76 0.68 0.76 T8_38 0.86 0.72 0.6 0.86 0.82 0.6 0.62 0.56 0.78 T8_42 0.66 0.6 0.42 0.72 0.8 0.68 0.62 0.66 0.74 표 2 자연의 소리자극에서 변조지수에 따른 각 피험자별 모든 특징점에 대한 분 류 정확도

Subject #1 Subject #2 Subject #3

MI1.0 MI0.5 MI0.3 MI1.0 MI0.5 MI0.3 MI1.0 MI0.5 MI0.3

Best

Feature T8_38 T8_38 Oz_38

T8_38 Cz_38 T7_38 Cz_42

T8_42 Oz_38 Oz_38 T7_38

T8_38 Cz_38

Accuracy 0.92 0.82 0.78 0.82 0.72 0.76 0.88 0.90 0.82

표 3 음악자극에서 변조지수에 따른 각 피험자별 최고 분류 정확도와 그 특징점 Subject #1 Subject #2 Subject #3

MI1.0 MI0.5 MI0.3 MI1.0 MI0.5 MI0.3 MI1.0 MI0.5 MI0.3

Best

Feature Cz_38

Oz_38 Cz_38 Oz_42 Cz_38

Oz_38 Cz_38 Oz_42 Oz_38 Oz_38 Oz_38

Accuracy 0.92 0.84 0.66 0.88 0.84 0.82 0.90 0.84 0.74

표 4 자연의 소리자극에서 변조지수에 따른 각 피험자별 최고 분류 정확도와 그 특징점

- 20 -

그림 13 음악 자극에서 변조지수에 따른 총 피험자 평균 분류 정확도 그림 12 음악 자극에서 변조지수에 따른 피험자 별 최고 분류 정확도도

그림 14 자연의 소리 자극에서 변조지수에 따른 피험자 별 최고 분류 정화도

그림 15 자연싀 소리 자극에서 변조지수에 따른 총 피험자 평균 분류 정확도

- 22 -

실험에 사용된 자극의 듣기 편한 정도를 알아보기 위해 실험이 끝난 후 피험자들에게 설문을 하였다.매우 편함을 10점,매우 불편함을 0점으로 했을 때 선행연구에서 사용된 단일 톤 캐리어 자극과 변조지수에 따른 음 악자극 세 개,자연의 소리 자극 세 개,총 7개의 자극 종류에 대해 점수 를 매겨 달라고 요청하였다.표 5는 단일 톤 캐리어에 대한 점수이고,표 6은 음악자극에 대한 점수,그리고 표 7은 자연의 소리 자극에 대한 점수 이다.표 5,6,7에 나타난 바와 같이 단일 톤 자극은 매우 불편함에 가 깝고 음악자극은 보통,자연의 소리 자극은 편함에 가까운 점수를 얻었다.

또한 변조 지수를 낮춤에 따라 점수가 높아지는 결과를 얻을 수 있었고 자연의 소리 자극이 전체적으로 음악 자극보다 높은 점수를 얻은 것을 확 인할 수 있다.

Mono tone Subject #1 Subject #2 Subject #3

매우 편함 10 10 10

MI 1.0 1 0 0

매우 불편함 0 0 0

표 5 단일 톤 자극에 대한 듣기 편안한 정도 설문

Music Subject #1 Subject #2 Subject #3

매우 편함 10 10 10

MI 0.3 6 5 6

MI 0.5 4 4 5

MI 1.0 3 3 4

매우 불편함 0 0 0

표 6 음악 자극에 대한 듣기 편안한 정도 설문

Nature Sound Subject #1 Subject #2 Subject #3

매우 편함 10 10 10

MI 0.5 9 9 9

MI 0.7 8 8 8

MI 1.0 7 7 7

매우 불편함 0 0 0

표 7 자연의 소리 자극에 대한 듣기 편안한 정도 설문

- 24 -

제 4장 결론 및 토의

본 연구를 통하여 음악이나 자연의 소리를 자극으로 사용하는 청각 정 상상태반응 기반의 뇌-컴퓨터 인터페이스 시스템이 기존의 단일 톤 자극 보다 사용자의 피로도를 줄이면서 성능은 유지되거나 더 높아지는 결과를 얻을 수 있었다.변조 지수가 낮추어 사용자의 편의성을 높일수록 시스템 의 정확도가 떨어지는 트레이드오프(trade off)관계가 존재하기 때문에 무작정 변조지수를 낮출 수는 없지만 시스템의 정확도가 크게 떨어지지 않는 선까지 변조지수를 낮추어 사용한다면 좀 더 편안한 환경에서 사용 자가 시스템을 사용할 수 있을 것이다.

뇌-컴퓨터 인터페이스에서 사용자의 편의성은 실제 환자에게 적용함에 있어 해결해야할 가장 큰 과제 중 하나이다.P300이나 SSVEP 기반의 뇌 -컴퓨터 인터페이스도 연구단계에서는 좋은 결과를 보이고 있지만 실제 눈앞에서 장시간 동안 깜빡거리는 모니터 혹은 LED를 바라봐야 하는 환 자의 입장에서는 힘들고 불편한 것이 사실이다.그래서 최근에는 사용자 의 불편함을 최소화하기 위한 off-P300이나 AM SSVEP 등의 연구들도 진행되고 있다.그런 의미에서 음악과 자연의 소리를 자극으로 이용한 본 연구의 결과는 좀 더 실용적이고 현식적인 뇌-컴퓨터 인터페이스를 구현 했다는데 의의가 있다.

참고문헌

[1]J.T.Giacino,S.Ashwal,N.Childs,etal.,“Theminimallyconscious state:Definition and diagnosticcriteria”,

Neur ol ogy

[2] Lewis P. Rowland, M.D., and Neil A. Shneider, M.D., Ph.D,

“Amyotrophic Lateral Sclerosis”,

The New Engl and Jour nal of Medi c i ne

[3]건강보험심사평가원,“파킨슨병,루게릭병 연도별 성별 진료인원 추 이”,2009.

[4] Chang-Hwan Im, “Introduction to EEG-Based Brain-Computer Interface(BCI)Technology”,

J.Bi omed.Eng.

[5]Jonathan R.Wolpaw,Dennis J.McFarlanda,Gregory W.Neatb,, Catherine A.Fornerisa.“An EEG-based brain-computerinterface for cursorcontrol”,

El ec t r oenc ephal ogr aphy and Cl i ni c alNeur ophys i ol ogy

[6]Jonathan R.Wolpaw (GuestEditor),Niels Birbaumer,William J. Heetderks,Dennis J.McFarland,P.HunterPeckham,Gerwin Schalk, Emanuel Donchin, Louis A. Quatrano, Charles J. Robinson, and Theresa M. Vaughan (Guest Editor), “Brain

–Comput

EEE TRANSACTI ONS ON REHABI LI TATI ON ENGI NEERI NG,vol

[7] L.R. Hochberg, M.D. Serruya, G.M. Friehs, et al., “Neuronal ensemble controlofprosthetic devices by a human with tetraplegia”,

- 26 - Nat ur e,

[8] S.Musallam,B.D.Corneil,B.Greger,H.Scherberger,and R.A.

Andersen,“Cognitive controlsignals for neuralprosthetics”,Sc

i enc e

[9]J.M.Carmena,M.A.Lebedev,R.E.Crist,etal.,“Learningtocontrol a brain-machine interface for reaching and grasping by primates”,

PLoS Bi ol .

[10]EricC Leuthardt,Gerwin Schalk,Jonathan R Wolpaw,Jeffrey G Ojemann and DanielW Moran,“A brain

–comput

J.Neur alEng,

[11] G.Schalk,K.J.Miller,N.R.Anderson,et al.,“Two-dimensional movement controlusing electrocorticographic signals in humans”,J.

Neur alEng.

[12]T.Stieglitz,B.Rubehn,C.Henle,S.Kisban,S.Herwik,P.Ruther,and M. Schuettler, “Brain-computer interfaces: an overview of the hardwaretorecordneuralsignalsform thecortex,”Pr

og.Br ai n Res

[13] K.H.Kim,J.H.Kim,J.Yoon,K.Y.Jung,“Influence of task difficulty on the features of event-related potential during visual oddballtask,”

Neur os c i .Let t

[14] E.W. Sellers, A. Kubler, and E. Donchin, “Brain-computer interface research at the University of South Florida Cognitive Psychophysiology Laboratory:theP300 Speller,”I

EEE Tr ans .Neur al .

Sys t .Rehabi l .Eng.

[15]E.Donchin,K.M.Spencer,andR.Wijesinghe,“Themental prosthesis:assessingthespeedofaP300-basedbrain-computer interface,”

I EEE Tr ans .Neur al .Sys t .Rehabi l .Eng.

174-179,2000.

[16]H.Serby,E.Yom-Tov,andG.F.Inbar,“AnimprovedP300-based braincomputerinterface,”I

EEE Tr ans .Neur alSys t .Rehabi l .Eng.

[17] M. Middendorf, G. McMillan, G. Calhoun, and K.S. Jones,

“Brain-Computer Interfaces Based on the Steady-State Visual- EvokedResponse,”I

EEE Tr ans .Neur alSys t .Rehabi l .Eng

211-214,2000.

[18]M.Cheng,X.Gao,S.Gao,andD.Xu,“Design andimplementation ofa brain-computer interface with high transfer rates,”

I EEE Tr ans . Bi omed.Eng.

[19] G.R.Müller-Putz,R.Scherer,C.Brauneis,andG.Pfurtscheller,

“Steady-state visualevoked potential(SSVEP)-Based communication:

Impactofharmonicfrequencycomponents,”J.Neur

alEng

123-130,2005.

[20]Y.Wang,R.Wang,X.Gao,B.Hong,and S.Gao,“A Practical VEP-Based Brain-Computer Interface,”

I EEE Tr ans .Bi omed.Eng.

[21]Z.Wu,Y.Lai,Y.Xia,D.Wu,and D.Yao,“Stimulatorselection in SSVEP-basedBCI,”

Med.Eng.Phys

- 28 -

[22]G.PfurtschellerandC.Neuper,“Motorimagery activatesprimary sensorimotorareainhumans,”Neur

os c i .Let t

[23] G. Pfurtscheller and C. Neuper, “Motor imagery and direct brain-computer communication,”

Pr oc .I EEE

[24] J.J. Daly and J.R. Wolpaw, “Brain-computer interfaces in neurologicalrehabilitation,”

Lanc etNeur ol

[25] C.Neuper,R. Scherer,M.Reiner,G.Pfurtscheller,“Imagery ofmotoractions:differentialeffectsofkinestheticandvisual-motormode of imagery in single-trial EEG,”

Cogn. Br ai n Res

668-677,2005.

[26] C.R. Hall and K.A. Kathleen, “Measuring movement imagery abilities:Arevision of theMovement ImageryQuestionnaire,”

J.Ment al I mag

[27] Gerwin Schalk*, Member, IEEE, Dennis J. McFarland, Thilo Hinterberger,Niels Birbaumer,and Jonathan R.Wolpaw,“BCI2000:A General-Purpose Brain-Computer Interface (BCI) System”,

I EEE TRANSACTI ONS ON BI OMEDI CAL ENGI NEERI NG,

[28] C.Petitot,L.Collet,and J.D.Durrant,“Auditory steady-state responses(ASSR):effectsofmodulation and carrierfrequencies,”I

nt . J.Audi ol

[29] P.Desain,J.Farquhar,J.Blankespoor,and S.Gielen,“Detecting spread spectrum pseudo random noise tags in EEG/MEGusing a structure-based decomposition,”

Pr oc .4t h I nt . BCI Wor ks hop and

Tr ai ni ng Cour s e

[30] S.Kanoh, K.Miyamoto, and T.Yoshinobu,“A Brain-Computer Interface(BCI)System Based on Auditory Stream Segregation,”Pr

oc . 30t hAnn.I nt .Conf .I EEE EMBS

[31]N.J.Hill,T.N.Lal,K.Bierig,N.Birbaumer,and B.Scholkopf,

“An Auditory Paradigm forBrain-ComputerInterfaces,”Adv.Neur

al I nf om.Pr oc es s .Sys t .

[32]N.J.Hilletal.,“Attentionalmodulation ofauditory event-related potentials in a brain-computer interface,” Proc. 2004

I EEE I nt er nat i onal wor ks hop on Bi omedi c al Ci r c ui t s and Sys t ems

[33] Do-Won Kim,Han-Jeong Hwang,Jeong-Hwan Lim,Yong-Ho Lee, Ki-Young Jung, Chang-Hwan Im, “Classification of selective attention to auditory stimuli: Toward vision-free brain

–c

Jour nalofNeur os c i enc eMet hods

[34] Rance, Gary, Ph.D, “The Auditory Steady-state Response”, PluralPubInc,2007.

[35] M.-A.Lopez,Hector Pomares,Francisco Pelayo,Jose Urquiza, JavierPerez,“Evidencesofcognitiveeffectsoverauditory steady-state responsesbymeansofartificialneuralnetworksanditsuseinbrain

–

Neur oc omput i ng

- 30 -

감사의 글

학부 4학년 때 처음 접한 의공학이라는 길에 들어선지 2년이 되었습니 다.그 당시 전공을 바꾼다는 것이 쉬운 결정은 아니었지만 지금 생각해 보면 제 인생에 있어서 잘 한 선택 몇 가지 중 하나가 아니었을까 생각합 니다.제가 이런 생각을 갖게 도와주신 많은 분들께 감사의 마음을 전하 고자 이 글을 드립니다.

먼저 지난 2년 동안 많이 부족한 저를 제자로 받아주시고 지도해 주시 고 많은 가르침을 주신 박광석 교수님께 감사드립니다.교수님께서 주신 의공학자로의 기회,정말 감사하게 생각하고 있고 교수님의 학구열과 온 화하신 성품 앞으로도 항상 본받을 수 있도록 노력하겠습니다.부족한 논 문을 심사해주신 의공학교실 김희찬,김성완 교수님께도 감사의 말씀을 드립니다.

깨어 있는 시간의 대부분을 함께 지내는,이제는 가족보다 더 가족 같 은 우리 연구실 식구들께도 감사의 말씀을 전합니다.효선누나,현재형, 교식이형,현석이형,상경이형,정수형,민혜,원규,성준이형,수환이,수영 이,홍지,한별이,희남이,다운이,지훈이,승혁이,호석이,정민이,상원이.

이분들이 있었기에 2년간의 석사과정 무사히 마칠 수 있었고 박사과정 진 학을 망설이지 않을 수 있었습니다.모두 정말 감사하고 앞으로도 잘 지 냈으면 좋겠습니다.

마지막으로 제 가장 든든한 버팀목 우리 가족,아버지,어머니,윤경이.

같은 서울에 살면서 바쁘다는 핑계로 자주 집에 못가는 것 죄송하게 생각 하고 있습니다.말로 표현은 안하지만 항상 감사하게 생각하고 있습니다.

이 글을 쓰면서 저는 참 복이 많은 사람이라고 생각했습니다.부모님, 교수님,연구실 식구들 모두 하나같이 제게는 선물 같은 존재들입니다.제 게 소중한 모든 분들을 실망시키지 않도록 앞으로 더욱 더 열심히 연구하 고,열심히 살겠습니다.감사합니다.