http://dx.doi.org/10.5369/JSST.2016.25.4.257 pISSN 1225-5475/eISSN 2093-7563
2 채널 EEG센서를 활용한 운동 심상기반의 어플리케이션 컨트롤
이현석 · 장유빙 · 정완영+
Motor Imagery based Application Control using 2 Channel EEG Sensor
Hyeon-Seok Lee, Yubing Jiang, and Wan-Young Chung+
Abstract
Among several technologies related to human brain, Brain Computer Interface (BCI) system is one of the most notable technologies recently. Conventional BCI for direct communication between human brain and machine are discomfort because normally elec- troencephalograghy(EEG) signal is measured by using multichannel EEG sensor. In this study, we propose 2-channel EEG sensor-based application control system which is more convenience and low complexity to wear to get EEG signal. EEG sensor module and system algorithm used in this study are developed and designed and one of the BCI methods, Motor Imagery (MI) is implemented in the sys- tem. Experiments are consisted of accuracy measurement of MI classification and driving control test. The results show that our simple wearable system has comparable performance with studies using multi-channel EEG sensor-based system, even better performance than other studies.
Keywords: EEG, Motor Imagery, BCIs, 2 channel EEG sensor
1. 서 론
뇌는 사람의 몸에서 가장 복잡한 부분으로서 아직 많은 부분 이 밝혀지지 않았으며 그에 따라 많은 관심과 연구가 계속 진 행되고 있다. 이러한 뇌를 이용한 다양한 응용기술로서는 정신 질환, 생체공학, 뇌 인지 기술 등이 존재하며 초기 의료목적의 연구가 주요 내용이었으나 다양한 센서와 웨어러블 기술의 발 전으로 뇌 인지 기술에 대한 관심도가 높아졌다. 이 중에 요즘 가장 화두가 되는 기술은 뇌 인지 기술 중 Brain-Computer Interface system(BCIs)로서 구글 학술검색 서비스에 따르면 2000년 100 여 편에 불과한 관련 논문 수가 2015년에는 8000여 편이 넘어 가며 관련 연구에 대한 높은 관심도를 보여주고 있다[1]. 이러 한 BCIs란 뇌와 컴퓨터와 같은 주변 기기와의 직접적인 소통을 통한 인터페이스로서 뇌의 반응 활동을 통해 즉각적이고 빠른
반응을 유도해 낼 수 있고 다른 실제 움직임이 요구되지 않는 장점이 있어 차세대 인터페이스로서 주목을 받고 있다. BCIs에 서는 사용자의 뇌 반응을 측정하여 명령어를 도출하게 되며 이 를 위해서 EEG 센서를 사용하여 뇌파를 측정하게 된다. 주로 많게는 64개에서 128개가 넘는 채널을 가지는 EEG 센서[2]나 캡 타입의 EEG 센서[3]를 사용하며 동물 실험이나 높은 정밀도 를 위하여 뇌에 시술을 통해 마이크로 칩을 직접 삽입하는 방 식을 사용하기도 한다.
그러나 이러한 방법은 다수의 전극을 사용하거나 시술이 필 요하여 착용성에 제약이 생기게 된다. 이러한 불편한 점을 개선 하기 위해 본 논문에서는 2개의 채널만을 사용하는 쌍극법 EEG 센서를 통해 착용성을 개선하고 이를 통해 측정된 운동심상을 활용하여 다양한 어플리케이션을 컨트롤하는 시스템을 제안한다.
2. 관련 이론
2.1 EEG(Electroencephalogram)EEG 는 신경생리학에서 뇌신경의 활동을 연구하기 위한 도구 로써 신경계에서 뇌신경 사이에 신호가 전달될 때 생기는 전기 흐름의 변화를 두피에서 측정하여 기록한 것이다. 1929년 Hans Berger에 의해 최초로 사람의 뇌파를 측정한 후 임상과 뇌기능 연구에 폭 넓게 사용되어 왔으며 오늘날에는 간질 발작과 같은
부경대학교 전자공학과 (Department of Electronic Engineering, PukyongNational Unversity)
A13 No.2418, Bukyong National Univ., Daeyeon 3-dong, Nam-gu, Busan, Korea
+Corresponding author: [email protected]
(Received: Jan. 19, 2016, Revised: Jul. 19, 2016, Accepted: Jul. 25, 2016)
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/
licenses/bync/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
특정 신경학적 상태의 집단으로의 의료적 목적뿐만 아니라 운 전자 졸음방지, 수면 상태 평가, BCIs와 같은 연구 목적으로 다 양하게 사용되고 있다.
EEG 는 두피에서 전극을 통해 측정하기 때문에 다양한 뇌 활 동 측정 방법 중에서 비교적 간단하고 저렴하게 측정이 가능하 다. 두피 상에서 측정되는 뇌파의 전위 차이를 시간에 따라 기 록하며 최초 두피에서 수 μV에서 수백 μV의 매우 낮은 전위를 가지며 뇌 활동 측정시의 상태 및 뇌기능에 따라 시공간적으로 변화하게 된다[4]. 이런 변화는 주파수 성분으로 관찰하게 되며 1~70 Hz 까지의 범위를 가지며 아래 Table 1과 같이 각 특성을 가지는 5개의 영역으로 나뉘게 된다.
2.2 Motor Imagery(MI, 운동 심상)
Motor Imagery(MI) 는 사용자가 스스로 상상을 통해 자극을 주는 Active BCIs중 한가지 방법으로 특정 운동 활동의 상상 을 통해 뇌의 중반구에 위치한 운동 피질영역에서의 자각운동 리듬(sensorimotor rhythm)을 발생시키고 이를 활용하는 방법 이다[5]. 주로 사용되는 움직임은 오른손과 왼손, 양손의 상하 운동이나 주먹을 쥐는 등의 움직임을 사용하게 되며 그 외에 도 양 발의 움직임, 혀의 움직임 등을 사용하기도 한다. MI를 통해 발생하는 뇌파의 변화는 주로 mu파 대역으로 명명되는 8~13 Hz에서 나타나며 그 외에 13~20 Hz의 β파 대역에서도 관찰 할 수 있다.
MI를 활용한 BCIs의 장점으로는 해당 활동에 대한 반응 부 위가 명확하게 규정되어 있으며 Fig. 1과 같이 실제 움직임을 수행하여 유도한 반응과 움직임 없이 사용자의 생각만을 통해 유도하거나 결과 피드백을 통한 반응이 큰 차이가 없이 거의 동 일한 결과를 얻을 수 있다는 점이다. 실제 운동을 통한 반응과 움직임 없이 상상만을 통한 반응을 Fig. 1에 나타내었으며 해당 그림에서 보다시피 둘 사이의 뇌 반응 정도는 약간의 강도 차 이만 있을 뿐 거의 같은 모습을 보이고 있다. 본 시스템에서는
여러 가지 MI 중 양손의 움직임을 활용한 MI를 분석하여 최종 타겟의 동작을 결정하는 명령어로 사용하였다.
2.3 ERD/ERS(Event-Related Desynchronization/
Synchronization)
MI에 따른 운동지각리듬의 변화를 파악하기 위해 사용되는 대표적인 방법은 Pfurtscheller에 의해 발견된 ERD/ERS이다.
ERD/ERS 란 짧은 시간에 국부적인 지역에서 일어나는 뇌 활동 의 감소 또는 증가를 말하며, 주파수 도메인의 PSD값에 대한 변화를 통해 관찰한다[7]. 뇌 진동 주파수는 동기 활성화 된 뉴 런의 수에 의해 변화하며, 동기 활성화 된 뉴런의 수가 증가함 에 따라 주파수는 일반적으로 감소하게 된다. 즉 임의의 동작수 행에 대해 관련된 뇌 영역의 특정 주파수 대역의 뇌파가 감소 하는 ERD가 나타나게 되면 해당 뇌 영역이 활성화 된 것으로 간주한다[8]. MI에서의 ERD/ERS 관찰은 뇌의 운동피질영역이 위치한 중앙부에서 이루어 지며 중추신경의 교차로 인해 왼쪽 운동에 대한 반응은 오른쪽 뇌 영역에서, 오른쪽 운동에 대한 반응은 왼쪽 뇌 영역에서 활성화되며 ERD가 나타나고 반대편 Table 1. Characteristics of EEG frequency band.
Band Frequency(Hz) 특 성
δ
(Delta) ~4
●성인의 느린 수면 파, 숙면파
●
아기의 뇌파 θ
(Theta) 4~8
●어린 아이의 뇌파
●
성인의 각성 상태 뇌파 α
(Alpha) 8~13
●이완 상태, 편안한 상태
●
눈을 감았을 때 반응 뇌파 β
(Beta) 13~30
●
각성 상태 뇌파
●
활동적, 불안 상태
●
집중 관련 뇌파 γ
(Gamma) 30~70
●
크로스 모달 감각 인식 시 뇌파
●
객체 인식, 소리, 촉각 등의 단기
●
기억 중 발현
Fig. 1. Brain activation reaction result of the actual motion, MI and Feedback[6].
Fig. 2. ERD/ERS in brain map according to the MI type.
에서는 비 활성화에 따른 ERS가 관측된다.
ERD/ERS의 분석을 위해서는 Fig. 2와 같이 FFT를 통해 주 로 시간-주파수 파워 맵이나 브레인 맵을 통해서 시간에 따른 각 주파수의 변화나 특정 주파수 대역에서 뇌 영역별 변화를 관 찰하게 된다. 해당 파워 맵에서는 색깔을 통해 ERD/ERS에 의 한 변화를 표시하며 쉽게 어느 영역이나 주파수 대역에서 변화 가 일어 났는지 확인 할 수 있다.
3. 시스템 구성
3.1 전체 시스템 구성
본 연구에서의 전체 시스템 구성은 Fig. 3과 같이 구성되어 있으며, 크게 사용자의 뇌파를 측정하기 위한 EEG 센서 모듈 을 포함한 하드웨어 부분과 측정한 뇌파를 분석하고 정보를 도출하는 소프트웨어 부분으로 구성된다. 최초 사용자의 두피 에서 EEG 센서 모듈을 통해 뇌파를 측정한 후 블루투스를 통 해 PC 기반의 어플리케이션으로 데이터를 전송한다. 해당 어 플리케이션에서는 SVM (support vector machine)을 통해 데 이터를 분석하여 실행한 MI를 도출하여 최종 타깃의 컨트롤 을 실행한다.
3.2 하드웨어 구성
사용자의 EEG 측정을 위해 사용된 EEG 센서는 본 연구에서 자체적으로 제작하였으며 아날로그 회로와 디지털 회로의 두 부 분으로 구성되어 있다. 제작된 PCB(Printed Circuit Board)는 Fig.
4와 같이 크기를 줄이기 위해 두 회로를 양면으로 위치시켜 제 작 되었으며 총 가로 52 mm, 세로 50 mm의 작은 크기를 가진 다. 아날로그 회로는 최초 두피로부터 생체신호를 획득하고 초 기 신호에 포함된 잡음 제거와 신호 증폭을 위한 전처리과정단 (preprocessing unit)이 위치하며, 디지털 회로에는 아날로그 회 로에서 측정된 신호를 디지털 데이터로 변환하고 PC 어플리케 이션과의 호환을 위한 데이터 패킷 설정과 샘플링 주파수 설정 등의 기능을 수행한다. 아래 Fig. 5에서 전체 EEG 센서 모듈의 하드웨어 구성과 신호 측정 흐름을 나타내었다.
3.2.1 아날로그 회로
아날로그 회로는 두피로부터 최소의 뇌파 신호 유도와 잡음 제거 및 증폭 역할을 수행하며 이를 위해 차동 계측 증폭기, 하이패스 필터, 로우패스 필터, 노치필터, 증폭단으로 구성되 Fig. 3. Overall system configuration and role.
Fig. 4. The EEG sensor module designed by our lab.
(a) PCB front side, analog circuit, (b) PCB back side, digital circuit.
Fig. 5. Flow chart of EEG sensor module.
Fig. 6. Configuration of the analog circuit.
어있다. 최초 차동 계측 증폭기에서는 두 전극으로부터 유입 되는 두 신호의 동상신호를 제거하게 되며 초기 신호 증폭을 수행한다. 너무 높은 증폭률은 본 신호의 손실을 가져올 수 있 기 때문에 10배의 비교적 낮은 증폭률을 가진다. 이후 하이패 스, 로우패스 필터를 통해 필요한 EEG 신호의 주파수 대역을 추출하게 된다. 이후 최종 증폭단에서 100배의 신호증폭을 거 친 후 생체신호 측정에 있어서 주 잡음원인 60 Hz 전원선 잡 음 제거를 위해 노치필터를 설계하여 최종적으로 전원선 잡음 을 제거하여 EEG 신호를 얻게 된다. 해당 아날로그 회로는 센서의 크기와 간편한 제작을 위해 최소한의 필터와 증폭단을 사용하였다.
3.2.2 디지털 회로
디지털 회로는 아날로그 회로에서 측정된 신호를 ADC를 통 해 디지털 신호로 변환하고 PC 어플리케이션과의 호환을 위해 특정 패킷 형태로 변환하는 역할을 수행한다. 추가적인 마이크 로 컨트롤러를 사용하지 않고 PCB자체에 마이크로 컨트롤러 칩 을 결합하여 전체 센서 모듈의 크기를 크게 줄였다. 본 시스템 에서 디지털 회로에 사용된 마이크로 컨트롤러 칩(STM32F103, STMicroelectronics Co., USA)은 ARM Cortex-M3(ARM Cortex- M3, ARM holdings, USA)코어를 사용하였다[9]. 총 64개의 핀 을 통해 I2 채널, universal synchronous receiver and transmitter (USART), input/output(I/O), direct memory access(DMA) 등의 기 능을 사용할 수 있으며 내부 메모리와 클락 기능 등을 지원한 다. 본 시스템에서는 해당 마이크로 컨트롤러에 내장되어 있는 12bit ADC 를 사용하여 측정된 EEG 신호를 디지털 신호로 변 환하고 해당 최대 72MHz의 클락 기능을 사용하여 정확한 EEG 데이터 샘플링 주파수를 설정하였다. 해당 마이크로 컨트롤러의 프로그래밍은 C, C++개발 환경을 지원하는 IAR Embedded Workbench(IAR Embedded Workbench, IAR system, Sweden)[9]
를 사용하여 수행하였다.
총 2채널의 EEG 데이터를 PC 어플리케이션에 전송하기 위 해 상호호환 가능한 데이터 패킷 형태를 지정하였으며 데이터 싱크를 위하여 패킷에 1byte의 헤더와 테일을 추가하였다. 12bit 의 EEG데이터는 데이터 전송을 위해 각 1byte의 상 하위 비트 로 나뉘며 각 채널 당 2byte씩, EEG 데이터는 총 4byte의 크기
를 가진다. 최종 데이터 패킷은 위 Fig. 7과 같은 형태로 설정 되어 PC어플리케이션으로 전송된다.
3.3 소프트웨어 구성
EEG 센서 모듈을 통해 측정되고 전송된 EEG 데이터는 PC 기반의 컨트롤 어플리케이션에서 데이터 분석을 통해 MI의 결 과 및 사용자의 의도를 도출해 낸다. PC기반의 컨트롤 어플리 케이션은 C#과 MatLab(Matrix Laboratory, MathWorks, USA)기 반 라이브러리를 통해서 제작되었으며 사전 트레이닝에서 400 회 이상의 MI 수행을 통해 사용자의 표본 데이터를 획득하여 SVM 분류 모델을 구성하였다. 제작된 프로그램은 크게 좌우 컨 트롤 프로그램과 주행 컨트롤 프로그램으로 나뉘며 피험자의 MI 수행 정확도를 평가한다.
3.3.1 좌우 컨트롤 프로그램
좌우 컨트롤 프로그램의 UI는 위 Fig. 8과 같이 왼쪽에 사용 자의 EEG를 분석하고 그에 따른 결과를 피드백해주는 볼과 막
Fig. 7. Data packet form for compatibility with PC applications.
Fig. 8. Screen of right and left control program.
Fig. 9. Flow chart of right and left control program. (a) MI execution
part, (b) signal processing and real time feedback part.
대 아이콘이 위치하고 오른쪽에는 실시간 FFT 그래프와 조작 을 위한 버튼 아이콘이 위치한다. 사용자가 프로그램을 시작하 게 되면 볼 아이콘은 오른쪽이나 왼쪽으로 떨어지며 수행할 MI(
오른손 or 왼손 움직임)를 제시하게 된다. 이후 사용자의 MI 에 따른 EEG 데이터를 실시간으로 FFT를 통해 변환한 후 이를 특 징점으로 사용한 MatLab 라이브러리 기반의 SVM 분류 모델을 통해서 수행된 MI결과를 분류한다. 해당 분류 결과는 아래쪽에 위치한 막대 아이콘의 좌우 움직임을 통해 사용자에게 피드백 되며 해당 피드백은 0.5s 간격으로 이루어지게 제작 되었다. 아 래 Fig. 9에서 전체적인 좌우 컨트롤 프로그램의 시스템 흐름을 나타내었다.
3.3.2 주행 컨트롤 프로그램
주행 컨트롤 프로그램의 UI는 Fig. 10과 같으며 왼쪽 창에서 막대 아이콘을 통한 간단한 미로와 탱크 아이콘을 나타내며 탱 크 아이콘은 사용자의 뇌파 컨트롤 결과에 따라 움직이며 해당 결과를 피드백 하는 역할을 한다. 또한 원 아이콘을 통해 최종 목적지를 표시하였다. 우측에는 좌우 컨트롤 프로그램과 같이
실시간 FFT 분석 그래프와 EEG 센서 모듈과의 연결과 다른 동 작 수행을 위한 버튼이 위치한다. 주행 컨트롤 프로그램에서는 탱크 아이콘 컨트롤을 위해 MI외에도 추가적으로 Eye close/
open 상태 판단을 사용하였다. MI 수행을 통해 탱크 아이콘의 좌우 방향 회전을 결정하며 Eye close/open을 통해 전진/정지 및 간단한 스위치 역할을 수행하였다. 해당 프로그램의 시스템 흐 름도는 아래 Fig. 11에 나타내었다.
최초 프로그램 시작 시 아이콘은 전진을 기본 상태로 가진다.
이때 Eye close상태에 의해 특정치 이상의 α가 감지되면 탱크 아이콘은 움직임을 멈추고 EEG 데이터를 분석한다. 분석한 데 이터가 Eye close상태가 맞으면 MI 수행을 실시하게 되며 수행 한 MI의 종류에 따라 오른손 MI는 오른쪽으로, 왼손 MI는 왼 쪽으로 90
o회전하게 된다. 이후 현재 탱크 아이콘의 방향으로 출발할 것인지 한번 더 MI 수행을 할 것인지를 Eye close를 통 해 정하게 된다. 해당 결과는 실시간으로 프로그램 화면 상의 아이콘을 통해 피드백 되며 음향을 통해서도 사용자에게 알람 을 주도록 제작되었다.
4. 실험 및 결과
4.1 Motor Imagery를 이용한 좌우 컨트롤
첫 번째 실험은 제작된 EEG센서 모듈과 좌우 컨트롤 프로그 램을 이용하여 2채널 EEG 센서 기반의 Motor Imagery 정확도 를 측정하였다. 실험은 오른손 잡이를 대상으로 이루어졌으며 총 5명의 피험자를 통해 수행하였다. 실험에 사용된 전극 위치 는 양손 MI에 따른 변화를 관찰할 수 있는 뇌의 중반구에 위치 한 운동 피질영역에 위치하였으며, 뇌파 측정을 위한 국제 전극 위치법인 10-20법(International 10-20 system)에 따라 아래 Fig.
12 와 같이 C3와 C4의 위치의 위아래 2 cm에서 측정하였다.
실험은 총 11초의 MI 수행을 하나의 세션으로 하여 총 40회 의 세션을 수행하였으며 좌우 컨트롤 프로그램에 의해 제시되 Fig. 10. Screen of driving control program.
Fig. 11. Flow chart of driving control program.
Fig. 12. Electrode positions for EEG measurements. (a) Electrode
position in international 10-20 system, (b) Attached elec-
trodes appearance to the user’s.
는 MI의 종류는 오른손과 왼손의 비율이 동일하게 제시하였다.
하나의 세션은 아래 Fig. 13과 같이 구성되어있다. 처음 3초간 은 ERD/ERS 변화를 파악하기 위한 기준점을 위해 휴식 상태 의 EEG 데이터를 측정하며 볼 아이콘과 막대 아이콘 모두 움 직이지 않는다. 이후 3초부터 9초까지는 MI 수행 단계로 볼 아 이콘이 특정 방향으로 내려오며 수행할 MI를 제시하고 사용자 는 MI를 수행하게 된다. 이때 프로그램은 실시간으로 사용자의 EEG 를 분석하여 0.5s마다 MI 결과에 따라 막대 아이콘을 좌우 로 움직인다. 이후 2초간의 휴식 시간을 가진 후 하나의 세션을 종료한다. 하나의 세션 수행에서 볼 아이콘과 막대 아이콘의 움 직임 방향이 같아 최종적으로 아래에서 정확히 만나게 되었을 때 해당 세션을 성공으로 판단하였다.
실험 결과는 Table 2와 같이 나타났으며 ST(Successful Trial) 과 TT(Total Trail)을 통해 성공률을 측정하였다. 총 40회의 세션 중 평균 28회의 세션이 성공적으로 수행되었으며 약 70.5
% 의 MI 성공률을 보여주었다. 가장 높은 수치는 72.5 %로 가 장 낮은 수치인 67.5 %와 크게 차이가 나지 않았으며 전체적 으로 안정적인 시스템 상태를 보여준다. 또한 표 3에서 본 2 채널 EEG 센서 기반의 MI 수행 성공률과 16개에서 많게는 64개 이상의 다채널 EEG센서 기반의 타 연구 결과[10]-[13]
와 비교하였을 때 작은 채널 수의 단점에도 불구하고 큰 차이 를 보이지 않았으며 심지어 몇몇 연구 결과와 비교하였을 때 높은 성공률을 보여주었다. 해당 결과는 쌍극법을 사용해 신 호 획득의 안정성을 높이고 잡음에 대한 높은 안정성에 기반 한 것으로 보인다.
4.2 실시간 주행 컨트롤