R&D연구결과보고서

IT/SW융합산업원천기술개발사업

사용자 의도 인지형 멀티모달 brain-machine 인터페이스 시스템 개발

Development of Multimodal Brain-Machine Inferrace System Based on User Intent Recognition

2016. 01. 29.

주관기관 : 한양대학교

정보통신기술진흥센터

연차보고서

사업명 IT/SW융합산업원천기술개발사업 과제번호 10045452

과제명

국문 사용자 의도 인지형 멀티모달 인터페이스 시스템 개발

( ) brain-machine

영문

주관기관 한양대학교 총괄책임자 김인영

참여기관

책임자 서울대학교 김희찬( ), KIST(김래현), ㈜락싸 김민철( ), ㈜파낙토스 박병운( ) 총수행기간 2013. 05. 01. ~ 2018. 02. 28. ( 5 )년

협약기간 2015. 03. 01. ~ 2016. 02. 29. ( 12 개월) 해당년도

수행기간 2015. 03. 01. ~ 2016. 02. 29. ( 12 개월) 협약기간

총사업비 천원

정 부

출연금 4,450,000 민 간 부담금

현금 148,470

계 5,944,270 현물 1,345,800

해당연도 사업비 천원

정 부

출연금 850,000 민 간 부담금

현금 28,334

계 1,136,534 현물 258,200

키워드 개

뇌 신경 인터페이스 멀티모달 생체신호 의도인지 및 감정분석 생활기기제어- , , , , 뉴로엔터테인먼트

정보통신 방송 연구개발 관리규정 제 조에 의거하여 연차보고서를 제출합니다 년 월 일

총괄책임자 김 인 영 인 주관기관장 안 진 호 인

미래창조과학부 장관 귀하

I. 해당 연도 추진 현황 I-1 기술개발 추진 일정

계획

( : 실적 : )

일련

번호 개발 내용 추진 일정 개월 달성도

개발된 장갑형 모듈의 버전 제작

통합 모듈 안정화 움직임 및 감정 관련 신호 실시간 모니터링을 위한 뷰어

프로그램 제작

밴드 타입 측정 시스템 프로토 타입 개발 뇌파측정 모듈 통합 뇌파측정 모듈 아날로그 필터부 및 무선전송부 통합

뇌파측정 모듈 성능평가

채널뇌파 측장장치보드 개발 채널뇌파 인터페이스

장치 보드 개발

채널뇌파 연동 및

개발

헤어밴드 외장 개발 채널뇌파 채널 맥팍 검출 회로 개발

무선통신 및 데이터 규격 개발

스마트반지 반지외장 개발 스마트반지 저전력

회로보드개발 스마트반지 데이터규격 및

개발 개발된 뇌파 지표와 기타 생체정보 사이의 상관성 분석

작업 수행

개발된 지표들 사이의 최적 조합 탐색

최적 융합을 통한 단일 지표

개발

※ 개발내용의 경우 사업계획서 내용에 근거하여 작성할 것 단일 지표를 사용하여 정확도

향상을 위한 알고리즘 개선 차 시작품 대상 유효성 검증

실험 수행

및 분석 알고리즘 내장

손가락 손 손목의 움직임 인식 알고리즘 개발

움직임 인식 알고리즘 개발

안면부 생체신호기반 단일 시도에 대한 의도 및 감성상태

파악 기법

디바이스에서 실시간 알고리즘 구동을 위한 논리적

처리 기법 연구 실시간 사용자 의도 파악을 위한 뇌파 처리 알고리즘 연구

안면부에서 얻을 수 있는 생리학적 응답과 행동학적

응답의 상관관계 해석 뇌파 신호와 생체신호와의

상관성 설정 작업 방향성과 반응성의 정확도를

높이기 위한 로직 개발 뇌파와 생체 신호 융합

데이터베이스 구축 뇌파와 생체 신호 융합 기반

감정 지표 개발 뇌파와 생체 신호 융합 기반

감정 표현 게임 소프트웨어 개발

융합신호를 이용한 재활 소프트웨어 개발 융합신호를 이용한 컴퓨터

인터페이스 개발

I-2 해당 연도 추진 실적

① 개발된 장갑형 모듈의 E/S(Engineer Sample)버젼 제작

◼

가.

- 포켓 디자인 설계로 인하여 IMU, PPG, GSR 센서 탈부착 가능 및 센서 불량의 경우 센서 교체 용이성 증가

- 디자인변경에 따른 센서 배치 및 착용 편의성을 고려한 모듈 단위의 센서 회로 제작 + IMU 보드 : 10mm * 10mm

+ 메인보드 : 30mm * 40mm

그림 1 제작 완료된 장갑 모듈 .

그림 2. 제작 완료된 보드 IMU

◼

가.

나.

다.

라.

그림 3 사용 편의성을 고려한 .

Litz wire

^{그림 4 미세 . GSR 측정을 위한}

금도금 전극

그림 5 . E/S 버젼 장갑 디자인 설계도 좌 제작 완료된 장갑 외관도 우 ( ), ( )

◼

가.

그림 6 장갑을 이용한 게임 컨트롤 아리랑 . ( TV, Bizline 방영 )

나.

그림 7 장갑형 모듈을 이용한 . 3D 아바타 제어

아리랑 방영

( TV, Bizline )

다.

라.

그림 9 천지인을 이용한 수화 인식 .

② 통합 모듈 안정화

◼

가.

- 소형화된 MEMS 관성센서는 기본적으로 오프셋 및 이득 오차를 가지고 있기 때문에, 이들의 오차를 최소하 하기 위한 캘리브레이션이 필요함.

- 이를 해결하기 위하여 본래의 , IMU센서에서 출력되는 데이터 값(Un-calibrated data;  에서 캘리브레이션을 통한 이득 보상 값) (Gain;  을 곱해주고 오프셋 오차값) , 을 빼줌으로써 오차를 최소화 하는 수식(Calibrated data;  을 도출 함) .

   _  _  _  ^ (1)

 



  ^

 

 _  

   

   

(2)

   _  _  _  ^ (3)       ⁽⁴⁾

나.

- IMU 센서를 자동 캘리브레이션 하기 위하여 Pan 과 Roll을 360도 회전시키는 서보 모 터와, Tilt를 180도 회전시키는 서보 모터 총 개의 서보 모터를 이용하여 , 3 Zig를 제작 함.

- IMU 자동 캘리브레이션 장비의 구동 프로토콜 + 각 정적 위치마다의 중력 가속도 m 값 추출

+ 각 축마다의 측정한 원래 신호(

_

∈





 

∥



∥

^

+ 자이로스코프의 오차를 최소화하기 위하여 동적 회전마다의 + 움직임에서의 각 샘플의 축에서 각속도 값(

_

+ 측정 회적각을 계산하여 이미 알고 있는(Zig 움직임 움직임의 ) + 회전값과 비교하여 최적의 이득 보상 값과 오프셋 값 추출,

min



_



  





_

_

_

^

그림 10 제작한 자동 캘리브레이션 장비 .

그림 11 자동 캘리브레이션 장비 구동 프로토콜 .

그림 12 . IMU 캘리브레이션용 프로그램

다.

Trial

#

Reference Distance m

Un-calibrated Distance m

Un-calibrate d Error %

Calibrated Distance

m

Calibrated Error %

Improvement

%

1 10.00 9.76 2.4 9.85 1.5 37.5

2 10.00 9.56 4.4 9.62 3.8 13.6

3 10.00 9.67 3.3 9.76 2.4 27.3

4 10.00 9.64 3.6 9.81 1.9 47.2

Mean(SD) 31.4(14.38)

표 3 캘 리브레이션 전 후 수행별 결과 축 · (x )

- 캘리브레이션 전 후 수행별 결과 축· (y )

Trial

#

Reference Distance m

Un-calibrated Distance m

Calibrated

Distance m Improvement %

1 0.00 1.16 0.15 87.07

2 0.00 1.07 0.12 88.78

3 0.00 1.11 0.36 67.57

4 0.00 1.49 0.43 71.14

Mean(SD) 78.64(10.84)

표 4 캘 리브레이션 전 후 수행별 결과 축 · (y )

- 캘리브레이션 전 후 수행별 결과 축· (z )

Trial

#

Reference Distance m

Un-calibrated Distance m

Calibrated

Distance m Improvement %

1 0.00 0.56 -0.09 83.93

2 0.00 0.38 -0.16 57.89

3 0.00 0.93 0.02 97.85

4 0.00 1.43 0.87 39.16

Mean(SD) 69.71(26.25)

표 5 캘 리브레이션 전 후 수행별 결과 축 · (z )

라.

­ Vicon장비와 개발 완료된 IMU의 데이터를 비교하여 시스템 최종 검증 완료.

그림 13 . Vicon 과의 정확성 비교 검증 결과

Trial # VICON Distance(m) IMU Distance(m) Error(m)

X Y Z X Y Z X Y Z

1 3.93 0.14 -0.04 3.77 -0.11 -0.05 0.16 0.25 0.01

2 3.76 0.08 -0.04 3.73 0.16 0.16 0.03 0.08 0.2

3 3.82 0.09 -0.04 3.76 0.02 -0.05 0.06 0.07 0.01

RMSE 0.10 0.16 0.12

표 6 . Vicon 과의 축 성능 비교 검증 3

③ 움직임 및 감정 관련 신호 실시간 모니터링을 위한 뷰어 프로그램 제작

◼

가.

나.

다.

라.

마.

그림 14 . Unity3D 로 제작한 장갑 신호 뷰어 프로그램 외관도

④ 밴드 타입 EMG 측정 시스템 프로토타입 개발

◼

가.

- 24Bit High Resolution ADC (Analog to Digital Conveter)를 사용하여 미세한 (Min 신호 변화 감지 가능

Voltage :0.1uV） .

- 휴대성을 고려한 저전력 구동을 위해 채널당 1mW의 저전력 효율을 제공하는 사용

AFE(Analog-Front End) (TI社 ADS1298)

- 편리성을 고려해 디자인된 기구부에 맞춰 생체 신호 측정 기능별 회로 분리 및 소형화

그림 15 . EMG 측정 모듈 회로 배치도

그림 16 회로 소형화 . 및 기구부 실제 사진

나.

- 미세 움직임 잡음 등의 노이즈 최소화와 착용 편리성을 강조한 기구부 디자인 설계 - 3D 프린터를 이용한 프로토 타입 디자인 설계

- 설계된 기구부의 디자인을 바탕으로 밴드 타입 시스템의 목업 제작 - 제작된 목업에 의해 얻어진 피드백을 바탕으로 전체 시스템 최적화

+ 손목 움직임에 대한 실시간 신호 모니터링 프로그램을 통한 피드백을 바탕으로 시스템 디자 인 최적화

그림 17 밴드 타입 . 기구부 디자인

그림 18 . 3D 프린터를 이용한 프로토 타입 기구부 실제 사진

◼

가.

그림 19 밴드타입 . EMG 시스템을 이용한 PPT 슬라이드 제어

⑤ 뇌파측정 모듈과 헤드기어 개발 및 통합

◼

가.

그림 20 통합형 뇌파측정 모듈 개념도

⑥ 아날로그 필터부 및 무선전송부 통합

가.

- 휴대형 뇌파 측정 시스템으로써 고품질 신호 확보 가능 - 뇌파 검증을 통해 개발된 시스템의 성능 확인,

그림 21 휴대형 뇌파 측정 시스템으로 측정한 알파파

나.

- Input noise 및 뇌파 signal-to-noise ratio 확인

그림 22 디지털 notch filter 를 적용하여 제거한 전원 잡음

60Hz

- Input short를 통한 입력 noise 측정결과 input noise 20% 감소 확인 - 60초간 eye-open and closed – 실험을 통한 알파파 측정

- 디지털 필터 적용 여부에 따른 변화 관찰결과 필터 적용시 , SNR 8 dB 증가

- 고성능의 instrumentation OP-Amp를 내장한 회로가 뇌파를 가장 명확하게 측정하 지만 단순한 R/C 필터를 이용해서도 뇌파가 검출되는 것을 확인함 기준 알파파 검출 ( : 정도)

- 제작 원가 절감 및 hardware 크기 축소 등의 효과 기대

그림 23 디지털 필터 적용 후 향상된 SNR 확인

다.

- Signaling filtering 과 데이터 통신의 효율적인 프로세싱을 위한 인터럽트 기반의 통 신 프로토콜 개발

그림 24 인터럽트 기반의 통신 프로토콜

⑦ 뇌파측정 모듈 성능평가

◼

가.

측정치 목표치 단위 달성률

전극임피던스 24 160 이하 kΩ 100%

임피던스 발란스 17 20 이하 % 100%

착용편의성 2.8 3 이하 VAS 100%

건식 습식 전극 /

스펙트럼 상관도 90 85 % 100%

표 4. 성능평가 결과

나.

- 뒤통수에서 moistened-sponge를 매개체로 사용하는 나노다공성백금 (L2ePt) 전극의 피부 전극 접촉 임피던스 측정을 실시함- .

- L2ePt 전극은 30Hz에서 24.16±23.37 kOhm 의 접촉 임피던스를 확인 하였고 임피, 던스 발란스는 17.23±12.37% 인 것을 확인함 피험자 간 차이로 인해 편차가 발생함. .

다.

- 착용 실용성을 확인하기 위해 착용자가 스스로 헤드기어를 머리에 장착하는데 걸리는

시간을 측정 함.

- 착용 편의성을 확인하기 위해 Visual analog scale (VAS)을 이용하여 제작된 헤드기 어 시작품을 분간 착용한 피험자의 경험을 반영함5 .

- 제작된 헤드기어는 평균 착용시간이 5.9±1.45초를 기록했고 VAS score 2.8±0.48을 기록함 이는 상용제품인 . Emotiv 社 의 EPOC 제품 평균 착용시간 ( 12.4±2.12 ; 초 과 비교 할 수 있음 참고할 만한 사항으로는 이마를 덮는 형식

VAS score 2.4±0.52) . ,

의 헤드기어가 장기간 착용시 답답함을 줄 수 있다는 의견이 있어서 차년도에 개선해, 야 할 점으로 파악 함.

라.

- 알파파 (8~13Hz) 신호를 관찰하여 건식과 습식전극의 상관도를 분석함.

- 뒤통수 (occipital region) 에 moistened-sponge 와 결합한 L2ePt 전극과 전도성 가 있는 뇌파측정용 디스크 전극을 동시에 부착하여 실험을 진행함 피험자는

paste .

초 간격으로 눈을 떴다 감았다를 분동안 수행하고 이때 눈을 감을 때 발생하는 알

20 2 ,

파파를 비교함.

- L2ePt 전극과 습식 디스크전극의 상관도는 0.91±0.09로 확인 아래 그림 상단 알파( ).

파 성분인 8~13Hz를 주파수 스펙트럼에서 관찰함 아래 그림 하단( ).

그림 25 뒤통수에서 L2ePt 전극 파란색 과 디스크 전극 ( ) 붉은색 으로 측정한 알파파 상단 그림 주파수 대역에서 눈을

( ) ( ).

뜨고 있을 때는 보이지 않는 알파파 성분 중단그림 주파수 ( ).

대역에서 눈을 감았을 때 나타나는 알파파 (8~13Hz) 반응 하단그림

( ).

⑧ 다채널뇌파장치 측정장치 보드 개발

그림 26 . 21 채널 장치 입력 전극선 연결 상태 .

◼

그림 27 개발품에 신호를 입력하기 위한 결선도 모식도 .

가.

uV .

그림 28 파형 발생기 . (Agilent 33120A) 설정 파형 구형파 진폭 . = , =100mVpp, 주파수 =1Hz.

- 파형 측정기(Agilent 33120A), 60dB ATT(Agilent 8491A), 개발품 그림( [77])을 그림 와 같이 결선

[78] .

- 파형 발생기를 이용하여 100uVp, 1Hz, 구형파를 생성함 그림( [3]).

- 파형 측정 프로그램으로 주기 파형 확보1 .

- 주기 파형 확보에 소요된 데이터 개수가 곧 샘플링 주파수와 동일1 .

◼

가.

◼

가.

◼

◼

가.

나.

다.

- 이 시간 동안의 데이터 수 샘플링 주파수= =2005 - 1506 + 1 = 500.

그림 29 . 21 채널 장치의 샘플링 주파수 측정용 파형 확보 . 1 초 동안 얻은 구형파 신호

그림 30 다채널뇌파장치의 입력 기준 . 잡음 크기를 계측하기 위한 결선도

◼

가.

◼

가.

나.

전 채널에서 이하

( 0.4uVrms .)

그림 31 . 21 채널 뇌파개발품의 입력 기준 잡음 크기 측정 결과

⑨ BHM-해어밴드 개발

그림 32 . BHM 장치 형상 .

◼

가.

나.

다.

라.

마.

가.

◼

가.

나.

장치는 로 샘플링 되기 때문에 초 구간이 임 초 구간은

(BHM 250Hz 1 250 . 3 750.)

그림 33 피검자 에 대한 측정 결과 장치 착용 완료 후 가 곧바로 눈을 깜빡여서 얻은 . -1 . ( ), 신호 나 는 초 다 구간 내에서 정상적으로 표현됨을 확인함 ( ) 3 ( ) .

그림 34 피검자 에 대한 측정 결과 장치 착용 완료 후 가 곧바로 눈을 깜빡여서 . -2 . ( ), 얻은 신호 나 는 초 다 구간 내에서 정상적으로 표현됨을 확인함 ( ) 3 ( ) .

⑩ BHM뇌파 입력 기준 잡음 크기

◼

가.

나.

다.

◼

가.

◼

가.

그림 35 . BHM 장치의 입력 기준 잡음 측정 결과 . 4 초 구간 (1,000 points) 에 대한 rms 값을 계측한 결과.

⑪ 스마트 반지 사용 시간

그림 36 개발된 스마트 반지 전원 . . ON 상태 좌 충전 크래들로 ( ).

충전 중인 상태 주 ( )

◼

가.

나.

다.

라.

◼

가.

◼

가.

나.

다.

그림 37 스마트 반지 개발품의 출력 . 데이터 . ppg, 가속도 -x, y, z.

그림 38 스마트 반지 개발품의 연속 . 사용에 따른 전지 잔량 측정 결과.

시간 연속 사용 가능함을 확인함

8 .

⑫ 개발된 뇌파 지표와 기타 생체정보 사이의 상관성 분석 작업 수행

가.

나.

- 자극 선택 긍정 및 부정 감정 상태를 유발할 수 있는 영상 자극 각 개씩 선정: 1 + 긍정영상자극: “Issac’s Live Lip-Dub Proposal” (5 min 13 sec)

+ 부정영상자극: “The Grudge” (4 min 36 sec) - 실험 패러다임

+ 생체신호측정실험 총 : 25 (명 남성 19 , 명 여성 명 그림 참고6 ) ( 1 )

그림 39 생체신호측정실험 패러다임 .

+ 설문조사실험 총 명 남성 명 여성 명 을 대상으로 진행되었으며 긍정 및 부정 영상: 37 ( 25 , 12 ) , 을 시청하는 동안에 개별 피험자 별로 가장 인상 깊은 장면 지점을 선택하도록 지시함2 - 데이터 분석 방법

+ 감정 영상을 시청하는 동안에 획득된 뇌파 및 기타 생체정보 신호들에서 감정 상태를 반영 하는 지표(EEG: 뇌파전역동기화지표, GSR: 평균 skin conductance response, PPG: 평균

들을 각각 추출하였으며 추출된 지표들의 시간에 따른 상관관계를 확인하 heart rate: HR) ,

였음 영상 시청 동안에 유의미하게 변화한 시점 비교( )

다.

- 부정 영상 상관성 분석 결과

+ 부정 영상을 시청하는 동안에 뇌파지표(Global field synchronization: GFS), 피부전도도지 표(Skin conductance response: SCR), 심전도지표(Heart rate)들의 유의미하게 변화한 시점이 유사한 것을 확인하였음 약 ( 240 ). 초 해당 시점은 실제로 영상에서 귀신이 등장하는 시점으로 공포감이 극대화되는 시점이었음.

+ 설문조사실험 결과와 비교하였을 때 다수의 피험자가 공포감을 느꼈다고 응답한 시점과 뇌, 파 피부전도도 심전도 지표들이 유의미하게 변화한 시점이 잘 일치하는 것을 확인할 수 있, , 었음 그림 의 와 ( 2 a a’)

+ 부정 영상 상관성 분석의 결과는 부정 감정 상태의 변화를 실시간으로 추정하기 위해서는 피부전도도 심전도 뇌파 지표를 동시에 사용하는 것이 효율적이라는 것을 보여줌, ,

그림 40 부정 영상 상관성 분석 결과 .

- 긍정 영상 상관성 분석 결과

+ 긍정 영상을 시청하는 동안에 뇌파지표(GFS), 피부전도도지표(SCR), 심전도지표(HR)들의 유의미하게 변화한 시점이 유사하지 않았음.

+ 뇌파지표(GFS)가 유의미하게 변화한 시점은 설문조사 실험에서 다수의 피험자가 행복감을 느꼈다고 응답한 시점과 잘 일치하였으나 그림 의 와 ( 2 b b’), 피부전도도(SCR), 심전도(HR) 지표들이 유의미하게 변화한 시점은 설문조사 실험의 결과와 잘 일치하지 않았음

+ 기존 연구들의 보고에 의하면 말초신경계를 기반으로 하는 생체신호들, (GSR, PPG )등 의 경

우 valence 축에 존재하는 감정(Happy)들을 잘 반영하지 못한다고 알려져 있으며 본 연구, 의 결과와 일치하는 것을 확인할 수 있음

그림 41 긍정 영상 상관성 분석 결과 .

라.

- 부정적인 감정 상태를 추론하는 경우 뇌파 피부전도도 심전도 모두 잘 반영하는 것, , 으로 확인되었으나 긍정적인 감정 상태를 추론하는 경우에는 뇌파를 사용하는 경우에, 만 높은 성능으로 감정 상태의 변화를 추론할 수 있는 것으로 확인되었음

- 본 연구의 결과는 특정 감정 상태를 추론하는 경우 뇌파 및 기타 생체정보 지표들의 상 호 보완적 사용 가능성을 보여주며 이는 감정상태 추적 응용에 사용될 수 있음을 의미, 함

- 감정의 종류에 관계 없이 감정적 각성을 측정할 수 있는 GFS 지표와 생체지표를 동시 에 활용하면 GFS 지표와 생체지표가 동일한 변화 양상을 나타낼 경우에는 부정적 감 정일 가능성이 높으며 GFS 지표와 생체지표 간의 변화 양상에 상관성이 없을 경우에 는 긍정적 감정일 가능성이 높은 것으로 추정 가능함

⑬ 개발된 지표들 사이의 최적 조합 탐색

◼

가.

- 개인의 집중 상태를 효과적으로 추적하기 위해서 집중 상태 동안에 추출된 집중 지표 , 데이터베이스를 사용하여 개인의 최적 집중 지표를 탐색함

나.

- 대상 피험자 수 총 : 40명 남성 ( 20 , 명 여성 20 )명

- 실험 패러다임: “The d2 test of attention” (그림 참고4 )

+ Target(알파벳 에 점 개 존재하는 자극 자극과 d 2 ) Nontarget(Target 이외의 모든 자극 자) 극이 연속적으로 제시되는 동안에 각 , Target/Nontarget 자극이 제시되는 시점을 키보드를 사용하여 측정하였음

그림 42 집중 실험 패러다임의 예시 .

- 분석방법

+ 개인별 집중 뇌파 지표 데이터베이스(DB)를 구축한 후 개인 별로 집중 상태를 가장 잘 반영, 하는 지표가 무엇인 지 확인하였음

+ 개인 별로 가장 우수한 성능을 보이는 개인화 지표(Individual best feature)와 다수 피험자 에게서 공통적으로 우수한 성능을 보이는 지표(Universal best feature)들 사이의 성능을 비교하였음

+ 개인 별 최적 집중 뇌파 지표 탐색 과정

개인 별 집중 뇌파 추출 후 DB 구축

①

(Spectral band power: SBP, Differential and rational asymmetry measure: DASM and RASM, Cross frequency coupling: CFC)

개인 별 DB 의 각 뇌파 지표들과 집중 행동 데이터 (Concentration performance: CONC) 사이

②

의 Correlation 확인

개인 별 가장 높은 Correlation coefficient 를 갖는 지표가 무엇인 지 확인함

③

와 사이의 성능 차이를 관찰함

Universal best feature Individual best feature

④

- 분석결과

+ 행동 데이터(CONC) 결과 그림 ( 5. A. 참고)

의 시간에 따른 변화를 확인한 결과 시간이 지남에 따라 서서히 집중도가 하락하는 것을

CONC ,

①

확인할 수 있었으며 이러한 변화는 개별 피험자가 주어진 Task 를 수행하는 동안에 적절한 집중도의 변화가 나타났음을 의미함

+ 집중 지표 유형 별 성능 차이 그림 ( 5. B. 참고)

지표들 중 유형의 지표들이 집중 상태의 변화를 더 잘 반영하 SBP, DASM, RASM, CFC SBP

①

는 것을 확인할 수 있음

+ 실험을 통해 확인된 universal best feature (그림 5. C와 D. 참고)

본 분석을 통해 선정된 universal best feature 는 F7 에서의 Low beta band power 로 확인되었

①

음 (CONC 와 유의미한 Negative correlation 관찰됨 )

기존 연구들의 보고에 의하면 Left frontal beta power 가 집중 상태와 유의미한 연관성이 있음

②

이 보고되어 왔으며 이는 본 연구의 결과와 잘 일치함 ,

그림 43 집중 뇌파 데이터베이스 분석 결과 .

+ Universal best feature와 Individual best feature의 성능 비교 결과 그림 참고( 6 )

의 성능을 비교한 결과 를 사

Universal and individual best feature , Individual best feature

①

용하여 집중 상태를 추적하는 경우 더 높은 correlation coefficient 를 보이는 것을 확인하였음 본 연구의 결과는 개인 별로 최적 집중 지표를 선택적으로 사용하는 것이 보다 효율적으로 집중

②

상태를 추적할 수 있다는 것을 의미함

⑭ 최적 융합을 통한 단일 지표 개발 가능성 평가

◼

가.

- 다생체 신호로부터 추출된 감정 추정 지표들을 융합하여 단일 지표의 개발 가능성을 평가함

나.

- 감정 뇌파 데이터베이스 중 하나인 DEAP database(Koelstra et al, 2012)를 사용하 여 연구를 수행함

- DEAP database 설명 + 대상 피험자 수 총 : 40명

+ 사용한 자극: 1분 길이의 video clip을 사용함

+ 자극의 유형: High arousal and High valence(HAHV), High arousal and Low valence(HALV), Low arousal and High valence(LAHV), Low arousal and Low

의 가지 감정 유형 설정 각 유형 별 개의 영상 자극 사용

valence(LALV) 4 ( 10 )

+ 측정한 생체신호의 종류: EEG(32 channels), GSR, PPG, EOG, EMG, Temperature,

측정 Respiration

다.

- 다생체 신호로부터 각각의 감정 분류 지표를 추출함

+ EEG: Spectral band power(theta 4-8 Hz, salpha 8-10 Hz, alpha 8-12 Hz, beta 12-30 Hz, gamma 30-47 Hz), Differental and rational asymmetry measure, Hjorth parameters (activity, mobility, complextity)

+ GSR: Average of SCR amplitudes, Average of differential GSR response, Average of raw GSR response

+ PPG: Average of HRV, Standard deviation of HRV, Energy ratio between frequency bands [0.04-0.15] Hz and [0.15 – 0.5] Hz, Spectral power in specific bands ([0.1-0.2] Hz, [0.2-0.3] Hz, [0.3-0.4] Hz, [0.01-0.08] Hz, [0.15-0.5] Hz)

- 다생체 신호로부터 추출된 각 지표들의 조합을 통해 분류 정확도를 비교 관찰함 + (EEG) vs (GSR) vs (PPG) vs (EEG+GSR) vs (EEG+PPG) vs (PPG+GSR) vs

(EEG+GSR+PPG)

- 조합간의 분류 정확도를 비교하여 단일지표개발 가능성 평가 + 개별 지표 사용 성능 vs 통합 지표 사용 성능

라.

- 다생체 신호로부터 추출된 각 지표들의 조합에 따른 분류 정확도 비교 결과

+ 다생체신호 지표들의 조합에 따른 분류 정확도를 비교한 결과, EEG와 GSR에서 추출된 지 표들을 함께 사용하는 경우 가장 높은 분류정확도를 보였음 그림 참고( 7 )

+ EEG와 GSR에서 추출된 감정 지표를 사용하는 경우 전체 32명의 피험자 모두 chance 보다 높은 분류 정확도를 보이는 것을 확인함 그림 참고

level (25%) ( 8 )

+ EEG, GSR, PPG의 개별 성능을 고려하는 경우 EEG에서 추출된 지표들이 분류 성능에 가장 많은 영향을 미치는 것을 확인할 수 있음

+ 본 연구의 결과는 EEG, GSR, PPG 신호들을 사용하여 감정 상태를 추정하는 경우 GSR을 측정할 수 있는 환경에서는 GSR을 함께 사용하는 것이 유리하지만 그렇지 않은 경우 , EEG 만 사용하여도 된다는 것을 보여줌 다생체신호로부터 추출된 지표들을 필수적으로 융합하( 여 사용하지 않아도 됨을 의미함)

그림 44 다생체 신호로부터 추출된 각 지표들의 조합에 따른 분류 정확도 . 비교 결과

그림 45 . EEG+GSR 지표를 사용한 개별 피험자의 분류 정확도

⑮ 단일 지표를 사용하여 정확도 향상을 위한 알고리즘 개선

◼

가.

- DEAP database를 활용한 감정 상태 분류 결과를 토대로 감정 상태 추정 성능을 향상 시키기 위한 알고리즘 개선

나.

- DEAP database를 사용하여 4-class 감정 분류 수행(HAHV, HALV, LAHV, LALV) - 다양한 분류 알고리즘을 사용하여 알고리즘 별 성능을 비교 관찰함,

- 다양한 분류 알고리즘 중 가장 높은 성능을 보이는 알고리즘을 확인함

다.

- Feature extraction: “최적 융합을 통한 단일 지표 개발 가능성 평가 연구에서 추출” 된 지표들을 동일하게 적용함

- Feature selection: Fisher’s score 알고리즘 사용

+ 개인 별로 분류에 사용하는 지표의 수를 다르게 테스트하여 가장 높은 분류 정확도를 보이 는 지표 set을 결정함

+ 본 test에서는 최소 개에서 최대 1 50개의 지표를 개인 별로 다르게 선택하였음 - Classifier test: 아래와 같이 총 개의 7 classifier를 테스트함

+ LDA: Linear classifier + QDA: Quadratic classifier + DT: Decision tree

+ KNCC: k-nearest neighbor classifier + Parzenc: Parzen density based classifier + NMC: Nearest mean classifier

+ SVM: Support vector machine classifier - classifier 별 분류 정확도 비교

라.

- 총 개의 7 classification algorithm을 비교한 결과 SVM classifier를 사용하는 경우 가지 감정 상태를 가장 높은 분류 정확도로 추정할 수 있음을 확인하였음 그림 참

4 ( 9

고)

그림 46 분류 알고리즘 별 성능 비교 결과 .

⑯ 차 시작품 대상 유효성 검증 실험 수행

◼

가.

- 입력 전압 범위(Dynamic range) 확인

+ Function generator를 사용하여 특정 주파수와 진폭을 갖는 정현파 발생,

+ 개발된 뇌파 측정 장비의 차 시제품을 사용하여1 , Function generator에 의해서 발생하는 신호를 측정

+ Function generator에 의해서 발생한 정현파의 진폭을 조절하여 뇌파 측정 장치의 신호가 되도록 조정한 후 최대 및 최소 지점을 확인함

saturation , saturation

+ 검증 결과 표 과 같이 테스트 한 시제품의 측정 가능 입력 전압 범위는 1 , ±143 µV로 확인 되었음 실제 유의미한 뇌파 신호의 범위가 . ±75 µV인 것을 고려하면 해당 뇌파 측정 장비, 로 정상적인 뇌파 신호가 측정가능하다는 것을 확인할 수 있음

표 1. 자체 개발 뇌파 측정 장비의 뇌파 입력 전압 범위 측정 결과 단위 ( : µV) 번 전극

1 2 번 전극 3 번 전극

AEP Device

최소 최대 최소 최대 최소 최대

-143 143 -143 143 -143 143

- 표본 추출 비율(Sampling rate) 확인

+ 제한된 시간 동안에 차 시제품의 데이터를 측정한 후1 , txt 형태로 저장함

+ 획득된 총 데이터의 수를 전체 측정 시간으로 나누어 최종 표본 추출 비율을 계산함 + 표 는 표본 추출 비율 확인 결과를 보여줌 표 와 같이 최종 확인된 표본 추출 비율은 2 . 2

로 확인되었으며 총 회의 반복 측정 동안 모두 로 동일하였음 측정 동

1,000 Hz , 6 1,000 Hz (

안에 데이터 손실이 발생하지 않음)

+ 뇌파 분석 시 사용되는 주파수 범위가 약 1~100 Hz인 것을 고려하였을 때 해당 장비의 표본 추출 비율은 일반적인 뇌파 신호의 유의미한 주파수 범위를 포함한다는 것을 확인할 수 있 으며 측정 시간 동안 데이터 손실 없이 안정적으로 신호를 획득할 수 있음,

표 2. 자체 개발 뇌파 측정 장비의 표본 추출 비율 검증 결과

시도 1 시도 2 시도 3 시도 4 시도 5 시도 6

표본 추출 비율

1,000 Hz 1,000 Hz 1,000 Hz 1,000 Hz 1,000 Hz 1,000 Hz

⑰ HRV 및 GSR 분석 알고리즘 내장

◼

가.

­ Signal quality analysis 알고리즘 프로세스 + Raw data filtering 및 Baseline 제거

+ Peak & Bottom Point detection + Peak Interval 계산

+ R-R Interval 1sec Normalization

+ Normalization Data Peak & Bottom detectoin + Segment Ensemble

+ Euclidean Distance Algorithm 적용 + "Good" or "Bad" Signal Classification

그림 47 . Raw PPG Signal( 파랑 ), 1sec Normlazation PPG Signal( 빨강 )

그림 48 최종 . PPG Signal Quality Analysis 알고리즘 결과 “Good( 빨강 )” “Bad( 검정 )”

­ Low Frequency Oscillation을 분석하기 위한 Wavelet transform Algorithm 적용 + Very Low frequency : ~0.05Hz

+ Low frequency : 0.15 ~ 0.05Hz + High frequency : 0.5Hz ~

­ Time Domain 총 종7 , Frequency domain 1 , 종 총 종류 8 HRV Feature 추출 완료 + Time domain : SDNN, RMSSD, SDSD, NN20, NN50, pNN20, pNN20

+ Frequency domain : Frequency Ratio

그림 49 . 8 가지 감정별 HRV Frequency 분석

(Blue:VLF, Green:LF, Red:HF)

◼

가.

­ 5가지 감정 행복 슬픔 분노 공포 놀람 을 나타내는 영상클립을 자극으로 제시하는 ( , , , , ) 동안 각 센서의 부착 위치별 피부임피던스 및 온도 측정

­ 피부임피던스(GSR) : 손가락 팔 등 허리, , ,

그림 50 실험 프로토콜 및 자극 영상 프로토콜 . 나.

- 놀람 자극시 나타나는 GSR 피크 값의 비교를 통한 센서 부착 위치 별 민감도 평가 - GSR 피크 값은 팔에서 가장 낮게 나타났으며 등과 허리는 비슷한 값을 갖고 손가락,

의 경우 등에 비해 3~4배 정도 높게 나타남.

그림 51 센서 부착 위치에 따른 . GSR 피크 값 비교

다.

- 현재 본과제에서 개발된 시스템의 부재로 인해 위 실험에서 사용하였던 BIOPAC 데이 터를 기반으로 처리 프로세싱을 구현함

- Resampling : 피부임피던스 값의 변화는 주로 수초에서 20초 사이에 발생하므로 높 은 sampling rate를 필요치 않아 분석의 용이성을 위해 100Hz sampling rate로

을 시행함 downsampling

- Low-pass filtering : 피부임피던스는 주로 피크 값 피크 사이 시간간격 피크의 횟, , 수 등을 파라미터로 사용하고 이는 1Hz 미만의 낮은 대역 성분으로 나타내어지므로

을 통해 이상의 노이즈성분을 제거 lowpass filtering 1Hz

그림 52 . GSR raw data( ), Resampled data( 좌 중간 ), Lowpass filtered data( ) 우

라.

- 휴지기시 개인의 데이터 변화량을 기반으로 한 개인별 정규화 알고리즘 센서 및 피: 험자의 차이로 인해 발생하는 데이터의 차이를 보정하기 위해 휴지기 평균과 현재 값 사이의 차이를 휴지기의 평균으로 나눈 값으로 정규화.



  



  





  



  



그림 53. GSR data (a) preprocessed resting data, (b) normalized resting data, (c) preprocessed data, (d) resting based normalized data

⑱ 손가락 손 손목의 움직임 인식 알고리즘 개발, ,

◼

가.

구부러진 정도를 계산

- 개별 손가락의 구부러진 정도를 활용하여 포괄적인 손가락 제스처 인식,

나.

움직임 인식 알고리즘 개발

­ 손목에 위치한 축 가속도 자이로스코프 지자계 센서를 이용하여 다양한 손 움직임 및 3 , , , 제스쳐 인식

그림 54 장갑형 모듈을 이용한 손가락 및 손 움직임 인식 알고리즘 .

그림 55 . Flex 센서 및 IMU 를 이용한 손가락 움직임 인식

◼

가.

Hand Extension) EMG

­ 손목의 움직임에 따라서 채널별로 근육의 활성화도 차이를 나타내는 것을 파악

그림 56 . 4 가지 손목 움직임에 따른 EMG 신호의 패턴확인

나.

Hand Extension)

- Raw Signal으로부터 불필요한 신호 성분을 제거하기 위하여, Noise Filtering을 비롯 한 전처리 알고리즘 개발

+ DC(Direct Current) 성분을 제거하기 위한 HPF 및 전원 잡음을 제거하기 위한 Notch

적용 Filter

- 채널별 근육 활성도를 계산하기 위하여 각 채널의 신호의 , RMS (Root Mean Square) 값을 계산하여 Envelope 추출

+ 각 채널별로 RMS 값이 일정한 Threshold를 넘은 경우 해당 근육이 활성화된 것으로 판단,

­ 활성화된 근육의 패턴을 바탕으로 가지 손목 움직임을 실시간 인식4

그림 57 . RMS 값을 이용하여 채널별 근육 활성화 패턴 분류

그림 58 개발된 알고리즘을 바탕으로 실시간 손목움직임 분석 .

⑲ EMG 움직임 인식 알고리즘 개발

◼

가 단순 근육별 활성도뿐만이 아니라 정교한 신호처리 및 패턴인식 기법을 적용하여. , 신호로부터 손가락 굽힘 여부를 분류 및 인식

EMG

­ Raw Signal으로부터 불필요한 신호 성분을 제거하기 위하여, Noise Filtering을 비롯한 전처 리 알고리즘 개발

+ 정밀한 EMG 신호 분석에 사용되는 주파수대역인 250 Hz이하의 주파수영역만을 분석하기 위하여 복수의 필터링 알고리즘을 적용하여 불필요한 신호 성분 제거

+ 고주파성분을 제거하기 위한 250 Hz 저역통과필터(LPF) 및 DC(Direct Current) 성분을 제거하기 위한 20Hz 고역통과필터(HPF), 그리고 전원 잡음을 제거하기 위한 Notch필터 적 용

- 전처리 알고리즘을 적용 후 손가락 움직임을 인식하기 위하여 , EMG 신호로부터 추출

Feature

+ 주파수 성분 분석을 하기 위하여, Window를 이용하여 Raw Signal을 일정 길이를 가진 로 분할

Segment

+ 분할된 각 Segment별로 Fourier Transform을 이용하여 주파수성분을 분석 + 분석된 주파수 성분으로부터 각 Segment의 Centroid Frequency (MNF)를 추출