A Study of Biosignal Analysis System for Sensibility Evaluation

(1)

한국컴퓨터정보학회 하계학술대회 논문집 제18권 제2호 (2010. 7)

35

감성을 평가하기 위한 생체신호 분석 시스템에 관한 연구

이지형^○, 김경호^*

○*단국대학교 공학대학 전자전기공학과 e-mail:{Sooho1004, dkuhealth}@dankook.ac.kr

A Study of Biosignal Analysis System for Sensibility Evaluation

Ji-Hyeoung Lee^○, Kyung-Ho Kim^*

○*Dept. of Electronic Engineering, Dankook University

● 요 약 ●

본 논문에서는 일상생활 속에서 무자각적으로 생체신호를 측정하고 분석하여 감성을 평가할 수 있는 임베디드 시스템에 관하여 연구하 였다. 지속적으로 변화하는 감성을 일관적이며 신뢰성이 높은 생리적인 방법으로 평가하기 위해 심전도(ECG:Electrocardiogram), 맥파(PPG:Photoplethysmogram)의 두 가지 생체신호를 측정하고, 무선전송(Bluetooth) 장치를 이용하여 측정한 생체신호를 실시간으 로 노트북PC로 전송하여 분석하였다. 생체신호의 분석방법은 FFT(Fast Fourier Transform)과 전력스펙트럼밀도(Power Spectrum Density)를 이용한 주파수 분석방법으로 두 생체신호의 특정 주파수 대역이 가지는 자율신경계의 활성도의 비율을 분석하여 비교 연구하였다. 또한 보다 빠르고 정확한 감성을 평가하기 위하여 분석알고리즘의 연산을 최소화 하였으며 그래프를 이용한 분석결과의 시각화를 하였다. 본 논문에서는 무자각적인 생체신호 측정 시스템을 이용하여 다양한 상황에서 생체신호를 측정하고, 개발한 분석 알고리즘으로 분석한 결과의 차이를 연구하여 정확도 및 신뢰도를 기준으로 감성을 평가하기 위한 분석 시스템을 평가하였다.

키워드: Ubiquitous, 감성(human emotion), PPG(Photoplethysmogram), ECG(Electrocardiogram), FFT(Fast Fourier Transform), 전력스펙트럼밀도(Power Spectrum Density)

I. 서론

IT 기술의 발전으로 전통적인 보건의료가 시간이나 공간의 제 약 없이 언제 어디서나 예방, 진단, 치료 및 사후관리의 보건의료 서비스를 제공하는 u-health라는 새로운 패러다임 변화하게 되었 고, 생체정보 및 의료정보의 측정, 전송, 분석 및 피드백 기술도 IT기술과 융합하며 변화하기 시작하였다. 이러한 변화는 일반인, 환자 및 노인 등 모두에게 일상생활 속에서 건강관리의 편리성을 증가 시켰으며, 육체적 건강관리를 넘어 정신적 건강관리의 중요 성도 함께 커지며 정서 및 감성에 대한 연구가 필요하게 되었다.

이는 IT 연구의 전체적인 방향이 PC중심에서, 네트워크 중심을 거쳐, 고객중심으로 가고 있는 흐름과도 관계가 있다. 고객중심으 로 서비스를 제공하기 위해서는 그 고객의 행동은 물론 감정, 기호 등을 종합적으로 파악하여 맞춤형 서비스를 제공하는 것이 중요하 기 때문이다. 이에 발맞추어 국외의 경우 미국, 영국, 일본 등에서 감정인식분야가 중요한 연구주제로 대두되고 있으며 일관적이며 신뢰성이 높은 생리적 방법으로 맥박, 체온, 심전도, 피부저항 등 의 생체신호를 정량적으로 측정하여 인간의 감정 상태를 결정하는 연구들이 진행되고 있다[7].

본 연구에서는 센서를 이용하여 정량적으로 측정한 생리신호를 무선전송하고, 감성을 분석하는 방법으로 일상생활 속에서 휴대할

수 있는 핸드폰과 같은 임베디드기기에 적합한 분석 시스템을 개 발하여 두 가지의 생리신호에 대한 분석결과를 연구하였다. 그리 고 개발한 시스템을 이용하여 이전 연구들에서 검증된 분석결과와 비교하여 감성 평가에 필요한 측정된 생체신호 분석 결과의 정확 도와 신뢰도를 확인하고자 하였다.

II. 관련 연구

생체신호를 통하여 감정 상태를 분석하기 위한 생리적 방법은 국내에서도 많은 연구들이 진행이 되어왔으며 주로 심전도 (ECG:Electrocardiogram)를 이용한 감정 상태를 분석하는 연구 들이 진행되었다.

심전도 신호는 심장의 수축활동의 표시이며, 심박동 변동성 (HRV:Heart Rate Variability)을 결정하는 심장 박동수(HR:Heart Rate)가 낮은 상태에서는 긴장의 완화상태를 나타내며, 높은 상태 에서는 스트레스나 좌절감 및 욕구불만의 상태를 나타내기 때문에 분석 지표로 많이 사용되고 있다. 이는 심박동변동성이 자율신경계 의 상태를 측정하기 위한 비침습성의 도구이며, 특수한 생리학적 요소와 주파수 스펙트럼간의 일치를 보이는 연구 결과이다[4,7].

이러한 연구들은 다양한 결과를 보고하였고, 지금도 새로운 시

(2)

36

도들에 의한 결과들이 보고되고 있지만 개인의 차가 크고 피검자 의 정신 상태 및 환경에 대한 영향이 심한 한계를 가지고 있다.

그러나 심장박동수 변화에 따른 인체의 생리적 변화는 비교적 공 통적인 특징을 가지고 있어 최근 심전도를 이용한 다양한 시스템 들이 개발되어 제품화 되고 있으며, 보다 전문적으로 심박동변동 성과 자율신경계의 관계에 대해 분석하여 감성상태를 측정하기 위 한 연구들이 지속적으로 진행되고 있다.

그림 1. 생체신호 분석 시스템 Fig. 1. Biosignal Analysis System

III. 본론

1. 생체신호 측정 시스템의 구성

감성의 변화는 신경계의 반응으로 나타나기에 자율신경계를 통 해 생리적 반응을 측정하기 위하여 심전도와 맥파(PPG : Photoplethysmogram)를 측정하고, 측정 시 불편함을 줄이기 위 하여 회로를 소형화 설계하였으며, 맥파는 이전 논문을 통하여 검 증한 펜(Pen)형태의 측정기기를 사용하였다. 또한 두 생체신호 측 정기기 모두 Bluetooth를 이용하여 측정 정보를 실시간으로 임베 디드기기에 무선 전송하는 시스템을 구성하였다.

그림 2. 생체신호 측정기 구성도

Fig. 2. Biosignal Measuring Instrument Block diagram

그림 3. 생체신호 측정 디바이스 Fig. 3. Biosignal Measuring Device

1.1 심전도(ECG : Electrocardiogram) 측정 시스템

심전도는 심방과 심실의 탈분극과 재분극에 의해 발생된 전기 적 활동으로 전류의 크기와 방향을 그래프로 나타낸 기록이며, 심 박동변동성은 자율신경계의 활성도를 나타내는 지표로 생리적 반 응을 측정한다.

그림 4. 심전도(ECG) 측정 회로 Fig. 4. Electrocardiogram Measure Circuit

본 연구에서는 심전도 측정 장비의 소형화를 위하여 초단을 CMRR이 우수한 Instruments Amp 소자로 사용하였고, 0.03~150㎐의 심전도가 가지는 주파수 특성 및 전극과 피부사이 에서 발생하는 심전도 신호를 방해하는 반세포 전위를 차단하기 위하여 교류결합회로와 Active type의 Low Pass Filter를 설계 하였다. 또한 동상신호를 최대한 억제하고 차동신호를 추출하기 위한 오른다리 접지회로를 설계하였다. 그리고 저전력으로도 증폭 및 잡음제거를 위하여 R to R 및 Zero-Drift와 우수한 CMRR 특 성을 가진 OP-Amp소자를 사용하였다[8].

1.2 맥파(PPG : Photoplethysmogram) 측정 시스템

맥파는 심장의 수축․확장과 동시에 발생하는 말초전동맥계의 박 동현상을 그래프로 나타낸 것으로서, 심전도와 같이 자율신경계를 통해 생리적 반응을 측정한다[4].

본 연구에서는 맥파 측정 장비의 소형화를 위하여 크기가 작은 반사형 940nm파장의 Photo Interrupt (Size:2㎜×2㎜) Sensor를 사용하였고, 0.5~5㎐의 맥파가 가지는 주파수 특성을 활용하여 Active type의 Low 및 High Pass Filter를 설계하였다. 또한 저 전력으로도 증폭 및 잡음제거의 효율성을 높이기 위하여 R to R 및 Low Drift Current 특성을 가진 CMOS계열의 OP-Amp소자 를 사용하였다.

그림 5. 맥파(PPG) 측정 회로

Fig. 5. Photoplethysmogram Measure Circuit

(3)

37 2. 생체신호 분석 시스템

측정한 심전도 및 맥파를 기반으로 감성의 상태를 평가하기 위 하여 주파수분석 방법을 이용한 분석 알고리즘을 설계하였다. 이 는 심전도 및 맥파에서 측정되는 심박동변동성의 주파수에서 자율 신경계의 교감, 부교감신경의 활성도를 나타나기 때문이다.

표 1. 심박동변동성의 주파수 영역 분석 Table 1. Frequency domain analysis of HRV

Variable Unit Description Frequency

Range Total

Power ㎳2 Variance of NN intervals

approximately

< 0.4㎐

VLF ㎳2 Power in the very low

frequency range 0.003~0.04㎐

LF ㎳2 Power in the low

HF ㎳2 Power in the high

그림 6. 생체신호 분석과정 구성도 Fig. 6. Bio-signal Analysis Process Block diagram

실시간 무선으로 전송받은 두 가지 신호에서 심박동변동성에 대한 정보를 추출하기 위하여 Peak를 검출하고 시계열 정보로 변 환을 하였다. 그리고 전처리 후 256 Point의 F.F.T.과 전력스펙트 럼 밀도를 이용하여 주파수를 분석하는 시스템을 설계하였다[3].

2.1 Peak 검출 방법

두 가지 생리신호의 Peak를 정확하게 검출하기 위하여 각 신호 의 최대값과 최소값을 검출하여 평균 높이를 구하고, 최대값의 2/3 지점을 문턱값으로 설정하였다. 그리고 문턱값 이상에서의 기울기 가 +에서 –로 바뀌는 지점의 값을 Peak로 검출하였다. 또한 이전 에 Peak로 저장된 값과의 시간간격이 450㎳이하일 경우 오류로 구별하여 저장하지 않았다. Peak가 발생한 시간은 식(1)과 같이 수신 Data의 수와 샘플링 속도로 계산하여 검출하였다.

_{ }    ...식(1)

그림 7. Peak 검출에 사용되는 파라미터 Fig. 7. Parameters for peak detection

2.2 HRV 추출 및 전처리

알고리즘을 통하여 검출한 Peak를 식(2)를 이용하여 발생 시간 간격의 차와 지속적인 축적시간으로 구성된 시계열 정보로 변환을 하고, F.F.T. 분석을 위하여 식(3)과 같은 선형보간법을 사용하여 등간격의 정보로 변환하였다.

_{ }_{ }     ...식(2)

_ _{  }  _ _{  }

 _  _{  } 

×∆  _{  }

 ※ _ _ ∆     식(3)

2.3 F.F.T.(Fast Fourier Transform)의 최적화

256개의 등간격의 HRV정보를 식(4)의 F.F.T.법을 사용하여 주파수 분석하였다. 수학적인 F.F.T.식을 알고리즘화하기 위하여 식(5)와 같은 삼각함수로 정리를 하고, Bit Reverse 및 Butterfly Loop로 연산과정을 Programming 하였다. 또한 일부의 불필요한 허수부 연산을 제외하는 알고리즘으로 총 연산량이 최소가 되도록 설계하였다.

 _{  }^{  }



^{}^{  }     ...식(4)

→  _{  }^{  }



cos   sin...식(5)

2.4 전력스펙트럼밀도(Power Spectrum Density)

F.F.T.를 통하여 분석된 심박동변동성의 주파수 정보를 식(6) 의 Power Spectrum Density를 이용하여 주파수 대역별로 에너지 의 크기를 확인하였다.



  ^     ...식(6)

3. 감성평가를 위한 생체신호 분석 시스템 실험 3.1 생체신호 측정 및 분석 실험

설계한 생체신호 측정기를 사용하여 일상생활에서 발생하는 다 양한 상황에서 심전도 및 맥파의 변화를 측정하고, 노트북PC에서 실시간으로 생체신호를 전송받아 분석시스템을 통한 변화를 확인 하였다.

생체신호는 5분 정도 측정하였으며 초기 1분은 안정화단계로 분석에 사용되지 않고, 이후의 신호에서 진폭의 평균값을 연산하 여 256개의 Peak를 검출(3분~4분)하고 주파수 분석을 하였다.

3.2 결과 및 고찰

본 연구의 실험결과 다양한 상황에서 유의한 심전도와 맥파를 측정 할 수가 있었으며 큰 동작에서는 움직임에 의해 문턱값보다 높은 지점에서 포화되는 생체신호가 측정이 되었지만 Peak 검출 알고리즘을 통하여 분석정보에서는 제외되어 이미 검증된 생체신

(4)

38

호 분석기기와 유사한 결과를 얻을 수 있었다.

그림 8. 측정한 심전도 및 맥파 Fig. 8. Measure ECG & PPG

그림 9. 심전도 및 맥파 분석 시스템 Fig. 9. ECG & PPG Analysis System

또한 움직임의 정도에 따라 자율신경계의 활성도를 나타내는 LF/HF의 비율이 변화하였다. 편안한 상태로 쉬고 있는 상황에서 는 비율이 작았으며 움직임이 지속되고 클수록 비율이 증가하였 다. 그리고 심전도와 맥파의 분석결과가 거의 일치하였지만 움직 임이 커질수록 차이가 발생하였다. 이는 맥파가 심전도의 Peak보 다 보다 정확하게 검출되었기 때문이다.

표 2. 자율신경계 활성도 변화

Table 2. Changing Autonomic nervous system

Situation E.C.G. Analysis (LF/HF Ratio)

P.P.G. Analysis (LF/HF Ratio)

움직임 제한 1.2933 1.2817

글쓰기 동작 1.8191 1.7994

큰 움직임 1.9648 1.8299

IV. 결론

생체신호 측정기기를 소형화 재설계하여 생체정보를 측정하고 개발한 알고리즘을 이용하여 주파수 분석한 결과의 정확성을 검증 하였다. 또한 심전도와 맥파의 움직임에 따른 분석결과의 비교연 구를 통하여 보다 정확한 분석결과를 획득할 수 있는 방법을 연구 하여 보았다. 향후, 개발한 시스템을 활용하여 보다 정확하게 감성 에 대한 평가가 이루어지며, 상황에 따른 Feedback이 가능하여 정서적 안정을 보조하는 시스템으로 보완이 되어야 할 것이다.

참고문헌

[1] Larsen, R., Diener, E., “Promises and Problems with the Cirmumplex Model of Emotion”, Review of personality and social Psychology, 13: Emotion, 1992

[2] Shusterman V., Barnea O., “Sympathetic nervous system activity in stress and biofeedback relaxation”, IEEE engineering in medecine and biology magazine, pp.52-57, 2005.

[3] Takayuki H., Kiyoko Y., “The relaxation biofeedback system with computer and heart rate variability interaction”, Technical report of IEICE, pp.35-38, 2003 [4] HyunMin Lee,Dongjun Kim, HeuiKyung Yang,

KyeongSeop Kim, JeongWhan Lee, EunJong Cha, KyungAh Kim, “Human Sensibility Evaluation using Photoplethysmogram(PPG)”, IEEE Computer society CISIS, pp.149-153, 2009

[5] 김동욱, “생체신호를 이용한 저부하형 감성평가 알고리즘 개 발,” 2006년 한국산학기술학회 춘계 학술발표 논문집, 252-257 쪽, 2006

[6] 연세대의료공학교육센터,“전자의료기기설계제작”,신광출판사, 2008

[7] 신동일, “포커스-감정인식 기술동향”,

http://bric.postech.ac.kr/rend/biostat/2007/20070207_1.pdf