CopyrightⒸ2014 KSAE / 129-18 pISSN 1225-6382 / eISSN 2234-0149 DOI http://dx.doi.org/10.7467/KSAE.2014.22.3.136 Transactions of KSAE, Vol. 22, No. 3, pp.136-142 (2014)
운전자 졸음 및 각성 상태 시 ECG신호 처리를 통한 심장박동 신호 특성
김 민 수1)․김 윤 년2)․허 윤 석*3)
경운대학교 항공정보통신공학과1)․계명대학교 동산의료원2)․계명대학교 의과대학 의용공학과3)
Characteristics of Heart Rate Variability Derived from ECG during the Driver’s Wake and Sleep States
Min Soo Kim1)․Yoon Nyun Kim2)․Yun Seok Heo*3)
1)Department of Aviations Information & Communication Engineering, Kyungwoon University, Gyeongbuk 730-739, Korea
2)Dongsan Medical Center, Keimyung University, Daegu 700-712, Korea
3)Biomedical Engineering, School of Medicine, Keimyung University, Daegu 704-701, Korea (Received 31 October 2013 / Revised 4 February 2014 / Accepted 26 February 2014)
Abstract : Distinct features in heart rate signals during the driver’s wake and sleep states could provide an initiative for the development of a safe driving systems such as drowsiness detecting sensor in a smart wheel. We measured ECG from health subjects (23.5±2.5 in age) during the wake and drowsiness states. The proposed method is able to detect R waves and R-R interval calculation in the ECG even when the signal includes in abnormal signals. Heart rate variability(HRV) was investigated for the time domain and frequency domains. The STD HR(0.029), NN50(0.044) and VLF power(0.0018) of the RR interval series of the subjects were significantly different from those of the control group (p < 0.05). In conclusion, there are changes in heart rate from wake to drowsiness that are potentially to be detected. The results in our study could be useful for the development of drowsiness detection sensors for effective real-time monitoring.
Key words : Awake(각성), Drowsiness(졸음), Electrocardiogram(심전도), Heart rate varibility(심박변위도), Sleep states(졸음상태)
1. 서 론1)
현대사회에서의 자동차는 필수적인 이동수단으 로써 역할을 수행할 뿐 만 아니라 생활에 편리한 기 능을 제공함으로써 그 수요가 증가하고 있다. 이러 한 증가된 수요와 함께 자동차 사고의 주요 요인 중 졸음운전으로 인한 자동차 사고도 많이 발생하고 있다. 졸음운전을 감지하는 기존의 연구 방법은 눈 깜박임, 동공의 크기를 카메라로 졸음을 감시하는 연구 등이 있다.1) 또한 수면상태에서의 뇌파((electro-
*A part of this paper was presented at the KSAE 2013 Annual Conference and Exhibition
*Corresponding author, E-mail: [email protected]
encephalography: EEG)와 심박변이도(heart rate vari- ability: HRV) 관계 등2,3)의 연구를 통한 다양한 접근 이 시도되고 있으며 주변실험 환경조성 어려움 및 졸음을 인식하는 정도에 있어서 실제 자동차 상에 서 구현하기 어렵다는 단점도 가지고 있다.
심혈관 측정은 구현이 쉬워서 심박동(heart rate:
HR)과 HRV는 항공 분야와 자동차 운전 환경4-6) 등 의 많은 분야에서 작업인지와 피로도 연구 등에 연 구가 이루어지고 있다. 실제운전환경과 유사한 환 경에서 연구는 운전용 시뮬레이터 및 게임용 시뮬 레이터 등의 환경에서 생체신호를 얻는 연구들이 많이 연구되고 있으며7-9) 특히 심전도는 뇌파에 비
운전자 졸음 및 각성 상태 시 ECG신호 처리를 통한 심장박동 신호 특성
하여 신호측정방법 및 신호 획득이 용이하며 또 HRV로 운전 중 각성 상태와 졸음의 임상적인 증거 를 찾는 것이 중요하다.
본 연구에서는 모의운전용 시뮬레이터는 안정성, 저비용 및 제어가 쉬워서 데이터를 쉽게 모을 수 있 는 장점을 가지고 있다. 생체신호의 분석을 위하여 심전도(electrocardiogram: ECG)의 주요 신호인 P, QRS, T 중 R peak의 자동 검출용 difference operation 알고리즘10)을 개발하였다. 또한 R-R interval를 이용 하여 HRV의 주요 파라메타를 구하기 위하여 시간 영역(time domain)과 주파수 영역(frequency domain) 으로 해석하였다. 모의운전용 게임형 시뮬레이터 운전 환경에서 각성상태와 졸음 상태를 구분하여 주요 요소를 찾기 위하여 피 실험자들의 data를 이 용한 통계적 유의성 실험을 실시하였다.
2. 본 론 2.1 방법
본 연구에서 사용한 게임용 운전시뮬레이터를 사 용하여 실제 주행 환경과 유사한 환경에서 실험하 였다. Fig. 1의 (주) Logitech사의 Webcam C910과 Fig. 2의 드라이빙 시뮬레이터인 Control wheel G27 을 사용하여 기어변동과 페달을 갖추어 현실감 높은 시뮬레이터를 제공하였다. 게임 환경에서 webcam 장비로 관찰한 상태에서 2초 이상의 eye close가 분 당 3회 이상시 졸음으로 판단하였다. 또 시스템은 주행 화면을 운전자에게 제공하여 운전자로 하여금 운전 중 졸음을 유발하기 위해서 단조로운 구간을 장시간 주행이 가능하도록 설정하였다. 피실험자의 생체신호 획득은 on-line 으로 (주)Bionet사의 BM5 로 구성하여 획득하였으며, 생체신호 획득은 0.5Hz- 40Hz 대역의 band pass filter와 60Hz의 notch filter와 함께 sampling rate를 75(Hz)로 설정하여 data를 획득 하였다. Fig. 3과 같이 심전도 신호측정을 위해서 가 슴에 1회용 패치전극을 3곳에 부착하는 3 lead wire 법을 이용하였다.
2.2 실험대상
본 실험에 참가한 피험자 30명(23.5±2.5 평균 연 령)은 임상적으로 정상인으로 판단된 대상으로 선
Fig. 1 Driving simulator
Fig. 2 Experiment of simulation
Fig. 3 ECG 3 lead wire
정하였고, 실험 전 편안한 상태로 5분 이상 휴식을 취한다음 실험을 실시하였다. 게임용 운전 시뮬레 이터 환경에서 각성과 졸음 상태를 구분하여 데이 터를 획득하였다. 실험환경에서 졸음을 유도하기 위해서 실험 전날 수면시간을 4시간 이하로 수면부 족이 발생하도록 하여 피 실험자를 선정하였으며, 측정시간은 졸음에 영향을 받기 쉬운 시간대인 AM 10시에서 12까지, PM 15시에서 17시에 실험을 실시 하였다. 실험에 영향을 줄 수 있는 무리한 운동이나,
Min Soo Kim․Yoon Nyun Kim․Yun Seok Heo
흡연, 음주 등을 금하게 하였다. 자동차운전에 미숙 하지 않은 1년 이상의 피험자로 선정하여 운전용 게 임을 하는 동안 각성과 졸음 상태에서 각각 실험하 여 5분 이상의 ECG 신호를 획득하였다. 또한 게임 환경에서는 단조로운 구간을 위해 traffic 환경 0%로 설정하였으며, 운전자로 하여금 시속 60km로 주행 하도록 지시하였다. 운전자의 피로감 누적을 위해 동일한 구간 3회 반복주행을 실시하였다.
2.3 Heart Rate Variability (HRV)
HRV의 시간영역 측정방법에 있어 가장 유용한 변수들은 다음과 같다. STD HR은 HR의 표준편차, SDNN은 정상 RR간격의 표준편차, 좀 더 특이한 방 법으로 RR간격의 차이의 제곱합의 평균에 square root를 한 rMSSD, 인접한 R-R 간격의 차이가 50ms 을 초과하는 R-R간격(NN50)의 개수가 전체 R-R간 격의 개수 중 몇 %를 차지하는 지는 보는 pNN50 등 이 있다. 시간영역 분석법에서 rMSSD와 pMSSD는 부교감 신경의 활성도를 반영한다. 주파수 영역으 로 변환시키는 방법은 fast Fourier transform하면 주 파수를 VLF(0.003-0.04), LF(0.04-0.15Hz) 및 HF(0.15- 0.4Hz) power를 계산할 수 있다. LF는 교감 및 부교 감 신경계 모두를 반영하며, HF는 주로 부교감 신경 을 반영한다. 또 LF/HF ratio는 교감-부교감 신경의 균형을 의미하며, 증가하면 이 균형이 교감신경 쪽 으로 편향되었음을 의미한다.
3. 결 과
본 연구에서 개발한 알고리즘을 통해서 ECG R파 의 첨두치 위치를 정확하게 찾기 위해서는 difference, filter, thresholding 및 tuning과정을 거쳐서 찾을 수 있었다.
식 (1)은 차분신호의 계산식을 나타내며
(1)
식 (2)는 filter 처리과정을 나타내며
≤ ≤
(2)
k는 filter의 길이로서 프로그램에서 k=2로 설정하
여 시뮬레이션 한다.
Filtered 신호 ∗ (* : convolution operation)
식 (3)은 with threshold level
i f (3)
⋅max ≤ ≤ (4) t 는 가중치로서 프로그램에서 t = 0.5로 설정하여 시뮬레이션 한다.
이 1인 n이 R의 위치가 될 수 있는 후보점들 임을 의미한다. 정확한 R wave의 위치를 찾기 위해 서 는 후보점들의 잡음이나 신호의 구간 별 비단조 증가 특성(소구간에서 기복이 있는 신호) 때문에 정상적인 R위치 사이에서도 여러 개의 후보 점들이 존재한다.
이번단계에서 얻어진 에서 신호값이 1인 위 치의 간격을 구한다.
(5)
여기서 는 이 1인 인접한 두 신호값에 대한 각각의 n값을 의미하며, 이다.
은 인접한 두 신호값이 1인 의 신호값 간격 을 나타낸다. ≤, I 는 구간의 개수를 나타낸다.
⋅max ≤, T는 tolerance값으로 시뮬레이션에서는 0.3을 사용한다.
최대 간격의 30%를 Tuning을 위한 간격으로 지정 한다.
마지막으로 tuning 과정으로 에서 신호값이 1인 위치를 기점으로 L간격 구간 내에서이 1인 모든 n에서 원신호값 이 가장 큰 n을 R위치() 로 결정하게 된다.
max ≤ ≤ i f (6) Fig. 4는 본 알고리즘에서 개발한 difference opera- tion식을 이용해서 R peak 자동검출 과정들을 나타 내고 있다. Fig. 5는 정확한 R peak위치를 찾기 위한 알고리즘의 flowchart를 나타내었다. Fig. 6은 R peaks 의 찾은 정보를 이용해서 R-R interval를 구한 결과 이다.
Characteristics of Heart Rate Variability Derived from ECG during the Driver’s Wake and Sleep States
(a) R peak detect process
(b) Result of R peak detect Fig. 4 Automatic detect using difference operation algorithm
Table 1에는 ECG 검출 알고리즘의 성능을 검증하 기 위해서 Sensitivity와 positive predictivity 값들을 R peak 검출 성능으로 간주하였으며 아래 식들 (7)과 (8)은 아래와 같다.
(7)
Pr
(8)
여기서 TP는 true positive(옳은 R peak 검출)이며, FN은 false negative(잘못 검출된 R peak)이고 FP는 false positive(검출 에러)를 나타낸다. Table 1의 실험 결과 Se(%)는 99.94(±0.233)와 P는 99.88(±0.173)으
김민수․김윤년․허윤석
Fig. 5 Flowchart of R peak detect algorithm
Fig. 6 Result of R-R interval using difference operation algorithm
로 평균 99%이상으로 높은 검출 성능을 나타내었다.
Fig. 7에서는 게임 운전환경에서 시뮬레이터 운 전 시 각성상태와 졸음 운전시 R-R interval과정을 연속적으로 전체 15분 시간을 비교하였다. 비교결 과 각성상태의 구간 평균은 790.55 (±125.69)이며, 졸음운전 시 R-R interval 평균 821.18(±105.82)로 3.874%로 조금 증가함을 알 수 있었다. 따라서 운전 중 졸음상태로 변하면서 R-R interval의 평균이 커짐
Table 1 Results of performance for R peak automation detect
으로써 심박수는 늦어졌으며, 운전 시 영향을 미침 을 알 수 있다.
본 연구에서 HRV 분석은 시간영역과 주파수 영 역 전체 파라메타를 이용하였다. 획득된 data는 SPSS Ver. 12.0을 이용하여 게임 환경에서 운전 중 각성상태와 졸음상태의 비교를 위해 정규성 검증 후 t-test를 수행했다.
Table 2에서는 30명의 피실험자를 HRV의 시간영 역과 주파수영역 21개의 주요 파라메타를 비교한 결과 들이며, 통계비교(p<0.05) 결과 시간영역에서 STD HR (0.029), NN50 (0.044) 및 주파수영역에서는 VLF power(% 0.018)로 통계적으로 중요한 요소로
Fig. 7 An example of an experiments of R-R interval with awake and drowsiness events
운전자 졸음 및 각성 상태 시 ECG신호 처리를 통한 심장박동 신호 특성
Table 2 Comparison of statistics of HRV parameters for awake and drowsiness states during simulation drive (p<0.005)
분석되었다. 본 연구에서 운전 중 졸음영향으로 시 간영역의 R-R interval 간격이 빨라지면서 심박수가 늦어지는 주요한 차이를 확인할 수 있었고, R-R 간 격이 50ms보다 긴 차이를 보이는 연속적인 NN 간격 수가 증가함을 알 수 있었다. 또 VLF power(%)의 증 가는 호흡 및 저산소혈증에 영향을 미친다고 볼 수 있다.
4. 결 론
본 연구에서는 졸음운전 중 각성 상태와 졸음상 태일 때 ECG 기반 생체신호를 분석하였다. 본 연구 에서 개발한 difference operation 알고리즘을 통해 R-peak를 검출하고 계산한 R-R Interval(RRI)값을 이 용하여 심박변위도(HRV)의 시간영역과 주파수영 역 분석을 사용하여 각성상태와 졸음상태의 통계분 석을 통해서 주요한 차이를 식별할 수 있었다. 본 연구 결과는 졸음 및 각성 상태의 ECG(Electrocardiogram) 생체신호 분석을 통한 각성상태 운전조건과 졸음시 운전사항에서 임상적인 단서를 찾아낼 수 있을 것 으로 기대된다. 또 자동 검출 알고리즘을 기반으로 한 졸음운전 예방 센서 개발에 기여할 것으로 예상 된다. 향후 연구에서는 성별, 나이, 사지가 불편한 피실험자 등 많은 ECG data mart의 구축이 이루어질 것을 기대한다.
후 기
이 연구는 산업통상자원부 기술혁신사업(2013년 지능형자동차 상용화 연구기반 구축사업, 과제번호 10043348)지원을 받아 수행하였음.
References
1) K. Chung, B. Kim, D. Kim and N. Kim, “A Study on the Detection of Driver's Drowsiness,”
KSAE Spring Conference Proceedings, 1996.
2) F. Jurysta, P. Bome, P. Miquotte, M. Dumont, J. Lanquart, J. Deqaute and P. Linkowski, “A Study of the Dynamic Interactions between Sleep EEG and Heart Rate Varability in Healthy Young Men,” Clin. Neurophysiol., Vol.114, No.11, pp.2146-2155, 2003.
3) W. Kim, K, Kim, S. Park, J. Shin and Y. Yoon,
“Analyzing Heart Rate Variability for Auto- matic Sleep Stage Classification,” Korean J. of the Science of Emo. and Sens.,Vol.6, No.4, pp.9-14, 2003.
4) N. Egelund, “Spectral Analysis of Heart Rate Variability as an Indicator of Driver Fatigue.
Ergonomics,” Vol.25, No.7, pp.663-672, 1982.
5) J. Aasman, G. Mulder and L. Mulder, “Operator Effort and the Measurement of Heart Rate Variability,” Human Factors, Vol.29, No.2, pp.161-170, 1987.
6) P. Jorna, “Heart Rate and Workload Variation in Actual and Simulated Flight,” Ergonomics, Vol.36, No.9, pp.1043-1054, 1993.
7) M. P. Reed and P. A. Green, “Comparison of Driving Performance On-road and in a Low- cost Simulator Using a Concurrent Telephone Dialing Task,” Ergonomics, Vol.42, No.8, pp.1015-1037, 1999.
8) L. Gang and W. Chung, “Detection of Driver Drowsiness Using Wavelet Analysis of Heart Rate Variability and a Support Vector Machine Classifier,” Sensors, Vol.13, No.12, pp.16495- 16511, 2013.
9) K. A. Brookhuis and D. Waard, “Monitoring Drivers' Mental Workload in Driving Simu- lators Using Physiological Measures,” Accident
Min Soo Kim․Yoon Nyun Kim․Yun Seok Heo
Analysis and Prevention, Vol.42, No.3, pp.898- 903, 2010.
10) S. Deboleena and M. Madhuchhanda, “R-peak
Detection Algorithm for ECG Using Double Difference and RR Interval Processing,” Pro- cedia Technology, Vol.4, pp.873-877, 2012.
