운전자가 깜박임이 거의 없는 상태에서 1~2초 정도 눈을 감은 상태가 지속 시, 긴 시간의 패턴을 두고 PERCLOS로 측정을 하였을 경우 30%의 미만으로 검출되 어 졸음 상태로 판단을 못하는 경우도 있다. 이러한 상황을 예방하기 위하여 연속 적인 폐안상태가 1초 이상 지속할 경우 [그림 25]와 같이 바로 졸음 단계로 판단 하고 경고를 주는 방법을 제안한다.
[그림 25] 연속적인 폐안상태를 이용한 판단의 필요성
- 27 -
제４장 실험 및 결과분석
제１절 데이터 취득 및 실험 환경
실험 환경은 [그림 26]과 같은 차량 내부 영상과 [그림 27]과 같은 실험실 내 부 영상 그리고 [그림 28]과 같은 안경 착용자에 대한 실험을 진행했다. [표 3]과 같은 환경에서 제안하는 알고리즘의 성능을 실험했다. 추가적으로 차량에서의 실험 은 맑은 날, 흐린 날, 비 오는 날 등 다양한 외부 조명의 상태에서 실험을 진행했 으며, 광원의 방향이나 성질 등을 고려하여 실험을 진행했다. 깜박임 검출은 얼굴 이 검출된 경우에만 계산했으며, 운전자의 눈을 보호하기 위해 사용되는 선글라스 착용자는 본 논문에서 고려하지 않았다.
[표 3] 운전자 영상 DB
사용DB 차량 내부 DB 실험실 내부 DB 안경 착용자 DB
취득 환경
• 차량내 환경 얼굴 변화 거리 제한(80cm)
외부 조명 변화
• 실험실 내부 환경 얼굴 변화 거리 변화(50~100cm)
외부 조명 변화
• 차량내 환경 얼굴 변화 거리 제한(80cm)
외부 조명 변화
취득 카메라 Logitec HD 1080p Logitec HD 1080p Logitec HD 1080p
영상 해상도 1280×720
→ 480×272
1280×720
→ 480×272
1280×720
→ 480×272
총 후보수 6명 2명 2명
특이사항 유튜브 취득 영상 포함 - 유튜브 취득 영상 포함
- 28 -
[그림 26] 차량 내부 DB 예시
[그림 27] 실험실 내부 DB 예시
[그림 28] 안경 착용자 DB 예시
제２절 조명정규화 실험 및 비교 결과
운전 중 차량 내부의 조명 환경은 매우 다양하게 변화한다. 맑은 날의 햇빛으로 인하여 수시로 변하는 영상, 가로수 밑이나 터널을 지날 때의 그늘진 영상, 해질 무렵 역광으로 인하여 매우 밝은 영상 등 외부에서 발생하는 강한 광원으로 인하 여 운전자의 얼굴 밝기 값이 매번 다르게 변화할 수 있다. 따라서 이와 같은 문제 를 해결하기 위해 본 논문에서는 밝기 값 조정의 따라 변화하는 영상을 실제 사람 의 눈으로 보는 것 차이가 가장 적은 CIE L*a*b 영역을 사용하고, 영상의 화질 개 선 방법 중 하나인 히스토그램 평활화 기법을 응용하여 선명도를 높이는 방법을
- 29 -
사용했다. [그림 29], [그림 30]은 Positive 영상과 Negative 영상을 이용하여 실 험한 결과이다. [그림 29-(a)]는 기존의 여러 조명정규화 방법 중 하나인 RGB 색상 공간 영역을 HSV 색상공간으로 변환하여 히스토그램 평활화를 수행한 결과 이고, [그림 29-(b)]는 제안하는 조명정규화 과정을 수행한 결과이다. Positive 영 상의 경우 결과 영상의 차이가 거의 없었지만, Negative 영상의 경우 [그림 30-(a),(b)]와 같이 픽셀 분포가 다른 것을 확인할 수 있다.
(a) 기존방법(HSV색상 공간 + 히스토그램 평활화 기법)
(b) 제안하는 방법(CIE L*a*b*색상 공간 + 개선된 히스토그램 평활화 기법) [그림 29] Positive 영상으로 기존의 방법과 제안하는 방법 비교 실험
- 30 -
(a) 기존방법으로 Negative 영상 실험 결과
(b) 제안하는 방법 Negative 영상 실험 결과
[그림 30] Negative 영상으로 기존의 방법과 제안하는 방법 비교 실험
[그림 30]과 같은 Negative 영상에서의 성능 비교를 하기 위하여 총 215개의 Negative 영상을 이용하여 실험을 진행했다. [그림 31]과 같은 Negative 영상 DB는 터널에서의 어두운 상황과 역광으로 인한 밝은 상황에서 주로 촬영된 DB영 상이다. 기존의 방법과 제안하는 방법의 성능을 비교한 결과 [표 4]의 결과와 같 이 32프레임의 Nagative영상을 더 정확하게 추출할 수 있었다.
- 31 -
[그림 31] Negative 영상 DB 예시
[표 4] Negative 영상으로 비교 실험 결과
실험영상 프레임 수 기존 조명정규화 결과 제안하는 조명정규화 결과
밝은 영상 104 76.92%(80/104) 88.46%(92/104)
어두운 영상 111 74.77%(83/111) 92.79%(103/111)
합 계 215 75.84%
(163/215)
90.62%
(195/215)
- 32 -
제３절 SVM을 이용한 눈 개폐상태 실험 및 비교 결과
본 논문에서 두께분포를 이용하여 SVM 분류를 수행한다. 제안하는 방법은 [표 4]의 결과를 보듯이 높은 깜박임 검출률을 확인할 수 있다. 차량 영상 4번째의 경 우 눈의 크기가 일반인 보다 작은 사람의 영상을 이용한 경우이다. 그리고 실험실 영상의 경우 차량의 운전 좌석의 위치를 고려하여 거리를 두고 촬영한 영상이다.
마지막으로 유튜브 영상은 유튜브에 업로드된 운전자 영상을 취득하여 실험한 결 과를 [표 5]와 같이 나타냈다. 또한, 기존의 Eigen-Eye를 활용한 PCA 방법과 동공 영역의 픽셀 개수를 이용한 방법을 구현하여 성능을 평가했다.
[표 5] 차량, 실험실 내부 눈 개폐상태 검출률 실험
영상
프레임 수
기존의 Eigen-Eye PCA를 이용한 결과
동공 영역의 픽셀 개수를 이용한 결과
제안하는 두께분포를 이용한 SVM 결과 차량
영상 408 64.70%(264/408) 87.74%(358/408) 92.15%(376/408) 차량
영상 535 62.99%(337/535) 85.60%(458/535) 88.59%(474/535) 차량
영상 458 64.62%(296/458) 87.55%(401/458) 92.57%(424/458) 차량
영상 401 67.58%(271/401) 86.28%(346/401) 89.27%(358/401) 차량
영상 539 60.11%(324/539) 84.04%(453/539) 90.53%(488/539) 실험실
영상 463 67.17%(311/463) 87.04%(403/463) 89.84%(416/463) 실험실
영상 511 69.47%(355/511) 83.95%(429/511) 88.25%(451/511) 유튜브
영상 210 63.33(133/210) 86.19%(181/210) 89.52(188/210)
합 계 3,525
64.99%
(2,291/3,525)
86.05%
(3,029/3,525)
90.09%
(3,175/3,525)
- 33 -
총 8개의 동영상을 이용하여 실험을 진행하였고, 전체 프레임은 총 3,525 프레 임 중에 3,175프레임의 눈이 검출되어 90.09%의 검출률이 나왔으며, 기존의 방법 보다 개선된 검출률을 확인할 수 있었다.
[표 6] 안경 착용자 눈 개폐상태 검출률 실험 영상 프레임
수
기존의 Eigen-Eye PCA를 이용한 결과
동공 영역의 픽셀 개수를 이용한 결과
제안하는 두께분포를 이용한 SVM 결과 유튜브
(안경)영상 208 57.21%(119/208) 72.60%(151/208) 81.25%(169/208) 안경 영상 530 68.49%(363/530) 80.38%(426/530) 86.41%(458/530)
합 계 738 62.85%
(482/738)
76.49%
(577/738)
83.83%
(627/738)
[그림 32] 안경을 착용할 경우 오검출의 원인 영상
두꺼운 안경테 착용자와 얇은 안경테 착용자를 이용하여 두께분포를 이용한 SVM을 수행한 결과 얇은테의 안경 착용자의 경우 안경에 반사된 빛으로 인해 약 2% 정도의 오검출률이 증가했고, 두꺼운 안경테의 착용자의 경우 [그림 32]와 같 은 원인으로 약 6% 정도의 오검출률이 증가되었다. 실험 결과 [표 6]과 같이 총 738프레임 중에 627프레임을 정상적으로 검출하여 83.83%의 검출률이 나왔으며, 앞서 진행한 기존의 방법보다 개선된 것을 확인할 수 있었다.
- 34 -
제４절 졸음운전 판단 결과
[표 7]은 PERCLOS를 이용한 졸음 판단 결과를 3가지의 형태로 Safe, Caution, Danger로 나타냈다. 두 눈의 평균 PERCLOS의 값이 0% 이상 10% 이하의 경우 Safe 상태, 11% 이상 30% 이하의 경우 Caution 상태, 31% 이상의 경우 Danger 상태로 기준 값을 두고 판단하였으며, PERCLOS만을 사용한 실험과 제안하는 PERCLOS와 복합적으로 연속적인 폐안상태를 사용한 방법을 비교 실험했다.
[표 7] 제안한 운전자 졸음 감지 시스템을 이용한 졸음 판단 결과 실험영상 총 프레임 PERCLOS만을
사용한 경우
PERCLOS & 연속적인 폐안 상태를 복합적으로 사용한 경우 차량 영상 408 71.62% Danger 71.62% && YES Danger 차량 영상 535 17.85% Caution 17.85% && NO Caution 차량 영상 458 93.33% Danger 93.33% && YES Danger 차량 영상 401 1.98% Safe 1.98% && NO Safe 차량 영상 539 21.3% Caution 21.3% && YES Danger 실험실 영상 463 1.62% Safe 1.62% && NO Safe 실험실 영상 511 78.13% Danger 78.13% && YES Danger 유튜브 영상 210 41.74% Danger 41.74% && YES Danger 유튜브 영상 208 10.2% Safe 10.2% && NO Safe
안경 영상 530 31.22% Danger 31.22% && YES Danger
졸음 판단 결과, PERCLOS만을 사용한 경우 차량 영상 5번째와 같이 Caution의 상태로 판단됐지만, PERCLOS와 연속적인 폐안 상태를 복합적으로 사용한 경우 폐안 상태가 1초 이상 연속적으로 검출된 부분이 있어서 Danger의 상태로 정확하 게 판단 해낼 수 있었다.
- 35 -
제５장 결 론
최근 3년간 발생한 봄철 졸음운전사고는 매년 45건의 사고가 발생하여 30명이 사망하고 1,272명이 부상당하는 것으로 나타났다. 하루 평균 7건으로 약 14명의 사상자가 발생하고 있는 셈이다. 본 논문에서는 졸음운전으로 인한 사고를 예방 및 피해를 미리 방지할 수 있는 효과적인 해결 방안에 대하여 연구하였고, 시뮬레이션을 통해 주관적 졸림 정도와 영상에서 측정된 졸음상태를 비교 분석해본 결과, 수면 박탈 여부에 따른 운전자의 주관적 졸림정도와 영상으로 측정 했을 때 유의미한 차이를 보 였다. 이와 같이 졸림의 정도가 졸음운전으로 인한 교통사고를 예방할 수 있는 중요한 지표로 사용될 수 있다는 것을 알 수 있었다.
본 논문은 색상 모델 변환부터 시작하여 조명 정규화, 얼굴, 눈 검출, 영상 전처 리, 눈 영역 추출, 눈 개폐상태 판단, 졸음 상태 판별 등의 영상처리 기술을 이용 한 외부조명 변화를 고려한 졸음운전 시스템에 대해 소개했다. 특히 안정화 된 조 명 정규화 기술을 응용하여 눈 영역 추출 성능을 향상시켰고, 두께분포를 이용한 SVM의 수행결과 눈 개폐상태 검출률은 90.09%로 우수한 결과를 얻었고, 안경 착 용자의 경우는 83.83%의 결과를 얻을 수 있었다. 또한, 기존의 Eigen-Eye를 활 용한 PCA 방법, 동공 영역의 픽셀 개수를 이용한 방법과 비교한 결과 눈 개폐상 태 검출률이 개선된 것을 확인할 수 있었다. 그리고 졸음상태 판단을 위해 연속적 인 폐안 상태 분석과 공증된 PERCLOS 방법을 복합적으로 이용하여 효과적으로 졸음을 판단해냈다. 특히, 본 논문에서 제안한 외부 조명에 대한 안정화의 경우 터 널과 같은 어두운 곳이나 역광으로 인한 밝은 영상의 경우 눈 검출이 어려웠던 부 분을 해결하였고, 전처리 과정을 통해 안경 착용자에게도 다소 효과가 있음을 확인 할 수 있었다.
후속 연구로는 검출률이 아직 다소 낮은 안경과 실험에서 제외한 선글라스를 착 용한 사람을 대상으로 실험을 추가 진행할 예정이다. 또한 영상 기술을 이용한 방 법에 추가적으로 생체 신호를 이용한 방법을 반영하여 심전도, 뇌전도 등과 같은 다른 생리적 지표와 함께 복합적으로 연구를 진행할 예정이다.
- 36 -
참고문헌
[1] Korea Road Traffic Authority, "Estimation and Assessment of 2012 Traffic Accident Cost," 2013.
[2] J. M. Choi, H. Song, S. H. Park, and C. D. Lee,"Implementation of Driver Fatigue Monitoring System," The Journal of Korean Institute of Communications and Information Sciences, Vol.37, No.08, pp.711-720, 2012.
[3] I. K. Park, K. S. Kim, S. C. Park, and H. R. Byun, "An Illumination-Robust Driver Monitoring System Based on Eyelid Movement Measurement," Journal of Korean Institute of Information Scientists and Engineers, Vol.34, No.03, pp.255-265, 2007.
[4] R. N. Khushaba, S. Kodagoda, S. Lal, and G. Dissanayake, "Driver Drowsiness Classification Using Fuzzy Wavelet-Packet-Based Feature-Extraction Algorithm," Institute of Electrical and Electronics Engineers Transactions on Biomedical Engineering, Vol.58, No.1, pp.121-131, 2011.
[5] M. Blanco, J. L. Bocanegra, J. F. Morgan, G. M. Fitch, A. Medina, and R.
P. Zimmeramnn, "Assessment of a Drowsy Driver Warning System for Heavy-Vehicle Drivers : Final Report," DOT HS 811 117, National Highway Traffic Safety Administration, 2009.
[6] H. W. Go, W. G. Lee, C. H. Kim, "Arousal monitoring and Analysis System To Assess Driver Drowsiness," Journal of The Korean Society of Automotive Engineers, Vol.1, pp.474-480, 1995.
[7] H. W. Go and Y. H. Kim, "Analysis and Determination of Arousal Level Control to Prevent Drowsy Driving," The Korean Society of Automotive Engineers of Autumn Conference, Vol.2, pp.1171-1176, 1997.
- 37 -
[8] S. W. Kim, S. J. Park, Y. S. Lee, "Development of Evaluation Method of Driver's Fatigue by Physiological Signal," The Korean Society of Automotive Engineers of Spring Conference, Vol.2, pp.1208-1212, 2003.
[9] Y. H. Ju, J. G. Kim, I. H. Na, "Intelligent Drowsiness Drive Warning System," The Journal of Korean Intelligent Information System Society, Vol.18, No.2, pp.223-229, 2008.
[10] C. S. Bae, "Behavior Recognition using Facial Feature Information," The Journal of Korea Knowledge Information Technology Society, Vol.5, No.3, pp.82-88, 2007.
[11] C. H. Han and G. B. Shim, "Development of Safe Driving System with Eye Tracker and Head Gesture Recognition," Korean Intelligent Information System Society of Autumn Conference, Vol.18, No.2, pp.133-137, 2008.
[12] N. Michida, H. Okiyama, K. Nishikawa, and T. Nouzawa, "A Study of Drivers Fatigue Mechanisms during Long Hour Driving," The Engineering Society For Advancing Mobility Land Sea Air and Space, 2001.
[13] A. Heitmann, R. Guttkuhn, A. Aguirre, U. Trutschel, and M. Moore-Ede,
"Technologies for The Monitoring and Prevention of Driver Fatigue,"
International Driving Symposium on Human Factors in Driver Assessment, Training and Vehicle Design, 2001.
[14] P. Smith, M. Shah, N. D. V. Lobo, "Determining Driver Visual Attention With One Camera," Institute of Electrical and Electronics Engineers Transactions on Intelligent Transportation Systems, Vol.4, No.4, pp.205-218, 2003.
[15] T. C. Chieh, M. M. Mustafa, A. Hussain, E. Zahedi, and Burhanuddin,
"Driver Fatigue Detection using Steering Grip Force," Student
- 38 -
Conference on Research and Development(SCOReD), pp.45-48, 2003.
[16] VOLVO, "VOLVO XC60 Owner's Manual," 2009.
[17] Mercedes-Benz, "Mercedes-Benz S-Class Owner's Manual," 2009.
[18] 이광수, 김대식, 최장욱, "뇌파검사학," 고려의학, 2001.
[19] 김다정, "뇌파의 알파파 분석을 이용한 개안 상태의 졸음 검출," 울산대학교 대학원, 석사학위논문, 2013.
[20] M. Patel, S. K. L. Lal, D. Kavanagh, and P. Rossiter, "Applying Nural Network Analysis on Heart Rate Variability Data to Assess Driver Fatigue," Expert Systems with Applications, Vol.38, No.6, pp.7235-7242, 2011.
[21] G. S. Wagner, "Marriott's practical Electrocardiography," William &
Wilkins, 1994.
[22] M. H. Choi, J. J. Jung, S. W. Kim, "Drivers Drowsiness Detection System using the ECG measured by Non Contact Sensors," The Korean Institue of Electrical Engineers of Summer Conference, pp.1393-1394, 2015.
[23] Y. Hwang, G. S. Hu, M. Na, H. G. Jung, H. S. Gang, and P. J. Yoon,
"Development of a Lane Keeping Assist System using Vision Sensor and DRPG Algorithm," Journal of The Korean Society of Automotive Engineers, Vol.17, No.1, pp.50-57, 2009.
[24] H. Song, J. M. Choi, C. D. Lee, B. H. Choi, and J. S. Yoo, "Implementaion of a Safe Driving Assistance System and Doze Detection," The Institute of Electronics Engineers of Korea - Signal Processing Vol.49, No.3, pp.30-39, 2012.
[25] M. H. Yang, N. Ahuja, D. Kriegman, "Face Recognition Using Kernel Eigenfaces," International Conference on Image Processing Proceedings, Vol.1, pp.37-40, 2000.
[26] 이주현, "졸음 운전 방지를 위한 눈 개폐 상태 판단 방법의 개발," 울산대학교