A CART-based diagnostic model using speech technology for evaluating mental fatigue caused by monotonous work

1. 서론

일련의 활동에서 오는 정신적인 또는 육체적인 소진으로 정의 할 수 있는 피로는 현대사회에서 중요한 문제로 대두되고 있다 [1]. 피로는 건강 측면에서 관리해야 할 문제로 일상생활에서 누 구나 경험하는 증상이다. 이와 같은 피로는 정신적 요인으로 인 한 것과 육체적 요인에 의한 것으로 분류되는데, 본 논문에서는 정신피로를 다룬다.

컴퓨터, 스마트 기기 등의 활용으로 사무 작업이 단순하면서 반복적인 작업으로 이루어져, 사무 종사자는 지루함을 느끼고 피로하게 되어 이로 인해 사무 생산성이 저하되고 있다[2]. 우울 증의 한 원인으로 스트레스로 인한 피로를 지목한 보고도 있고 [3], 스트레스 피로로 인해 정신과에 내원하는 환자들의 비율이

높다는 보고도 있다[4]. 이상에서 살펴본 바와 같이 정신피로를 유발하는 요인으로 단순한 작업과 스트레스를 말할 수 있는데, 스트레스를 부과하는 실험 작업의 설계가 어려운 문제가 있어, 본 논문에서는 실험 작업의 설계가 용이한 단순 작업으로 인한 정신피로를 다룬다.

정신피로의 예방을 위해서는 피로에 대한 자가 진단이 필요 하며 따라서 정신피로를 정량적으로 측정 또는 진단하는 기술 에 대한 연구가 요구된다. 본 논문에서는 음성기술을 이용하여 정신피로의 진단을 통해 피로에 대해 객관적으로 평가하는 방 법을 제안한다.

단순작업에 의한 정신피로를 정량적으로 측정하고 평가하기 위한 기존 연구에는, 심박변화율(Heart Rate Variability : HRV), 뇌전도(EEG, Electroencephalogram), 심전도(Electrocardiogram,

* 대전대학교, [email protected]

Received 2 November 2016; Revised 16 December 2016; Accepted 22 December 2016 ISSN 2005-8063

2016. 12. 31.

Vol.8 No.4 pp. 97-101

말소리와 음성과학

http://dx.doi.org/10.13064/KSSS.2016.8.4.097

단순작업으로 인한 정신피로도 측정을 위한 음성기술을 이용한 CART 기반 진단모델

A CART-based diagnostic model using speech technology for evaluating mental fatigue caused by monotonous work

권 철 홍

Kwon, Chul Hong

Abstract

This paper presents a CART(Classification and Regression Tree)-based model to diagnose mental fatigue using speech technology. The parameters used in the model are the significant speech parameters highly correlated to the fatigue and questionnaire responses obtained before and after imposing the fatigue. It is shown from the experiments that the proposed model achieves classification accuracies of 96.67% and 98.33% using the speech parameters and questionnaire responses, respectively. This implies that the proposed model can be used as a tool to diagnose the mental fatigue, and that speech technology is useful to diagnose the fatigue.

Keywords: mental fatigue, diagnosis, CART, speech technology

ECG), 근전도(Electromyogram, EMG), 신체 조직의 산화도, 안면 피부온도의 차이, 호흡(Respiration), 맥파(Photoplethysmogram) 등 인체의 생리신호를 사용하는 방법이 주를 이루고 있다 [2][5-9].

이러한 피로 측정방법은 의료 장비가 필요하며 피험자의 신 체에 부착하여 측정하므로, 피험자에게 불편함을 주는 방법으 로 일반인이 일상생활에서 사용하기에는 무리가 있다[10-11].

본 논문에서는 마이크만 있으면 수집하기가 용이한 음성신호 를 이용하여 정량적이고 객관적으로 피로를 진단할 수 있는 방 법을 제안한다.

본 연구의 목표는 음성신호를 이용하여 정신피로를 진단할 수 있는 방법을 제안하여, 의료기기나 전문가의 도움 없이 피로 를 객관적으로 평가하게 하는 것이다. 이를 위하여 정신피로와 상관관계가 높은 음성 파라미터를 이용하여 CART 알고리즘을 통해 정신피로 진단모델을 설계하여 정신 피로도를 평가하는 방법을 제안한다.

2. 사전에 수행된 정신피로 측정실험 방법 및 결과

음성신호를 이용하여 정신피로를 진단하는 것이 가능한가를 보기 위해, 피로가 진행함에 따라 음성신호가 변별력 있게 변화 하는가에 대한 연구결과가 필요하다. 이 절에서는 본 연구실에 서 수행한 바 있는 정신피로 측정 실험[11]에 대한 방법 및 결과 에 대해 간략하게 기술한다.

정신피로를 부과하는 실험은, 피험자가 단순작업을 수행하 면서 설문지에 대한 응답 및 음성 DB 수집 등의 일련의 과정을 반복하여 피로도가 누적되도록 설계되었다. 피험자가 주관적 으로 느끼는 피로감을 측정하는 설문지를 이용하여 피험자의 피로감을 측정하여, 설계한 피로 부과 실험 과정이 피로감을 적 절하게 부과하는가를 검증한다. 수집한 음성 DB에서 음성신호 의 음원정보 및 성도필터와 관련된 다양한 특징 파라미터를 추 출한다. 설문지 응답 데이터와 음성 특징 파라미터를 통계 처리 하여 단순작업 전과 후에 피로감이 유의미하게 변화하는가와, 정신피로와 상관관계가 높은 음성 파라미터를 도출한다[11].

2.1. 정신피로 부과 실험 과정

정신피로 부과 실험은 단순작업에 의한 피로감이 극대화되도 록 관리자의 참여 없이 피험자 단독으로 조용한 연구실에서 수 행되며, 피험자 집단은 후두 및 성대 질환이 없는 남자 대학생 30명으로 구성되었다.

피로 부과 실험은 단순작업을 수행하고 휴식 없이 음성을 녹 음하며 설문지에 응답하는 과정을 한 묶음으로, 정신피로감을 누적시키기 위해 6회에 걸쳐 반복 시행하여 총 1시간 35분간 수 행되는 작업이다. 단순작업은 하나의 화면에 임의의 위치에 보 이는 두 자리 수 숫자 25개를 값 크기 순서대로 찾아 클릭하는 작업으로, 단계 마다 10분간 지속적으로 반복되는 단조로운 작 업이다.

2.2. 설문지 응답 데이터 및 음성 특징 파라미터 분석 주관적 설문지는 ‘지루하다, 생각이 무디다, 집중곤란, 일하기 싫다, 졸린다, 두근두근, 편안하다’ 등 구체적인 피로감을 평가 하기 위한 7개 항목과, ‘정신적 피로감, 신체적 피로감’ 등 종합 적인 질문 2개 항목 등 총 9개 문항으로 구성되어 있다. 각 질문 항목에 대해 피험자가 스스로 느끼는 주관적 피로감을 1점에서 10점까지 10개 구간으로 점수를 매기도록 구성되어 있다.

설문지의 각 항목 마다 단순작업 단계별로 전체 피험자의 응 답 점수 평균값을 구하여 변화 정도를 살펴보았다. 단순작업 단 계가 진행함에 따라 ‘지루하다, 생각이 무디다, 집중곤란, 일하 기 싫다, 졸린다, 정신적 피로감, 신체적 피로감’ 등 7개 항목은 평균값이 변별력 있게 증가하고, ‘두근두근, 편안하다’ 등 2개 항목은 평균값이 감소하였다. 이 두 항목은 의미상 피로감을 느 끼면 평균값이 감소하는 것으로 볼 수 있다. 이와 같은 실험결 과로부터, 설계한 정신피로 부과 실험 과정이 피로감을 충분히 유발시키는 실험이라는 것을 알 수 있다.

모음 ‘아’와 11개의 단문들로 구성된 발화목록으로 수집한 음 성 DB에서 40개의 음성 파라미터를 추출하여, 단순작업을 시작 하기 전과 모두 마친 후 두 가지 경우의 평균값을 대응표본 t-검 정으로 통계 처리하였다. 유의수준(significance level)을 0.05로 선정하여 구한 통계적으로 유의미한 음성 파라미터는, B1, Jitter, RAP(Relative Average Perturbation), PPQ(Pitch Perturbation Quotient), H1-H2, CPP(Cepstral Peak Prominence), HNR(Harmonics to Noise Ratio) 등 7가지이다.

B1은 첫 번째 포먼트 대역폭으로, 단순작업 전보다 후가 평균 값이 커져 피로감이 누적되면서 발음이 부정확해진다는 것을 보여준다[12]. 피치주기 변화율인 Jitter와 3개 및 5개 프레임에 걸친 피치주기 변화율 평균인 RAP와 PPQ 등은 단순작업이 진 행될수록 평균값이 커져 피치주기의 변화폭이 커진다는 것을 알 수 있다. H1-H2는 첫 번째와 두 번째 하모닉의 진폭 차이로, 단순작업 후가 평균값이 크므로 목소리가 기식화(breathy voice) 된다는 것을 보여준다[13]. 주기성의 강도를 나타내는 CPP와 하 모닉과 잡음의 에너지 비율인 HNR은 평균값이 작아지므로, 이 들 파라미터 또한 피로한 목소리는 기식음이라는 것을 알 수 있 다[14].

3. 정신피로 진단 모델

3.1. 의사결정나무 알고리즘

의사결정나무는 주어진 입력에 대하여 출력을 예측하는 모델 을 생성하는 방법으로, 이름 그대로 예측모델이 나무 모양의 그 래프로 표현된다[15]. 이 알고리즘은 데이터를 분할규칙에 따라 서로 유사한 집단으로 묶는 이진 나무 구조를 형성한다. 나무 구조에서 각 마디는 분할 기준을 제시하고 이 기준에 따라 두 개의 가지로 분할되는데 분할되기 전 마디를 부모마디, 분할된 후를 자식마디라고 부르며, 주어진 입력에 대해 반복적으로 더 작은 집합으로 나누면서 나무 구조를 생성한다.

나무 구조는 성장, 가지치기, 정지 등의 과정을 거쳐 만들어

진다. 먼저 나무를 성장시킨 다음 정지나 가지치기 과정을 수행 하여 분할규칙을 형성한다. 각 마디에서 최적의 분할규칙을 찾 아서 나무를 성장시키고 적절한 정지규칙을 만족하면 분할이 중단된다. 분할규칙은 부모마디에서 가능한 모든 분할 중에서 가장 순수한 자식마디를 형성하는 기준을 선택한다. 전체 나무 의 불순도를 최소로 하는 나무 구조를 형성하는데, 이는 각 마디 에서 불순도의 감소량을 최대로 하는 것과 같다. 가지치기에서 는 분할 오류를 크게 할 위험성이 높거나 적절하지 않는 규칙을 가지고 있는 가지 또는 과도하게 분할되어 불필요한 가지를 제 거한다. 정지규칙은 나무 구조를 더 이상 분할하지 않고 현재 마디가 끝마디가 되도록 하는 규칙을 말한다.

3.2. CART 기반 정신피로 진단 모델

의사결정나무 알고리즘에는 CART, CHAID, C5.0, ID3 방식 등 이 있고, 성장 단계에서 분할 기준을 최적으로 설정하는데 필요 한 척도에는 지니 지수, 카이제곱 통계량, Information gain, 엔트 로피 지수 등이 있다. 본 연구에서는 분할 척도로 지니 지수를 이용하는 CART 방식을 사용한다.

이 방식은 이진 나무 구조를 갖는 분할 규칙을 생성하며 생성 된 모델이 이해하기가 쉽고 해석이 용이하다는 장점을 갖고 있 다[16]. 지니 지수는 각 마디에서 두 개의 가지가 갖는 불순도 (impurity)를 말하며, 0~0.5 사이의 값을 갖는데, 0에 가까울수록 순수함을 0.5에 가까울수록 불순도가 높음을 의미한다. CART 방식은 분할 기준에 따라 자식마디에서 두 개의 가지가 각각 동 질성이 최대가 되도록 즉, 불순도가 낮은 방향으로 분할하는데, 모든 가능한 분할 중에서 가장 순수한 자식마디가 생성되는 분 할을 선택하는 방법이다[17].

CART 모델을 학습하기 위해서는 충분한 양의 데이터가 필요 하며, 모델을 구축하기 위한 학습 데이터와 구축된 모델을 평가 하기 위한 테스트 데이터를 어떻게 선정하는 가에 따라 성능이 달라질 수 있다. 이러한 점을 고려하여 본 연구에서는 10-묶음 교차검증(10-fold cross validation) 방법[18]을 사용하여 성능을 평가한다. 이 방법은 전체 데이터를 10개 집단으로 나누고, 이 중에서 9개 집단에 해당하는 데이터를 학습 데이터로 하여 모델 을 생성하고, 나머지 1개 집단으로 생성된 모델을 테스트한다.

그리고 원래 학습 데이터 중에서 1개 집단을 테스트 집단으로 선정하고, 원래 테스트 집단을 학습 데이터에 넣는 방식으로 10 회 반복 시행하여 CART 모델의 성능 평균값을 구한다. 이러한 방법으로 불충분한 학습 데이터의 문제점을 보완하고, 모든 데 이터에 대해 알고리즘의 성능을 확인할 수 있다.

설계한 진단 모델에 적용할 특징 파라미터는, 한 세트는 2.2 절에서 기술한 9개 설문지 항목에 대한 피험자의 응답 데이터 와, 다른 세트는 유의미한 음성 파라미터 7개이다.

4. 실험 결과

제안된 정신피로 진단모델의 성능은 <표 1>과 같은 혼동 행렬 (Confusion matrix)[19]를 이용하여, 성능 평가 지표인 Precision,

Recall, Accuracy, F-measure(



Accuracy는 전체 중에서 실제 값과 모델이 예측한 값이 동일한 경우의 비율이다. F-measure는 Precision과 Recall의 조화 평균 (harmonic mean)으로서, Precision과 Recall의 단순 평균 보다 모 델의 성능을 나타내는데 널리 사용되는 지표이다.

Confusion matrix

예측 값

피곤하지 않다(N)

피곤하다

(P) Recall

실 제 값

피곤하지

않다(N) NN NP 







피곤하다

(P) PN PP

Precision 







_   × Pr 

Pr ×

Accuracy =       

  

×

표 1. 혼동 행렬 Table 1. Confusion matrix

4.1. 설문지 응답 데이터에 대한 실험 결과

CART 방식 기반으로 설계한 정신피로 진단 모델에 설문지 응 답 데이터를 적용하여 성능을 평가한 결과가 <표 2>에 보인다.

Confusion matrix

예측 값

피곤하지

않다 피곤하다 Recall

실 제 값

피곤하지 않다 30 0 1.0

피곤하다 1 29

Precision 0.968

_  

Accuracy = 98.33%

표 2. 설문지 응답 데이터에 대한 실험결과 Table 2. Experimental results for questionnaire responses

<표 2>를 보면, 실제 ‘피곤하지 않다’인 경우 모두 ‘피곤하지 않다’로, ‘피곤하다’는 1개를 제외하고 모두 바르게 예측되었다.

이를 토대로 구한



이는 매우 높은 성능을 보여 주는 것으로, 정신피로를 부과하기

위한 단순작업이 적절하게 설계되었음을 다시 확인해주는 결 과라고 볼 수 있다.

4.2. 음성 특징 파라미터에 대한 실험 결과

본 연구에서 설계한 정신피로 진단 모델에 음성 특징 파라미터 를 적용하여 성능을 평가한 결과가 <표 3>에 보인다.

Confusion matrix

예측 값

피곤하지

않다 피곤하다 Recall

실 제 값

피곤하지 않다 29 1 0.967

피곤하다 1 29

Precision 0.967

_  

Accuracy = 96.67%

표 3. 유의미한 음성 파라미터에 대한 실험결과 Table 3. Experimental results for significant speech parameters

<표 3>에 7가지 음성 특징 파라미터를 적용하여 실험한 결과 를 보면, 실제 ‘피곤하지 않다’와 ‘피곤하다’는 모두 29개가 바 르게 예측되어,



설문지를 통해 정신피로를 진단하는 방법은 주관적인 측정 도구이고, 음성 DB를 수집하여 피로를 평가하는 방법은 객관적 인 수단이다. 이와 같은 실험 결과로부터 음성 DB를 수집하여 객관적으로 정신피로를 진단하는 것이 가능함을 알 수 있다.

5. 결론

본 연구에서는 주관적인 심리 상태가 아닌 객관적인 측정 방법 으로 정신피로를 진단하는 것이 가능한가에 대한 문제를 다루 었다. 이를 위해 정신피로 진단모델을 구축하고 음성 특징 파라 미터를 사용하여 성능 평가를 수행하였다.

본 논문에서는 먼저 기존의 연구 결과인 정신피로 부과 실험 및 그 결과에 대해 요약 정리하였다. 피험자는 랜덤하게 배치된 숫자 집단을 크기 순서대로 맞추는 단순작업을 수행하면서, 피 로감을 묻는 주관적 설문지에 응답하고 제시된 음성 DB를 녹음 하여 다양한 음성 파라미터를 추출하였다. 이 실험으로부터 정 신피로와 음성 파라미터와의 상관성을 입증하고, 정신피로가 쌓임에 따라 불명확한 발성, 변화가 심한 피치주기, 그리고 기식 음화 된다는 사실을 규명하였다.

이와 같은 정신피로 측정 실험 결과를 바탕으로 본 연구에서 는 음성기술을 이용하여 정신피로를 진단하는 모델을 설계하

였다. CART 기반으로 진단모델을 생성하고, 이 모델에 주관적 설문지에 대한 응답 데이터와 유의미한 음성 파라미터 등을 적 용하였다. 실험결과 정확도는 각각 98.33%와 96.67%로 매우 높 은 성능을 보여주었다. 이와 같은 결과로부터 제안된 진단모델 이 적절하게 설계되었다는 것과, 음성기술을 이용하여 객관적 으로 정신피로를 진단하는 것이 가능함을 알 수 있다.

본 연구는 20대 남성에 대한 실험으로 향후 다른 연령대 또는 여성 음성에 대한 연구로 확장할 계획이다. 또한, 성능을 개선시 킬 수 있는 새로운 음성 파라미터를 도출하거나, 기계학습 방법 등에 사용되는 알고리즘으로 진단모델을 구현하여 정확도를 향상시키는 연구를 진행할 계획이다.

참고문헌

[1] Choi, E., & Song, M. (2003). Concept analysis : Fatigue. Journal of Korean Academy of Women’s Health Nursing, 9(1), 61-69. (최 의순·송민선 (2003). 피로의 개념 분석.

여성건강간호학회지

[2] Lee, C., Ko, H., & Yun, Y. (2000). The study on Korean-version-questionnaire for measurement of mental fatigue during monotonous task. Proceedings of Spring Conference of the Korean Society for Emotion & Sensibility (pp. 195-202). (이창미·

고한우·윤용현 (2000). 단조작업시 정신피로도 측정을 위한 한국어판 질문지에 관한 연구.

한국감성과학회 춘계 학술대 회 논문집

[3] Tylee, A., & Gandhi, P. (2005). The importance of somatic symptoms in depression in primary care. Primary Care Companion Journal of Clinic Psychiatry, 7, 167-176.

[4] Lee, M., & Joe, S. (2007). Biological aspects of fatigue. Korean Journal of Psychosomatic Medicine, 15(2), 65-72. (이문수·조숙 행 (2007). 피로의 생물학적 측면.

정신신체의학

fatigue during monotonous task. Proceedings of Autumn Conference of the Korean Society for Emotion & Sensibility (pp.

222-226). (윤용현·고한우·김동윤·이창미 (1999). 단조작업에 의한 정신피로의 평가 – 생리신호를 중심으로.

감성공학 추 계학술대회 논문집

[6] Ko, H., Yun, Y., Kim, D., & Lee, C. (2000). Measurement and assessment of mental fatigue using biosignals during monotonous task. Korean Journal of the Science of Emotion & Sensibility, 3(1), 1-6. (고한우·윤용현·김동윤·이창미 (2000). 생리신호를 사용 한 단조 작업 수행시 정신피로도의 측정과 평가.

한국감성과 학회지

[7] Lal, S. K., & Craig, A. (2001). A critical review of the psychophysiology of driver fatigue. Biological Psychology, 55, 173-194.

[8] Lin, C. T., Wu, R. C., Jung, T. P., Liang, S. F., & Huang, T. Y.

(2005). Estimating driving performance based on EEG spectrum

analysis. European Association for Signal Processing (EURASIP) Journal on Applied Signal Processing, 19, 3165-3174.

[9] Kim, S., & Park, S. (2002). An assessment method of fatigue in a long-term driving. Proceedings of Spring Conference of Korean Management Science (pp. 772-778). (김선웅·박세진 (2002). 장 시간 주행에 따른 피로도의 평가방법에 관한 연구.

한국경영 과학회 춘계학술대회논문집

[10] Song, S., Kim, J., Jang, J., & Kwon, C. (2013). A validity study on measurement of mental fatigue using speech technology.

Phonetics and Speech Sciences, 5(1), 3-10. (송승규·김종열·장준 수·권철홍 (2013). 음성기술을 이용한 정신피로 측정에 관한 타당성 연구.

말소리와 음성과학

[11] Kim, J., & Kwon, C. (2014). Measuring correlation between mental fatigues and speech features. Phonetics and Speech Sciences, 6(2), 3-8. (김정인·권철홍 (2014). 정신피로와 음성특 징과의 상관관계 측정.

말소리와 음성과학

acoustic characteristics of the Korean vowel /a/ before and after LMS. Malsori, 67, 33-60. (황연신·성철재 (2008). 후두미세수술 전후 /아/의 음향적 특성 비교.

말소리

[13] Park, H.. (2007). An acoustic study of phonation types in vowels following consonant clusters in Korean. Malsori, 64, 53-76. (박한 상 (2007). 한국어 자음군의 후행모음에 나타난 발성유형의 음 향음성학적 연구.

말소리

[14] Hillenbrand, J., & Houde, R. A. (1996). Acoustic correlates of breathy vocal quality: dysphonic voices and continuous speech.

Journal of Speech, Language, and Hearing Research, 39, 311-321.

[15] Park, C., Kim, Y., Kim, J., Song, J., & Choi, H. (2011). Data Mining Using R. Seoul: Kyohaksa. (박창이·김용대·김진석·송종 우·최호식 (2011). R

을 이용한 데이터 마이닝

Classification and regression tree. Belmont: Wadsworth.

[17] Ko, Y. (2011). The construction methodology of a rule-based expert system using CART-based decision tree method. Journal of Korea Institute of Electronic Communication Science, 6(6), 849-854. (고윤석 (2011). CART 알고리즘 기반의 의사결정트 리 기법을 이용한 규칙기반 전문가 시스템 구축 방법론.

한국 전자통신학회 논문지

[18] Allix, K., Bissyande, T. F., Jerome, Q., Klein, J., State, R., &

Traon, Y. L. (2014). Large-scale machine learning-based malware detection: confronting the 10-fold cross validation scheme with reality. Proceedings of the 4^th Association for Computing Machinery(ACM) International Conference on Data and Application Security and Privacy (pp. 163-166).

[19] Kim, Y., & Choi, K. (2000). Mathematical programming application for clustering problems in conjunction with confusing matrix. Proceedings of 2000 Conference of the Korea Industrial

& Systems Engineering (pp. 605-608). (김영민·최경현, (2000).

혼동 행렬을 이용한 클러스터링 문제의 수리 계획적 접근.

대 한산업공학회

한국경영과학회

년도 학술대회논문집

[20] Wen, Z., Zhang, R., & Ramamohanarao, L. (2014). Enabling precision/recall preferences for semi-supervised SVM training.

Proceedings of the 23^rd Association for Computing Machinery(ACM) International Conference on Information and Knowledge Management (pp. 421-430).

∙권철홍 (Kwon, Chu Hhong) 대전대학교 전자·정보통신공학과 대전광역시 동구 용운동 96-3 Tel: 04-280-2555 Fax: 042-280-2559 Email: [email protected]

관심분야: 음성기술, 음성기술과 의학 분야의 융합연구