영상처리를 이용한 안면신경마비 평가시스템 개발
장민1)․신상훈2)*
1) 상지대학교 일반대학원 한방의료공학과 2) 상지대학교 보건과학대학 한방의료공학과 1)
Abstract
Development of Facial Nerve Palsy Grading System with Image Processing
Min Jang1)․Sang-Hoon Shin2)*
1) Depart. of Oriental Biomedical Engineering, Graduate school, Sangji University 2) Depart. of Oriental Biomedical Engineering, Sangji University
Objectives
The objective and universal grading system for the facial nerve palsy is needed to the objectification of treatment in Oriental medicine. In this study, the facial nerve palsy grading was developed with combination of image processing technique and Nottingham scale.
Methods
The developed system is composed of measurement part, image processing part, facial nerve palsy evaluation part, and display part. With the video data recorded by webcam at measurement part, the positions of marker were measured at image processing part. In evaluation part, Nottingham scales were calculated in four different facial expressions with measured marker position. The video of facial movement, time history of marker position, and Nottingham scale were displayed in display part.
Results & Conclusion
The developed system was applied to a normal subject and a abnormal subject with facial nerve palsy. The left-right difference of Nottingham scores was large in the abnormal compared with the normal. In normal case, the change of the length between supraorbital point and infraorbital point was larger than that of the length between lateral canthus and angle of mouth. The abnormal case showed an opposite result. The developed system showed the possibilities of the objective and universal grading system for the facial nerve palsy
Key Words
facial nerve palsy, grading system, Nottingham scale, image processing
* 교신저자：신상훈 / 소속: 상지대학교 보건과학대학 한방의료공학과 TEL : 033-738-7611 / E-mail : [email protected]
투고일 : 2013년 12월 9일 수정일 : 2013년 12월 21일 게재확정일 : 2013년 12월 22일
Ⅰ . 서 론
안면신경마비는 뇌신경 질환 중에서 가장 흔히 볼 수 있는 질환으로 눈과 입이 한쪽으로 비뚤어지 는 증상이 나타나므로 口眼喎斜라 한다. 이병은 思 慮過多, 過勞, 寒冷露出, 원인불명 등의 이유로 발 병되는데, 脈絡이 空虛한 상태에서 風寒의 邪氣가 침입하여 經絡이 瘀滯되고 氣血이 痺阻되어 筋脈 이 失養되어 발병한다.1) 안면신경마비 환자의 한의 학적 치료효과를 객관화하기 위해서는 객관적이고 도 범용성있는 안면신경마비 평가시스템의 개발이 필요하다.
안면신경마비를 평가하는 방법은 크게 진단기기 를 이용하는 객관적 방법과 의사의 감각을 사용하는 주관적 방법으로 나눌 수 있다. 신경전도(ENoG)2)를 사용하여 안면신경을 변성정도를 직접평가하거나 적외선 체열진단기3)를 이용하여 간접적으로 안면 부 자율신경의 기능을 평가하기도 하였다. 또는 안 면부의 근육과 신경을 동시에 평가하기 위하여, 근
전도(EMG)와 신경전도4)또는 근전도와 심박변이도
5)를 함께 사용하기도 하였다. 그리고 한방에서 주로 사용하는 양도락6)이나 팔강진단기7)를 사용한 연구 도 있었다. 주관적인 방법은 전체적인 안면마비와 이차적 동반증상을 한번에 평가하는 총괄법(Gross
scale), 안면을 부위별로 나누어 각각의 마비정도를
평가한 뒤 전체적인 등급으로 환산하는 부위법 (Regional scale), 안정시와 운동시 장애 그리고 이차 적 동반증상을 따로 나누어 등급을 평가하는 특수법 (Specific facial nerve grading system)으로 분류된다
8). 이중 총괄법의 HB법9)과 Nottingham법10), 그리 고 부위법의 Yanagihara법11)이 임상에서 빈번하게 사용되고 있다. HB법과 Yanagihara법에서는 의사 가 환자의 상태를 몇가지 단계의 등급으로 판단하도 록 하고 있다. 이러한 방법은 임상에서 적용하기는 편리하나 의사의 경험과 판단에 따라 결과가 달라질
수 있는 가능성이 매우 크다. Nottingham법은 환자 얼굴의 지정된 위치에 기준점을 설정하고, 표정변화 에 따른 거리변화를 측정하므로 의사와 무관한 일정 한 결과를 얻을 수 있다. 또한 평가지표가 명확하므 로 측정장비를 이용하여 객관화할 수 있다.
진단기기를 이용하는 객관적 방법은 정확하고 객 관적이기는 하나, 개인적 취향이 반영된 연구단계 수준에 머물러 있으며, 주관적인 방법처럼 임상적에 서 보편적으로 사용되고 있지는 않다. 주관적 방법 은 접근성이 쉽고 평가지표가 세계적으로 널리 사용 되고 있다는 장점이 있으나 의사의 주관이 개입될 가능성이 많다. 그러므로 본 연구에서는 주관적 방 법과 객관적 방법의 장점들을 모두 고려한 새로운 시스템을 개발하고자 한다.
Ⅱ . 연구방법
본 연구에서는 영상처리기법과 노팅험 스케일을 적용하여 안면신경마비를 자동으로 평가하는 시스 템을 개발하였다. 본 연구에서 개발한 시스템의 구 성은 Figure. 1과 같다. 시스템은 크게 측정부, 영상 처리부, 안면마비 평가부, 그리고 화면출력부로 구 성되어 있다. 측정부에서 웹캠을 통하여 촬영된 얼 굴의 동영상정보를 이용하여, 영상처리부에서는 얼 굴에 부착된 마커의 실시간 위치를 추적한다. 안면 평가부에서는 4가지 상태의 측정결과를 이용하여 노팅험 스케일을 구하며, 이 모든 내용은 화면출력 부에 나타난다.
1. 안면마비 평가시스템
(1) 측정부
웹캠을 이용하여 피험자의 얼굴을 실시간으로 촬 영한다. Figure. 2(a)는 측정에 사용된 Logeth HD
그림 1. 시스템의 구성도
Fig 1. Block diagram of the system
그림 2. 측정부 (a) 측정장치 (b) 측면모습 (c) 정면모습
Fig 2. Measurement part (a) Measurement device (Logetech HD webcam c525) (b) Side view (c) Front view
Webcam c525을 나타낸다. 웹캠과 얼굴의 거리를
일정하게 유지하고, 둘 사이의 각도를 90도로 유지
하기 위하여 헬멧에 웹캠을 고정하였다. Figure. 2(b) 와 Figure. 2(c)는 피험자가 측정장치를 착용한 상태
그림 3. 영상처리부의 작업절차
Fig 3. Procedure of the image processing part
그림 4. 안면부의 측정위치 (a) 노팅험 시스템의 측정위치
11) (b) 마커 인식결과
Fig 4. Measurement points of the face (a) Reference points for the Nottingham System11) (b) Result of marker identification
를 보여주고 있다. 헬멧의 뒷부분에 무게추를 달아 웹캠으로 인한 앞쪽 쏠림을 방지하였다.
(2) 영상처리부
본 연구에서는 피험자의 얼굴에 특정색깔의 마커 를 부착하고 영상처리를 통하여 자동으로 마커의 위치를 계산한다. 영상처리부의 작업절차는 Figure.
3과 같다. 웹캠을 통하여 입력된 RGB영상을 YCbCr 색상모델로 변환한다. 이는 주위의 조명에 따른 오 차를 줄이기 위함이다. YCbCr 색상영상에서 Cr 170 이상을 기준으로 마커를 흰색, 마커를 제외한 나머 지 부분을 검은색으로 이진화한다. 레이블링
(labeling)과정을 통하여 마커부분을 하나의 물체로
인식한다. 사용자는 영상출력부 화면에 나타난 피험 자의 영상에 마우스로 마커를 지정하면, 지정된 마 커에 식별자(ID)가 부여된다.
(3) 안면마비 평가부
노팅험 스케일에서는 좌우각각 4개의 측정지점 을 선정하였다. 4개의 지점은 안와상 지점 (SO: su- praorbital point), 안와하 지점 (IO: infraorbital point), 눈꼬리 지점 (LC: lateral canthus), 그리고 입
꼬리 지점 (M: angle of mouth)이며10) Figure. 4(a)에 나타나 있다. Figure. 4(b)는 시스템에서 마커가 인식 된 결과를 보여준다.
Figure. 5는 노팅험 스케일의 계산절차를 나타내
고 있다. 먼저 편안하게 눈을 뜬 상태(S1)에서, 눈을 위로 치켜뜬 상태(S2), 눈을 꼭감은 상태(S3), 그리고 미소짓는 상태(S4)로 차례로 표정을 바꾸면서 측정 하게 된다. Figure. 5에서 는 좌측 안와상 지점 (SO)과 안와하 지점(IO)사이의 거리를 뜻하며 식(1) 과 같다. 여기서 r은 웹캠을 기준으로한 해당지점의 위치를 뜻한다.
(
_ _)
Si SO left IO left Si
LA = r − r
식(1)
는 좌측 눈꼬리 지점(LC)과 입꼬리 지점(M) 사이의 거리를 뜻하며 식(2)와 같다.
(
_ _)
Si LC left M left Si
LB = r − r
식(2)
는 우측 안와상 지점(SO)과 안와하 지점 (IO)사이의 거리를 뜻하며 식(3)과 같다.
동 작 좌 측 우 측
정상상태 (S1) LAS1 LBS1 RAS1 RBS1
눈썹을 최대한 올린다 (S2) M1 = LA -LAleft S2 S1 M1right= RA -RAS2 S1 눈을 힘주어 감는다 (S3) M2 = LA -LAleft S3 S1 M2right= RA -RAS3 S1 미소를 짓는다 (S4) M3 = LB -LBleft S4 S1 M3right= RB -RBS4 S1
합계 M =M1left left+M2left+M3left Mright=M1right+M2right+M3right
left right right left
Nottingham score = (M /M ) 100 or (M× /M ) 100× 그림 5. 노팅험 스케일의 계산절차
Fig 5. Calculation procedure of the Nottingham Scale
그림 6. 출력부 (a) 동영상 표시부 (b) 마커추적 실행버튼 (c) 노팅험 스케일 계산버튼 (d) 측정지점간 거리의 실시간 변화
Fig 6. Display part (a) Video display part (b) Execution buttons for image processing (c) Execution buttons for Nottingham Scale (d) Time history of the distances between measurement points
(
_ _)
Si SO right IO right Si
RA = r − r
식(3) 는 우측 눈꼬리 지점(LC)과 입꼬리 지점(M) 사이의 거리를 뜻하며 식(4)와 같다.
(
_ _)
Si LC right M right Si
RB = r − r
식(4)눈썹을 올리거나 눈을 감는 동작은 안와상하 지 점간의 거리를 측정하며, 미소짓는 동작은 눈꼬리와 입꼬리 사이의 거리를 측정한다. 각 단계에서 측정 한 값과 편안하게 눈뜬 상태(S1)와의 차이인 M1,
M2, M3를 기록한다. 최종적으로 각 단계에서 구한
값을 좌측과 우측에 대하여 합산하고, 큰 값을 분모 로 작은 값을 분자로 하여 백분율을 계산한다.
(4) 화면출력부
Figure. 6은 화면출력부의 예를 보여준다. Figure.
6(a)는 실시간으로 화면에 나타나는 피험자의 모습 을 나타내며, Figure. 6(b)는 영상처리부의 작업과 안면마비 평가부의 작업을 시작하고 종료하는 버튼 을 보여준다. Figure. 6(c)는 노팅험 스케일을 계산하 기 위해 4단계 동작을 수행할 때, 측정값을 저장하 기위한 버튼을 보여준다. Figure. 6(d)는 측정시간 동안의 , , , 의 변화를 나타내는 그래프이다.
2. 실험방법
본 연구에서 개발된 시스템을 이용하여, 안면마 비를 평가할 수 있는 노팅험 스케일을 계산하는 절 차는 다음과 같다. 피험자가 Figure 2(b)와 같이 측정 장비가 부착된 헬멧을 착용하면, 측정자는 마우스와 컴퓨터 화면을 이용하여 Figure 4(b)와 같이 측정장 비에게 측정점을 인식시킨다. 측정이 시작되면 피험 자는 Figure. 5와 같이 4단계를 차례로 거치면서 측 정하게 된다. 먼저 피험자가 긴장을 풀고 편안하게 눈을 뜬 상태(S1)에서, 눈을 위로 치켜뜬 상태(S2), 눈을 꼭감은 상태(S3), 그리고 미소짓는 상태(S4)로 차례로 표정을 바꾸며 측정자는 각 단계에 적합한 순간에 Figure. 6(c)의 단계별 버턴을 눌러 각 상태의 측정값이 저장되며 최종단계(S4)가 끝나면 노팅험 스케일이 계산된다. 측정이 완료된 후에 Figure. 6(b) 의 그래프 버턴을 누르면 Figure. 6(d)와 같이 측정시 간 동안의 변화를 알 수 있다.
Ⅲ . 결 과
정상인 1명과 안면신경마비의 정도가 약한 환자 1명을 대상으로 본 연구에서 개발된 장치를 적용하
였다. 본 연구의 목적이 새로운 평가시스템의 개발 에 있으므로 대규모 임상을 통한 정량적인 분석보다 는, 소수의 인원을 이용한 정성적인 분석방법을 선 택하였다.
Ⅳ . 고찰 및 결론
안면신경마비 환자의 한의학적 치료효과를 객관 화하기 위해서는 객관적이고도 범용성있는 안면신경 마비 평가시스템의 개발이 필요하다. 본 연구에서는 영상처리기법과 노팅험 스케일을 적용하여 안면신경 마비를 자동으로 평가하는 시스템을 개발하였다. 노팅험 스케일은 임상에서 많이 사용되는 주관적 방법이다. 주관적 방법에서 가장 유명한 HB 스케일
9)은 의사가 환자의 상태에 따라 등급을 부여하는 형식이다. 이러한 방식은 의사의 경험과 판단에 따 라 측정값이 다를 수 있다. 노팅험 스케일10)은 좌우 각각 4개의 기준점을 설정하고, 4가지 얼굴표정에 따른 지점간의 거리를 측정하므로 의사의 주관과 경험에 영향을 받지 않는다. 현재 임상에서는 촬영 된 사진을 이용하여 노팅험 스케일을 계산하고 있 다. 이는 시간이 많이 걸리고, 사진에 나타난 지점간 의 거리가 실측값이 아니며, 4장의 사진이 동일한 거리에서 측정된다는 보장이 없으므로 정확하지 않 다. 본 연구에서 개발된 장치는 실측값을 제공하므 로 측정의 정확도가 높다. 그리고 가장 큰 특징은 한 순간의 정지사진을 사용하는 기존의 방법과는 달리, 본 연구에서는 동영상을 사용하므로 표정변화 에 따른 움직임의 특성도 분석할 수 있는 장점이 있다. 즉 근육 움직임의 결과와 과정에 대한 정보를 동시에 분석할 수 있으므로, 향후 새로운 평가지표 를 개발할 수 있는 도구가 되리라 생각된다.
개발된 시스템의 타당성을 검토하기 위하여 정상 인과 비정상인을 대상으로 시스템을 평가하여 보았
그림 7. 정상인의 시험결과 (a) 휴식상태 모습 (b) 눈썹을 치켜뜬 모습 (c) 눈을 꼭 감은 모습 (d) 미소짓는 모습 (e) 노팅험 스케일 계산결과 (f) 측정거리의 시간변화
Fig 7. Results of a normal subject (a) At rest (b) Maximal-effort eyebrow raising (c) Closing eyes tightly (d) Smiling (e) Results of Nottingham score (f) Graphs of the time history of distances
그림 8. 안면신경마비 환자의 시험결과 (a) 휴식상태 모습 (b) 눈썹을 치켜뜬 모습 (c) 눈을 꼭 감은 모습 (d) 미소짓는 모습 (e) 노팅험 스케일 계산결과 (f) 측정거리의 시간변화
Fig 8. Results of a abnormal subject (a) At rest (b) Maximal-effort eyebrow raising (c) Closing eyes tightly (d) Smiling (e) Results of Nottingham score (f) Graphs of the time history of distances
다. 노팅험 스케일을 적용하기 위해서는 4가지 동작 이 필요하다. 즉, 편안하게 눈을 뜬 상태를 기준으로, 눈썹을 치켜뜨는 동작, 눈을 꼭 감는 동작, 그리고
미소짓는 동작을 연속적으로 실시하게 된다. Figure.
7(e)와 Figure. 8(e)는 편안하게 눈을 뜬 상태와 특정 동작사이의 변화량을 나타낸다. 실험에서 환자는 좌
측에 약한 안면마비를 가지고 있었다. Figure. 7에서 좌우의 결과가 유사하고 표정에 따른 변화량이 큰 정상인과는 달리, Figure. 8의 환자는 좌우측에 편차 가 심하고 마비가 있는 좌측의 변화량이 우측에 비하 여 상당히 적었다. 눈썹을 올리거나 눈을 감는 동작은 안와상하 지점간의 거리를 측정한다. 미소짓는 동작 은 눈꼬리와 입꼬리 사이의 거리를 측정한다. 정상인 의 경우 눈 주위의 움직임이 미소짓는 동작보다 변화 가 크다. 그러나 환자의 경우 눈주위의 움직임이 작아 지며, 특히 눈썹을 올리는 동작에 어려움이 있음을 알 수 있다. 비록 두 경우가 일반적인 상황을 대표할 수는 없지만, 측정결과를 통하여 다양한 분석이 가능 함을 알 수 있다. 향후 대규모 임상연구를 통하여 정 상인의 특성과 환자군별 특성을 정량화하는데 본 연 구에서 개발된 장치가 사용되리라 기대한다.
감사의 글
본 연구는 2012년도 후반기 상지대학교 교내연 구비 지원으로 이루어졌습니다.
參 考 文 獻
1. 대한침구의학회 교재편찬위원회. 침구의학. 집문 당, 2012: 625.
2. 서은비, 주현아, 임진영, 황충연. 말초성 안면신경마 비의 예후인자로서 Electroneuronography (ENoG) 의 유용성에 대한 연구. 한방안이비인후피부과학 회지. 2011; 24: 55-64.
3. 김대수, 박용호, 유미경, 박윤희, 박수연, 최정화, 김종한. 적외선 체열진단을 이용한 구안와사 환자 (Bell's palsy)의 호전기간에 대한 임상연구. 한방안
이비인후피부과학회지. 2006; 19: 202-211.
4. 성원석, 김필군, 구본혁, 유희경, 석경환, 이주현, 김민정, 박연철, 서병관, 박동석, 백용현. 안면신경 마비 예후인자로서 근전도검사(EMG)와 조기 시 행한 신경전도검사(ENoG)의 유용성에 대한 연구: 한양방 협진치료 기반으로. 대한침구학회지. 2013; 30: 115-123.
5. 김찬영, 김종인, 이상훈, 박동석, 고형균. 말초성 안면신경마비 환자에서 EMG(electromyography) 와 HRV(heart rate variability)의 임상적 예후인자 로서의 유용성 및 상관성 연구. 대한침구학회지. 2008; 25: 189-197.
6. 유승연, 권효정, 김영진, 이승훈, 정지윤, 곽현영, 김지혜, 선종인, 임성근, 박영배. 특발성 안면신경 마비 환자의 진단도구로서의 양도락 지표 연구. 대한침구학회지. 2010; 27: 95-100.
7. 조이현, 이진복, 임정균, 박가영, 육태한, 송범용. 구안와사와 7구역진단기의 상관성 연구: Factor AA 제2구역의 유형을 중심으로. 대한침구학회지. 2010; 27: 1-10.
8. 김종인, 고형균, 김창환. 구안와사의 평가방법에 대한 고찰. 대한침구학회지. 2001; 18: 1-17.
9. House JW, Brackmann DE. Facial nerve grading system. Otolaryngol Head Neck Surg. 1985; 93:
146-147.
10. Murty GE, Diver JP, Kelly PJ, O'Donoghue GM, Bradley PJ. The Nottingham System: objective assessment of facial nerve function in the clinic.
Otolaryngol Head Neck Surg. 1994; 110: 156-161.
11. Satoh Y, Kanzaki J, Yoshihara S. A comparison and conversion table of 'the House-Brackmann fa- cial nerve grading system' and 'the Yanagihara grading system'. Auris Nasus Larynx. 2000; 27:
207-212.
