▒ 접수 ▸ 2011년 6월 21일 수정 ▸ 2011년 8월 1일 채택 ▸ 2011년 8월 8일
▒ 교신저자 김종열, 대전광역시 유성구 전민동 461-24 한국한의학연구원 Tel 042-868-9489 Fax 042-868-9480 E-mail [email protected]
자가 안면영상 촬영장치 개발 및 검증
전영주, 도준형, 김장웅, 김상길, 이혜정, 이유정, 김근호, 김종열
한국한의학연구원 체질생물학·의공학연구센터Development and Evaluation of an Self-Operated Face Capturing System
Young Ju Jeon, Jun-Hyeong Do, Jang Wong Kim, Sang Gil Kim, Hae Jung Lee, Yu Jung Lee, Keun Ho Kim, Jong Yeol Kim
Constitutional Biology and Medical Engineering Research Center, Korea Institute of Oriental Medicine
Objectives : The purpose of this study is to develop an apparatus which can take a facial image by self-operated capturing technique. The user can obtain one’s facial image immediately after adjusting facial tilt and focusing distance.
The system has been designed for classifying Sasang typology based on facial image.
Methods : The system is composed of a Webcam, one-way glass mirror and mini LCD. The Webcam takes a facial image which is displayed on the mini LCD. Then the user can see and adjust to the right position in the real time through the image mirror-reflected from the mini LCD. The optical sensor is used to estimate the proper focusing distance.
To verify the performance of the system, 11 characteristic points on the facial image are used and compared with high performance DSLR camera(D700) by applying the coefficient of variance and Bland-Altman Plot.
Results : The developed system and D700 show enough agreement with the small coefficient of variance to analyse constitutional types with a facial image. However, the result of Bland-Altman plot shows that the width parameters have distortions owing to short focusing distance.
Conclusions : The system is expected to be utilized on u-healthcare services for home environment after improving the distortion in the width parameters.
Keywords: Inspection, Face Image, Sasang Constitutional Medicine, One-way glass mirror
I. 서론
한의학의 4가지 진단방법 중 하나인 望診은 환자의 정신상태, 안면의 표정, 안색, 신체 자세, 태도나 피부 등의 상태를 진찰하는 전통적인 진단방법이다1-2). 이 러한 망진은 안면 부위를 관찰하여 체질을 판별하기 위한 용도로도 널리 사용된다3-5). 하지만, 안면을 통
한 체질 판별에 있어서 한의사마다 기준이 달라 일관 성 있는 진단결과를 얻는데 한계가 있어왔다. 이러한 문제점들을 해결하기 위해 오퍼레이터가 엄격한 SOP 를 적용하여 안면사진을 측정하고 이를 바탕으로 안 면의 특징점 사이의 거리, 각도, 비율 정보 등을 이용 하여 체질을 판별하는 연구들이 진행되고 있다6-8). 본 논문은 안면 사진을 촬영할 때 오퍼레이터 없이 도 안면 분석이 가능할 정도의 사진을 사용자 스스로 촬영할 수 있는 소형화된 자가 안면영상 촬영장치에 관한 것이다. 노트북이나 핸드폰 등에서도 셀프 촬영 기능들이 있지만 이들은 사용자가 화면을 응시하면서
<Fig. 1> The Concept of the Self-Operated Face Capturing System 시선이 화면의 중앙을 바라볼 수 없다는 단점들을 갖
는다. 안면영상을 통해 체질판별이 가능하기 위해서 는 동공점과 상이저점이 일직선상에 있어야하고 안면 의 좌/우 균형이 맞는 사진을 촬영해야 한다3).
본 연구에서 개발한 시스템은 이러한 기준들을 만 족시킬 만한 영상을 사용자 스스로 촬영할 수 있도록 고안되었으며 이를 위해 고해상도 웹캠, one-way glass mirror, 거리 측정을 위한 광 센서 그리고 mini LCD monitor와 LED 조명을 이용하여 개발 하였다. 또 한, 촬영되는 화면에 수평라인과 수직라인을 만들어 기 울어짐이 없는 안면 영상을 촬영할 수 있도록 하였다.
개발한 자가 안면영상 촬영장치의 신뢰성 검증을 위해서 동일한 피험자에 대해 고해상도의 DSLR 카메 라(니콘 D700, 85mm 렌즈)와 기존의 엄격한 SOP를 적용하여 촬영한 안면사진과 개발한 자가 안면영상 촬영장치를 통해 촬영한 사진에 대해 기울기, 가로폭, 세로폭에 대한 안면의 특징점을 자동으로 추출한 후 변동계수(Coefficient of Variance)와 Bland-Altman plot을 이용하여 검증하였다.
본 논문에서 개발한 자가 안면영상 촬영장치는 오 퍼레이터의 도움 없이 스스로 안면 분석이 가능할 정 도의 사진을 촬영할 수 있기 때문에 추후 체질 분석이 나 안색을 통한 건강정보 추출 등을 통해 한방 u-healthcare 시스템으로 활용될 수 있을 것으로 기 대된다.
Ⅱ. 연구 방법
체질 진단을 위한 안면 영상을 사용자가 스스로 촬 영하기 위해서는 사용자의 시선이 화면 중앙을 응시 하여야 하고 좌, 우, 상, 하로 기울어짐 없는 영상을 촬영할 수 있어야 한다. 이러한 시스템 개발을 위하여 고해상도 웹캠, one-way glass mirror, 미니 LCD, 거리 측정을 위한 광 센서 및 화면상에 수평, 수직 가 이드라인을 제시하는 자가 안면영상 촬영장치를 개발 하였다. <Fig. 1>에 자가 안면영상 촬영장치의 개념 도를 나타내었다.
<Fig. 1>의 개념도를 보면, 웹캠이 있는 mirror 내 측 공간은 외부 빛이 들어가지 못하도록 차폐되어 있 다. 사용자는 카메라를 볼 수 없고 카메라에 의해 촬 영된 자신의 모습을 LCD 모니터와 mirror를 통해 확
인하면서 촬영을 진행한다.
본 시스템에 사용된 웹캠(Logitech, C905)은 200 만 화소이며 자동 초점 기능을 갖고 있다. One-way glass mirror(3T)는 카메라가 선명한 안면 영상을 촬 영하면서 mirror 안쪽 면이 최대한 보이지 않도록 하 기 위하여 투과율 65%인 mirror를 주문 제작하여 사 용하였다. 카메라로 촬영된 영상을 mirror에 나타내 주기 위하여 7인치 미니 LCD(LG, F7010N-PN)를 시스템의 하부에 설치하였다.
본 촬영 시스템을 통한 좋은 안면 이미지를 얻기 위 해서는 피험자와 일정한 거리 간격을 유지해야 한다.
이를 위해 10cm부터 80cm 범위에서 거리 값을 전압 값으로 변환시킬 수 있는 광 센서(Sharp, GP2Y0A21YK) 를 사용하였다. 촬영되는 피험자의 안면이 화면상에 적절한 크기를 갖도록 고려된 촬영거리(거리측정 센 서부터 피험자 턱까지 거리)는 43cm이었으며 이에 대한 광센서의 출력 값을 확인하기 위해 고정된 사물 을 이용하여 10cm부터 65cm 까지 거리를 조절하면 서 전압 값을 측정한 후 spline 보간법을 이용하여 추 세선을 산출하였다. 사용자가 쉽게 적정 거리를 찾을 수 있도록 43cm±2cm인 경우 화면 중앙에 초록색 사 각형을 표시하도록 하고, 이보다 더 멀리 사용자가 있 다면 빨간색 삼각형, 가까이 있다면 파랑색 역삼각형 모양을 표시하도록 프로그램 하였다.
다양한 조건하에서 안면 영상을 촬영하기 위해 백 색 LED를 좌우측에 각각 12개 그리고 윗면에 9개를 장착하였다. 또한, LED 빛을 확산시키기 위하여 확산 아크릴을 이용하여 LED 덮개 면을 제작하였다. 그림 2는 개발한 소형 자가 안면영상 촬영장치의 목업 사 진을 나타낸 것이다.
47
17 25 21
53 52 121
153
49
50 143
43
51
<Fig. 4> A Facial Image
<Fig. 3> The Operating Procedure of the Self-Operated Face Capturing System
구분 분석 변수 변수 설명
기울 기
FA21_121 양쪽 동공점을 이는 직선의 기울기 FA50_52 구열점과 눈 사이점을 이은 직선의 기울기 FA17_25 상안검열점과 시외안간점을 이은 직선의 기울기
가로 폭
FD21_121 양쪽 동공점 사이의 거리 FD52_53 눈 사이점(52)에서의 얼굴 폭의 1/2 FD53_153 눈 사이점(52)에서의 얼굴 폭
FD43_50 구열점(50)에서의 얼굴 폭의 1/2 FD43_143 구열점(50)에서의 얼굴 폭
세로 폭
FD47_51 발제점(47)과 턱하점(51)사이의 거리 FD49_52 비하점(49)과 눈사이점(52)사이의 거리 FD50_52 구열점(50)과 눈사이점(52)사이의 거리
<Table 1> Parameters for the Face Analysis
<Fig. 2> The Working Mockup of the Self-Operated Face Capturing System
본 시스템의 구동에 대한 개념도를 <Fig. 3>에 나 타내었으며 구동 순서는 다음과 같다. 첫째, 시스템 사용을 위한 사용자 정보 입력을 통합 제어용 컴퓨터 에서 입력한 후 촬영장치에 안면을 거치 시키고 화면 상에 보이는 수평, 수직 가이드라인에 동공점과 상이 저점을 일치시킨다. 둘째, 두 가이드라인의 교차점에 있는 거리 확인 도형이 초록색 사각형이 되도록 촬영 거리를 조정한 후 마우스를 클릭하면 촬영이 이루어 진다. 셋째, 촬영된 영상은 자동 저장되며 특징점 추 출이 이루어지게 된다. 사용자는 통합 제어용 컴퓨터 의 모니터를 볼 수 없기 때문에 마우스는 미리 촬영버 튼 위에 놓이게 한 후 촬영이 이루어지도록 해야 한다.
본 논문에서 개발한 소형 자가 안면영상 촬영장치 의 신뢰성을 검사하기 위해서 총 15명의 피험자(남자 9명, 여자 6명)를 대상으로 4회 반복 측정하여 변동계
수(CV, Coefficient of Variance)를 통해 반복성을 평가하였다. 또한, 동일한 피험자에 대해 오퍼레이터 가 DSLR 카메라를 이용하여 촬영한 영상과 자가 안 면영상 촬영장치를 통해 촬영된 안면 영상에 대해 Bland-Altman plot을 이용하여 평가하였다. Bland- Atman plot은 두 측정 방법에 의한 결과 값의 차의 분포를 확인하는 그래프로서 이 값들의 평균이 0에 근사한지와 데이터 분포가 ±1.96SD(Standard Deviation)라는 신뢰구간 내에 분포하는 지를 확인하 여 두 측정 방법의 유사성을 확인하고자 할 때 널리 사용되는 분석 방법이다. 변동계수와 Bland-Altman plot을 통해 신뢰성을 평가하기 위해 사용된 변수들을
<Table 1>과 <Fig. 4>에 정리하였다. 분석에 사용된
변수 CV(%)
D700 소형화 안면 진단기
*FA17_25 5.53% 7.41%
**FD12_121 0.49% 2.35%
FD52_53 1.08% 2.63%
FD53_153 0.40% 2.19%
FD43_50 1.37% 3.06%
FD43_143 0.56% 2.06%
FD47_51 0.43% 2.17%
FD49_52 0.87% 2.82%
FD50_52 0.78% 2.69%
(*FAn1_n2: 점 n1과 n2를 잇는 직선의 기울기, **FDn1_n2: 점 n1과 n2 사이의 유클리디안(euclidean) 거리)
<Table 2> The CV of Parameters of the Facial Image Between D700 and the Developed Apparatus
안면 특징점들은 영상처리 알고리즘을 이용하여 촬영 된 안면 사진에서 자동으로 검출되었다8).
Ⅲ. 연구결과
측정 변수들 중 FA21_121과 FA50_52는 얼굴의 기울기 정도를 파악하기 위한 것으로서 4회 반복 측 정할 경우 각각 180°와 90°로 일정하게 측정되어야 한다. 두 가지 측정방법으로 촬영된 영상에서 위 두 가지 변수에 대한 분석결과 15명 모두 ±3° 이내의 범 위 내에서 측정되어 반복 측정 시 얼굴의 기울기 정도 가 기울어지지 않고 측정되었음을 확인할 수 있었다.
그 외 나머지 9개 변수들에 대해서는 변동계수를 계산하였으며 <Table 2>에 그 결과를 나타내었다.
개발한 자가 안면영상 촬영장치에서 촬영된 영상에서 분석한 변수들의 변동계수가 D700에서 촬영한 결과 보다 약 2% 높게 나타나는 경향을 보였으며 FA17_25는 다른 변수들 보다 변동계수가 값이 더 높 게 나타났다.
<Fig. 5>는 두 가지 측정 방법을 비교하기 9개의 변수에 대해 Bland-Altman plot를 나타낸 결과이다.
그림 5에서 모든 변수들의 데이터가 대부분 신뢰구간 (±1.96SD)안에 분포하는 것으로 확인되었으며, (c) FD52_53, (d) FD53_153, (e) FD43_50, (f) FD43_143 그리고 (i) FD50_52 변수들은 평균이 0과 큰 차이를 보였고 그 외 나머지 변수들에서는 평균이
0과 비슷한 값을 나타내었다. 즉, (c), (d), (e), (f), (i) 변수들은 두 측정방법 간에 일정한 차이가 존재하는 것을 확인할 수 있었다.
Ⅳ. 고찰 및 결론
본 논문은 안면영상을 이용하여 체질분류를 하는데 있어 피험자 스스로 안면 분석에 적절한 영상을 촬영 할 수 있도록 고안된 소형화된 자가 안면영상 촬영장 치에 대한 것이다. 이를 위하여 웹캠으로 촬영되는 영 상을 one-way glass mirror와 미니 LCD 모니터를 이용하여 피험자의 시선이 정면을 바라볼 수 있도록 구성하였다. 또한, 촬영되는 화면에 가로, 세로 안내 선을 두어 전, 후, 좌, 우의 기울임을 피험자 스스로 쉽게 판단할 수 있도록 하였다. 카메라로부터 피험자 의 안면까지 일정한 촬영거리 유지는 안면 특징점 분 석을 원활하게 진행하기 위해서 반드시 필요한 부분 이며 본 연구에서는 거리 측정 센서를 이용하여 적절 한 거리에 위치하였을 때 초록색 사각형이 화면상에 표시될 수 있도록 구현하였다. 다양한 촬영환경 상에 서 외부 조명만을 이용할 경우 피험자의 안면에 그림 자가 생길 수 있기 때문에 백색 LED와 확산 아크릴을 이용한 조명 커버를 이용하여 일정한 조명이 피험자 안면에 비춰질 수 있도록 하였다.
개발한 자가 안면영상 촬영장치의 평가를 위해 15 명의 피험자를 대상으로 고성능 DSLR 카메라인 D700(85mm 렌즈)을 이용하여 총 11가지 안면 특징 점에 대하여 비교 실험을 하였으며 변동계수와 Bland-Altman plot을 이용하여 평가하였다. 반복성을 의미하는 변동계수는 <Table 2>에서와 같이 D700이 더 좋은 반복성을 나타내었지만 개발한 촬영장치 역 시 안면 영상을 분석하는데 적절한 변동계수 결과 값 을 보여주었다. FA17_25 변수가 다른 변수들에 비해 변동계수 값이 높게 나타났는데, 이는 <Fig. 4>에서 25번 점에 대한 검출 기준이 불명확하여 이 특징점 검출에 대한 반복성이 좋지 않았던 것으로 판단된다.
두 가지 촬영 시스템이 유사한 결과를 보이는지 파 악하기 위한 Bland-Altman plot 결과에서는 기울기 와 세로폭을 의미하는 변수들은 평균이 0에 가깝게 나타났고 데이터 분포 역시 신뢰구간 안에 분포하여 두 측정 방법이 유사한 결과를 보여주는 것을 확인할
(a) (b)
(c) (d)
(e) (f)
(g) (h)
(i)
<Fig. 5> Bland-Altman Plot of Parameters of the Facial Image Between Two Methods
<Fig. 6> An Example of the Distortion According to Different Object Distance
수 있었다. 하지만 가로폭을 의미하는 변수들 (FD21_121, FD52_53, FD53_153, FD43_50, FD43_143)의 데이터 분포는 신뢰구간 내에 존재하 지만 평균이 큰 차이를 보여 두 측정 방법에 의한 결 과가 서로 다른 것으로 확인되었다. 이러한 이유는 자 가 안면영상 촬영장치의 촬영거리가 약 43cm이고 D700을 이용할 때 촬영거리는 약 100cm이어서 두 측정 방법의 촬영거리가 서로 다르고 특히, 자가 안면 영상 촬영장치의 촬영거리가 피험자 안면과 가까워 가로 길이에 대해 일정 부분 왜곡이 존재했기 때문인 것으로 판단된다. 예를 들어 <Fig. 6>에서처럼 서로 다른 촬영거리를 갖는 두 개의 촬영소자가 있을 때 피 사체에서 추출한 특징점의 위치에 차이가 생겨 a와 b 간의 거리와 c와 d간의 거리가 차이가 발생하는 것을 알 수 있다. 이러한 문제는 기존연구9)에서와 같이 전 반사경과 같은 거울을 이용하여 피험자와 촬영시스템 과의 거리는 현재와 같게 유지하면서도 촬영거리는 더 늘림으로써 해결할 수 있을 것으로 판단한다.
<Fig. 4>의 (i)에 있는 FD50_52는 세로폭을 나타내 는 변수임에도 두 측정 방법에 의한 결과 값 차이의 평균이 –3.05로 0과 차이가 나는 결과를 보였다. 이는 안면 이미지 상에 있는 50번 특징점의 검출이 불안정 하기 때문으로 이 특징점의 자동 검출 알고리즘 개선 에 대한 연구도 함께 진행하고 있다.
본 연구의 결과는 엄격한 SOP나 오퍼레이터 없이 사용자 스스로 손쉽게 안면 영상을 촬영하고 체질을 판별할 수 있는 시스템 개발에 활용될 수 있고, 추후 안색 판단을 통해 건강 정보를 얻을 수 있는 알고리즘 이 개발된다면 거실이나 화장실의 거울 등에 적용되 어 u-healthcare 시스템으로 충분한 활용가치가 있 을 것으로 판단된다.
감사의 글
본 연구는 지식경제부 산업원천기술개발사업 중 오 감형 한방 진단/치료 컨텐츠 개발(10028438)에 의해 이루어진 것입니다.
