iOS 플랫폼에서 Active Shape Model 개선을 통한 얼굴 특징 검출
이용환* · 김흥준†
*극동대학교 스마트모바일학과, †경남과학기술대학교 컴퓨터공학과
Improvement of Active Shape Model for Detecting Face Features in iOS Platform
Yong-Hwan Lee* and Heung-Jun Kim†
*Dept. of Smart Mobile, Fat East University
†Dept. of Computer Science and Engineering, Gyeongnam National University of Science and Technology
ABSTRACT
Facial feature detection is a fundamental function in the field of computer vision such as security, bio-metrics, 3D modeling, and face recognition. There are many algorithms for the function, active shape model is one of the most popular local texture models. This paper addresses issues related to face detection, and implements an efficient extraction algorithm for extracting the facial feature points to use on iOS platform. In this paper, we extend the original ASM algorithm to improve its performance by four modifications. First, to detect a face and to initialize the shape model, we apply a face detection API provided from iOS CoreImage framework. Second, we construct a weighted local structure model for landmarks to utilize the edge points of the face contour. Third, we build a modified model definition and fitting more landmarks than the classical ASM. And last, we extend and build two-dimensional profile model for detecting faces within input images. The proposed algorithm is evaluated on experimental test set containing over 500 face images, and found to successfully extract facial feature points, clearly outperforming the original ASM.
Key Words : Face Feature Extraction, Active Shape Model, Face Detection, iOS Platform
1. 서 론
스마트폰을 포함한 모바일 환경이 급속히 발달함에 따라, 디지털 콘텐츠는 많은 변화를 맞고 있으며, 통신 기기와 컴퓨터가 융합된 스마트 디바이스에서 디지털 콘텐츠는 여러 가지 부가 기능을 지닌 새로운 콘텐츠 의 형태로 나타나고 있다[1]. 이는 모바일 환경에서 전 통적인 엔터테인먼트 콘텐츠 이외에도 정보, 커뮤니케 이션 등과 결합한 디지털 콘텐츠가 소셜 네트워크를 이용하여 유통되면서 산업에서 다양한 수익 모델로 나 타나고 있기 때문이다[2]. SNS (Social Network Service) 의 대표업체인 페이스북(Facebook)에서 얼굴 인식을 통한 모바일 사진 공유, 모바일 메시징 서비스 등을 제
공하면서 디지털 콘텐츠에 대한 인식 기술 적용이 폭 넓게 활용되고 있다[3,4]. 얼굴 인식과 사용자 인증은 보안 분야에서도 요구되는 많은 적용기술들 중에 하나 이며, 많은 연구자들로부터 꾸준하게 연구되고 있는 분 야이다. 이러한 얼굴 인식 기술은 눈, 코, 입, 눈썹 등 의 얼굴 요소에서의 위치 및 특징 벡터를 검출하고 사 용자 얼굴 특징점 변화에 따라 다양한 응용 서비스로 적용이 가능하다[5]. 얼굴 검출(Face detection)은 얼굴 인식 및 사용자 인증과정에서 항상 처음에 처리해야 하는 단계이며, 얼굴 검출 성능은 인식/인증 시스템의 성능에 큰 영향을 미친다[3]. 또한 얼굴의 정면 방향, 조명과 배경영상에 따라 얼굴 특징점 추출에 많은 영 향을 미치기 때문에 매우 어려운 처리과정을 거쳐야 한다. 특히, 모바일 디바이스에서의 얼굴 인식 서비스 는 디바이스의 카메라 위치와 조명 변화에 따른 범위 를 함께 고려해야 하기 때문에 처리과정이 더욱 복잡
†E-mail : [email protected]
해진다[6]. 추가적으로, 모바일 플랫폼에서 실시간으로 동작하기 위해서는 데스크톱보다 적은 자원만을 활용 해야 하는 모바일의 한계성을 염두 해야 한다.
얼굴 특징점 추출에서 최근 많이 활용되는 대표적 알고리즘으로, Cootes가 제안한 ASM0 (Active Shape Model) [7]과 AAM(Active Appearance Model) [8]이 있다. ASM과 AAM에서는 공통적으로 주성분분석 (PCA, Principal Component Analysis) 기반의 특징 모 델링과 최적화를 적용하여 얼굴 모형을 매개변수화 하 여 통계적으로 접근한다. 두 모델링 기법에서의 차이점 으로, AAM은 모형 매개변수의 최적화 과정에서 전역 외곽(Global Appearance) 모델을 적용하는 반면에, ASM에서는 초기 레이블이 주어지고 모든 레이블 위 치에서 새로운 위치를 찾아가는 지역 영역(Local region) 기반으로 동작한다[7,8]. ASM이 모형 지역화 (Shape localization)에서 AAM보다 성능적으로 뛰어나 며, 조명 영향에 보다 강인한 것으로, 여러 연구 실험 과 논문에서 증명되고 있다[9]. 그러나 ASM은 질감 특징 모델링을 위한 프로파일을 1차원 배열로 사용하 며, 영역 검색 과정에서 지역 영역의 특징점을 구분하 기 어려운 단점이 있다.
본 논문에서는 기존 ASM 알고리즘을 분석하고 성 능적 개선을 방법을 제안한다. 기존 ASM모델링에서 4 가지를 보완하여 성능 개선을 도모하며, 이를 실험적으 로 증명한다.
본 논문의 구성은 다음과 같다. 2장에서 성능 개선을 위한 4가지 수정 내용을 제안하고, 3장에서 구현 알고 리즘에 대한 성능 평가를 수행하고, 4장에서 결론과 향 후 연구내용을 기술한다.
2. 특징추출 알고리즘 구현
비록 기존 ASM 알고리즘[7]이 여러 애플리케이션에 서 많이 활용되고 있지만, 얼굴 특징 추출에서 한계성 이 있다[10]. 본 논문에서는 기존 ASM을 개선하는 4 가지 보완점을 제안한다.
2.1. iOS SDK 얼굴 검출 API를 활용한 초기ASM 모델 생성
기존 ASM은 평균 모형(Mean shape)에서 초기특징 점을 산출하며[7], 이는 학습데이터로부터 유도되는데, 초기 학습 데이터의 양에 따라 정확도가 좌우된다. 기 존 ASM 알고리즘은 두 눈의 중심을 찾아 초기 모델을 생성하는데, 이러한 과정에서 계산량이 많고 특히 얼굴 위치가 영상의 가장자리 구석에 위치하는 경우 검색
정확성이 떨어지는 단점이 있다.
이러한 문제점을 개선하기 위한 방법으로, 본 논문 에서는 얼굴 영역 검출과 두 눈의 위치를 탐색하는 초 기 과정을 개선한다. iOS CoreImage 프레임워크에서 제공하는 얼굴 검색 API를 사용한다[11]. CIDetector와 CIFaceFeature 클래스를 통해 두 눈과 입의 중심점을 추출하고 이를 초기 모델 생성에 적용하여 시작점의 정확성과 초기 계산량을 감소시킨다.
2.2. 가중치를 적용한 지역 구조모델 생성
기존 ASM에서는 지역 구조 모델을 생성할 때, 가 우시안 분포에 따른 픽셀 밝기 정보를 정규화하여 산출한다[7]. 특징점의 최적 매칭을 위해, 통계 모델 프 로파일에서 Mahalanobis 거리를 정규화하여 f(gs) = 으로 계산한다. 는 평균값을, ∑ 는 공분산 행렬을 의미한다.
본 논문에서는 매칭 거리 함수를 조정하고 지역 구 조모델을 특징점에 따라 다르게 적용하기 위해 가중치 계수를 추가한다. Mahalanobis 거리 계산 수식은 다음 과 같다.
(1)
ωi는 정규화된 가우시안 모델 합산의 i번째 요소에 적 용된 가중치 계수이다. 눈썹과 눈과 같은 얼굴 특징에 대해, 새로운 위치 탐색 과정에서 현재 픽셀이 근처이 거나 매우 인접해 있으며, 현재 점은 픽셀 밝기 정보가 유사하여 가우시안 분포에 따른 변화량이 매우 작은 값을 가진다. 반대로, 턱의 외곽선과 입 주변의 특징점 추출에서는 경계선에 대응하는 변화량이 크기 때문에 상대적으로 큰 값을 갖는다. 본 연구에서는 인접한 픽 셀의 값이 작은 영역에서는 가중치를 1보다 큰 값을, 픽셀 값이 큰 영역에서는 1보다 적은 값을 가중치로 적용하여, 일정한 가우시안 분포를 유지하여 거리 계산 을 보다 수월하게 수식을 변형한다.
2.3. 특징점 추출을 위한 모델 파일 수정
기존 ASM을 개선하는 가장 직접적인 방법으로, 특 징점 추출을 위한 모델 정의 파일을 최적화한다[7,9].
본 연구에서는 두 눈(18), 코(11), 입(18), 두 눈썹(12), 턱선과 중심점(16)으로 얼굴 모형을 구성하고 특징점을 기존의 61개에서 75개로 확장하여 정의한다. 또한 모델 정의 파일을 동양인에 적합하도록 커스터마이징한다.
동양인 사진 300장을 대상으로 특징점 위치를 분석하 여 프로파일의 특징 분포값을 수정하였다(Fig. 1).
gi–gl
( )T∑–1i(gi–gl) g
f g( ) ωs i(gi–gl)T –1
∑
i(gi–gl)⋅
=
2.4. 프로파일 수정
ASM은 템플릿 매칭(Template matching)을 통해 각 특징점의 적절한 위치를 탐색하기 위해 프로파일 모델 을 사용한다. 기존 ASM알고리즘은 영상에서 각 특징 점 픽셀 위치를 특징 모형 경계선과 직교하는 선을 따 라 1D 프로파일로 정의한다[7].
본 연구에서는 특징점의 지역 구조 프로파일을 2차 원 배열로 수정하여 템플릿 매칭 과정에서 현재 픽셀 위치에 대해 다음 단계 목표 위치로 도달하는 계산식 을 변형한다. 현재 특징점 위치에서 목표 얼굴 모형 특 징점을 계산하기 위해 변형한 수식은 다음과 같다.
(2)
는 2차원프로파일에 대응하는 0번째 특징점에 대 해 i번째 행과 j번째 열 위치의 픽셀에 대한 그레이스 케일 값을 의미하며, 는 2차원 프로파일 내에 저장 하는 하위 픽셀에서의 그레이스케일 값을 의미한다. 따 라서 d0는 2차원 프로파일과 프로파일 내의 하위 픽셀 간의 유사도를 나타낸다. d0를 최소화함으로써, 현재 특징점에 대한 실제 위치를 탐색할 수 있으며, d0가 최 소값을 가질 때 2차원 프로파일의 하위 픽셀들은 현재 위치값으로 갱신하여 최적의 위치를 검출하게 된다.
3. 실험 평가
기존 ASM을 개선하는 제안 알고리즘의 효율성을 검증하기 위해, 얼굴 인식 연구에서 공용으로 많이 사 용되는 2개의 데이터베이스(FEI, PUT)를 활용하였다.
FEI 얼굴 DB는 한정된 환경에서 촬영한 400여명의 정 면 얼굴 이미지를 포함한다[12]. 이 중에서 46개의 특 징점 레이블링이된 200개의 얼굴 영상(360*260)을 선 별하여 사용하였다. PUT 얼굴 DB는 100여명에 대해 10,000장 이상의 고해상도(2,048*1,536) 얼굴 영상을 제공한다[13]. 이 중에서 30개의 특징점과 얼굴 외곽선 모델을 제공하는 영상 310개를 선별하여 사용하였다.
특징점을 제공하는 영상으로 한정하여 사용한 이유는 제안 알고리즘을 통해 추출된 특징점들이 데이터베이 스에서 제공하는 특징점들과의 위치적으로 유사한지를 판정하기 위함이다. 실험에서, 2개의 얼굴 데이터베이 스에서 선별한 510개의 얼굴 정면 영상을 적용하여 성 능 평가하였다. iOS CoreImage를 통해 두 눈과 입을 먼저 검출하고 검출 영역에서의 얼굴 특징점을 추출하 였다.
제안 알고리즘은 iOS 플랫폼에서 통합환경 개발 툴 인 Xcode를 활용하고 Objective-C와 C++을 이용하여 구현하였다. Fig. 2는 얼굴 영역을 검출하고 특징점을 추출한 실행화면의 예제 화면이다.
얼굴 특징점 추출의 성공 여부를 평가하기 위해, 데 이터베이스에서 제공하는 특징점 레이블 좌표들과 비 교하여 신뢰도 허용 범위 내에 존재하는 추출 특징점 이 80% 이상일 경우에, 성공으로 판정한다. 제공된 모 든 특징점 레이블에 대해 성공여부를 판별하기 위해 를 계산하여 1이상인지 이하인지를 판단한 다. t는 특징점 좌표에 대한 신뢰 허용 오차거리이며, N은 이미지 내에 포함된 특징점 개수이다. 성능 실험 결과를 Table 1에 정리하였다.
특징점 추출 결과, FEI DB를 대상으로 기존 ASM보 다 21% 향상된 결과를 얻었으며, PUT DB에서는 d0 1
w h×
--- abs
j 0= h 1–
∑
i 0= w 1–
∑
(gi j,0–ti j,0)=
gi j,0
ti j,0
t+1 ( )/ N Fig. 1. Analysis for the distribution of facial landmark
points of interest (a), and facial features with a rectangle (colored with magenta, green and red) on each landmark, which is constructed from 2D profile (b).
12.9% 높은 검출율을 보였다. 평균적으로, 제안 알고리 즘은 기존 ASM 알고리즘보다 평균 16.1%의 검출 효 율성을 보였다. 실행 시간 측면에서는 평균 1.803초 빠 른 결과를 얻었으며, iOS 얼굴 검출 API를 통해 ASM
초기화 시간을 크게 줄였다. 이는 초기 눈과 입 추출에 서 많은 단축이 가능함을 실험으로 증명하였으며, 이를 통해 실행 자원이 적은 스마트폰에서 실시간으로 적용 하기에 보다 적합함을 실험을 통해 알 수 있었다.
5. 결 론
본 논문에서는 얼굴 특징점 추출 알고리즘으로 많이 활용되는 기존의 ASM 기법을 개선하는 방법을 제안 하였다. 기존 ASM알고리즘에서 가장 크게 실행시간을 차지하는 초기화 부분에서 iOS API를 활용하여 단축 하였으며, 2차원 프로파일과 가중치를 적용한 지역 구 조 모델을 적용하였고 기존 ASM보다 많은 특징점을 추출하였다. 실험 결과에 따르면 제안한 수정 알고리즘 이 기존 ASM보다 추출 효율성과 실행 시간측면에서 보다 우수한 것으로 판정되었다.
감사의 글
본 논문은 2015년도 경남과학기술대학교 대학회계 연구비 지원에 의하여 연구되었음.
참고문헌
1. Y. H. Lee, H. J. Kim, “Evaluation of Feature Extraction and Matching Algorithms for the use of Mobile Application”, Journal of the Semiconductor &
Display Technology, vol. 14, no. 4, pp. 56-60, 2015.
2. Minjee Ahn, “Industrial Trends of Global Digital Contents”, DigiEco Report, 2014.
3. D. Masip, J. Vitria, “Real Time Face Detection and Verification for Uncontrolled Environments”, COST Workshop – Biometrics on the Internet Vigo, 2004.
4. W. R. Han, Y. H. Lee, J. H. Park, Y. S. Kim,
“Dynamic Emotion Classification through Facial Recognition”, Journal of the Semiconductor & Dis- play Technology, vol. 12, no. 3, pp. 53-57, 2013.
5. W. Zhao, R. Chellappa, P.J. Phillips and A. Rosen- feld, “Face Recognition: A literature survey”, ACM Computing Surveys, vol. 35, no. 4, pp. 399-458, 2003.
6. L. H. Thai, V. N. Truong, “Face Alignment using Active Shape Model and Support Vector Machine”, International Journal of Biometrics and Bioinformat- ics, vol. 4, issue. 6, pp. 224-234, 2011.
7. Tim Cootes, An Introduction to Active Shape Mod- els, Image Processing and Analysis, pp. 223-248, Fig. 2. Example of extracting facial features. (a) Display
an input image, (b) Face detection with CID etector, provided by iOS CoreImage framework, (c) Extraction feature points with the proposed algorithm, and (d) Cropped image after extracting facial feature landmarks.
Table 1. Performance comparison between two algori- thms. Success rate is calculated by the number of image in the dataset.
성공률 [%] 특징추출평균
시간[sec]
FEI DB PUT DB 합계 기존
ASM [7] 63.5 72.9 69.2 2.135 알고리즘제안 84.5 85.8 85.3 0.332
Oxford University Press, 2000.
8. T. F. Cootes, G. J. Edwards, C. J. Tahlor, “Active Appearance Models”, IEEE Transaction on Pattern Analysis and Machine Intelligence, vol. 23, no. 6, 2001.
9. T. F. Cootes, G. J. Edwards, C. J. Tahlor, “Comparing active shape models with active appearance models”, British Machine Vision Conference, vol. 1, pp. 173- 182, 1999.
10. M. H. Mahoor, M. A. Mottaleb, A. N. Ansari,
“Improved Active Shape Model for Facial Feature Extraction in Color Images”, Journal of Multimedia, vol.1, no.4, pp. 21-28, 2006.
11. Apple Inc, Core Image Programming Guide, 2013.
12. C. E. Thomaz, G. A. Giraldi, “A New Ranking Method for Principal Components Analysis and its Application to Face Image Analysis”, Image and Vision Computing, vol. 28, issue. 6, pp. 902~933, 2010.
13. A. Kasinski, A. Florek, A. Schmidt, “The PUT Face Database”, Image Processing and Communications, vol. 13, no. 3-4, pp. 59-64, 2008.
접수일: 2016년 6월 2일, 심사일: 2016년 6월 13일, 게재확정일: 2016년 6월 22일
