논문 2012-50-5-17
LED 모니터 출력 영상과 실물 영상의 얼굴인식 성능 비교
( A Study on Face Recognition Performance Comparison of Real Images with Images from LED Monitor )
조 미 영*, 정 영 숙*, 전 병 태***
( Mi-Young Cho, Young-Sook Jeong, and Byung-Tae Chun
ⓒ)
요 약
로봇 기술의 빠른 발전과 더불어 다양한 서비스를 탑재한 로봇 제품의 출시로 시장이 활성화되고 있다. 서비스 로봇은 사람 과 로봇간 상호작용에 의한 서비스 제공이 주목적으로 이를 위해 HRI 대표 기술인 얼굴 인식 기술을 많이 활용하고 있다. 하 지만 얼굴 인식 엔진이 탑재된 로봇의 성능이 소비자가 만족할만한 수준에 미치지 못하여 로봇 제품에 대한 신뢰도마저 저하 되고 있다. 대부분 로봇의 얼굴 인식 성능시험은 제품 관점에서 평가가 아닌 인식 엔진 관점에서 평가로 로봇의 직접적인 성 능을 반영하지 못한다. 이에 본 논문에서는 로봇 제품 관점에서 얼굴 인식 성능평가를 위해 실물 영상을 대신하여 LED 모니 터의 이용 가능성을 검증하고자 한다. 이를 위해 실물 영상과 LED 모니터 영상의 인식룰 편차를 비교하고 타당성을 제시한다.
Abstract
With the increasing of service robots, human-robot interaction for natural communication between user and robots is becoming more and more important. Especially, face recognition is a key issue of HRI. Even though robots mainly use face detection and recognition to provide various services, it is still difficult to guarantee of performance due to insufficient test methods in real service environment. Now, face recognition performance of most robots is evaluation for engine without consideration for robots. In this paper, we show validity of test method using LED monitor through performance comparison of real images with from images LED monitor.
Keywords
:얼굴 인식, 로봇 성능평가, LED 모니터
(Face Recognition, Performance Evaluation for robot, LED Monitor)
Ⅰ. 서 론
최근 들어 로봇에 대한 관심의 증가와 기술의 발전에
*
정회원, 한국전자통신연구원 지능로봇제어연구실 (Intelligence and Robot Control Research Team, Electronics and Telecommunications Research Institute)
**
정회원, 한경대학교 웹정보공학과
(Dept. of Computer Web Information Engineering, Hankyong National University)
※ 본 연구는 지식경제부 산업원천핵심기술개발사업의 일환으로 수행하였음[이동/조작/HRI/통신성능 등 서비스로봇 성능평가 및 표준화 기술개발]
ⓒ
Corresponding Author(E-mail:[email protected]) 접수일자: 2013년2월7일, 수정완료일: 2013년4월24일
따라 다양한 서비스 로봇 제품이 시장에 출시되고 있 다. 서비스 로봇은 산업용 로봇과 달리 사람과 로봇간 의 자연스러운 상호작용을 통한 서비스 제공이 주목적 으로 이를 위해 HRI(Human Robot Interaction) 기술을 많이 사용하고 있다. HRI의 대표적인 기술인 얼굴 인식 기술은 사용자에게 거부감을 주지 않고 카메라를 통해 쉽게 접근할 수 있는 기술로 사용자 인식, 표정 인식, 미아 찾기, 출석 체크, 남녀 성별 구분 등 다양한 서비 스에 활용되고 있다. 이처럼 얼굴 인식 기술을 활용한 로봇의 출시로 이에 대한 사용자 기대는 높아지고 있으 나, 성능이 기대에 미치지 못해 로봇 제품 자체에 대한 신뢰도마저 저하되고 있다.
현재 대부분 로봇 제품의 얼굴 인식 성능은 제품 관
점에서의 성능이 아닌 인식 엔진 자체의 성능으로 판단 한다. 하지만 로봇의 움직임, 조명 및 포즈 변화, 주변 배경 변화 등 다양한 요인으로 인해 엔진의 성능이 로 봇 제품의 직접적인 인식 성능을 반영하지 못하고 엔진 의 성능과 실사용 환경에서의 성능에 차이가 발생한다.
이에 실사용 환경에서 얼굴 인식 성능을 평가해야 한다 는 필요성이 증가하고 있지만 평가 방법 및 환경의 부 재로 평가에 어려움을 겪고 있다.
로봇의 얼굴 인식 성능평가는 실제 서비스 환경에서 사람이 직접 평가에 참여하는 것이 가장 좋은 방법이지 만 이는 재현성에 문제가 있고 객관성을 보장할 수 없 다. 이에 서비스 환경 모사에 의해 객관성을 보장하고 실 사용자 얼굴을 대체할 수 있는 고화질의 LED 모니 터를 통해 출력된 얼굴 영상을 이용해 재현성을 만족시 킬 수 있는 얼굴인식 성능 평가방법의 타당성을 검증하 고자 한다. 본 논문에서는 실물 영상과 LED 출력 영상 의 인식률 편차를 비교해 보고 LED 모니터를 이용한 로봇의 얼굴 인식 성능평가가 가능함을 보인다.
본 논문의 구성은 다음과 같다. Ⅱ장에서는 로봇의 얼굴 인식 성능평가를 위해 기존에 제안된 평가 방법을 비교해 보고 Ⅲ장에서는 LED 모니터를 이용한 성능평 가 방법에 대해 살펴본다. Ⅳ장에서는 LED 모니터 사 용 타당성 검증을 위한 실물 영상과 LED 모니터 영상 DB 구축 방법에 대해 설명하고 Ⅴ에서는 실물 영상과 LED 모니터 출력 영상 인식률의 편차를 비교해 본다.
그리고 마지막 Ⅵ장에서 결론을 맺는다.
Ⅱ. 로봇 얼굴인식 성능평가 관련 연구
로봇 제품 관점에서 얼굴 인식 성능평가를 위해 기존 알고리즘 성능평가 방법의 적용과 사람을 대신하여 마 네킹을 이용한 성능평가 방법, 실물 영상과 유사한 고 화질의 사진을 이용한 평가 방법이 제안되었다.
알고리즘 성능평가 방법[1]은 그림 1과 같이 대용량의
그림 1. 이미지를 이용한 알고리즘 성능 평가 Fig. 1. A method for performance evaluation of
algorithm using image.
이미지를 이용하는 방법이다. 시험 영상 DB에서 평가 이미지를 로딩하고 성능 테스트 알고리즘을 수행한다.
그리고 얼굴 영역 추출 및 인식 결과를 이미지에 반영 하여 출력한다. 출력된 결과는 미리 만들어진 Ground truth와 비교하여 최종 성능 평가를 수행한다.
이 방법은 기존의 알고리즘 성능평가를 위해 사용했 던 방법으로 로봇 제품 관점에서의 직접적인 성능을 반 영하지 못해 평가 결과와 실제 성능이 차이가 난다는 단점이 있다.
이에 제품 관점에서 평가를 위해 제안된 방법이 인간 을 대신하여 마네킹을 이용한 성능 평가 방법이다[2]. 일 정한 크기의 격자 모양으로 구성된 시험 공간에 조명 (그림 2에서 O부분)을 설치하여 실환경을 모사하고 로 봇이 정해진 일정한 경로로 주행하면서 조명별(역광조 명, 국부조명, 일반조명), 거리별 성능 평가를 수행한다.
마네킹을 이용한 평가는 로봇 제품 관점의 평가로 실 사용 환경을 반영할 수 있다는 장점이 있지만, 마네킹 의 실리콘과 사람 피부의 빛 반사율이 다르다는 문제점 과 사람 피부와 유사한 실리콘으로 마네킹 제작시 높은 비용 문제로 다양한 인물을 평가할 수 없다는 단점이 있다.
마네킹과 사람의 피부 빛 반사율이 다르다는 단점을
그림 2. 마네킹을 이용한 성능 평가
Fig. 2. A method for performance evaluation using mannequin.
그림 3. 사진을 이용한 성능 평가
Fig. 3. A method for performance evaluation using photo.
보완하기 위해 실물과 유사하게 촬영된 고화질의 사진 을 이용한 성능평가 방법이 제안되었다[3]. 그림 3과 같 이 조명 변화, 표정 변화 등이 반영되어 촬영된 사진 DB를 일정한 거리에서 로봇의 카메라를 통해 입력되도 록 한다. 이 후 입력 영상을 이용하여 로봇의 얼굴인식 성능을 평가한다.
이 방법은 다른 두 방법에 비해 제품 관점에서 객관 성을 보장하고 재현 가능한 성능평가라고 볼 수 있다.
하지만 대용량 사진 자동 넘김 장치 제작 및 제어, 컴 퓨터와의 자동 연동 등 기구적인 문제점이 있다.
본 논문에서는 기존의 사진을 이용한 방법을 동적 영 상까지 확장하고 시험의 자동화가 가능한 로봇 얼굴 인 식 성능평가 방법으로 LED 모니터의 이용을 제안하고 자 이의 타당성을 검증해보고자 한다.
Ⅲ. LED 모니터를 이용한 로봇 성능평가 방법
그림 4는 LED 모니터를 이용한 로봇 얼굴 인식 성능 평가 방법을 보여주고 있다. 실제 사람 얼굴을 대신하 여 LED 모니터를 통해 얼굴 영상을 출력하고 출력된 영상을 로봇이 인식하는 방법이다. 이 방법은 로봇 제 품 관점에서 평가로 객관성과 재현성을 만족시킬 뿐만 아니라 정적/동적 영상 출력을 통한 평가가 가능하다.
본 논문에서는 LED 모니터 출력 영상을 이용하여 로봇 의 얼굴 인식 성능평가가 가능함을 보이기 위해 실물 영상과 LED 모니터 출력 영상 DB를 구축하고, 두 영 상 DB 인식율의 편차를 구한다. 이 편차가 일정 수준이 하가 되면 LED 모니터를 이용한 로봇 얼굴 인식 성능 평가가 가능함을 입증할 수 있을 것으로 본다.
그림 4. LED 모니터를 이용한 성능 평가
Fig. 4. A method for performance evaluation using LED monitor.
Ⅳ. LED 모니터 사용 타당성 검증을 위한 영상 DB 구축
기존의 알고리즘 기반 얼굴인식 성능평가의 경우 Feret[4], PIE database[9]등 대용량 DB를 이용하여 성능 을 비교 평가한다. 이러한 대용량 DB는 다양한 포즈, 조명, 표정 등은 반영하고 있으나, 본 논문에서 검증하 고자 하는 고해상도 LED 모니터 출력 영상으로는 해상 도가 낮아 사용할 수 없다. 그리고 실물 영상과 동일한 조건하에서 촬영된 인식률 비교용 영상이 필요함에 따 라 LED 모니터 출력을 위해 해상도가 충분히 높은 얼 굴 DB를 제작하게 되었다.
얼굴 영상 DB는 그림 5와 같은 과정을 통해 구축되 었다. 전면의 실물을 대상으로 로봇에 장착된 카메라를 대신한 웹캠(Logitech HD Pro webcam C910)을 이용 하여 실물 영상 DB를 구축한다. 이와 함께 LED 모니 터 출력용으로 고화질의 카메라(Cannon DSLR D500) 를 이용하여 동시 촬영된 영상을 이미지 저장소에 임시 저장한다. 이 후 이미지 저장소에 저장된 영상을 감마,
그림 5. 얼굴 영상 DB 구축 개요 Fig. 5. Overview of face DB construction.
그림 6. 촬영 환경
Fig. 6. Shooting environment.
밝기, 색온도를 교정한 LED 모니터를 통해 출력하고 출력된 영상을 실물 영상 DB 구축용 웹캠과 동일한 웹 캠으로 입력 받아 LED 영상 DB를 구축한다. 그림 6은 촬영 환경으로 실물 전면의 웹캠과 카메라가 얼굴을 동 시에 촬영한다.
1. 실물 영상 DB 구축
얼굴 영상 DB 구축 환경은 그림 7과 같다. 모든 촬
(a) 측면도
(b) 윗면도 그림 7. 얼굴 영상 DB 구축 환경
Fig. 7. Environment of face DB construction.
조명 실물 얼굴 영상
백열
좌측조명 균일조명 우측조명
형광 좌측조명 균일조명 우측조명
상측조명 하측조명 역광조명
표 1. 실물 영상 DB 샘플 Table 1. Sample of real image DB.
영은 외부 빛의 영향을 최소화하기 위해 암실에서 진행 한다. 로봇 서비스 환경을 반영하기 위하여 전/후측, 좌 /우측, 상/하측 총 6방향에 형광등과 백열등 2가지 조명 기구를 설치하였다. 각 조명의 밝기는 표준 조도[6]를 참 조하여 평균 300Lux가 되도록 설정하였다.
포즈는 정면만을 대상으로 하였으며, 평균 성인 앉은 키를 고려하되 높낮이 조절이 가능한 의자를 이용하여 얼굴의 코끝이 카메라의 중앙에 입력되도록 하였다. 얼 굴 촬영은 총 70명(남:여=1:1)의 성인남녀를 대상으로 하였다. 표 1은 총 9종의 조명별로 무표정 얼굴을 촬영 한 샘플이다.
2. LED 영상 DB 구축
LED 영상 DB 구축은 LED 모니터의 백라이트 특징 을 활용하고 외부 빛의 영향을 최소화하기 위해 실물 영상 촬영과 마찬가지로 암실에서 진행한다.
그림 8과 같이 실물 영상 DB와 동시에 촬영되어 이
그림 8. LED 영상 DB 구축 환경
Fig. 8. Environment for LED image DB construction.
조명 LED 얼굴 영상
백열
좌측조명 균일조명 우측조명
형광 좌측조명 균일조명 우측조명
상측조명 하측조명 역광조명
표 2. LED 영상 DB 샘플 Table 2. Sample of LED image DB.
미지 저장소에 저장된 얼굴 영상을 LED 모니터를 통해 출력한다. 출력된 영상은 다시 웹캠을 통해 입력받아 LED 영상 DB를 구축한다.
얼굴 영상의 정확한 출력을 위해 LED 모니터는 고 해상도(2560×1440이상)로 27인치를 사용한다. LED 모 니터는 DB 구축 전 모니터 후드와 캘리브레이션 장비 를 이용해 국제조명위원회(CIE)에서 권장하고 있는 감 마 2.2, 색온도 6500K, 밝기 120cd∼250cd로 교정한다.
표 2는 교정된 LED 모니터를 이용하여 구축한 LED 영 상 DB 샘플이다.
V. LED 모니터 사용 타당성 검증을 위한 실험
5장에서는 로봇의 얼굴 인식 성능평가를 위해 실물 을 대신하여 LED 모니터 출력 영상 사용이 타당한지를 검증하고자 한다. 이를 위해 4장에서 설명한 실물과 LED 출력 영상의 인식률을 비교하여 편차를 살펴본다.
인식률 비교용 얼굴 인식 엔진으로는 얼굴 인식 기본 알고리즘인 PCA와 LDA외 상용인식기를 포함하여 총 4종의 인식기를 대상으로 비교하였다. 인식 성능 비교 시험 절차는 그림 9와 같다.
구축한 실물 영상과 LED 영상의 눈좌표를 생성하여 상용인식기에 입력하고 PCA와 LDA 성능 비교를 위해 머그샷을 생성하여 입력한다. PCA, LDA 인식기는 랜 덤으로 얼굴 영상을 등록하여 랜덤으로 인식하도록 하 였으며, 상용인식기는 백열등과 형광등 균일조명 영상
그림 9. 성능 비교 시험 개요
Fig. 9. Overview of performance comparison.
인식기 종류 실물영상
인식률(%)
LED영상 인식률(%)
인식률 편차
PCA 64.24 63.95 0.29
LDA 62.43 60.26 2.17
상용엔진 A 99.79 99.38 0.41
상용엔진 B 99.80 99.60 0.20
표 3. 인식률 비교
Table 3. Comparison with recognition rates.
을 등록하고 좌/우측, 상/하측, 역광 조명 등 나머지 영 상을 대상으로 인식한다. 엔진 성능은 인식 성공률로 비교하였으며, 엔진별 성능 결과 및 인식률 편차는 표 3 과 같다.
PCA, LDA 인식기에서 실물 영상과 LED 영상의 인 식률 편차가 3% 이내이며, 인식률이 99% 이상인 상용 인식기의 경우 편차가 1% 이내였다. 대부분 로봇은 상 용 얼굴 인식 엔진을 탑재하여 제품화하므로 실물을 대 신하여 LED 모니터를 이용한 성능평가가 타당하다고 판단된다.
Ⅵ. 결론 및 향후연구
본 논문에서는 로봇 제품 관점에서 얼굴 인식 성능평 가를 위해 실제 사람을 대신하여 LED 모니터를 이용한 평가가 가능한지 검증하고자 하였다. 이를 위해 실물 영상과 LED 모니터 영상의 인식기별 성능을 비교하였 으며, 인식률 편차를 통해 LED 모니터 이용의 타당성 을 보였다.
향후 LED 모니터를 이용한 얼굴 인식 성능평가 환 경 및 방법을 개발하여 로봇 성능평가에 적용해 보고, 동적 영상 출력이 가능하다는 LED 모니터의 장점을 활 용하여 원거리에서 비협조적인 사용자 얼굴 인식 등 다 양한 로봇 운용 시나리오를 반영한 성능평가 시스템으 로 확대하고자 한다.
참 고 문 헌
[1] TTAK.KO-10.0418 지능형 로봇의 얼굴 검출 및 식별 알고리듬 성능평가방법 - 제 1부: 알고리즘 성능평가, 2010.
[2] TTAK.KO-10.0419 지능형 로봇의 얼굴 검출 및 식별 알고리듬 성능평가방법 - 제 2부: 인간모형 (마네킨)을 사용한 시스템 레벨 성능평가, 2010.
[3] TTAK.KO-10.0507 지능형로봇 얼굴 검출 및 식별 알고리즘 성능평가방법 - 제 3부: 사진을 이용한 성능평가, 2011.
[4] P. J. Phillips, H. Moon, P. J. Rauss, and S.
Rizvi. “The feret evaluation methodology for face recognition algorithms”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(10), 2000.
[5] Hyoung-Soo Lee, Sungsoo Park, Bong-Nam Kang, Jongju Shin, Ju-Young Lee, Hongmo Je, Bongjin Jun, Daijin Kim, “The POSTECH Face Database (PF07) and Performance Evaluation”, in
저 자 소 개 조 미 영(정회원)
2002년 조선대학교 정보통신 공학과 학사 졸업.
2004년 조선대학교 전자계산학과 석사 졸업.
2008년 조선대학교 전자계산학과 박사 졸업.
2008년∼2009년 CMU Robotics Institute visiting scholar
2009년∼현재 한국전자통신연구원 선임연구원
<주관심분야 : 로봇 성능평가, HRI>
정 영 숙(정회원)
1996년 이화여자대학교 전자계산 학과 학사 졸업.
2001년 충남대학교 전자공학과 석사 졸업.
2005년 충남대학교 전자공학과 박사 수료.
1989년∼현재 한국전자통신연구원 책임연구원
<주관심분야 : 지능로봇 안전 및 성능평가 표준 화, HRI, 로봇 통신, 자율주행, 로봇제어소프트웨 어>
전 병 태(정회원)-교신저자 2001년 2월 고려대학교(박사) 1989년∼1996년 한국과학기술연
구원(KIST) 시스템공학연 구소 연구원
1996년∼2004년 2월 한국전자통신 연구원(ETRI) 지능형로봇 연구단 선임연구원 2004년 2월∼현재 국립 한경대학교 컴퓨터웹정보
공학과 교수
1992년 5월 IR52 장영실 상 수상(과기부 장관상) 2003년 8월∼현재 한국저작권위원 SW감정전문
위원
2009년 2월∼현재 한국지식정보학회 이사 2004년 2월∼현재 한국소프트웨어감정평가학회
부회장
2009년 2월∼현재 지능형로봇표준포럼(KOROS) SC6분과위원장
2007년 5월∼2010년 5월 한국전자통신연구원 초빙연구원
<주관심분야 : 영상처리, 멀티미디어 영상처리>
Proc. IEEE Int. Conf. Automatic Face & Gesture Recognition, pp. 1–6, Sep. 2008,
[6] KS A 3011 조도 기준
[7] Hyun-Chul Kim, Daijin Kim and Sung Yang Bang,
“Extensions of LDA by PCA Mixture Model and Class-wise Features,” Pattern Recognition, Vol. 36, pp. 1095-1105, 2003.
[8] 장혜경, 오선문, 강대성 “PCA기반 LDA 혼합 알고리 즘을 이용한 실시간 얼굴인식 시스템 구현”, 전자공 학회논문지, 제41권 SP편 제4호, pp.45-50, 2004년 7 월
[9] T. Sim, S. Baker, and M. Bsat. “The cmu pose, illumination, and expression database”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 25(12), 2003.
