(19) 대한민국특허청(KR) (12) 공개특허공보(A)
(11) 공개번호 10-2012-0049605 (43) 공개일자 2012년05월17일 (51) 국제특허분류(Int. Cl.)
G06T 7/00 (2006.01)
(21) 출원번호 10-2010-0110944 (22) 출원일자 2010년11월09일 심사청구일자 없음
(71) 출원인
한국전자통신연구원
대전광역시 유성구 가정로 218 (가정동) 동국대학교 산학협력단
서울특별시 중구 필동로1길 30 (필동3가, 동국대 학교)
(72) 발명자 이희경
대전광역시 서구 청사로 254, 106동 1108호 (둔산 동, 둥지아파트)
차지훈
대전광역시 유성구 반석동로 33, 반석마을아파트 503동 605호 (반석동)
(뒷면에 계속) (74) 대리인
특허법인무한 전체 청구항 수 : 총 1 항
(54) 발명의 명칭 동공 중심 검출 장치 및 방법 (57) 요 약
동공 중심 검출 장치 및 방법이 개시된다. 본 발명의 실시예들에 따르면, 사용자의 동공 중심을 검출하기 위해 서 아다부스트 알고리즘 및 캠쉬프트 알고리즘 중 적어도 하나를 선택적으로 적용하여 후보 영역을 검출함으로써, 처리 속도를 감소시키고, 검출 성공률을 높일 수 있다. 또한, 후보 영역에 대해서 원형 검출 알 고리즘을 적용하여 초기 동공 중심을 검출하고, 초기 동공 중심에 대해서 지역적 이진화 과정, 라벨링 과정 및 무게중심 연산 과정을 순차적으로 적용하여 동공 중심을 검출함으로써, 동공의 불규칙한 모양 및 관찰 형태에 상 관 없이 정확한 동공 중심을 검출할 수 있다.
대 표 도 - 도1
(72) 발명자 김진웅
대전광역시 유성구 엑스포로 448, 305동 1603호 ( 전민동, 엑스포아파트)
박강령
서울특별시 송파구 중대로 24, 올림픽훼밀리 아파 트 101동 1503호 (문정동)
조철우
서울특별시 동대문구 이문로1길 21, 신현대아파트 9동 1102호 (회기동)
권수영
서울특별시 광진구 자양번영로2길 59-12, 서림빌라 301호 (자양동)
이현창
경기도 부천시 원미구 중동로 108, 105동 2803호 (중동, 팰리스카운티)
이원오
서울특별시 마포구 양화로1길 71-3, 원진바이오빌 201호 (합정동)
이 발명을 지원한 국가연구개발사업 과제고유번호 KI002070
부처명 지식경제부, 방송통신위원회 연구사업명 정보통신산업원천기술개발사업
연구과제명 IPTV용 UHD/3D 실감영상 및 Interactive 시점제어 기술 개발 주관기관 한국전자통신연구원
연구기간 2010.03.01 ~ 2011.02.28
특허청구의 범위 청구항 1
아다부스트(AdaBoost) 알고리즘 및 캠쉬프트(CAMShift) 알고리즘 중 적어도 하나를 적용하여, 사용자에 대한 눈 영상으로부터 상기 사용자의 동공 중심을 검출하기 위한 후보 영역을 검출하는 후보영역 검출부; 및
상기 후보 영역에 대해서 원형 검출 알고리즘을 적용하여 초기 동공 중심을 검출하고, 상기 초기 동공 중심에 대해서 지역적 이진화 과정, 라벨링 과정 및 무게중심 연산 과정을 순차적으로 적용하여 상기 동공 중심을 검출 하는 동공중심 검출부
를 포함하는 동공 중심 검출 장치.
명 세 서 기 술 분 야
본 발명에 따른 실시예들은 동공 중심 검출 장치 및 방법에 관한 것으로서, 보다 구체적으로는 실시간으로 사용 [0001]
자의 동공 중심을 검출할 수 있는 장치 및 방법에 관한 것이다.
배 경 기 술
최근 컴퓨터, IPTV 등 다양한 분야에서 사용자가 어느 위치를 응시하고 있는지를 파악하기 위한 기술에 대한 연 [0002]
구 활동이 활발하다.
이러한 사용자의 시선을 파악하기 위한 방법 중 하나로서, 사용자의 동공 중심을 검출함으로써, 사용자의 시선 [0003]
을 파악하는 방법이 있다.
동공의 중심 검출을 위한 종래기술에는 입력된 눈 영상을 HSV 칼라 변환 후 V 영상에 대하여 Otsu 방법을 적용 [0004]
하여 이진화하고 능동 외곽선 모델을 이용하여 동공 영역을 검출하는 방법, 입력된 눈 영상에서 원형 검출 방법 을 이용하여 영상 내에서 원 형태의 영역을 찾고 그 영역을 기준으로 일정 영역을 이진화하여 이진화된 영상의 무게중심을 구하는 방법 등이 있다.
하지만 상술한 것과 같은 종래 방법으로는 고해상도의 눈 영상에서 동공 중심을 추적하기에는 처리 속도의 문제 [0005]
나 영상 내에서 눈 이외의 다른 부분(눈썹, 안경테 등)이 들어 왔을 시 눈 영역 검출의 문제, 이진화 임계치를 수동 설정해야 하는 등의 문제가 있다.
발명의 내용 해결하려는 과제
본 발명의 실시예들은 사용자의 동공 중심을 검출하기 위해서 아다부스트 알고리즘 및 캠쉬프트 알고리즘 중 적 [0006]
어도 하나를 선택적으로 적용하여 후보 영역을 검출함으로써, 처리 속도를 감소시키고, 검출 성공률을 높이는데 그 목적이 있다.
또한, 본 발명의 실시예들은 후보 영역에 대해서 원형 검출 알고리즘을 적용하여 초기 동공 중심을 검출하고, [0007]
초기 동공 중심에 대해서 지역적 이진화 과정, 라벨링 과정 및 무게중심 연산 과정을 순차적으로 적용하여 동공 중심을 검출함으로써, 동공의 불규칙한 모양 및 관찰 형태에 상관 없이 정확한 동공 중심을 검출하는데 그 목적 이 있다.
과제의 해결 수단
본 발명의 일실시예에 따른 동공 중심 검출 장치는 아다부스트(AdaBoost) 알고리즘 및 캠쉬프트(CAMShift) 알고 [0008]
리즘 중 적어도 하나를 적용하여, 사용자에 대한 눈 영상으로부터 상기 사용자의 동공 중심을 검출하기 위한 후 보 영역을 검출하는 후보영역 검출부 및 상기 후보 영역에 대해서 원형 검출 알고리즘을 적용하여 초기 동공 중 심을 검출하고, 상기 초기 동공 중심에 대해서 지역적 이진화 과정, 라벨링 과정 및 무게중심 연산 과정을 순차 적으로 적용하여 상기 동공 중심을 검출하는 동공중심 검출부를 포함한다.
발명의 효과
사용자의 동공 중심을 검출하기 위해서 아다부스트 알고리즘 및 캠쉬프트 알고리즘 중 적어도 하나를 선택적으 [0009]
로 적용하여 후보 영역을 검출함으로써, 처리 속도를 감소시키고, 검출 성공률을 높일 수 있다.
또한, 후보 영역에 대해서 원형 검출 알고리즘을 적용하여 초기 동공 중심을 검출하고, 초기 동공 중심에 대해 [0010]
서 지역적 이진화 과정, 라벨링 과정 및 무게중심 연산 과정을 순차적으로 적용하여 동공 중심을 검출함으로써, 동공의 불규칙한 모양 및 관찰 형태에 상관 없이 정확한 동공 중심을 검출할 수 있다.
도면의 간단한 설명
도 1은 본 발명의 일실시예에 따른 동공 중심 검출 장치의 구성을 나타내는 도면이다.
[0011]
도 2는 본 발명의 일실시예에 따른 눈 영상을 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 후보 영역을 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 동공중심 검출부가 사용자의 초기 동공 중심을 검출하는 동작을 나타내는 도 면이다.
도 5는 본 발명의 일실시예에 따른 동공중심 검출부가 지역적 이진화 과정, 라벨링 과정 및 무게중심 연산 과정 을 순차적으로 적용하는 동작을 나타내는 도면이다.
도 6은 본 발명의 일실시예에 따른 동공 중심을 기준으로 하여 기설정된 크기의 지역적 이진화 과정이 적용되는 적용 영역에 대한 그레이 히스토그램을 나타내는 도면이다.
도 7은 본 발명의 일실시예에 따른 동공 중심 검출 방법을 나타내는 흐름도이다.
발명을 실시하기 위한 구체적인 내용
이하에서, 본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들 [0012]
에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 동공 중심 검출 장치의 구성을 나타내는 도면이다.
[0013]
도 1을 참조하면, 본 발명의 일실시예에 따른 동공 중심 검출 장치(100)는 후보영역 검출부(110) 및 동공중심 [0014]
검출부(120)를 포함한다.
일실시예에 따른 동공 중심 검출 장치(100)는 TV(130)에 설치된 카메라(131)로부터 사용자(140)에 대한 눈 영상 [0015]
을 입력 받을 수 있다. 눈 영상은 사용자(140)의 눈에 대한 영상이 포함된 영상을 나타낸다.
실시예에 따라서는, 카메라(131)는 적외선 차단 필터가 제거되고 적외선 투과(가시광선 차단)필터가 부착되어, [0016]
적외선에 의해 조산된 물체만을 영상으로 촬영할 수 있다. 또한, 카메라(131)는 고배율 렌즈가 부착되어, 사용 자(140)의 눈 주위 부분을 확대하여 촬영할 수 있다. 이하 도 2를 참조하여, 본 발명의 일실시예에 따른 눈 영 상에 대해서 상세히 설명한다.
도 2는 본 발명의 일실시예에 따른 눈 영상을 나타내는 도면이다.
[0017]
제1 영상(210)은 카메라에 의해 촬영된 사용자의 눈에 대한 영상이 포함된 눈 영상을 나타낸다.
[0018]
실시예에 따라서는, 카메라는 고배율 렌즈가 부착되어, 사용자의 눈 주위 부분(211)을 확대하여 촬영할 수 [0019]
있다. 제2 영상(220)은 카메라에 의해 촬영된 사용자의 눈 주위 부분(211)에 대한 영상을 나타낸다.
다시 도 1을 참조하면, 후보영역 검출부(110)는 아다부스트(AdaBoost) 알고리즘 및 캠쉬프트(CAMShift) 알고리 [0020]
즘 중 적어도 하나를 적용하여, 사용자(140)에 대한 눈 영상으로부터 사용자(140)의 동공 중심을 검출하기 위한 후보 영역을 검출한다. 또한, 후보영역 검출부(110)는 검출된 후보 영역의 중심 좌표 값을 검출할 수 있다.
후보 영역을 검출하지 않고, 사용자(140)에 대한 눈 영상에 대해서 원형 검출 알고리즘을 적용하여 바로 동공 [0021]
중심을 검출하는 경우, 처리 속도가 저하되어 실시간으로 동공 중심을 검출할 수 없다. 따라서, 본 발명의 일
실시예에 따른 동공 중심 검출 장치(100)는 아다부스트(AdaBoost) 알고리즘 및 캠쉬프트(CAMShift) 알고리즘 중 적어도 하나를 적용하여, 사용자(140)에 대한 눈 영상으로부터 사용자(140)의 동공 중심을 검출하기 위한 후보 영역을 검출한다.
본 발명의 일측에 따르면, 후보영역 검출부(110)는 사용자(140)에 대한 전체 눈 영상(예를 들어, 도 2의 제1 영 [0022]
상(210))의 축소 영상(예를 들어, 전체 영상의 1/5 크기로 축소된 영상)(예를 들어, 도 2의 제2 영상(220))을 생성한 이후, 아다부스트(AdaBoost) 알고리즘 및 캠쉬프트(CAMShift) 알고리즘 중 적어도 하나를 적용하여, 축 소 영상으로부터 사용자(140)의 동공 중심을 검출하기 위한 후보 영역을 검출할 수 있다.
즉, 사용자(140)에 대한 전체 눈 영상은 사용자(140)의 눈 외에도 눈썹, 앞머리카락 등을 포함할 수 있어 검출 [0023]
의 정확성이 떨어질 수 있다. 따라서, 본 발명의 일측에 따르면, 후보영역 검출부(110)는 축소 영상을 생성한 이후, 아다부스트(AdaBoost) 알고리즘 및 캠쉬프트(CAMShift) 알고리즘 중 적어도 하나를 적용하여, 축소 영상 으로부터 사용자(140)의 동공 중심을 검출하기 위한 후보 영역을 검출할 수 있다.
아다부스트 알고리즘은 일종의 템플릿 매칭으로써 훈련 단계와 실행 단계로 구성된다. 훈련 단계에서는 특정 [0024]
물체의 특징점들을 추출하고, 학습한 것을 바탕으로 통계적인 모형을 만든다. 즉, 검사 대상과 유사한 물체를 포함하고 있는 샘플영상과 포함하고 있지 않은 샘플 영상을 입력 받아 학습 샘플 집합으로 사용한다. 학습 과 정 동안 샘플들로부터 검출 하고자 하는 물체의 서로 다른 특징점들이 추출되고 이 특징점들은 물체를 분류 할 수 있는 고유의 특징점이 되어 약한 분류기(weak classifier)를 구성한다. 또한, 약한 분류기들의 결합을 통하 여 강한 부류기(strong classifier)를 구성한다. 실행 단계에서는 입력된 영상을 매칭 확률이 높은 약한 분류 기를 적용하고, 순차적으로 매칭 확률이 낮은 강한 분류기를 사용 함으로써 찾고자 하는 물체를 검출한다.
캠쉬프트(CAMShift) 알고리즘은 컬러 세그먼트(Color Segment) 기반의 민쉬프트(MeanShift) 알고리즘을 실시간 [0025]
추적 등에 사용하기 위해 확장 된 것으로, 그레이 히스토그램(Gray Histogram)을 이용하여 검출한다. 민쉬프트 (MeanShift) 알고리즘에서처럼 영상 전체 영역을 검색 하는 것이 아니라, 영상에서 추적할 물체의 영역을 예측 하여 검색 영역을 지정한다. 지정된 검색영역의 색 모델을 HSV의 색조(Hue)값으로 변환한다. 색조값은 조명의 영향을 적게 받으나, 물체의 식별이 어려울 정도로 매우 어둡거나 밝은 경우를 제외하고 지정된 검색 영역 그레 이 히스토그램을 구한다. 따라서, 이 정보를 바탕으로 물체를 추적 하게 된다.
본 발명의 일측에 따르면, 후보영역 검출부(110)는 사용자(140)에 대한 눈 영상의 첫 번째 프레임에 대해서는, [0026]
아다부스트(AdaBoost) 알고리즘을 적용하여 사용자(140)에 대한 눈 영상으로부터 후보 영역을 검출할 수 있다.
또한, 후보영역 검출부(110)는 사용자(140)에 대한 눈 영상의 두 번째 프레임 이후의 프레임에 대해서는, 사용 자(140)의 눈 영상의 현재 프레임의 이전 프레임으로부터 검출된 후보 영역의 중심 좌표가 없는 경우, 아다부스 트(AdaBoost) 알고리즘을 적용하여 사용자(140)에 대한 눈 영상으로부터 후보 영역을 검출할 수 있다.
또한, 후보영역 검출부(110)는 아다부스트 알고리즘을 적용하여 검출된 후보 영역의 중심 좌표 값을 검출할 수 [0027]
있다.
도 3은 본 발명의 일실시예에 따른 후보 영역을 나타내는 도면이다.
[0028]
도 3을 참조하면, 본 발명의 일실시예에 따른 후보영역 검출부는 아다부스트 알고리즘을 적용하여, 사용자에 대 [0029]
한 눈 영상(310)으로부터 후보 영역(320)을 검출할 수 있다.
다시 도 1을 참조하면, 본 발명의 일측에 따른 후보영역 검출부(110)는 사용자(140)에 대한 눈 영상의 두 번째 [0030]
이후의 프레임에 대해서는, 사용자(140)의 눈 영상의 현재 프레임의 이전 프레임으로부터 검출된 후보 영역의 중심 좌표가 있는 경우, 캠쉬프트 알고리즘을 적용하여 사용자(140)에 대한 눈 영상으로부터 후보 영역을 검출 할 수 있다. 이 때, 후보영역 검출부(110)는 검출된 후보 영역의 중심 좌표에 근거하여, 캠쉬프트 알고리즘이 적용될 검색 영역을 지정할 수 있다.
또한, 후보영역 검출부(110)는 캠쉬프트 알고리즘을 적용하여 검출된 후보 영역의 중심 좌표 값을 검출할 수 있 [0031]
다.
또한, 후보영역 검출부(110)는 캠쉬프트 알고리즘을 적용하여 검출된 후보 영역의 그레이 히스토그램값을 검출 [0032]
하고, 저장할 수 있다. 이 때, 후보영역 검출부(110)는 사용자(140)에 대한 눈 영상의 현재 프레임으로부터 검 출된 그레이 히스토그램값과 이전 프레임으로부터 검출된 그레이 히스토그램값을 비교할 수 있다. 만약, 매칭 률이 기설정된 기준값(예를 들어, 90%) 미만이 되는 경우, 후보영역 검출부(110)는 다시 아다부스트 알고리즘을 적용하여, 사용자(140)에 대한 눈 영상으로부터 후보 영역을 검출할 수 있다.
다시 도 3을 참조하면, 본 발명의 일실시예에 따른 후보영역 검출부는 캠쉬프트 알고리즘을 적용하여, 사용자에 [0033]
대한 눈 영상(310)으로부터 후보 영역(330)을 검출할 수 있다.
다시 도 1을 참조하면, 본 발명의 일실시예에 따른 후보영역 검출부(110)가 아다부스트 알고리즘 및 캠쉬프트 [0034]
알고리즘 중 적어도 하나를 사용하는 이유는, 아다부스트 알고리즘을 적용하는 경우의 후보 영역 검출은 캠쉬프 트 알고리즘을 적용하는 경우에 비해 검출 정확도가 높지만, 후보 영역의 검출의 처리 시간이 상대적으로 길게 소요되어(80ms 정도)로 실시간 처리가 요구되는 환경에서는 적용이 적합하지 않다. 또한, 캠쉬프트 알고리즘을 적용하는 경우의 후보 영역 검출은 아다부스트 알고리즘을 적용하는 경우에 비해 처리 시간은 빠르지만(9ms 정 도), 캠쉬프트 알고리즘이 적용되기 위한 물체 검출 예상 영역이 필요하므로 단독으로 사용되기 어려운 단점이 있다. 따라서, 본 발명의 일실시예에 따른 후보영역 검출부(110)는 사용자(140)에 대한 가장 첫번째 눈 영상에 대해서, 아다부스트 알고리즘을 적용하여 후보 영역을 검출 하고, 다음 영상에 대해서 첫번째 영상으로부터 검 출된 후보 영역을 캠쉬프트의 검색 영역으로 지정하여 사용할 수 있다.
동공중심 검출부(120)는 검출된 후보 영역에 대해서 원형 검출 알고리즘을 적용하여 초기 동공 중심을 [0035]
검출한다. 또한, 동공중심 검출부(120)는 동공의 반지름을 검출할 수 있다. 또한, 동공중심 검출부(120)는 동 공 중심을 기준으로 하여 기설정된 크기의 지역적 이진화 과정이 적용되는 적용 영역에 대한 그레이 히스토그램 을 검출할 수 있다.
동공중심 검출부(120)는 초기 동공 중심에 대해서 지역적 이진화 과정, 라벨링 과정 및 무게중심 연산 과정을 [0036]
순차적으로 적용하여 사용자(140)의 동공 중심을 검출한다.
이하 도 4 내지 도 7을 참조하여, 동공중심 검출부(120)가 사용자(140)의 동공 중심을 검출하는 단계에 대해서 [0037]
상세히 설명한다.
도 4는 본 발명의 일실시예에 따른 동공중심 검출부가 사용자의 초기 동공 중심을 검출하는 동작을 나타내는 도 [0038]
면이다.
도 4를 참조하면, 본 발명의 일실시예에 따른 동공중심 검출부(120)는 검출된 후보 영역에 대한 중심 좌표 값에 [0039]
기반하여, 사용자(140)에 대한 눈 영상(410)에서 홍채 크기의 영역에 대해서 반사광을 소거하는 작업을 수행할 수 있다.
영상(420)은 눈 영상(410)에서 반사광이 소거된 영상을 나타낸다.
[0040]
또한, 동공중심 검출부(120)는 반사광이 소거된 영상(420)의 검출된 후보 영역에 대해서 원형 검출 알고리즘을 [0041]
적용하여 초기 동공 중심(431)을 검출할 수 있다. 또한, 동공중심 검출부(120)는 동공의 반지름을 검출할 수 있다. 또한, 동공중심 검출부(120)는 동공 중심을 기준으로 하여 기설정된 크기의 영역에 대한 그레이 히스토 그램을 검출할 수 있다.
영상(430)은 원형 검출 알고리즘이 적용되어 초기 동공 중심(431)이 검출된 영상을 나타낸다.
[0042]
동공의 모양은 원의 형태로 단순화 하기에는 불규칙적인 모양을 가지고 있고, 카메라의 위치에 대한 동공의 위 [0043]
치에 따라 타원의 형태로 관찰될 수 있다. 또한, 조명의 반사광이 동공의 경계에 위치할 때에는 동공의 중심 위치가 정확하게 추출되지 않을 수 있다.
따라서, 동공중심 검출부(120)는 검출된 초기 동공 중심(431)에 대해서 지역적 이진화 과정, 라벨링 과정 및 무 [0044]
게중심 연산 과정을 순차적으로 적용하여 사용자(140)의 동공 중심을 검출한다.
본 발명의 일측에 따르면, 동공중심 검출부(120)는 지역적 이진화 과정의 임계치를 결정하기 위하여 P-타일(P- [0045]
Tile) 방법을 이용할 수 있다.
도 5는 본 발명의 일실시예에 따른 동공중심 검출부가 지역적 이진화 과정, 라벨링 과정 및 무게중심 연산 과정 [0046]
을 순차적으로 적용하는 동작을 나타내는 도면이다.
도 6은 본 발명의 일실시예에 따른 동공 중심을 기준으로 하여 기설정된 크기의 지역적 이진화 과정이 적용되는 [0047]
적용 영역에 대한 그레이 히스토그램을 나타내는 도면이다.
도 5를 참조하면, 본 발명의 일실시예에 따른 동공중심 검출부(120)는 P-타일 방법을 이용하기 위해서, 원형 검 [0048]
출 알고리즘을 적용하여 검출한 동공 반지름 r(510)을 이용하여 동공 영역에 대한 픽셀 수를 연산할 수 있다(하 기 [수식 1] 참조).
[수식 1]
[0049]
동공 영역의 픽셀 수 = πr2 [0050]
또한, 동공중심 검출부(120)는 동공 중심을 기준으로 하여 기설정된 크기(가로 W(521), 세로 H(522))의 지역적 [0051]
이진화 과정이 적용되는 적용 영역(520)에 대한 그레이 히스토그램(600)을 연산하고, 저장할 수 있다. 또한, 동공중심 검출부(120)는 적용 영역(520)에 대한 동공 영역의 픽셀 수의 비율을 연산할 수 있다(하기 [수식 2]
참조).
[수식 2]
[0052]
동공 영역의 픽셀 수 비율 = (πr2 )/(W x H) [0053]
동공중심 검출부(120)는 연산된 동공 영역의 픽셀 수 비율을 이용하여 영역(520) 내의 어두운 부분부터 동공 영 [0054]
역의 픽셀 수 비율만큼 그레이 히스토그램(600) 내에서 연산한다. 이 때, 동공중심 검출부(120)는 그레이 히스 토그램 값을 임계치로 결정할 수 있고, 결정된 임계치를 이용하여 지역적 이진화 과정을 수행할 수 있다.
영상(530)은 P-타일 방법에 의해 결정된 임계치에 의한 지역적 이진화 과정이 수행된 결과 영상을 나타낸다.
[0055]
이 후, 동공중심 검출부(120)는 영상(530)에 대해서 라벨링 과정 및 무게중심 연산 과정을 순차적으로 적용하여 [0056]
최종적인 동공 중심(540)을 검출할 수 있다.
도 7은 본 발명의 일실시예에 따른 동공 중심 검출 방법을 나타내는 흐름도이다.
[0057]
도 7을 참조하면, 본 발명의 일실시예에 따른 동공 중심 검출 방법은 TV에 설치된 카메라로부터 사용자에 대한 [0058]
눈 영상을 입력 받을 수 있다(710). 눈 영상은 사용자의 눈에 대한 영상이 포함된 영상을 나타낸다.
실시예에 따라서는, 카메라는 적외선 차단 필터가 제거되고 적외선 투과(가시광선 차단)필터가 부착되어, 적외 [0059]
선에 의해 조산된 물체만을 영상으로 촬영할 수 있다. 또한, 카메라는 고배율 렌즈가 부착되어, 사용자의 눈 주위 부분을 확대하여 촬영할 수 있다.
동공 중심 검출 방법은 아다부스트(AdaBoost) 알고리즘 및 캠쉬프트(CAMShift) 알고리즘 중 적어도 하나를 적용 [0060]
하여, 사용자에 대한 눈 영상으로부터 사용자의 동공 중심을 검출하기 위한 후보 영역을 검출한다. 또한, 동공
중심 검출 방법은 검출된 후보 영역의 중심 좌표 값을 검출할 수 있다.
후보 영역을 검출하지 않고, 사용자에 대한 눈 영상에 대해서 원형 검출 알고리즘을 적용하여 바로 동공 중심을 [0061]
검출하는 경우, 처리 속도가 저하되어 실시간으로 동공 중심을 검출할 수 없다. 따라서, 본 발명의 일실시예에 따른 동공 중심 검출 방법은 아다부스트(AdaBoost) 알고리즘 및 캠쉬프트(CAMShift) 알고리즘 중 적어도 하나를 적용하여, 사용자에 대한 눈 영상으로부터 사용자의 동공 중심을 검출하기 위한 후보 영역을 검출한다.
본 발명의 일측에 따르면, 동공 중심 검출 방법은 사용자에 대한 전체 눈 영상의 축소 영상(예를 들어, 전체 영 [0062]
상의 1/5 크기로 축소된 영상)을 생성한 이후, 아다부스트(AdaBoost) 알고리즘 및 캠쉬프트(CAMShift) 알고리즘 중 적어도 하나를 적용하여, 축소 영상으로부터 사용자의 동공 중심을 검출하기 위한 후보 영역을 검출할 수 있 다(720).
즉, 사용자에 대한 전체 눈 영상은 사용자의 눈 외에도 눈썹, 앞머리카락 등을 포함할 수 있어 검출의 정확성이 [0063]
떨어질 수 있다. 따라서, 본 발명의 일측에 따르면, 동공 중심 검출 방법은 축소 영상을 생성한 이후, 아다부 스트(AdaBoost) 알고리즘 및 캠쉬프트(CAMShift) 알고리즘 중 적어도 하나를 적용하여, 축소 영상으로부터 사용 자의 동공 중심을 검출하기 위한 후보 영역을 검출할 수 있다.
아다부스트 알고리즘은 일종의 템플릿 매칭으로써 훈련 단계와 실행 단계로 구성된다. 훈련 단계에서는 특정 [0064]
물체의 특징점들을 추출하고, 학습한 것을 바탕으로 통계적인 모형을 만든다. 즉, 검사 대상과 유사한 물체를 포함하고 있는 샘플영상과 포함하고 있지 않은 샘플 영상을 입력 받아 학습 샘플 집합으로 사용한다. 학습 과 정 동안 샘플들로부터 검출 하고자 하는 물체의 서로 다른 특징점들이 추출되고 이 특징점들은 물체를 분류 할 수 있는 고유의 특징점이 되어 약한 분류기(weak classifier)를 구성한다. 또한, 약한 분류기들의 결합을 통하 여 강한 부류기(strong classifier)를 구성한다. 실행 단계에서는 입력된 영상을 매칭 확률이 높은 약한 분류 기를 적용하고, 순차적으로 매칭 확률이 낮은 강한 분류기를 사용 함으로써 찾고자 하는 물체를 검출한다.
캠쉬프트(CAMShift) 알고리즘은 컬러 세그먼트(Color Segment) 기반의 민쉬프트(MeanShift) 알고리즘을 실시간 [0065]
추적 등에 사용하기 위해 확장 된 것으로, 그레이 히스토그램(Gray Histogram)을 이용하여 검출한다. 민쉬프트 (MeanShift) 알고리즘에서처럼 영상 전체 영역을 검색 하는 것이 아니라, 영상에서 추적할 물체의 영역을 예측 하여 검색 영역을 지정한다. 지정된 검색영역의 색 모델을 HSV의 색조(Hue)값으로 변환한다. 색조값은 조명의 영향을 적게 받으나, 물체의 식별이 어려울 정도로 매우 어둡거나 밝은 경우를 제외하고 지정된 검색 영역 그레 이 히스토그램을 구한다. 따라서, 이 정보를 바탕으로 물체를 추적 하게 된다.
본 발명의 일측에 따르면, 동공 중심 검출 방법은 입력 받은 영상이 사용자에 대한 눈 영상의 첫 번째 프레임인 [0066]
지 여부를 판단할 수 있다(730).
동공 중심 검출 방법은 입력 받은 영상이 사용자에 대한 눈 영상의 첫 번째 프레임인 경우, 아다부스트 [0067]
(AdaBoost) 알고리즘을 적용하여 사용자에 대한 눈 영상으로부터 후보 영역을 검출할 수 있다(740).
또한, 동공 중심 검출 방법은 입력 받은 영상이 사용자에 대한 눈 영상의 두 번째 프레임 이후의 프레임인 [0068]
경우, Pre_eye_count가 True값인지 여부를 판단할 수 있다(750).
Pre_eye_count가 True값이라는 의미는 이전 프레임으로부터 후보 영역이 검출되었고, 검출된 후보 영역에 대한 [0069]
중심 좌표 및 그레이 히스토그램이 연산되어, 캠쉬프트 알고리즘을 적용할 검색 영역을 지정할 수 있는 경우이 다.
동공 중심 검출 방법은 입력 받은 영상이 사용자에 대한 눈 영상의 두 번째 프레임 이후의 프레임인 경우로서, [0070]
Pre_eye_count가 True값이 아닌 경우(즉, False값인 경우), 아다부스트(AdaBoost) 알고리즘을 적용하여 사용자 에 대한 눈 영상으로부터 후보 영역을 검출할 수 있다(740).
또한, 동공 중심 검출 방법은 아다부스트 알고리즘을 적용하여 검출된 후보 영역의 중심 좌표 값을 검출할 수 [0071]
있다.
동공 중심 검출 방법은 입력 받은 영상이 사용자에 대한 눈 영상의 두 번째 프레임 이후의 프레임인 경우로서, [0072]
Pre_eye_count가 True값인 경우, 캠쉬프트 알고리즘을 적용하여 사용자에 대한 눈 영상으로부터 후보 영역을 검 출할 수 있다(751). 이 때, 동공 중심 검출 방법은 검출된 후보 영역의 중심 좌표에 근거하여, 캠쉬프트 알고 리즘이 적용될 검색 영역을 지정할 수 있다.
또한, 동공 중심 검출 방법은 캠쉬프트 알고리즘을 적용하여 검출된 후보 영역의 중심 좌표 값을 검출할 수 있 [0073]
다.
또한, 동공 중심 검출 방법은 캠쉬프트 알고리즘을 적용하여 검출된 후보 영역의 그레이 히스토그램값을 검출하 [0074]
고, 저장할 수 있다(752).
이 때, 동공 중심 검출 방법은 사용자에 대한 눈 영상의 현재 프레임으로부터 검출된 그레이 히스토그램값과 이 [0075]
전 프레임으로부터 검출된 그레이 히스토그램값을 비교할 수 있다(753).
만약, 매칭률이 기설정된 기준값(예를 들어, 90%) 미만이 되는 경우, 동공 중심 검출 방법은 다시 아다부스트 [0076]
알고리즘을 적용하여, 사용자에 대한 눈 영상으로부터 후보 영역을 검출할 수 있다.
본 발명의 일실시예에 따른 동공 중심 검출 방법이 아다부스트 알고리즘 및 캠쉬프트 알고리즘 중 적어도 하나 [0077]
를 사용하는 이유는, 아다부스트 알고리즘을 적용하는 경우의 후보 영역 검출은 캠쉬프트 알고리즘을 적용하는 경우에 비해 검출 정확도가 높지만, 후보 영역의 검출의 처리 시간이 상대적으로 길게 소요되어(80ms 정도)로 실시간 처리가 요구되는 환경에서는 적용이 적합하지 않다. 또한, 캠쉬프트 알고리즘을 적용하는 경우의 후보 영역 검출은 아다부스트 알고리즘을 적용하는 경우에 비해 처리 시간은 빠르지만(9ms 정도), 캠쉬프트 알고리즘 이 적용되기 위한 물체 검출 예상 영역이 필요하므로 단독으로 사용되기 어려운 단점이 있다. 따라서, 본 발명 의 일실시예에 따른 동공 중심 검출 방법은 사용자에 대한 가장 첫번째 눈 영상에 대해서, 아다부스트 알고리즘 을 적용하여 후보 영역을 검출 하고, 다음 영상에 대해서 첫번째 영상으로부터 검출된 후보 영역을 캠쉬프트의 검색 영역으로 지정하여 사용할 수 있다.
본 발명의 일실시예에 따른 동공 중심 검출 방법은 검출된 후보 영역에 대한 중심 좌표 값에 기반하여, 사용자 [0078]
에 대한 눈 영상에서 홍채 크기의 영역에 대해서 반사광을 소거하는 작업을 수행할 수 있다(760).
또한, 동공 중심 검출 방법은 반사광이 소거된 영상의 검출된 후보 영역에 대해서 원형 검출 알고리즘을 적용하 [0079]
여 초기 동공 중심을 검출할 수 있다(770). 또한, 동공 중심 검출 방법은 동공의 반지름을 검출할 수 있다.
또한, 동공 중심 검출 방법은 동공 중심을 기준으로 하여 기설정된 크기의 영역에 대한 그레이 히스토그램을 검 출할 수 있다.
동공의 모양은 원의 형태로 단순화 하기에는 불규칙적인 모양을 가지고 있고, 카메라의 위치에 대한 동공의 위 [0080]
치에 따라 타원의 형태로 관찰될 수 있다. 또한, 조명의 반사광이 동공의 경계에 위치할 때에는 동공의 중심 위치가 정확하게 추출되지 않을 수 있다.
따라서, 동공 중심 검출 방법은 검출된 초기 동공 중심에 대해서 지역적 이진화 과정, 라벨링 과정 및 무게중심 [0081]
연산 과정을 순차적으로 적용하여 사용자의 동공 중심을 검출한다.
본 발명의 일측에 따르면, 동공 중심 검출 방법은 지역적 이진화 과정의 임계치를 결정하기 위하여 P-타일(P- [0082]
Tile) 방법을 이용할 수 있다(780).
본 발명의 일실시예에 따른 동공 중심 검출 방법은 P-타일 방법을 이용하기 위해서, 원형 검출 알고리즘을 적용 [0083]
하여 검출한 동공 반지름 r을 이용하여 동공 영역에 대한 픽셀 수를 연산할 수 있다.
또한, 동공 중심 검출 방법은 동공 중심을 기준으로 하여 기설정된 크기(가로 W, 세로 H)의 지역적 이진화 과정 [0084]
이 적용되는 적용 영역에 대한 그레이 히스토그램을 연산하고, 저장할 수 있다. 또한, 동공 중심 검출 방법은 적용 영역에 대한 동공 영역의 픽셀 수의 비율을 연산할 수 있다.
동공 중심 검출 방법은 연산된 동공 영역의 픽셀 수 비율을 이용하여 영역 내의 어두운 부분부터 동공 영역의 [0085]
픽셀 수 비율만큼 그레이 히스토그램 내에서 연산한다. 이 때, 동공 중심 검출 방법은 그레이 히스토그램 값을 임계치로 결정할 수 있고, 결정된 임계치를 이용하여 지역적 이진화 과정을 수행할 수 있다.
이 후, 동공 중심 검출 방법은 영상에 대해서 라벨링 과정 및 무게중심 연산 과정을 순차적으로 적용하여 최종 [0086]
적인 동공 중심을 검출할 수 있다(790).
또한, 동공 중심 검출 방법은 그레이 히스토그램을 검출 및 저장할 수 있다(791). 이후, 동공 중심 검출 방법 [0087]
은 다시 눈 영상에 대한 다음 프레임을 입력 받을 수 있고, 단계(710)부터 단계(791) 사이를 반복 수행할 수 있 다.
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨 [0088]
터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구 조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특 별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨 터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행 하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포 함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 [0089]
것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 [0090]
이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
부호의 설명
100: 동공 중심 검출 장치 [0091]
110: 후보영역 검출부 120: 동공중심 검출부 130: TV
140: 사용자
도면 도면1
도면2
도면3
도면4
도면5
도면6
도면7
