사각형 특징 기반 분류기와 AdaBoost 를 이용한 실시간 얼굴 검출 및 인식

Vol. 1, No. 2 (2008) pp. 133 − 139

사각형 특징 기반 분류기와 AdaBoost 를 이용한 실시간 얼굴 검출 및 인식

김종민·이웅기^†

Real-time Face Detection and Recognition using Classifier Based on Rectangular Feature and AdaBoost

Jong-Min Kim and Woong-Ki Lee^†

Abstract

Face recognition technologies using PCA(principal component analysis) recognize faces by deciding representative features of faces in the model image, extracting feature vectors from faces in a image and measuring the distance between them and face representation. Given frequent recognition problems associated with the use of point-to-point distance approach, this study adopted the K-nearest neighbor technique(class-to-class) in which a group of face models of the same class is used as recognition unit for the images inputted on a continual input image. This paper proposes a new PCA recognition in which database of faces.

Key words :

Face recognition technologies, PCA(principal component analysis), K-nearest neighbor technique

1. 서 론

얼굴검출은영상감시시스템

,

^{원격회의시스템}

, HCI(Human Computer Interaction)

및얼굴인식시스 템등다양한분야에응용될수있는기술이다

.

^그러나

얼굴영상은조명

,

^시점변화

,

^표정

,

^머리모양

,

^화장

,

안경등다양성으로인해큰변화가존재하고

,

또한얼 굴과유사한수많은비얼굴데이터가존재하기때문에

,

복잡한배경에서얼굴영역을완벽하게분리하는데현 실적으로한계가있다^[10]

.

^{기존의얼굴검출기술은신}

경망이용방법^[2]

,

^{색상기반방법[3]}

,

^{가우시안복합모}

델기반방법^[4]

,

특징기반방법^{[5, 6]}등이있다

.

신경망

이용방법은정지영상에서얼굴을찾는데우수한성 능을보이지만자연배경과같은무수히많은비얼굴 데이터를학습시키는데한계점을지닌다

.

색상기반방 법은단독적으로사용되지않고주로다른방법들과 결합된형태로이용된다

.

^{가우시안복합모델기반방}

법은특정패턴에대해서비교적높은성능을보이지 만시점의변화와같은영상전체의변화에대해서는 추출하기가어렵다

.

^{특징기반방법은크기}

,

^방향

,

^얼굴

의시점변화등에상관없이유용하게적용할수있는 방법이지만

,

^눈

,

^코

,

^{입과같은얼굴의특징을찾는것}

이쉽지않다

.

^{최근에는간단한웨이브렛특징을기반}

으로

Boosting

알고리즘을이용하여실시간으로얼굴

영역을검출하는연구가활발히진행되고있다^[7-8]

.

본논문은사각형특징기반분류기를이용하여

,

실 시간으로얼굴영역을검출하는강인한검출알고리즘 을제안한다

.

또한얼굴인식을하기위해

PCA

를이용 하였고

,

얼굴인식률을높이기

5

^o씩회전을가진데이 터베이스를생성후기존의모델영상내의각각의얼 굴의대표값을만든후에실험영상을고유공간에 투영시켜서나온성분과대표값의거리를비교하는

기존의방법인

point to point

^{방식은단순거리계산을}

계산하기때문에오차가많아실시간인식시인식저 하를발생시켰다

.

^{그래서본논문에서는개선된}

Class to Class

^방식인

k-Nearest Neighbor

^{을이용하여몇개}

의연속적인입력영상에대해각각의모델영상들을 인식의단위로이용하여인식오차를줄일수있었다

.

조선대학교 대학원 전산통계학과(Computer Science and Statistic Department Graduate School. Chosun. Univ.)

†Corresponding author: wglee@chosun.ac.kr

(Received : August 14, 2008, Revised : August 29, 2008 Accepted : September 8, 2008)

2. 제안한 알고리즘 구성도

본논문에서제안하는얼굴인식시스템의알고리즘 은카메라를통해얻어진배경영상에서얼굴만을추 출하여영상의크기정규화및노이즈를제거한후기 존의주성분분석^[10]이아닌개선된주성분분석방법 을이용하여인식을수행한다

.

[

^그림

1]

^{은본논문에서제안하는알고리즘의순서}

도를나타낸다

.

3. 특 징

3.1 SAT(Summed-Area Tables)

본연구는특징값의계산에서요구되는방대한연 산량을줄이기위해

,

입력패턴에대한

SAT

를생성한

다

. SAT

^{는입력영상의원점}

(0, 0)

^{에서부터특정한좌}

표영역

( x, y )

^에대해

,

^{모든픽셀값을더한값을가지}

는테이블이며

,

식

(1)

과같이정의된다^[9]

.

(1)

따라서

,

^{사각형영역의값}

( RS )

^은

SAT( S )

^를이용하

여효율적으로계산되며

,

^식

(2)

^{와같이정의된다}

. RS ( x , y , w , h ) = S ( x + w,y + h )

^·

S ( x + w , y )

^·

S ( x , y + h ) + S ( x , y ) (2)

식

(2)

^에서

x

와

y

는가로

x,

^세로

y

^{인특정한좌표영}

역이며

, w

와

h

는너비

w ,

높이

h

인사각형영역을나타 낸다

. SAT

는

[

그림

2]

에서도식화된다

.

3.2

^{사각형특징}

본연구는독특한얼굴패턴을추출할수있는사각 형특징을이용한특징기반분류기를제안한다

.

^특징

기반분류기는픽셀기반분류기보다효율적인처리가 가능하고

,

^{특정영역에대한구조적인정보를제공한다}

.

사각형특징은

[

^그림

3]

^과같이

5

^{개의사각형형태로}

구성되며

, Haar

웨이브렛함수와유사한구조를가진

다

.

^{본연구는제안된사각형특징을이용하여}

,

^입력

패턴에대한방대한특징집합을생성한다^[11]

.

^각특징

은입력패턴내의다양한위치와크기로존재하게된 다

.

^{따라서제안된사각형특징은얼굴영상에서발생}

하는다양성을수용할수있으며

,

얼굴패턴의중요한 구조적인정보를추출할수있다

.

사각형특징값

( RF )

^{의계산은사각형영역의값}

( RS )

을이용하여간단한연산으로구해지며

,

식

(3)

과같이 정의된다

.

^식

(3)

^에서

m

^은

RS

w의픽셀수와

n

^은

RS

b의 픽셀수이다

.

(3)

사각형특징값

( RF )

은전체사각형영역의픽셀값

( RS

w

)

^{의평균과검정색사각형영역의픽셀값}

( RS

b

)

^의

평균에대한차연산으로구해진다

. 3.3

^{사각형특징기반분류기}

본논문은

AdaBoost

알고리즘을이용하여사각형

특징기반분류기를학습한다

. AdaBoost

^{알고리즘은}

s x y

( ),

I x

( ′,

y

′)

x′≤

∑

x y,′≤y

= ^{RF x y w h}

^{( , , , )}

^RS

m

w

---

⋅

^RS --- _n

^b

=

그림 1.제안한알고리즘순서도

그림 2.

SAT(Summed-Area Table)

그림 3.사각형특징

약학습기

(Weak learner)

를결합함으로써

,

최종적으로

높은정확도를가진앙상블분류기

(Ensemble classifier)

를생성한다^[1]

. AdaBoost

^{알고리즘은}

[

^표

1]

^과같다

.

분류기는얼굴과비얼굴패턴으로구성된훈련집합과 사각형특징집합을이용하여학습된다

.

^{입력벡터x}

는특징집합이며

,

^{xn은하나의사각형특징이다}

.

^출

력

y

ⁿ는

+1

과

-1

값을가지며

,

각각얼굴과비얼굴을 나타낸다

.

분류기학습은다음과같이진행된다

.

^약학습기

C

^k

가하나의사각형특징 x^k를이용하여훈련패턴을분 류한다

.

^이때

,

^{잘못분류된훈련패턴은가중치}

W

k

( i )

^를

증가시키고

,

옳게분류된훈련패턴은가중치

W

k

( i )

를 감소시키는과정을반복한다

.

^{따라서분류기는훈련패}

턴의변경된가중치를고려하여

,

^{최소에러율을가지도}

록하는사각형특징을선택한다

.

이와같은학습된분 류기는얼굴패턴의특징을추출하는데결정적인역할 을하는사각형특징을선택한다

.

약학습기

C

^k는하나의사각형특징xⁿ으로분류하며

,

최종적으로생성된앙상블분류기

g (

^x

)

^는

k

^개의약학

습기가결합된형태이다

.

^즉

,

^{앙상블분류기는}

k

개의 사각형특징이선형적으로결합된형태이다

.

앙상블분 류기는약학습기의수

k

max를증가할수록에러율이영 점에지수적으로근접해진다^[1]

.

^{앙상블분류기는식}

(4)

와같이정의된다

.

(4)

제안된사각형특징기반분류기는높은정확도를 가진앙상블분류기가계층적으로구성되며

,

^중요한얼

굴패턴은다음레벨에반복적으로적용함으로써우수 한검출성능을가진다

.

4. 실시간 얼굴 검출 알고리즘

제안된검출알고리즘은학습된사각형특징기반 분류기를통해

,

빠르고효율적으로얼굴영역을찾아낸 다

.

^{알고리즘은전처리}

,

^{실시간얼굴영역검출의두}

단계로구성된다

.

전처리는입력영상에대한다중해상도피라미드 를구성함으로써

,

^{다양한위치와크기의얼굴영역을}

검출할수있다

.

^{전처리과정은그림}

5

^와같다

.

^각레벨

의영상은

5×5

가우시안필터를적용하여잡음을제거

한후

, 20×20

^{크기로일반화하여입력패턴을생성한다}

.

입력패턴은정규화를통해색상을보정한후

,

이에대 한

SAT

^{를생성하여특징값을효율적으로계산한다}

.

실시간얼굴영역검출은사각형특징기반분류기 를이용하여

,

전처리과정에서생성된입력패턴을분 류한다

.

^{제안된분류기는}

[

^그림

4]

^와같다

.

^{사각형특징}

기반분류기는앙상블분류기

g (x)

^{가계층적으로구성}

된형태이며

,

앙상블분류기

g (x)

는약학습기

C

^k의선 형적인결합으로구성된다

.

^즉

,

^{앙상블분류기는사각}

형특징의결합으로구성되며

,

^{얼굴패턴의특징을추}

출하는데결정적인역할을한다

.

따라서

,

제안된분류기 는학습을통해설정된크기와위치의사각형특징값

( RF )

을계산한후

,

^{임계치를만족하면얼굴패턴으로분류한다}

.

최종적으로분류기는얼굴패턴의시퀀스를출력한다

. 5. 주성분 분석을 이용한 얼굴 인식

Mono

^{카메라를이용하여얼굴의방향이틀어지는}

경우를같은형상으로인식하기에는많은어려움이있 다

.

^{따라서본논문에서는}

[

^그림

6]

^{과같이얼굴의방}

향성이틀어지는경우같은얼굴영상으로인식하기 위해주성분분석을이용한얼굴방향성문제의해결

g x

( )

a

k

h

k( )

x

k=1 kmx

∑

=

표 1.매칭방법에따른매칭성공률 매칭방법 입력영상 매칭

실패 잘못된 매칭 매칭

성공

기존의거리계산

(Point to Point)

구성된모델로경우

10.5 % 11 % 78.5 %

모델로구성되지

않은경우

15.8 % 20.2 % 62 % k-Nearest

개선된

Neighbor (Class to Class)

모델로

구성된경우

6.1 % 3.7 % 90.2 %

모델로구성되지

않은경우

13.2 % 16.8 % 70 %

그림 4.사각형특징생성과정

방법을제안한다

.

이문제를해결하기위해서는한사람의영상을

5

^o

씩회전을해서얼굴영상을습득하여데이터베이스를 구축해야한다

.

^{그러나주성분분석에서는단지영상의}

외관기반으로인식을수행하기때문에사람의머리모 양의변화만으로도같은사람으로인식하기가어렵다

.

그래서본논문에서는앞에서설명한사각형특징기 반분류기를이용하여얼굴영역이추출가능한영상 만을모델영상으로사용하였다

. [

^그림

7]

^은

[

^그림

6]

^에

서얼굴영역이추출가능한영상만을나타내었다

.

^그

러나사각형특징기반분류기를이용하여얼굴영역 을추출하는방법은얼굴의상하좌우의큰회전에대 해서는추출이불가능하며좌우회전

30

^{o까지만얼굴}

추출이가능하였다

.

5.1

^{주성분분석을이용한고유공간구성}

고유벡터를계산하기위해서는먼저모든영상의평 균데이터를구하여각영상들의데이터의차를구한 다

.

평균데이터

C

와새로운영상데이터집합

X

를식

(5)

와식

(6)

과같이나타낸다

.

(5) (6)

고유공간을구하기위해서는

M*N

^{의크기를지닌}

영상집합

X

^를식

(7)

^{과같이계산하고식}

(8)

^을만족하

는고유벡터를구하면된다

.

즉공분산행렬

Q

^{에대한고유치와고유벡터}

e

^를

구한다

. (7)

λi

e

t

= Qe

i

(8)

이런과정으로얻어진행렬중공분산의고유벡터 로이용되는행렬은공분산행렬

X

와크기가일치하는

U

^이다

.

^{특이치분해과정에서나온고유벡터를고유}

치가큰순서대로재구성한다

.

^{각고유벡터가지닌고}

유치의크기는그고유벡터의중요도를의미하므로그 고유공간을규정하는중요고유벡터를식

(9)

^을이용하

여선택한다

.

따라서모든고유벡터를고유공간구성 에이용하지않고많은영상을대표할수있는주성분 의벡터만을이용할수있다

.

(9)

여기서은고유벡터의개수를조정하는문턱치이며

,

인식과포즈평가시이용되는고유벡터는저차원공 간을구성하기고유벡터를고유치의값이큰순서로

C

(

1

⁄

N

)

x

i i=1

∑

N

=

X =

^∆{

x

1 1( )1,

– c x

^, 2 1( )1,

– c

^,

..., x

R( )1,1

– c

^,

..., x

R L( )P,

– c

^}

Q =

^∆

XX

^T

λi i=1

∑

k

λi i=1

∑

N

---

≥

T

1

그림 5.사각형특징기반분류기

그림 6.동양사람의방향이틀어지는경우영상

그림 7.회전영상에서사각형특징기반분류기를이용 한얼굴영역 검출영상

배열하면

[

그림

8]

과같다

.

실험에서는

K = 5

를이용하였 다

.

^{이렇게구성된공간을얼굴고유공간으로표현한다}

.

5.2

^{얼굴영상공간에서상관관계와거리}

정규화된영상들이얼굴영상공간에투영되어인 식을위한모델들로정해지면실제인식에필요한처 리는매우간단하다

.

^{먼저평균영상에서입력영상를}

뺀다음고유공간에식

(10)

^{과같이투영하면된다}

. f

j

= [ e

1

, e

2

, e

3

,..., e

k

]

^T

( x

n−

c ) (10)

구해진

f

j얼굴고유공간상에서점들로표현된다

.

^이

러한점들을투영시킨결과는이산적인점들로표현되 며

,

이들각점은입력얼굴하나를의미한다

.

고유공 간의특성상비슷한특징값을가지는벡터는고유공 간에서도가까운곳에투영된다

.

따라서같은얼굴의 경우서로비슷한특징벡터값을가지게되고

,

고유공 간에서비슷한영역에분포하게된다

.

[

그림

9]

는

[

그림

7]

을얼굴영상공간에투영시킨결

과이다

. [

^그림

10]

^{은얼굴영상공간에서각영상들이}

매핑되는결과를나타내었다

.

고유공간에투영된점이가까울수록영상들의높은 상관관계를가진다

.

5.3 K-Nearest Neighbor

^{를이용한거리평가와얼}

굴인식

투영된 입력영상이모델영상과의매칭의 경우

(Point to Point)

여러동작들이투영되어있는얼굴영

상공간에서실제얼굴영상은매칭에성공했을지라도 다른얼굴영상으로인식하는잘못된매칭이발생하였

다

.

^{이러한문제를해결하기위해단일얼굴영상단위 의}각^매칭이몇개의^아닌모델^몇영상들을^{개의연속적인}인식의^입력단위로^영상에이용하였다^대해각 그림 8.고유치의개수에따른누적기여도

그림 9.얼굴영상공간에서동양남자의매핑

그림 10.고유공간에투영된얼굴영상분포

(Class to Class).

(11)

매칭알고리즘은식

(8),

^식

(9)

^{에서나타낸것처럼}

K-

Nearest Neighbor

^{방법을 이용하였다}

.

^여기서

arg

S ( M

j

) = j

는모델의번호를구하는연산자이다

. (12)

위의식

(12)

에의해구해진값을이용하여모델영상 과입력영상의인식을결정한다

.

^여기서는

k = 3

^을이

용하였다

. [

그림

11]

은공간상에투영된연속적인입력 영상들과모델영상들의위방법을이용한매칭방법 을나타낸것이다

. [

^그림

11]

^{에서나타나듯이입력영}

상과모델영상간가장가까운거리를가지는영상일 지라도실제다른얼굴영상일경우가있다는것을보 여준다

.

^{이러한문제를해결하기위해본논문에서제}

안한방법은두점간의거리로만판단하지않고연속 적인몇개의영상단위로매칭을수행함으로써얼굴 영상전체인궤적간의일치성까지알수있으며

,

^이를

이용하여얻어진결과는얼굴영상전체를평가하는 데도이용할수있었다

.

6. 실험결과

6.1

^{사각형특징기반분류기를이용한실시간검출}

본논문에서제안한실시간얼굴검출실험은

Web

Camera

^{를통한실시간영상을다양한조건하에서얼}

굴검출을실험하였고

,

^결과는

[

^그림

12]

^와같다

. [

^그림

12]

의

(a)

는정면얼굴을검출한결과이고

, (b)(c)

는얼

굴영상의다양한회전을통한얼굴검출결과이며좌 우회전은

30

^o까지회전에서검출가능하며상하이동 은

45

^{o까지검출이가능하였다}

. (d)

^{는동일한인물에}

안경을추가하여검출한결과이다

. (f)

^{는한영상에다}

중사람이입력되었을때검출한결과이다

.

제안한사각형특징기반분류기는

640×480

^크기의

입력영상에대해

, 1

^초당약

22

^{프레임을실시간으로}

처리하며

,

다양한위치와크기의얼굴영역을빠르고 효율적으로검출하였다

.

6.2 K-Nearest Neighbor

^{를이용한인식결과}

실험에이용된얼굴영상은

[

^그림

7]

^{에서처럼사각}

형특징기반분류기로검출된영상이다

.

입력이미지

는

640×480

^{으로촬영한얼굴영상은크기정규화를}

거쳐

100×100

^{영상으로변환하였다}

.

^{얼굴영상집합의}

고유벡터를계산한후재구성된얼굴영상을가장잘 복원하는

5

^{차원의벡터를선택하여얼굴영상공간으}

로이용하였다

.

^따라서

100×100 = 10000

^{차원의이미}

지가

5

차원으로압축되는효과도거둘수있었으며

,

[

^표

1]

^{은각매칭방법별매칭성공률에대한분석결}

과를나타내었다

.

[

표

1]

에서나타나듯이개선된

K-Nearest Neighbor

를이용한매칭방법이기존의최소거리매칭방법보 다는매칭성공률이높음을알수있다

.

특히잘못된 매칭에대해서는많은개선률을나타내었다

.

6. 결 론

설계된실시간얼굴인식시스템은신뢰도있고안 정적인얼굴영역검출을위해사각형특징기반분류기

와

AdaBoost

^{알고리즘을사용하여초당}

22

^프레임의

w Max arg S M

( )j

– Min

(

arg S M

( )j)

d k

⁽

– 1

⁾

---

=

w I

⁽i

– M

j⁾

∑

∑ k

---

그림 11.

K-Nearest Neighbor

를이용한얼굴영상인식

그림 12.다양한조건하에서실시간얼굴검출

얼굴검출성능을보였다

.

또한기존의주성분분석의

문제점인

point to point

^{매칭의인식과정에서여러얼}

굴들이투영되어있는얼굴영상공간에서실제얼굴 영상이매칭에성공했을지라도다른얼굴영상으로인 식하는잘못된매칭이빈번히발생하였다

.

^{이러한문제}

를해결하기위해본논문에서는

K-Nearest Neighbor

방법을제안하였고

,

이방법은기존의단일얼굴영상 단위의매칭이아닌몇개의연속적인입력영상을인 식의단위로이용하였다

.

^{제안한매칭방법으로인해}

기존의유클리디어거리방식보다매칭성공률이

10%

이상개선되었고

,

^{특히잘못된매칭에대해서는많은}

개선율을나타내었다

.

참고문헌

[1] R.O. Duda, P.E. Hart, D.G. Strok, Pattern Classifi- cation , Second Edition by John Wiley & Sons, Inc, 2001.

[2] H.A. Rowley, S. Baluja, T. Kanade, “Neural net- work-based face detection”, PAMI, IEEE Transac- tions on , Vol. 20 Issue: 1, pp. 23-38, Jan. 1998.

[3] J. Yang and A. Waibel, “A real-time face tracker”, In Proc. 3rd Workshop on Appl. of Computer Vision , pp. 142-147, 1996.

[4] K.-K. Sung, and T. Poggio, “Example-based learning for view-based human face detection”, Pattern Anal- ysis and Machine Intelligence, I EEE Transactions on , Vol. 20 Issue:1, pp. 39-51, Jan. 1998.

[5] R. Brunelli, and T. Poggio, “Face Recognition: fea- tures versus templates”, IEEE Transactions on PAMI, 15(10), pp. 1042-1052, 1993.

[6] Y. Yagi, “Facial feature extraction from frontal face image”, Signal Processing Proceedings, 2000.

WCCC-ICSP 2000. 5th International Conference on ,

Vol. 2, pp. 1225-1232, 2000.

[7] Paul Viola, M. Jones, “Robust real-time object detec- tion”, International Conference on Computer Vision , 2001.

[8] S.Z. Li, L. Zhu, Z.Q. Zhang, and H.J. Zhang,

“Statistical Learning of Multi-View Face Detection”, In Proc. 7th European Conference on Computer Vision, Copenhagen, Denmark. May 2002.

[9] F. Crow, “Summed-area tables for texture mapping”, In Proceedings of SIGGRAPH , Vol. 18(3), pp. 207- 212, 1984.

[10] G. Yang and T. S Huang, “Human Face Detection in Complex Background”, Pattern Recognition, vol 27, no. 1 pp. 345-350, 1996.

[11] Jong-Min Kim, and Hwan-Seok Yang, “A Study on Object Recognition Technology using PCA in Vari- able Illumination”, Lecture Notes in Computer Sci- ence LNAI 4093 pp. 911-918, 2006

[12] Liang Xiao, Zhihui Wei, and Huizhong Wu, “Robust Orientation Diffusion Via PCA Method and Appli- cation to Image Super-Resolution Reconstruction”, Lecture Notes in Computer Science LNCS 4688 pp726-735, 2007

[13] Jilin Tu, Huang. T, Hai Tao “Face as mouse through visual face tracking”, IEEE Computer and Robot Vision, 2005. Proceeding. The 2

^nd

Canadian Confer- ence on 9-11 May, 2005

[14] Jong-Min Kim, Hwan-Seok Yang and Woong-Ki Lee “Network-Based Face Recognition System Using Multiple Images”, Lecture Notes in Artificial Intelligence LNAI 4088 pp626-631, 2006

[15] Xiao-Peng, D.,Hua-wei, W., Huang, H. : Novel Method for Background Modeling and Update.

Application Research of Computers, pp141-239,

May, 2005