SOFM 신경망을 이용한 수화 형상 인식박경우

(1)

Vol. 3, No. 1 (2010) pp. 38 − 42

SOFM 신경망을 이용한 수화 형상 인식

박경우^†

Sign Language Shape Recognition Using SOFM Neural Network

Kyung-Woo Park^†

Abstract

인간은정보전달을위하여언어이외에동작

,

표정과같은비언어적인수단을이용한다

.

이러한비언어적인수단을정 확히분석할수있다면인간과컴퓨터간의자연스럽고지적인인터페이스를구축할수있게된다

.

본논문은별도의센 서를부착하지않은단일카메라환경에서손형상을입력정보로사용하여손영역만을분할한후자기조직화특징지 도

(SOFM: Self Organized Feature Map)

신경망알고리즘을이용하여손형상을인식함으로서수화인식을위한보다안 정적이며강인한인식시스템을구현하고자한다

.

제안방법으로는피부색정보를이용하여배경으로부터손영역만을 추출한후추출된손영역의형상을인식한다

(

전처리과정으로모델이미지의사이즈와압축및컬러에대한정보를정규 화시켰다

).

또한인식효율을높이기위해

SOFM

신경망알고리즘을적용함으로서보다안정적으로손형상을인식할 수있게되었으며

,

손형상인식률에대한안전성과정확성을향상시킬수있었다

.

그리고인식된손형상의의미를텍스 트로보여줌으로서사용자의의사를정확하게전달할수있다

.

Key words

: Hand Recognition, SOFM, Sign Language Recognition, Neural Network

1. 서 론

최근사용자친화형유저인터페이스구현환경이 대두되면서인간과컴퓨터간의원활한상호작용의필 요성이커짐에따라인간의행동을분석하는연구가 많이수행되고있다

.

^[1]^인간은^{정보전달을}^위하여^언어

이외에동작

,

표정과같은비언어적인수단을이용한다

.

인간과의사소통이자유스럽고보다지적인시스템을 제작하기위해서는무엇보다도이러한비언어적대화 수단을자동화함이필요하다

.

^[2,3]그중에서도손은인 간에게있어서가장중요한도구의하나로그동작과 모양이의미하는바를인식하는것은정보시스템과 인간사이의자연스러운인터페이스를실현할수있다 는점에서오랜기간동안많은사람들의연구테마로 다루어져왔다

.

^그러나^복잡한^{환경으로부터}^사람의^손

형상만을정확히추출하고인식하여의미있는입력정 보로사용하는것은어려운일이다

.

^{기본적으로}^정확한

손영역분할을위한알고리즘이필수이며손형상의 분석과인식을위한빠른처리속도또한고려해야할 요소이다

.

본논문은별도의센서^[4]를부착하지않은단일카메 라환경에서손형상을입력정보로사용하여손영역 만을분할한 후

SOFM(Self Organized Feature Map)

신경망알고리즘을이용하여손형상을인식함으로서 수화인식을위한보다안정적이며강인한인식시스템 을구현하고자한다

.

^이는^{비장애인과}^장애인간^상호

편리하게대화할수있는인터페이스를제공하려하며

,

제안하는방법으로는카메라로들어오는영상을입력 영상으로하여피부색정보를이용해배경으로부터손 영역만을추출한후추출된손영역의형상을인식한 다

.

^또한^인식^효율을^높이기^위해

SOFM

^신경망^[5]^알

고리즘을적용함으로서보다안정적으로손형상을인 식할수있게되었으며

,

손형상인식률에대한안전성 과정확성을향상시킬수있었다

.

^그리고^인식된^손^형

상의의미를텍스트로보여줌으로서사용자의의사를 정확하게전달할수있다

.

광주보건대학병원전산과 (Dept. of Hospital Information Management Gwangju Health College)

†Corresponding author: kwpark@ghc.ac.kr

(Received : January 28, 2010, Accepted : March 20, 2010)

(2)

2. 피부색 정보를 이용한 손 영역 검출

칼라공간에서사람의살색분포는자연계의다른 물체와구분할수있는뚜렷한특징을가지고있으므 로색차성분을이용하면쉽게살색영역을추출할수 있다

.

^[6]

2.1. Skin Color Filtering

본논문에서는칼라정보만을이용하여손영역을 검출하기위해다음과같이제안한다

.

이방법은간단 하고빠르게

RGB

^공간^안에서^피부색을^추출^할^수^있

다

. RGB

데이터의영상이입력되면피부색은

RED

값

이다른

GREEN

이나

BLUE

보다크다고가정했다

. (

식

1)

^과^같이^피부색에^해당하는^부분은^그^픽셀을

1

^로^할

당하여주고이이외에해당하는픽셀의위치에서는 살색이아닌영역으로판정하여

0

^의^값으로^할당을^하

게된다

.

(

식

1)

2.2. 손 영역 검출

입력영상에서피부색정보를이용하여손영역을 추출할때칼라필터를사용하더라도손만을정확히 추출하기란쉽지않다

.

본연구는칼라필터가적용되 고남아있는피부색정보의픽셀들은대부분손에속

해있기때문에횡좌표

X

축으로피부색픽셀들의수 를계산하여배경영역으로부터손영역만을분리한다

(labeling). (

^그림

2)

^는^입력^{영상에서의}^손^영역을^추출

한것이다

.

3. 신경망을 이용한 손 형상 인식

본논문에서는손형상을정확히분석하고인식하기

위해서자기조직화특징지도

(SOFM:Self Organized

Feature Map)

란신경망알고리즘^[7]을사용하였다

.

본 논문에서제안한알고리즘구성은

(

^그림

3)

^과^같다

.

3.1. 제안한 신경망 알고리즘

본논문에서는손형상을정확히분석하고인식하기

위해서

SOFM

신경망알고리즘을사용한다

. SOFM

은

입력뉴런들

,

^{출력뉴런들}

,

^그리고^입·출력^뉴런^간에^연

결된시냅스들로구성되어있으며학습단계에서다차 원공간상의특징벡터로표현되는객체들이경쟁층에 서스스로유사한패턴끼리

2

^차원의^특징^지도를^조직

화하여영역지도를형성한다

.

^그리고인식단계에서는 이미학습단계에서훈련된연결가중치하에서미지의 특징벡터에대하여경쟁층에서반응이일어나는위치 를통하여해당클래스를인식하게된다

.

^또한

,

^입력패

턴이주어졌을때출력뉴런들은경쟁을한후단한 개의출력뉴런만이승리하게된다

.

I

z( )

x y

,

1

⁽

RED BLUE

^≥ ⁾

⁽

RED GREEN

^≥ ⁾

0 Otherwise

}

⎩⎨

⎧

x y,

= ∑

그림 1.살색정보를이용한손영역추출

.

Fig. 1.

Hand area detection using skin color.

그림 2.입력영상의손영역추출

.

Fig. 2.

Hand area detection in input image.

^{그림 3.}^구성도

.

Fig. 3.

System structure.

(3)

3.2. SOFM의 학습과정

SOFM

^의^{학습과정은}^경쟁과정

,

^협동과정

,

^적응과정

의세가지과정으로이루어진다

. 3.2.1.

경쟁

(Competitive)

과정

SOFM

^에서^경쟁층^상에^있는^각^뉴런은^입력^공간

을구성하는

N

차원의특징벡터와연결강도에의하여

연결된다

.

^연결^강도는

0

^에서

1

^사이

(0~1)

^로^정규화된

임의의값으로초기화되어있다

.

^학습^단계에서^어떤

입력패턴이주어지면모든뉴런의연결강도와의거 리를계산하여거리가최소가되는뉴런이승자가되 는경쟁의규칙을가진다

(

그림

4).

3.2.2.

^협동

(Cooperation)

^과정

협동과정에서는경쟁과정에서의승자뉴런과인접 한이웃뉴런들만이제시된입력벡터에대하여학습 이허용된다

.

^즉

,

^유사한^특징^패턴에^민감하게^경쟁층

에서지도를형성하기위해승자뉴런은이웃한뉴런

을정해진함수에의하여결정하고그뉴런의연결강 도를갱신한다

.

^승자만이^출력을^낼^수^있으며

,

^승자와

그의이웃들만이연결강도를조정할수있도록한다

(

그림

5).

3.2.3.

^적응

(Adaptation)

^과정

적응과정에서는승자뉴런과그와이웃한뉴런들이 특정한입력값에더욱민감해지도록활성함수를적 응시켜연결강도를갱신한다

.

^이^과정을^통하여^승자

뉴런과인접해있는뉴런들은멀리떨어져있는뉴런

보다더강하게적응이된다

(

^그림

6).

3.3. SOFM

의학습

3

단계

1

^단계

:

^{연결강도 초기화}

N

개의입력으로부터

M

개의출력뉴런사이의연결 강도를작은값의임의수로초기화한다

.

^초기의^이웃

반경은모든뉴런들이포함될수있도록충분히크게 잡았다가함수

h

ik

( t )

에따라점차줄어든다

.

2

^단계

:

^{입력벡터가}^제시되고^경쟁

입력벡터와모든뉴런들간의거리를계산한다

.

입 력과출력뉴런

K

^사이의^거리는

(

^식

2)

^와^같이^계산되

고그중에서가장최소값이선택된다

. (

^그림

7)

^은

(

^그

림

4)

의입력영상과모델영상사이의거리를계산하 여가장최소값

(0)

^이^되는^모델

(

^최상위^모델

)

^을^찾은

것이다

.

그림 4.경쟁과정

.

Fig. 4

. Competitive course.

그림 5.협동과정

.

Fig. 5.

Cooperation course.

그림 6.적응과정

.

Fig. 6.

Adaptation course.

그림 7.입력영상과모델영상의거리

.

Fig. 7.

Input and model of distance.

(4)

(

식

2)

여기서

X

^(∈는시간

t

에서의

i

번째입력벡터이고

W

j

는시간

t

에서의

i

번째입력벡터와

j

번째출력뉴런사 이의연결강도이다

.

^모든^연결^강도와의^거리를^계산

하여최소거리에있는출력뉴런을선택한다

(

^그림

7).

3

^단계

:

^선택된^뉴런과^그^이웃^반경^내의^뉴런들의^연

결강도를갱신

(

^{협동과정과}^적응과정

)

연결강도의갱신은

(

식

3)

에의해갱신된다

.

W

k

= W

k

+

^η

( t )

^·

h

ik

( t )

^·

( X

^(∈ −

W

j

) (

^식

3)

η

( t )

^·

h

ik

( t )

^는

0

^과

1

^사이의^값을^가지는^이득항

(Gain

Term)

^인데^시간이^경과함에^따라^점차^작아진다

.

^학습

이득항에는지수함수적으로학습이득을감소시키는 함수

(

^학습률^감소^함수

)

^를^사용하며

, (

^식

4)

^와^같다

.

(

식

4)

η0

:

^초기학습^이득

, t :

^학습반복^회수

T

1

:

학습률시상수

출력뉴런의편중학습과미사용문제를보완하기위 하여승리뉴런과함께이웃뉴런을학습하는데이때학 습의범위인σ

( t )

^도^역시^학습이^진행됨에^따라^학습

이득항과같이감소시키는함수

(

^이웃^감소^함수

)

^를^사

용하며

, (

식

5)

와같다

.

(

^식

5)

σ0

:

^초기학습^이웃의^범위

, t :

^학습^반복^회수

T

2

:

^이웃뉴런^학습의^시상수

학습되는양을결정하는방법에는거리와무관하게 동일한이득항으로갱신하는방법과거리에따라학습 되는이득을다르게적용하는방법이있다

.

본논문에 서는거리에따라다른이득으로학습되는방법을적 용하였으며

,

^학습^{알고리즘에서}^시냅스

Weight

^학습

함수는

(

식

6)

과같다

.

w

ij

(t + 1) = w

ij

( t ) + h(t) m

ij

( x

i

( t )

⁻

w

ij

( t )) (

^식

6) m

ij

:

이웃뉴런의이득

4. 실험결과

본논문에서는수화인식을하기위한손형상인식 시스템을구현하고자한다

.

먼저손형상을정확하게

인식하기위해전처리과정으로모델영상의크기를

100*100

으로정규화했으며

,

인식속도를높이기위해

영상을

Gray Level

^로^{변환하였다}

.

^카메라로^들어오는

영상을입력정보로사용하였으며

,

^피부색^정보를^이용

하여영상의전체영역에서손영역만을분리하였다

.

분리된손영역으로부터손형상을정확하고안정적으

로인식하기위해

SOFM

^신경망^{알고리즘을}^사용하였

다

.

4.1. 손 형상 인식 결과

수화인식을위한손형상인식시스템은입력영상 을전처리과정에의해손영역을분할하고

,

^분할된^손

영역을손형상으로인식한다

.

입력영상이들어오면

DB

^안에서^입력^영상의^특징^벡터와^모델^영상의^특징

벡터사이의거리를

SOFM

^신경망^{알고리즘의}^경쟁과

정

(

그림

4),

학습과정

(

그림

5),

적응과정

(

그림

6)

을통 해비교하고

,

^거리가^가장^최소값

(0)

^이^되는^모델을^찾

는다

.

^거리가^가장^최소값이^되는^모델이^우리가^찾는

최상위모델로인식된다

.

또한이미부여한각영상의 수화의미도보여준다

. (

^그림

8)

^은^최상위^모델의^손

형상인식과수화의미이다

.

단

,

전체모델영상에속하지않을때의인식률은

0%

^이다

.

^이는^최상위^모델에^가장^인접한^모델을^최상

i X

( ⁽^∈)

= arg min

j

X

⁽^∈

– W

j

η( ) η

t

0

t T

1

---

⎝

–

⎠

⎛ ⎞

exp

=

σ( ) σ

t

0

t T

1

---

⎝

–

⎠

⎛ ⎞

exp

=

그림 8.최상위모델로인식된손형상과수화의미

.

Fig. 8.

Hand shape recognition of a higher model and meaning sign language.

그림 9.모델영상에속하지않는영상에대한인식결과

.

Fig. 9.

About a result image that not belong model image.

(5)

위모델로선택하였기때문에모델영상과입력영상 간일치하지않으므로인식결과가

0%

^가^된다

(

^그림

9).

5. 결 론

본논문에서는장애인과비장애인간원활한의사 전달을위하여수화를인식하고

,

수화의의미를전달하 는수화인식시스템을구현한다

.

^수화를^인식하기^위해

서는손형상을인식해야한다

.

^{인식과정은}^첫째

,

^카메

라로부터들어온입력영상의전체영역에서피부색 정보를이용하여손영역만을추출한다

(

^전처리^과정으

로

100

^개의^전체^모델^영상에^대해^사이즈를

100*100

으로정규화하였으며

,

연산속도를줄이기위해모델 영상을

Gray Level(

^회색조

)

^정규화^시켰다

).

^둘째

,

^전체

영상으로부터추출된손영역을손형상으로정확하고 안정적으로인식하기위해

SOFM(Self Organized Feature

Map)

^신경망^{알고리즘을}^적용한다

.

^셋째

, SOFM

^알고

리즘의경쟁과정

,

학습과정

,

적응과정을통해입력영 상의특징벡터와모델영상의특징벡터의거리를계 산한후초기연결강도로부터점차연결강도의가중치 를부여함으로서입력영상과모델영상간의거리가 최소값

(0)

^이^되는^모델을^찾고

,

^찾은^최소값의^모델을

최상위모델로선택하며

,

^최상위^모델로^인식한다

(

^그림

10).

향후에는복잡한배경에서의정교한분할과조명변 화에강한방법과다른알고리즘과의접목으로손형 상인식에더좋은결과를낼수있도록노력을아끼지 않을것이다

.

참고문헌

[1] C. Ragael, Gonzalez and E. Richard, Woods “Dig- ital Image Processing”, Prentice Hall, 2002.

[2] E. Y. Kim, S. K. Kang, K. C. Jung, H. J. Kim, “Eye mouse:mouse implementation using eye tracking”, IEEE Consumer Electronics, 2005. ICCE. 2005 Digest of Technical Papers. International Confer- ence on 8-12 Jan. 2005.

[3] J. Segen and S. Kumar, “Shadow Gestures: 3D Hand Pose Estimation Using a Single Camera,”

CVPR99, vol. 1, pp. 479-485, Fort Collins, Colo- rado, June, 23-25, 1999.

[4] K. Imagawa, S. Lu and S. Igi, “Color-Based Hand Tracking System for Sign Language Recognition,”

Proceedings of International Conference on Auto- matic Face and Gesture Recognition, Killington, 1996.

[5] T. Kohonen, “Self-Organization and Associative Memory,” Springer Verlag, 1984.

[6] D. Chi, King N. Ngan “Face Segmentation Using Skin-Color Reference map in Videophone Applica- tions”, IEEE Transactions on Circuits and Systems for Vidoe Technology, vol.9, June 1999

[7] T. Kohonen, “Self-Organizing Maps,” Springer Series in Information Science. Vol. 30, Springer, Berlin, Heidelberg, New York, 1995, 1997, 2001, Third Extended Edition.