Recognition of Safety Sign Panel for Mixed Reality Application in a Factory Layout Planning

(1)

제 14권 제 1 호 2009년 2월 pp. 42-49

공장 배치 계획에서 혼합현실의 적용을 위한 안전표지판 인식

이종환*, 한순흥**, 천상욱***

Recognition of Safety Sign Panel for Mixed Reality Application in a Factory Layout Planning

Jonghwan Lee*, Soonhung Han** and Sang-Uk Cheon***

ABSTRACT

Virtual manufacturing technology has been applied in actual production sites with the development of virtual reality technology. However, the current virtual manufacturing technology requires experts for application of the system. Furthermore, the sense of reality is diminished as the entire simulation is driven by virtual objects. In contrast, mixed reality can visualize virtual objects and an actual work place simultaneously, and thus the sense of reality of the virtual manufacturing simulation can be improved. This paper introduces a method that applies mixed reality in the manufacturing process, and proposes a method to adapt general safety sign post in the factory instead of a black square marker for visual fiducial recognition.

Key words : Augmented Reality, Mixed Reality, Circle Pose Estimation, Manufacturing Simulation

1. 서 론

디지털제조(Digital Manufacturing)란, 생산시스 템의물리적, 논리적구성요소들과거동을엄밀하게 컴퓨터상에서모델링하여통합된디지털 모델을구

성하고, 3^차원 CAD, ^{시뮬레이션}, ^인터넷^등^다양한

정보기술을활용하여, ^전체^{생산공정에}^걸쳐, ^각종^오

류의사전검증과 효율적인 의사결정을 수행함으로 써, ^신속하고^{효율적으로}^제품^개발^및^생산을^실현

하고자하는기술이다. ^이러한^디지털^제조의^궁극적

인목표는이러한활동을바탕으로디지털가상공장

(Digital Virtual Factory)을구축하는것이다. 디지털 가상공장은설계초기단계부터제품(Product), 공정

(Process), 제조자원(Resource), 공장(Plant), 툴링

(Tooling), 조립(Assembly), 레이아웃(Layout) 등 각 종정보들을통합적으로관리, 공유하도록하는디지

털모델을말하며, 공장에서일어나는모든제조활동 의전주기에걸쳐디지털가상생산기술을적용하기 위한핵심기반이다^[1].

Fig. 1은제품의개념설계단계, 시작품제작단계,

그리고제품의양산이후에서발생하는설계변경의 횟수와소요비용을나타내는그림이다. ^이^그림에서

보듯이후공정에서비록설계변경빈도가선행공정 에비해현저히줄어들지만, ^설계^변경에^따른^비용은

100^배^이상이^증가됨을^볼^수^있다. ^디지털^가상생산

방식은기존에실물시제품을사용하여제조시스템 을계획하고개발하는전통적인생산방식에서발생 할수있는오류를초기에발견하여, 이러한설계변 경에따르는비용을획기적으로줄일수있는방법을 제공하며, 생산성향상뿐만아니라공정계획시간을 줄일수있다. 공정계획시간의단축은제품생산비 용의절감으로이어지며, 이는제조회사로서는이익 과더불어해당분야에서시장을선점하는효과를가 져온다.

본논문은디지털가상공장구축단계에서혼합현 실기술을이용하여, 실사이미지를직접반영함으로 써, 구축된디지털가상공장이보다효율적이고, 직관 적으로활용될수있는방안을소개한다.

*^학생회원, KAIST ^{기계공학과} **^종신회원, KAIST ^{기계공학과}

***^정회원, ^{대우조선해양}^정보기술R&D^팀 -^{논문투고일}: 2008. 03. 25

-^{논문수정일}: 2008. 11. 03 -^{심사완료일}: 2008. 11. 04

(2)

2. 혼합현실의 생산공정 시뮬레이션에 응용

3차원 CAD 데이터를기반으로하는디지털가상제

조도구는제품및생산공정의형상에대하여, ^직관적

인시각적인터페이스를제공하며, ^{가상현실과}^접목

되어그효과를높이고있다. ^하지만, ^기존의 3^차원

데이터에기반한가상제조와관련된방법들과도구들 은, 가상설비객체들만으로구성된가상환경안에서 가시화하는것에한정되어있다. 즉, 시뮬레이션을위 해서는생산 시스템의전체가상모델이구축되어야 하고, 이는시간과비용측면에서문제를야기시킨 다. 또한가상환경내에서만시뮬레이션된모델은현 실감이떨어진다. 공정계획시에가상모델로서만계 획하기에는한계가있으며, 시뮬레이션되지못한부 분을실제현장에적용할때, 추가검토가필요한문 제점을발생시킨다. 따라서가상객체들로만만들어진 데이터에추가하여, 실사이미지를현장에함께적용 하는것이효율적이다.

2.1혼합현실의제조업응용사례

혼합현실은인간이주위로부터경험할수있는환 경을인위적인객체와환경의가감으로정의한것으

로, Milgram^은^{혼합현실의}^범위를 Fig. 2^와^같이^설

명하였다^[3].

혼합현실이라는용어는일반적으로이러한환경을 모두포함하지만, 주로많은사례에서현실환경이나

객체가반영된증강현실(Augmented Reality)^이나^증

강가상(Augmented Virtuality)의 의미로쓰이곤 한

다. 혼합현실의일반적인응용사례중에^[4], 제조과정 에서의사례는다음과같다. 제조산업에서의혼합현 실응용은주로설계, 생산, 유지보수등으로나누어 볼수있다. 설계단계에서의응용사례는초기설계 단계에서사용하는설계인터페이스를혼합현실상에 서만든사례가있다^[5]. 또한, 설계단계에서는여러 분야의전문가들이참여하게되는데, 협업설계에도 혼합현실은유용하게사용된다. 마커(Marker) 기반의 공동회의 시스템이그전형적인 사례이며, 분야에 따라약간의다른특성을가지지만, 전체적인구조 는유사하다^[6].

생산단계에서혼합현실이응용된사례는, 주로부 품의조립과정에적용된사례들이다. ^대표적인^사례

로는보잉사에서비행기의케이블설비작업에응용 한것을시발점으로하여, ^자동차^도어의^조립, ^가구

조립, ^조종석^모듈의^조립까지^사례들을^찾아 ^볼^수

있다^[7]. ^이러한^조립^{과정에서의}^혼합현실^응용^사례

는, ^주로^조립^순서의^지시, ^각^부품이나^모듈의^정보

를현실영상에정합시킴으로써, 작업자로하여금조 립과정을쉽게이해하고, 발생가능한문제점을줄이 는것을목표로하고있다. 제품의조립과정과마찬 가지로혼합현실기술은, 완제품의서비스와유지보 수를위한지침도구로도쓰일수있다^[8]. 이러한각 적용분야에따른혼합현실응용관련연구와더불어,

제조업과관련된혼합현실응용에대한전반적인분 석과사례를언급한연구도찾아볼수있다^[9]. 이러 한연구에서는해당분야연구자들이연구를진행하 면서체감한연구진행방향설정, 교훈등을설명하 고, 앞으로의제조업관련혼합현실연구방향을전반 적으로서술하고있다. 한편국내에서는자동화로봇

티칭(Teaching)^에^{혼합현실을}^응용한^사례를^찾을^수

있으며, ^자동차^정비를^위한^{응용연구가}^된^사례, ^전

자제품의개념설계를위한연구가수행된사례등을

찾을수있다^[10-12]. ^국내외의^혼합현실^기반^제조업^관

련연구의대부분의사례는제조업응용에초점이맞 추어져있으며, 각분야의특성에맞는지시사항및 정보를표시하기위하여개발된기술들이다.

제조현장에혼합현실을직접적용하기위한연구 프로젝트가수행된사례도있다. ARVIKA 프로젝트 는독일연방교육연구부에서지원받고, 독일항공우 주센터에서총괄한프로젝트로써, 증강현실기술을일 반제조산업체에광범위하게응용하는것이목표이 다^[13]. 이프로젝트는제품의개발, 생산, 서비스까지 Fig. 1. Design change frequency and required cost of a

product development process^[2].

Fig. 2. Virtuality continuum^[3].

(3)

모든범위에걸쳐, ^증강현실^기술을^응용^시험하는^것

에초점을맞추었다. 프로젝트의결과물은자동차와 항공기제조업체, 플랜트건설업체에적용되었다.

3. 혼합현실을 이용한 디지털 가상공 장 레이아웃의 검증

디지털가상공장의구축의절차는계획수립, 대상 공장의분석, 설계및준비, 3차원 CAD모델구축및 운영모델구축, 구축된정보의통합, 검증및보완,

적용및활용, 그리고효과정리및확대적용으로정 리된다^[1]. 본연구에서는이러한디지털가상공장의 구축단계중, 구축된정보를통합하여만들어진공장 레이아웃을가시적으로검증할때, 혼합현실을적용 함으로써, ^관련된^{작업자에게}^총체적^{가상환경을}^이

용한작업환경에비해, ^좀^더^{직관적이고}^효율적인

작업환경을제공하며, ^{가상환경의}^구축을^위한^시간

과비용이절감되도록제안한다.

3.1혼합현실의적용

산업현장에직접활용가능한시스템을구현하기 위해서는, 해당사업장에최소한의장치만을가지고 시스템이작동할수있어야한다. 기존에증강현실에 사용되는트랙킹시스템은사용자의정보를얻기위 해물리적인장치를필요로하는것이일반적이며, 이 러한장치는추가적인장치의부착과장비설정이필 수적이다. 이러한점은항상성과안정성이중요한작 업현장에적용할때문제점으로나타난다.

영상처리를이용한방법은이문제점을해결할수 있는좋은방법이다. 기존의영상처리방법론은로봇 비전에서연구되고있는분야인데, 실시간처리와가

상영상과 현실영상의정확한 정합(Registration)이

필요한혼합현실분야에서, ^이^방법을^적용하는^사례

가늘고있다. ^이^영상^처리^방법^중에서^공간^정보의

용이한 획득을 위한 특정 형태의 인위적인 패턴

(Pattern)^인^마커를^이용한^방법은, ^약간의^추가^작업

이필요하지만, ^영상^처리를^통한^트랙킹^중^비교적

간단하면서도주변환경에강건한결과를얻을수있 는방법이다.

본연구에서는영상처리방법을이용하여, 혼합현 실을가상제조시스템에적용한다. 영상처리방법을 이용한혼합현실을지원하기위하여사용되는대표적 인소프트웨어라이브러리인 ARToolkit을응용하여 시스템을구현하되, 해당라이브러리에서지원하지않

는부분은추가한다. ARToolkit은미국워싱턴대학의

HIT Lab.^에서^만든, ^마커^기반의^증강현실^지원^도구

로, Microsoft의 Visual SDK, OpenVRML 라이브러 리등과결합하여, 마커의추출및가상객체의현실 영상정합등을비교적손쉽게구현이가능하도록, 소 스가공개된 C 라이브러리형태로제공된다^[14].

3.2안전표지판의적용

일반적으로영상처리에기반하여가상객체를현실 배경에합성할때필요한것은, 시스템이입력받는 영상으로부터카메라의좌표를측정할수있도록하

는마커이다. 예를들어 ARToolkit은이러한영상안

의마커로써검은테두리의정사각형을이용하며, 2.1

절에서언급한 대부분의제조업에혼합현실기술을 응용한사례들은이러한사각형태의마커를사용한

다. Fig. 3^은 ARToolkit^에서^사용하는^마커를^보여주

며, ^검은^테두리의^정사각형^안에^일련의^문자나^그림

을표기하여만든다. ^이^테두리^안의^문자나^그림은

마커의 Orientation^을 ^정하기 ^위한^것으로^사용자가

임의로정하여사용이가능하다.

하지만, 이마커는혼합현실의적용이외에는의미 가없는그림으로, 디지털가상공장레이아웃에쓰인

사례를볼때^[15,16], 그형태가공장환경에맞지않으

며, 실제공장환경에위치시킬때마커의추가적인 부착작업이필요하다. ^만일 ^공장^현장에서^흔히^볼

수있는안전표지판을마커로이용한다면, ^추가적인

부착작업을없앨수있다.

Fig. 4^는^{안전표지판의}^대표적인^형태를^보여준다.

안전표지판은그자체가특정한패턴을가지고있는 인식자로볼수있다. ^이^패턴의^인식은^많은^방법이

있을수있는데, 내부의십자를사각마커에대응시켜 인식을시킬수도있다^[17]. 하지만, 이방법은저해상 도의카메라에서십자외곽선의미묘한떨림에, 마커 의외곽선이같이떨리는문제점이발생한다. 본연구 에서는이러한단점을극복하기위해, 외부원의위치 를측정한다. 외부의원은표지판에대한카메라시점 을계산할수있는방법을제공하며, 내부의십자나

Fig. 3. Markers of ARToolkit^[14].

(4)

외부의 ‘안전제일’과 같은특정한 패턴은 표지판의

Orientation을결정하는데 도움을준다. 외부의원을

가지고카메라시점을계산할수있는방법은, 표지판 에있는원의지름을아는상태에서 2^차원^이미지에

투영되는타원의식을추출한후, ^바깥^테두리^타원의

프로젝션을역으로추출하는것으로다음과같이정 리된다.

3.2.1 ^타원^근사 (Ellipses Fitting)

많은점들로이루어진타원을한개의타원식으로 근사하는알고리즘은, 이미컴퓨터비전분야에서방 법이제안되어있다.

타원을근사하는방법은 Fig. 5와같이크게허프

변환(Hough Transform)을이용한방법, 최소제곱법

(Least Squares Method)을이용한방법, 모멘트를이 용하는방법으로나눌수있다. 이중본논문에서는 혼합현실환경을고려하여비교적계산과구현이용이 하고, ^속도가^빠른^최소^제곱법^방법중^대수적^근사

(Algebraic Fitting) ^방법을^이용하여^타원을^근사하

되^[19], ^계산시^반복^계산이^없는^방법을^사용한다^[20].

이를간단히설명하면, ^다음과^같다. ^타원은^식 (1)^과

같이내부적으로 2차다항식으로이루어진일반적인 원뿔곡선에식 (2)와같은타원조건이더해진원뿔 곡선의특정형태이다.

(1) (2)

여기서 a, ^b, ^c, ^d, ^e, ^f가^타원의^계수가^되고, (^x, ^y)

는해당식을만족하는타원의각점인데, 여기서타 원이미지를구성하는많은점의좌표(x, y)를이식 에대입하고, f(x, y) 값이최대한 0에가깝도록계수 들을조정하면, 구하고자하는타원식에근사될것이 다. 여기서 f(x, y)를대수적거리(Algebraic Distance)

라고한다. 이를위해서다음식 (3)과같이최소제 곱법을이용한다.

(3)

여기서 a와xi는타원식의각항들을계수와변수로 분리하여벡터로표기한것이다. 일반적으로타원을 제한하는조건인식 (2)에서이를풀어내는것은쉽 지않으나, ^{타원조건을}^적절한^배율(Scaling)^을^더함

으로써 식 (4), (5)^와^같은^등식으로 ^바꿀^수 ^있어,

타원근사문제를풀수있다. ^여기서^최적해 ^a를^계

산하기 위해, ^라그랑쥬 ^곱셈 ^연산자(Lagrange

Multiplier)^을^적용하여^조건식을^바꾸고, Singular ^조

건이발생하지않도록적절히행렬을분해하여타원 근사를수행한다.

(4) (5)

(6)

(7)

(8) (9)

여기서D는디자인행렬(Design Matrix)로최소제곱

법을나타내는식 (1)을표현하기위해사용되며, C는 구속조건행렬(Constraints Matrix)로식 (2)을나타냄 을알수있다.

f x y( , ):ax²+bxy cy+ ²+ + +dx ey f=0

b²–4bc<0

f x( _i,y_i)²

i 1=

∑

N

lima (f_a( )x_i )² (x_i⋅a)²

i 1=

∑

N

lima

=

i 1=

∑

N

lima

min =min min

Da²

lima

min

a^TCa=1

D

x₁² x₁y₁ y₁² x₁ y₁ 1

x_i² x_iy_i y_i² x_i y_i 1

x_N² ^xNy_N ^yN2 ^xN ^yN 1

=

… … … …

C

0 0 2 0 0 0 0 1 ^– 0 0 0 0 2 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0

=

Sa λCa= S D= ^TD Fig. 4. A Safety Sign.

Fig. 5. Technology Tree of Ellipse Fitting.

(5)

3.2.2 ^타원^위치의^측정 (Pose Estimation of Ellipse)

Fig. 6은공간상의원의위치를측정하기위해연구

된대표적인방법들을정리한것이다. 근사적인방법

(Approximate Solution)은 3차원문제를 2차원문제 로간소화시켜원의위치를측정하며, 정확한해를구 하는 방법(Exact Solution)은 Iterative Method과

Closed Form Method가있는데, 이중 Closed Form

을 구할 때, 수식적으로 접근하는 방법(Numerical

Method)^과 ^{기하적으로} ^접근하는 ^방법(Analytical

Geometry)^이^있다. ^이외에 2^개의^동심원을^이용하여

카메라파라메터를측정하여, ^상대^위치를^계산하는

방법이있다^[27].

본논문에서는타원의위치를측정하기위해서해 석기하를이용한방법을적용해, 원뿔단면을기준으 로카메라의위치를역으로추적한다^[25]. 이방법은원 형마커를사용하는비전기반혼합현실관련시스템

에서쓰이는방법이다^[28,29]. 이방법을간략하게정리

하면다음과같다.

안전표지판의원형외곽선이이미지상의타원으로

비춰질때, 이타원은핀홀(Pinhole) 카메라의중앙점

이꼭지점인원뿔을임의의평면으로잘라낸형태로 볼수있다. 이타원의형태를카메라를회전하여원형 으로볼수있도록한다고가정하면, 이카메라가회전 한값들로카메라에대하여타원의회전위치를예상 할수있다. 이회전은 Fig. 7, Fig. 8과같은두개의

연속적인회전으로볼수있다. 먼저 Fig. 7에서목적

하는평면- ^즉, ^온전한^원형이^그려지는^평면-^에^있는

원의중점을지나도록이미지평면의 Z ^축을 3^차원

회전을시킨다. ^여기서 X, Y^축은^이미지^평면의^타원

축에맞춰진축이다. ^그^다음 Fig. 8^에서^보듯이, Fig.

7^에서^새로^구해진^축(X', Y', Z')^의 Y'^을^중심으로^이

미지평면을다시목적하는평면에평행하도록회전시 킨다. 이렇게 3차원회전된결과값은최종적으로원하 는카메라시점에대한타원의위치를나타낸다.

이러한방법으로계산된타원의위치는θ에따라서 두개의값을가질수있어, 그결과값역시두개가 되는데, 이는기하적으로해석하면올바른값을선택 할수있다. 본연구에서는위와같은방법을사용하 여타원을근사하고, 그결과를이용하여안전표지판

외곽의원형위치를추출한다.

3.2.3 안전표지판의위치결정

원과십자로구성된안전표지판은그형태가어느 방향에서보나같은형태를유지하여, 그자체만으로 는해당평면의법선을기준으로회전한정도를측정 할수는없다. 이를해결하기위해서표지판아래의

‘안전제일’등의특정한패턴을이미지상의외곽선의 포함관계등을이용하여인식하고, ^이^패턴을^이용하

여그회전방향을설정한다. Fig. 9^는^설정된^안전표

지판의좌표를나타내는데, ^이를^위하여^이를^위하여

다음 2^단계를^과정을^거친다.

•1단계: 비대칭특정패턴인문자를인식하고특정 방향설정

•2단계: 1단계에서설정된특정방향에해당되는 십자의 끝 점을 인식하고, 동차좌표계(Homo-

Fig. 6. Technology Tree of 3D Pose Estimation of Circular Feature.

Fig. 7. 3D Rotation of (X,Y,Z) to the eigenvector frame (X', Y', Z')^[28].

Fig. 8. Rotation of first rotated plane about the Y^’ axis by an angle^[28].

(6)

geneous Coordinate)에서 사영변환(Projective

Transform)을이용하여최종좌표계도출

1^단계에서^문자가^있는^방향을^설정하기^위해서^먼

저원형과십자로이루어진안전표지주위에있는윤 곽선을찾는다. ^이를^위해서^{안전표지에서}^특정^거리

안에있는윤곽선을검사하는데, ^검사한^{윤곽선들의}

상대거리가특정범위안에있는윤곽선들을찾음으 로써어떤윤곽선들이문자를나타내는것인지를추 론할수있다. 이문자를나타내는윤곽선들이있는 방향이 1차적인대강의특정방향이된다. 2단계에서 는 1단계에서구한대강의특정방향에대한정보를 이용하여, 정확한좌표계를설정하도록한다. 1단계에 서구한문자윤곽선이있는방향에있는십자의끝 단의공간상의점과이미지상의해당점은사영관계 를가진다. 또한, 이점이속한 평면은임의의점과 법선벡터로표현할수있는데, 이평면은타원의역 프로젝션관계에서얻을수있다. 여기서동차좌표계 에서평면과여기에속한점의내적은 0이됨을이용 하면, 구하고자하는벡터, 즉문자들을이루는외곽 선들이위치한쪽의십자선의벡터를구할수있다.