Development Technology of Vision Based Augmented Reality for the Maintenance of Products

제품의 유지보수를 위한 시각 기반 증강현실 기술 개발

이경호*, 이정민**, 김동근**, 한영수**, 이재준**

Development Technology of Vision Based Augmented Reality for the Maintenance of Products

Kyung-Ho Lee*, Jung-Min Lee**, Dong-Geun Kim**, Yung-Su Han** and Jea-Jun Lee**

ABSTRACT

The flow of technology is going to human-oriented direction, from the time when the computer was first invented, to now where new computing environment using mobile and global network are every- where. On that technology flow, ubiquitous is being suggested as new paradigm of computing environ- ment. Augmented Reality is one of ubiquitous technologies that provide the interactions between human and computer. By adding computer-generated information to real information and their interaction, user can get the improved and more knowledgeable information about real world. The purpose of this paper is to show the possibility of applying vision based augmented reality to maintenance of product system.

Key words : Augmented Reality, Ubiquitous Computing, U-Manual

1. 서 론

인터넷및디지털매체가주류를이루고있는최근 기술의흐름은좀더인간중심적인방향으로나아가 고있다

.

컴퓨터가처음개발되었던

19

세기초에서부 터각종모바일을이용하여컴퓨팅환경을구현하고 있는현재

21

세기까지그흐름을이어가고있으며

,

이 러한흐름속에서이제는유비쿼터스란새로운개념의 컴퓨팅환경을제시하고있는것이다

.

유비쿼터스환경이란다양한종류의컴퓨터가사 람

,

사물

,

환경속으로서로연결된새로운개념의컴 퓨팅환경을의미한다^[1]

.

근래의정보화및통신기술 의급속한발전은유비쿼터스컴퓨팅환경을가능하 게하고있으며이러한기술은사람의의식주는물론 산업환경

,

^{유통전반에이르기까지폭넓은분야에적}

용될수있다^[3]

.

^{이러한개념하에공학에서의유비쿼}

터스 실현을 위해

KAD/KAM(Knowledge Aided

Design/Knowledge Aided Manu facturing)

^{을 도입한}

바있다

. KAD/KAM

^{은유비쿼터스컴퓨팅을바탕으}

로공학환경에공학지식활용을실체화해나가는개 념이다

.

^{유비쿼터스컴퓨팅이언제어디서나사용자}

에게 필요한정보와서비스를제공하는기술이라면

KAD/KAM

은공학분야의설계나생산과정에설계자

가느끼지못하도록자연스럽게지식이녹아들어설 계자의의사결정을도와주고

,

설계자의지식을공유 및활용할수있도록하는것이다^[2]

.

증강현실

(Augmented Reality)

은이러한유비쿼터스

를실현시키는중요한기술중하나이고이는현실세 계에가상의오브젝트를보여줌으로써실현이된다

.

증강현실은사용자가컴퓨터를의식하지못한상태에 서오감

(

^五感

)

^{을활용한현실감있는}

,

^{그리고익숙한}

인터페이스와그에맞는물체를현실세계에제공함으 로써좀더실재에가까운정보를제공하는기술이 다

.

^{모든것을컴퓨터가생성하여사용자가가상의세}

계에들어가서경험을하도록하는가상현실

(Virtual

Reality)

^{과는차별화된개념으로보다높은현실감을}

제공한다

.

^즉

,

^{증강현실은실세계와컴퓨터가생성한}

가상세계가융합된세계를의미하는것으로모든물 체를가상으로만드는것이아니라실세계에가상세 계를추가하여사용자에게정보를제공함으로써향상

된현실감과몰입감을제공하는기술인것이다^[5]

(Fig. 1).

**정회원, 인하대학교선박해양공학과교수

**학생회원, 인하대학교선박해양공학과대학원 논문투고일: 2008. 03. 07

논문수정일: 2008. 04. 11

심사완료일: 2008. 04. 15

본연구에서는사람의오감중에서시각에기반한 증강현실구현을위한주요기술들을연구및개발하 였으며제품을유지보수하기위한증강현실구현프 로토타입을제작해봄으로써그결과와가능성을살펴 보았다

.

본논문의구성은다음과같다

. 2

장에서현재증강 현실기술이연구개발되었던사례에대해살펴보고

, 3

장에서는시각기반증강현실의주요기술들을살펴 보고자한다

. 4

장에서는프로토타입을개발함으로써 시각기반증강현실의가능성을제시하고마지막으로

5

^{장에서결론을맺는다}

.

2. 증강현실 연구 개발 사례

증강현실은각종생산분야및설계

,

^교육

,

^군사등

그효과를높이기위한도구로써계속연구되고있으 며

,

^{일부는현재도입되어사용화가이루어져있다}

.

^따

라서이미적용되어있는사례를살펴봄으로써증강 현실에대한이해를돕고자한다

.

2.1 AR-Interfering edge analysis

Fig. 2

^는

Volkswagen

^{社에서 증강현실을이용하여}

edge

간섭체크를분석하는사례로써자동차본체를

정교한 가상모델로만들어 실제놓여 질위치에서 증강되도록하고있다

.

사용자는현실의환경에서실 제와동일한크기로만들어진가상물체가생산라인

에서이동 시물체의 어느 부분이 다른파트와 간 섭이 생기는 가를 직접 눈으로 확인할 수 있으며 이로인해실제로일어날수있는 각종간섭현상을 체크하고병목현상및사고를미연에방지할수있 게된다^[7]

.

2.2 The

^“

Magic book

^”

위사례는뉴질랜드

HIT Lab, CDC

^에서

K-12(

^초

등

3~

^중

2)

^{학년을대상으로학습자가직접증강현실을}

활용하여그림책을만들어보도록하는 워크샵에서

진행된 “

Magic book

”의사례로

,

학습자는

handheld

display

장치를통해책을볼때

,

펼쳐진책의페이지

에맞게나타나는증강된이미지들을보면서작가가 읽어주는동화의내용도같이듣게된다

.

가상과현실 세계사이의원활한상호작용이일어나도록학습환 경을제공했다고평가되고있다

.

또한증강현실자료 들이이야기전달을실감나게하여학습자로하여금 몰입을가능하게함으로학습자에게정보를전달하는 것이상당히효과적이였다고평가되고있다^[8]

.

2.3 VTAGS : Virtual Target Gunnery Attack System

위사례는

Pathfinder Systems, Inc.

에서개발중인 가상목표사격시스템으로써학습자는

MK38 25mm

머신건을사용하여디스플레이장치에서보여지는현 실세계에증강된적을가상사격또는실사격모드로 사격훈련을실시할수있다

.

^{이시스템은직사화기}

에주로사용이되며기존의장비에장착을하게됨으 로써하드웨어와소프트웨어의재사용이가능하게되 어훈련비용의절감이되고

,

^{또한실제와같은증강된}

물체로인하여훈련자의의욕을고취시킴으로훈련의 성과가증대될것으로평가되고있다^[9]

.

Fig. 1. 증강현실의개념적인흐름.

Fig. 2. AR-Interfering edge analysis.

Fig. 3. The “Magic book”.

3. 시각 기반 증강현실 기술연구

인간이일상생활에서획득하는정보의약

80%

가 시각을통해얻어진다는것은이미오늘날과같은정 보화시대의이전에기정화된사실이다

.

더욱이앞으 로는시각을통한정보습득의비율은더욱커질것이 다

.

그이유는현재대부분의정보들이디스플레이화 면을통해전달되고있으며앞으로도그럴것이기때 문이다

.

따라서본연구는이에기초하여오감

(

五感

)

중에서시각에기반한증강현실에 중점을두었으며 정보의효과적인전달이가능한유지보수프로토타입 제작을위하여시각기반증강현실의주요기술에대 해서연구하였고 다음에서그 내용들을살펴보고자 한다

.

　

3.1

^{시각기반증강현실의처리흐름}

먼저

,

^{증강현실의기본적인처리과정을살펴보면다}

음과같은순서에따른다

.

^{현실에증강시킬모델링데}

이터가있어야하고이를현실세계에증강시키기위 한기준점이되는 마커가있어야한다

.

^{카메라등의}

영상입력장치를통하여획득한영상에서마커를검 출하고검출된마커의패턴을인식하여증강시킬오 브젝트를판별한후그에맞는개체를증강시킨다

.

3.2

^{시각기반증강현실의주요기술}

시각기반증강현실이가지는주요특징은효과적 으로정보를시각에기반하여표현하는데있다

.

^따라

서사용자가사용하는데있어서정보의취득과이해 가쉬워야한다

.

^{또한증강현실의처리과정에있어서}

최대한이질감이없도록하는데기술의중점을맞춰 야한다

.

^{이러한개념에의거하여다음의주요기술들}

을연구하였다

.

　

3.2.1 모델링

가상현실은궁극적으로현실에대한모사이다

.

하 지만실제는공간적시간적한계가존재하기때문에 이를넘기위하여네트워크를이용한개발환경이주 를이루고있으며이가상현실을구현하는도구로써

SGI(Silicon Graphics Inc.)

가 웹 용으로 개발한

VRML(Virtual Reality Modeling Language)

이 사용 되고있다

.

VRML

은

html

과같이메모장등으로직접코딩하

는작업을하는것을제외하고

,

^{크게두가지방법에}

의해서제작될수있는데

,

^첫번째는

Cosmo Worlds

와같은전용저작툴을사용하는방법이고두번째는

3DS MAX

^{와 같이}

3D Modeling Rendering Tool

^을

사용하여 제작 후 자체 또는 플러그인을 이용하여

VRML

^{로익스포트하는방법이다}

.

^{저작툴은장면이}

복잡할경우작업이힘들고매핑이나동작을세밀하 게부여하기는힘들다는단점으로주로

3DS MAX

^와

같은툴을이용하여모델링및렌더링을한후익스포 트하는방법을사용하고있다

.

3.2.2 마커(Marker)

모델링된오브젝트를현실세계에보여주기위해서

는어느곳에보여줄것인가를정하는

Tracking(

^트래

킹

)

^{기술이필요하게된다}

. Tracking

^{인터페이스는여}

러가지형태로지원될수있는데특수한장갑형태의

Data Glove

^{나 물체의 움직임 또는 위치를 이용한}

Motion Tracker, Location System

^{등의 방식 또는}

,

Fig. 4. Virtual target gunnery attack system.

Fig. 5. Process flow of augmented reality.

Fig. 6. VRML modeling.

Vision Tracking(

^{비젼트래킹}

)

^{방식이대표적이라고할}

수있다

.

^{비젼트래킹은고가의장비만큼의정밀도를}

유지할수없다는단점이있으나설치가간편하고구 축비용이적다는장점이있다^[4]

.

^{따라서본논문에서}

는비젼트래킹방식으로써마커라는것을이용하였다

.

마커는현실세계에보여주기위한기준점이되는 것이다

.

^{마커가인식됨으로써카메라와객체의좌표}

계가생성되고이로인하여오브젝트를보여주기위 한위치를정할수있다

.

^{다음은기본적인마커의예}

와마커의검출부터인식까지의기본기술을설명하 고있다

.

　

1) Visible Marker

와

Invisible Marker

마커의종류는크게가시적마커

(Visible Marker)

와

비가시적 마커

(Invisible Marker)

로 나눌 수 있다

.

invisible

마커에서대표적인것으로는적외선마커

(IR

Market)

가있는데

, IR

마커는사람의눈에는띄지않

지만적외선카메라와같은특수한기능을갖는카메 라에서는보이는마커로써시각적으로불편함을덜어 주며사용자에게몰입감을한층높여주는효과를주

는마커이다^[9]

.

^{본논문에서사용한마커는}

visible

^마

커이고아래그림은

visible

^{마커의몇가지예를보}

여주고있다

.

^{마커형상은대개사각형의검정색테두}

리를가지고있으며이는마커의검출을용이하게하 기위함이다

.

^{그내부에는여러가지패턴이그려져}

있는데간단한기하학의모양에서부터문자또는그 림등여러가지의내용이올수있으나패턴의모양 이복잡해질수록인식의정확도가떨어진다는단점이 있다

.

2)

^이진화

카메라로입력받은영상을흑과백으로이치화함 으로써마커를검출하기위한사전작업을한다

.

^이진

화의종류에는영상전체픽셀에대하여하나의임계

값을사용하는전역적이진화

(Global Binarization)

^와

영상을여러개의구역으로분할하여각구역마다다 른임계값을사용하여이진화를수행하는지역적이 진화

(Local Binarization)

^가있다

.

^{여기서는영상전체}

에대한전역적이진화방법을사용하였다

.

　

T

:

^임계값

　

Eq. (1) Binarization algorithm

3)

^마커검출

이진화된영상에서마커를찾아내기위해서

edge

추출알고리즘이사용되었고사각형을검출하기위하 여원형도라는개념을사용하였다

.

이를이용하기위 하여

ARToolkit

^[11]에서 제공하는

arDetectMarker

함 수를사용하였다

.

원형도란형상의영역을구별할수 있는특징으로써사용되는것으로다음과같이정의 된다

.

g x y( , )

0 if

^{f x y( , ) T≤}

255 if

^{f x y( , ) T>}

⎩⎨

=⎧

Fig. 7. Visible marker.

Fig. 8. Original(left), Binarization(right).

Table 1. Roundness

종류 원 정사각형 정삼각형

화상

면적 πr² πr²

주위 길이 2πr 4r 3r

원형도 1.0 ⁿ/4 = 0.79

3^r2 ---4

n 3/9 0.60⁼

Fig. 9. The program code using roundness.

이와같은원형도를사용하여

arDetectMarker

^함수

내부에서는

check_square

^{라는함수를정의하여사용}

하고있다

.

4)

^{패턴분석및비교}

검출된마커에서패턴을분석하여마커를구분하는

단계로템플릿매칭

(template matching)

^{을통하여패}

턴을인식하게되는알고리즘을사용하는데여기서는

ARToolKit

^{[11]에서제공하는}

arDetectMarker

^를이용하

였다

.

Template matching

을통한패턴인식에서사용되는

비교기준치중에서가장간단한방법으로는템플릿과 검사대상영상의픽셀의밝기값의차이의절대값을

누적하는

Mean Absolute Difference(MAD)

법과 밝

기 값의 차이를 제곱하여 누적하는

Mean Square

Error(MSE)

의방법이있는데여기서는

MAD

방법을

이용한알고리즘을구현하였다

.

Eq. (2) MAD algorithm

Eq. (3) MSC algorithm

3.2.3 마커의 위치추적

마커의위치를추적

(Tracking)

^{하는것은사용자와}

마커의위치변환을계산하는변환행렬로서실시 간으로매프레임마다계속해서이루어지기때문에 안정적으로빠르고정확하게계산되는것이중요하

다

.

^{이런계산을수행하기위해서}

ARtoolKit

^[11]에서

제공하는함수

arGetTransMatCont

^{을사용하였는데}

arGetTransMatCont

^는

History Functions

^{를 이용하여}

추적의안정성을추구한함수이다

. History function

이란떨림을방지하기위한방법으로이전프레임의 정보를이용하여다음프레임의움직임을예측

/

^보정

하여동작하는방식을일컫는다

.

3.2.4 디스플레이

가상오브젝트를현실세계에증강시키고보여주기 위해서는디스플레이장비가필요하고가장많이쓰 이는것이

Head Mounted.Display(HMD)

^이다

.

^디스플

레이장비는크게두가지종류로나뉠수있는데첫 번째는광합성기를이용하여빛을부분적으로통과시

켜서 실세계를 직접 볼 수 있게 하는

Optical see-

through

방식이고두번째는비디오카메라를통하여

실세계의영상을획득한뒤모니터를통하여볼수있

게 하는

Video see-through

방식으로나뉠 수있다

.

Optical see-through

방식은특별한추적기술은필요

없지만조도에의한오브젝트가시문제나실세계투 영능력등의문제등으로인하여일반적인목적으로 사용하기에는아직부족한면이있다

.

따라서본논문

에서는

Video see-through

^{방식을선택하여사용하였}

으며일반

LCD

^{모니터로보여주는방식을선택하였다}

.

VRML

^{데이터를증강시키기위해서는}

parser

^를통

하여구문분석이먼저이루어져야하고렌더링이이

루어져야하는데우리는

OpenGL

^{을통하여렌더링이}

이루어지는방식을선택하였다

.

^{이러한알고리즘을이}

MAD 1

MN--- T x( _iy_i) I x– ( _iy_i)

i 0=

∑

N i 0=

∑

M

=

MSE 1

MN--- T x( _iy_i) I x– ( _iy_i)²

i 0=

∑

N i 0=

∑

M

=

Fig. 10. Tracking stability.

Fig. 11. Optical see-through method.

Fig. 12. Video see-through method.

용하기위하여

ARToolKit

^{[11]에서제공하는}

arVrml97

함수를이용하였다

.

4. 적용 모델 개발 4.1

^{프로젝터램프교환프로토타입}

제품의유지보수를하기위한프로토타입으로주위 에서쉽게접할수있는프로젝터를선택하였고램프 교환시사용자에게교환방식을설명해주는시나리 오로다음과정을수행하였다

.

　

4.1.1 모델링

프로젝터에서나사를풀도록사용자에게보여줄드 라이버와방향을 나타낼화살표그리고프로젝터의 교환할램프의모델링모습이다

.

사용자에게텍스트형식으로정보를보여줄문장에 대한모델링이다

. CATIA V5

와

3DS MAX

에서모델 링및렌더링을수행하였고

3DS MAX

에서자체플 러그인으로지원하는

VRML

^{익스포트로변환을수행}

하였다

.

4.1.2 마커제작

마커는위의두개를사용하였으며

PhotoShop 7.0

을이용하여제작하였고일반레이져프린터를이용 하여출력하여사용하였다

.

^{마커의크기는상관이없}

으며시각적으로보기나쁘지않을범위내에서크기 를정하였다

.

4.1.3 각 단계별 객체 구현 모델

램프를교체하기위해서는일반적으로다음과같은 텍스트형식의프로젝터매뉴얼에따라수행해야한다

.

본시스템에서는매뉴얼에따라다음과같은

5

^단계

의시나리오를구성하였다

(Table 2).

그리고각단계별구현에필요한오브젝트를모델

링하였는데

(Table 3),

각단계에서필요한정보들을

다음같이나열하였다

.

1.

^{램프커버나하우징을풀고고정하는데드라이버}

를어느방향으로돌리는지직관적으로알려줄 수있어야하고

,

2.

^{풀거나조일나사의위치는어디에있는지}

,

3.

^{이번단계에서는무엇을행해야하는지가있다}

.

Fig. 15. Marker.

Fig. 14. Text modeling.

Fig. 13. Object modeling.

Fig. 16. The manual for changing lamp.

Table 2. Scenario step

구분 시나리오내용

1^단계 Lamp Cover^를푼다 2단계 Lamp Housing을푼다

3^{단계 새로운} Lamp Housing^{으로교체한다}. 4^단계 Lamp Housing^{을고정한다}

5^단계 Lamp Cover^{를고정한다}

4.2

^{프로토타입구현}

위의과정에의해서프로토타입프로그램을제작하 였으며다음은시뮬레이션수행모습을나타내고있

다

.

^{각단계에서맞는모델링과텍스트가사용자에게}

보여지고그에따라서사용자는램프교환작업을수 행하게된다

.

5. 결 론

본논문에서는제품의유지보수를위한시각기반 증강현실의기술을개발하기위하여기초기술을연 구하였고

,

^{그에 따라프로토타입을제작하여사용자}

에게 증강된오브젝트를이용하여정보를표현하는 것이 효과적이었음을확인하였다

.

또한

,

프로젝터의 램프를교체해본적이없는초보자도쉽게교체함으 로써정보의전달측면에서효과적이었다는것을확 인하였다

.

그러나시각적인측면에서는아직 미흡한부분이 있었다

.

사용자의시스템의사양에상당한영향을받 기때문에각단계별오브젝트를구현시끊기는부분 이있었고오브젝트의렌더링의품질이낮아서사용 자가느끼기에현실세계와이질감을많이느끼는등 의문제가발생하였다

.

^또한

Visible

^{마커를사용함으}

로써 사용자가느끼기에시각적으로 불편함을가질 수있었다

.

향후에는 이질감이느껴지지않을 정도의품질을 가진 오브젝트를증강시키기위한 시스템의연구와

Invisible Marker

^{를사용한사용자에게시각적으로불}

편함을주지않는시스템에대한연구를진행할것이

고

, PDA

^{또는모바일등의임베디드기술을활용한}

공간의제한을받지않는시스템에대한연구를수행 할것이다

.

이러한연구를통해서시각기반증강현실 기술이앞으로다방면의분야에서시간적

,

공간적으 로국한되지않는제품의유지보수를목적으로하는 시스템의사용에활용이가능하리라생각된다

.

감사의 글

본논문은

2007

^년정부

(

^{교육인적자원부}

)

^의재원으

로 한국학술진흥재단의 지원을 받아 수행한 연구

(KRF-2007-331-CD00558)

^{의 결과 중 일부로서}

,

^위

기관의지원에감사드립니다

. 참고문헌

1. 이경호, 김동근, 박종훈, 김대석, “조선산업에서의 증강현실 도입을위한연구”, 2007 CAD/CAM 학 회학술발표회논문집, pp. 408-412, 2007.

Table 3. Objects in each step

구분 구현에필요한모델 설명

1단계 Step1

Loosen the cover screw

2단계

Step2 Loosen the two screw

securing the lamp housing

3^단계 Step3

replace the lamp

4^단계 Step4

Reattach the housing

5^단계 Step5

Reattach the lamp cover

Fig. 17. Prototype for changing projector's lamp.

2.이경호, “Knowledge-Aided Design/Manufact uring (KAD/KAM)에대한새로운도전”, CAD/CAM 학 회 학술발표회 논문집, Knowledge Engineering, pp. 283-287, 2004.

3.이규원, 서동우, 이재열, “증강현실을활용한상황인

지기반의편재형자동차정비서비스”, 2007 CAD/

CAM 학회논문집, 제12권, pp. 171-172, 2007.

4.이규원, 이재열, “텐저블증강현실을활용한가상스 튜디오저작에관한연구”, 2007CAD/CAM 학회학 술발표회 논문집, pp. 797-798, 2007.

5.이종원, “유비쿼터스컴퓨팅과증강현실”, 정보과학 회지, 제21권, 제5호, pp. 29-35, 2003.

6.진윤종, “비간섭증강현실기술을이용한지능형가

이드 시스템”, HCI 논문집, 제1권 pp. 644-665, 2007.

7. Katharina Pentenrieder, Peter Meier, The Need for Accuracy Statements in Industrial Augmented Reality Applications, 2006.

8. McKenzie, J & Darnell, HIT Lab(www. hitlabnz.org), CDC(CanteburyDevelopment Corpo ration), Christ- church City Libaries, 2003.

9. Sheila L. Jaszlics, Virtual Target Gunnery System, Pathfinder Systems, Inc, 2001.

10. Yusuke Nakazato, A Localization System Using Invis- ible Retro-reflective Markers, 2005.

11. HITLabNZ ARToolkit, http://artoolkit.sourcefo rge.net/

이 경 호

1988년서울대학교조선해양공학과학사

1990년서울대학교조선해양공학과석사

1998년서울대학교조선해양공학과박사

1990년~2003년한국해양연구원선임연

2002년~2003구원년 University of Maryland Visiting Researcher

2003년~현재인하대학교 선박해양공학과부교수 관심분야: Artificial Intelligence in Design, Simulation-Based

Design, Data Mining, Evolutionary Computation, Ubiquitous, Augmented Reality, PLM

이 정 민

2008년 2월인하대학교 학사

2008년 3월~현재인하대학교석사과정 관심분야: Ubiquitous, Augmented Reality, PLM, Data Mining, Design for safety

김 동 근

2007^년 2^{월인하대학교 학사} 2007^년 3^월~^{현재인하대학교석사과정}

관심분야: Ubiquitous, Augmented Reality, PLM, Data Mining, Artificial Intelligence in Design

한 영 수

2008^년 2^{월인하대학교학사} 2008^년 3^월~^{현재인하대학교석사과정}

관심분야: Ubiquitous, Augmented Reality, PLM, Data Mining, Modeling & Simulation

이 재 준

2008년 2월인하대학교 학사

2008년 3월~현재인하대학교석사과정 관심분야: Ubiquitous, Augmented Reality, PLM, Data Mining, Genetic Programming, Ontology