Authoring Personal Virtual Studio Using Tangible Augmented Reality

제 13권 제 2 호 2008년 4월 pp. 77-88

탠저블 증강현실을 활용한 개인용 가상스튜디오 저작

이규원*, 이재열**, 남지승***, 홍성훈***

Authoring Personal Virtual Studio Using Tangible Augmented Reality GueWon Rhee*, Jae Yeol Lee**, Ji-Seung Nam*** and SungHoon Hong***

ABSTRACT

Nowadays personal users create a variety of multi-media contents and share them with others through various devices over the Internet since the concept of user created content (UCC) has been widely accepted as a new paradigm in today’s multi-media market, which has broken the boundary of contents providers and consumers. This paradigm shift has also introduced a new business model that makes it possible for them to create their own multi-media contents for commercial purpose. This paper proposes a tangible virtual studio using augmented reality to author multi-media contents easily and intuitively for personal broadcasting and personal content generation. It provides a set of tangible interfaces and devices such as visual markers, cameras, movable and rotatable arms carrying cameras, and miniaturized set.

They can offer an easy-to-use interface in an immersive environment and an easy switching mechanism between tangible environment and virtual environment. This paper also discusses how to remove incon- sistency between real objects and virtual objects during the AR-enabled visualization with a context- adaptable tracking method. The context-adaptable tracking method not only adjusts the locations of invis- ible markers by interpolating the locations of existing reference markers, but also removes a jumping effect of movable virtual objects when their references are changed from one marker to another.

Key words :

Augmented Reality, Tangible Interface, Virtual Studio, Ubiquitous Computing, User Create Content

1. 서 론

최근

,

^{초고속통신망보급률의 증가}

, DMB(Digital

Media Broadcasting), WIBRO(Wireless Broadband)

나

FTTH(Fiber To The Home)

기술의적용

,

하드웨어

성능의발전은개인중심의저작활동과디지털미디 어서비스제작을가능하게하고있다

.

또한인터넷은 기존의전통적미디어인신문

,

방송에비하여개개인 의참여가 자유롭고

,

^{시간과공간에제약을주지않}

아기존의매체보다파급효과가크다

.

^{미디어시장의}

새로운키워드로떠오르고 있는

UCC(User Created

Content,

^{사용자제작콘텐츠}

)

^{또한최근의이러한기}

술및환경에힘입어제작및배포

,

^{공유가가능해졌}

다

.

^현재

UCC

^{는개인적인목적이나흥미를위해제}

작되고있으나

,

^{더나아가고화질저작물}

,

^상업용광

고

,

^{멀티미디어방송}

,

^{인터넷교육등의디지털미디}

어관련분야의시장에적용시킬경우인터넷상거래 분야의새로운중심축으로자리잡을것이다

.

그러나개인사용자의상용목적콘텐츠제작에있 어서는많은기술적

,

경제적인제약이존재하고있다

.

그중하나가스튜디오나영상제작공간의마련인데

,

이것을위한해결방법으로가상스튜디오의적용을들 수있다

.

^{가상스튜디오는물리적인공간의제약사항}

을해결할수있으며실제객체또는가상객체들의투 입을통하여동적이고실감나는디지털미디어개발 을위한효과적인대안이될수있다

.

^{그러나기존의}

가상스튜디오시스템들은주로대기업이나방송업체 를위한시스템으로구성되어있어개인이운용하기 위해서는경제적인제약이발생하게된다

.

^또한

,

^입력

인터페이스또한

2

^{차원입력을통한제어로몰입감이}

떨어지거나

,

^{혹은고가의상호작용장치를사용하고}

***학생회원

,

전남대학교산업공학과

***교신저자

,

종신회원

,

전남대학교산업공학과

***

전남대학교전자컴퓨터공학부

-

논문투고일

: 2007. 05. 29

-

심사완료일

: 2007. 10. 02

있어개인의사용이어려울수있다

.

^{이에대한해결}

방법으로몰입감이높고가상객체를직접조작할수

있는탠저블

(Tangible)

^{인터페이스기반의가상스튜디}

오를적용할수있다

.

증강현실기술은

Fig. 1

^{에서볼수있듯이사용자가}

실제환경을기반으로가상모델을투영시켜실제환 경과가상객체가혼합된환경을제공하는것으로사 용자가필요로하는 정보를부가적으로보여주거나 필요가없는정보를은닉하는기능을한다

.

^또한

,

^효

과적인인터페이스를제공하여보다자연스러운실감 미디어를저작할수있고다양한유비쿼터스환경에 서의상호작용을지원할수있는인터페이스를제공 할수있다^[1]

.

또한기타 여러 분야

-

시뮬레이션^[2]

,

협업^[3]

,

프로토타입평가^[4,5]등에적용할수있다

.

이러한증강현실기술을 운용하기위해서는현실 세계에서가상현실과상호작용할수있도록특정사

물에대한추적

(Tracking)

기술이필요하다

.

이러한상

호작용은여러가지형태로지원될수있는데데이터

글러브

(Data Glove)

나모션트래커

(Motion Tracker),

위치시스템

(Location System)

^[6]등의방식이나비전

트래킹

(Vision Tracking)

^{방식[3,7,8]을사용할수있다}

.

특히비젼방식은고가의트래킹장비를통해얻을수 있는것만큼의높은정밀도를유지할수는없으나시 스템유지및구축비용을크게절감할수있다

.

^또

한

,

^{사용자와의상호작용을위하여마커}

(Marker)

^를사

용하는데이것을통하여탠저블인터페이스를접목할 수있어사용자의

2

^{차원디스플레이에표현된}

3

^차원

객체에대한이해도를높일수있고조작을쉽게할 수있다는장점을제공할수있다

.

기존의시스템대부분이가상객체와실제객체의합

성에블루스크린

(Blue-Screen)

^{[9,10]을사용하였으나최}

근깊이정보를이용한합성시스템^[11]연구가이루어 지고있으며또한스테레오비젼을통한객체추출을 이용한합성방법^[9]등도연구되고있다

.

^{증강현실기}

술을위한사용자인터페이스로는입는장치

(Wearing

Device)

^[12]

,

^{위치확인장치등의하드웨어장비사용}

방식^[6]

,

^{다수의 카메라를 사용한비젼방식[9]}

,

^깊이

정보를이용한상호작용^[12]

,

^{탠저블인터페이스구성}

을통한방법^[5,13]등이연구되고있다

.

그러나이들 연구의대부분은증강영상서비스의 제공에주로연구목표를가지고있으며증강현실의 장점을인터페이스측면으로활용하지못하고있다

.

또한이들시스템은트래킹및시스템구축에고가의 하드웨어장비를사용하고있다

.

본논문은멀티마커기반의탠저블증강현실기술 을적용하여개인중심의콘텐츠저작서비스를쉽게 지원할수있는탠저블가상스튜디오지원프레임워 크를제시한다

.

특히

,

제시된방법은개인사용자를대 상으로하는가상스튜디오시스템으로써일반적인컴 퓨팅장치

,

^멀티마커

,

^{그리고간단한캠장치를통하}

여탠저블인터페이스를구성할수있다

.

^{사용자는만}

질수있는마커를움직여가상객체를조작할수있어 보다직관적인가상스튜디오저작이가능하고

,

^따라

서초보자도쉽게사용할수있다

.

^{본연구에서는}

,

^또

한

,

^{멀티마커를사용했을때발생하는문제점인기준}

이되는마커가변경될경우가상객체와실질객체사 이의불일치현상을 제거하는방법을제시한다

.

^또

한

,

이방법은마커가보이지않을경우에도관련가

상객체를올바르게렌더링

(Rendering)

한다

.

본연구에

서제시하는범용성과쉬운조작방법은본시스템이 개인저작물이나상거래

,

인터넷교육등의다양한분 야에사용가능하게할것이다

.

본연구에서는제시된 방법을검증하기위하여탠저블가상스튜디오세트 를직접제작하였으며이를활용한개인홈쇼핑과같 은시나리오에적용시켰다

.

논문의구성은다음과같다

. 2

^{장에서는시스템의각}

레이어

(Layer)

^{구성에대하여설명하고}

3

^{장에서는레}

이어의구성모듈의동작에대하여설명한다

. 4

^장에

서는이를기반으로구현된시스템의동작을설명하 고마지막으로

5

^{장에서는결론과추후연구사항에대}

하여설명한다

.

2. 시스템 구성

Fig. 2

^{에서볼수있듯이탠저블가상스튜디오상에}

Fig. 1. 증강현실의응용시스템사례

.

서사용자는다양한형태의가상공간을조작할수있 는탠저블마커를활용한다

.

본시스템에서사용자는 마커를조작하며

,

시스템은마커를실시간으로추적 하고

3

^{차원가상공간상에서위치를알아내며각탠}

저블마커위에저작된다양한형태의가상객체를증 강시킨다

.

사용자는이러한저작과정을실시간으로모니터링 할수있다

.

^특히

,

^{멀티마커를인식하고이를활용하}

여가상객체의저작을용이하게지원하는상황적응 방식의가상스튜디오기술을적용하여더욱 안정된 시스템을구축한다

.

^{이러한개념을적용한시스템은}

가상

/

^{증강현실미디어서비스를제공하여인터넷기반}

개인방송

,

^{제품의기능성평가}

, 3D

^{협업등다양한응}

용분야에적용할수있다

.

본연구는

Fig. 3

^{에서볼수있듯이가상스튜디오}

상에서가상객체와의상호작용을지원하기위한시 스템레이어구조를제시한다

.

^{제시된프레임워크는}

증강현실기반의사용자상호작용서비스를중심으

로다루고있으며시스템은

Fig. 3

^{에서의구성과같}

이① 리소스레이어

(Resource Layer),

^②

AR

^레

이어

(Augmented Reality Layer),

③ 서비스 레이

어

(Service Layer)

로구성되어있다

.

리소스레이어는가상스튜디오시스템에사용될 마커나캠등의탠저블인터페이스리소스와영상에 삽입될가상객체또는외부영상소스를포함한다

.

가상객체는

VRML

형태로되어있으며각객체의

상태를별도로가지고있다

.

또한외부영상데이터는

3

차원정합에사용될수있도록

Alpha Mask

데이터

를포함하여

AR

레이어에전달된다

. AR

레이어는캠

에서들어온실제영상에서사용자의입력및상호작 용을트래킹하고이를통하여위치정보를얻어내는 트래킹모듈

,

^{만들어진위치정보와미디어리소스를}

통하여영상을 만들어내는렌더링모듈로구성되어 있다

.

^{렌더링된가상영상은서비스레이어로전달된}

다

.

^{서비스레이어는만들어진영상을증강영상}

,

^혹

은가상영상으로전환하여사용자에게동영상화면 으로변환하여전달하는역할을한다

.

Fig. 2. 증강현실을이용한서비스생성

.

Fig. 3.탠저블가상스페이스저작시스템구조도

.

3. 개인사용자를 위한 탠저블 가상스튜디오

본장에서는서비스제공에따른레이어의시스템 모듈특징과구성에대하여설명한다

.

^{본시스템에서}

제공되는 서비스는 특징에따라①탠저블 트래킹

모듈

(Tangible Tracking Module),

^{② 렌더링 모듈}

(Rendering Module),

^{③ 서비스 제공 모듈}

(Service

Provider Module)

^{로구성되어있다}

.

^{탠저블트래킹모}

듈은사용자의입력과영상트래킹을담당한다

.

이곳 에서는캠에서받아들인실제영상을통하여사용자 가움직이고있는마커를추적하며

,

마커의위치데이 터를생성한다

.

또한사용자의입력을통하여가상객 체의상태를변화시킨다

.

렌더링모듈은가상객체데 이터와외부영상데이터를불러오고사용자의입력 및상호작용에맞는 상태로렌더링하여가상영상을 생성하는역할을한다

.

서비스제공모듈은렌더링모 듈에서렌더링된가상영상을이용하여사용자가필 요한형태로

,

^{즉상호작용에필요한증강영상이나가}

상스튜디오영상을생성하여사용자에게전달하는역 할을한다

.

3.1

^{탠저블트래킹모듈}

탠저블트래킹모듈은카메라를통하여획득한이 미지를이용하여사용자와의상호작용을조절하는모

듈로써획득된이미지의처리는

Fig. 4

^{에서표현된것}

과같이미리정의된

Threshold

^{값을적용하여흑백}

영상으로변환시키고이로부터마커의경계를추출하 는것이다

.

마커의이미지를이용하여적당한마커라 고판단을한경우이경계를이용하여

4

×

4

의변환

행렬

(Transformation)

데이터를계산하고이것은가상

객체의렌더링에서가상객체를이동하거나상호작용 하는목적으로사용된다

.

본시스템에서 적용한마커의인터페이스 방식은 물리적탠저블특성이적용되어사용자에게촉각적인 정보를제공하게됨으로써기존의다른소프트웨어나 인터페이스에서마우스나키보드

,

^{조이스틱등의}

2

^차

원이하의입력차원을제공했던것에서탈피하여사 용자의지각능력과같은

3

^{차원입력을허용한다는점}

에서장점을가진다

.

^{또한증강영상의시각피드백을}

실시간으로제공함으로써사용자의가상객체의조작 에대한이해도와가상공간에대한몰입감을높일수 있게하여사용자는직관적으로마커를조작함으로써 가상객체가이동하거나배치되는위치를쉽게파악할

수있다

.

^{본인터페이스방식은햅틱}

(Haptic)

^장비의

인터페이스와같이양방향성피드백을제공하지않아 몰입감은다소떨어질수있으나

,

^{영상입력장치인카}

메라와저장된 마커만준비하면간단하게시스템을 구성

/

^{운용할수있어시스템구축비용절감및유지}

관리에용이하다

.

마커트래킹프로세스에서만들어진위치정보는 렌더링모듈로넘어가서정확한위치에가상객체를 렌더링하는 것에 사용되거나 상태 전이

(State

Transition)

프로세스로넘어가서사용자의입력정보

와함께가상객체의상태를변경하는데사용된다

.

상 태변환프로세스는입력커맨드를파악하여가상객 체의형태및상태를사용자가원하는 상태로변화 시킨다

.

3.2

^{렌더링모듈}

상태전이모듈에서입력된가상객체의상태정보 와변환정보는렌더링모듈을이용하여시각화된다

.

미리저장된가상객체데이터는

VRML

^형태의

3

^차원

객체이며

Virtual Object Loader

^{모듈을통하여입력}

된다

.

^{변환정보와상태정보를통하여객체의지정된}

3

^{차원위치에렌더링되며객체의상태정보는}

Object

Manager

^{모듈을통하여각상황에맞는상태객체로}

전환된다

.

개인방송을위한가상스튜디오를위하여

3

^차원객

체만이아니라 외부의영상입력또한렌더링모듈 Fig. 4.비젼트래킹을이용한마커의좌표획득^[14]

.

에서 처리할 수 있어야한다

.

^{이를 위하여}

Movie

Loader

^{모듈에서는입력데이터를처리하여}

External

Movie Combiner

^{모듈로 넘겨준다}

.

^이곳에서

3

^차원

객체형태로만들어진외부영상은렌더링모듈에서 정합되어최종가상영상을만드는곳에사용된다

.

3.3

^{서비스제공모듈}

본모듈은카메라에서입력된영상과렌더링영상 의정합을통하여사용자가원하는미디어서비스를 발생시킨다

.

본시스템에서는영상출력에대하여두

가지 형태의 모드인 증강영상 모드

(Augmented

Reality Scene Mode)

와 가상영상 모드

(Virtual

Reality Scene Mode)

를지원하고있다

.

사용자의입

력에따라

Service Provider

모듈에서는모드를변경

해준다

.

증강영상모드는초기의카메라입력영상과가상 객체가정합된형태로제공되는영상이며사용자의 상호작용을위해사용된다

.

이는 또한

3D

협업이나

가상

Tangible Proto Model

^{평가 등에서이용될 수}

있다

.

가상영상모드는카메라에서입력된영상이제외되 고배경이가상모델로채워진영상으로써개인방송

,

가상공간시뮬레이션등에서사용될수있도록출력 기능을 제공한다

.

^{두 가지 형식의 영상 모드는}

Service Converter

^{모듈에서전환되며사용자는증강}

영상모드를이용하여가상스튜디오를저작하는도중 에모드를전환하여가상스튜디오모드에서가상객체 가가상공간에서원하는형태로배치되고있는지를 확인할수있어더욱쉬운가상스튜디오저작을지원 할수있다

.

완성된영상은서비스로제공하기위해

Media Generator

모듈에서는파일 형태나 스트리밍

(Streaming)

형태로제공된다

.

3.4

^{탠저블인터페이스프로토타입}

탠저블가상스튜디오의구성을위해서실제로조작

이가능한탠저블미니어처

(Tangible Miniature)

^를이

용하여가상스튜디오의구성을진행한다

. Fig. 5

^에서

는탠저블미니어처의프로토타입을보여주고있다

.

이것은

2

^{대의카메라제어를기본으로설계되어있으}

며가상객체를조작하기위한마커를그위쪽에배치 한다

.

^{사용자는카메라를움직이거나마커를배열함}

으로써스튜디오구성을변경할수있다

.

^{카메라를제}

어함으로써전체적인시점의위치변화를가져올수 있으며

,

^{각각의마커는할당된가상객체를조작할수}

있다

.

4. 상황 적응형 마커 트래킹

본시스템에인터페이스로써적용된마커기반의 비젼트래킹기법은가상스튜디오상에서보다직관 적이고효율적인조작을할수있도록만들어준다

.

일반적으로

,

^{마커기반의비젼트래킹기법은사용자}

가필요한마커의위치좌표를획득하기위하여전적 으로마커에의존한다

.

^{이러한방법은마커트래킹을}

쉽게할수있으며마커개체에탠저블개념을추가 함으로써보다나은몰입감을줄수있는장점이있 는반면에

,

마커가정의된형태에서조금이라도어긋 날경우트래킹에실패하는단점이발생한다

.

즉

,

마 커가카메라의시야에서벗어나거나다른물체혹은 사용자의손이나다른마커들로인하여일부혹은전 체가가려지게되면 트래킹이불가능하다는단점이 있다

.

^{또한추적된마커정보가빛에민감할수밖에}

없으며캠이나빛의변동에의한노이즈

(Noise)

^발

생으로인하여트래킹된위치가아주근소한차이로 떨리는문제가발생할수있다

.

^따라서

,

^{본논문에서}

제시되는상황적응형마커트래킹방식은이러한문 제점을해결할수있어서보다나은안정감을부여할 수있다

.

Fig. 5. 탠저블가상스튜디오조작을위한프로토타입

.

4.1

^{상황적응형마커트래킹}

가상객체의조작을담당하는마커의트래킹안정성 을높이기위하여두가지종류의마커형식을정의하 고이러한멀티마커를통하여가상객체의위치를추 적하는방식을적용한다

.

^{시스템에는}

Fig. 6(a)

^에도시

된 것과 같이 두 가지의 마커인 ① 탠저블 마커

(Tangible Marker),

^{②참조마커}

(Reference Marker)

^로

나누어져있다

.

^{탠저블마커는직접가상객체를조작}

할수있는마커로써시스템시작시가상객체에

1:1

로매핑된다

.

사용자는탠저블마커를움직임으로써 가상객체의위치를직접조작할수있다

.

참조마커는 탠저블미니어처에가상공간을매핑하는데사용되며 위치보정을 위한 기준 역할을 하는 마커로써

Fig.

6(a)

에는총

7

개의참조마커가배치되어있다

.

이마

커들은캠의위치를어느곳으로변경시키더라도캠

의

FOR(Field Of Range)

^{에들어갈 수있도록곳곳}

에배치되어있다

.

본시스템에서는탠저블마커를인식하여가상객체 를조작하며이를실패할경우참조마커를이용하여 그리는방식을상황적응형마커인식이라고정의를

하였다

.

^예를들면

, Fig. 6(a)

^와같이

2

^{개의탠저블마}

커가있다고가정하자

.

^{일반적인경우마커}

2

^와같이

카메라의

View Range

^{는가상객체에 할당된마커를}

비추고있어

Fig. 4

^{의방식에따라변환행렬정보를}

받아올수있다

.

그러나탠저블마커

1

과같이가상객

체를조작하던중에카메라의

View Range

밖으로나

가버리는 경우나 카메라의 위치를 이동시켜

View

Range

가탠저블마커

1

을벗어날경우비젼트래킹이

이루어지지않을수있고이러한경우마커에할당된 가상객체가그려지지않는문제점이발생한다

.

이러 한경우를위하여시스템에서는탠저블마커의위치 및회전을참조마커를기준으로계산하여사용할수 있다

.

각각의변환행렬계산은객체의트래킹프로세 스에서이루어지게되며

Fig. 6(a)

^{에서와같이두가}

지방식으로동작한다

.

(1)

^{탠저블마커가트래킹에성공한경우}

,

Fig. 6(b)

^{의초기시스템의모습에서카메라의}

FOR

에탠저블마커

1

^{이보여지는경우①각참조마커}

와의가중치를계산한다

.

^{각마커까지의가중치는각}

각의거리제곱을전체거리제곱의합Dt로나눈값으 로정의되며다음과같이정의된다

.

가중치치수

:

가중치

:

②현재트래킹이되는 각참조마커를미니어처

좌표계의

(0,0,0)

으로이동변환한뒤가중치를적용

하여미니어처좌표계TM을계산한다

.

③미니어처좌표계TM에서탠저블마커의행렬Ti

까지의변환행렬TBi을계산한다

.

^{④이는탠저블마}

커가트래킹되지않을경우에사용되도록임시저장 된다

.

^{⑤현재탠저블마커가보이고있는상황이므로}

별도의계산없이트래킹된탠저블마커의정보인Ti

를가상객체를그리는데사용하도록반환한다

.

(2)

^{탠저블마커가트래킹에실패한경우}

,

ⓐ저장된 TBi블랜딩행렬참조마커의위치로의 WD_A=D_t²

/

D_A²

,

WD_B=…

W_A WD_A WD_total

---

^,…⁽WD_total⁼

∑

WD_i⁾

=

T_M=W_A⋅T_A′+W_B⋅T_B′+W_E⋅T_E′+W₄⋅T_G′

Fig. 6. 상황적응형마커트래킹

.

가중치를①에서와같이계산하여

,

^{ⓑ②의절차와같}

이가중치를이용하여미니어처의좌표계TM을계산 한다

.

^{ⓒ계산된T}M에TBi를곱하여가상객체렌더링 에사용되게되는행렬을반환한다

.

4.2

^{가중치적용에따른에러율개선}

초기의시스템 구조에서는직전에트래킹이성공 되었던탠저블마커의좌표를이용하여가장가까운 참조마커에서블랜딩변화행렬을계산하여가상객 체를렌더링하는방법을사용했었으나

,

이러한방식

으로는

Fig. 7(a)

와같이마커

1

에할당된영역과마

커

2

에할당된영역의중간경계부분에서약간의편 차가생기는문제가발생한다

.

이는비젼트래킹방 식의문제로써마커가시점에서멀리떨어져있는경 우위치및회전의값이틀려지는문제로인하여발 생되며

,

이러한문제는가상객체가움직일경우에도 발생한다

.

특히

,

기준이되는마커가바뀔경우가상 객체의영상이순간적으로튀는현상이발생한다

.

따 라서

,

^{본시스템에서는 이러한 오차발생을 줄이기}

위하여트래킹된각위치마커에서거리를기준으로 보간을적용한절대좌표를생성하고

,

^{이것에서가상}

객체의렌더링에사용될변환행렬을계산하는방식 을사용한다

.

^{따라서가상객체는각}

4

^{개의행렬에서}

가중치로보간된절대좌표행렬을이용하여그려지

게되어

Fig. 7(b)

^{와 같이 자연스러운 위치 연결이}

이루어진다

.

기존의다른연구들에서도이와유사한방식의에

러율개선방식을찾아볼수있다

. Kato

^의

Table-Top

system

^{[15]에서는캠에가장가까운마커를기준으로다}

른 마커를 사용하여 보간하는 방식을 적용하였고

, ARToolkit

^의

Paddle Interaction

^{[14] 시스템은캠에서트}

래킹이성공한참조마커를블랜딩하여사용하였다

.

본장에서는기존의일반적인참조마커사용방식을

4.1

^{에서제시한상황적응형마커트래킹방식과비교}

분석하였다

.

여러마커에할당된방식의에러율을비교하기위

하여

Fig. 8(a)

와같은마커를배치하고각

4

개의모

서리에배치된마커를참조마커로할당하였다

.

실험 에서는참조마커에서받아온변환행렬정보와실제 위치에배치된마커의변환행렬정보중거리차이를 비교하여거리오차만을검사하였다

.

비교된방식은

ⓐ상황적응형마커트래킹방식

,

ⓑ트래킹에성공 한참조마커의전체혼합

,

ⓒ객체에가장가까운마 커할당

,

^{ⓓ카메라에서가장가까운마커할당의}

4

^가

지를비교하였다

.

^{비교된위치는}

Fig. 8

^의①

~

^⑫까지

위치이며

x, y

^{축으로각각}

66.67 mm

^{간격으로배열되}

어있다

.

^{측정된거리오차는동일한빛조건및위치}

에서총

5

^{번의트래킹을통하여랜덤하게추출되었으}

며

Table 1

^{은측정위치의평균오차값이다}

.

실험결과본논문에서적용한ⓐ상황적응형마커 트래킹방식이가장적은오차값을보여주었으며그 다음으로ⓒ

,

^ⓑ

,

^{ⓓ의순서로오차가커진다}

.

^객체에

가장가까운마커를할당하여렌더링을하는ⓒ방식 은에러값이다른방식에비교하여매우작은편이나

Fig. 7(a)

에표현된것과같이마커와마커의경계에서

객체가이동할경우오차율이커져서‘튀는’ 문제점이 발생한다

.

전체참조마커를동일한가중치로혼합하 는ⓑ방식은전체마커의혼합으로인하여캠에서멀

Fig. 7. 상황적응형마커트래킹및가중치보간

.

Fig. 8. 마커의배열과객체의위치설정

.

어질수록높아지는트래킹에러값이전체참조행렬에 누적되어오차값이커진다

.

^{또한캠에가장가까운마}

커를사용하는ⓓ방식은캠에서객체가멀어질수록 오차값이커지는경향을보인다

.

^{상황적응형방식을}

적용한ⓐ결과는마커에서멀어지거나가까워짐에상 관없이비교적일정한오차율을보이고있다

.

^따라서

본논문에서제시한상황적응형마커트래킹방식은 가장가까운마커의변환행렬에가중치를높여혼합 하여오차값을줄이면서도참조마커의거리변화나 트래킹성공률에적응할수있는장점을보여줄수있 었다

.

4.3 Frame Jittering

^개선

비젼트래킹방식에서는마커의좌표를계산하는데 있어약간의노이즈로인하여계산된좌표값이변동

하여가상객체렌더링시

Jittering

현상이발생할수

있다

. ARToolkit

라이브러리는

Threshold

값을 이용

하여마커트래킹을하기때문에마커의외곽픽셀값

이

Threshold

값위

/

아래로변동함에따라마커의좌

표가흔들리게되고

,

^{증강된가상객체의렌더링위치}

는

Fig. 9(a)

^{의첫번째그림과같이프레임마다떠는}

것과같은

Jittering

^{현상을보이게된다}

. Fig. 9(a)

^의

두번째그림에서는프레임간좌표흔들림을발생하 게한픽셀이흰색으로마킹되어있다

.

본연구에서는영상처리가없는단순한방법이지만 개선효과가있는좌표축연산방법을사용한다

.

^즉

,

^이

전프레임과현재프레임의x

,

^y

,

^{z축각벡터의내적}

값끼리곱한값을에러율로정의하여미리정해진비

교수치와비교하여변환행렬을업데이트하는간단 한방식을적용하였다

.

^{현재프레임의위치데이터가}

Tc

,

^{이전프레임의위치데이터가T}p라고한다면

,

^다음

수식으로비교에러값을계산한다

.

만약Err값이비교값보다

(

^예를들면

, 0.0005)

^작

을경우위치정보가많은변화가없으므로이전프레 임의위치 정보 Tp를사용하게한다

.

^{그렇지않으면}

새로운프레임위치정보를이용한다

.

비교수치가커

질경우

Jittering

현상이매우줄어들지만마커나캠

의움직임에기민하게반응하지않는다는문제가생 기고

,

비교수치가작을경우 부드러운트래킹을할

수있지만

Jittering

현상이 매우 늘어난다는단점이

생기므로객체의크기와노이즈발생빈도에따라적 절한값으로변경시켜사용한다

.

이방식을적용한렌

더링결과

Fig. 9(b)

과같이

Jittering

이없는안정적인

모습을보여주고있다

.

5. 시스템 구현

본장에서는각상황단계별로구현된서비스를설

명한다

.

구현된시스템은

ARToolkit

^[14]를사용하였으

며인터페이스는

MFC

로구현하였으며이들간의통 신은메시지서비스로구현되었고외부영상의입출

력을위하여

MPEG2GPL Library

^{를사용하였다}

.

5.1

^{사용자인터페이스}

사용자입력인터페이스는

Fig. 10

^{과같으며탠저블}

가상스튜디오를사용하기위하여기본윈도우인터페 이스에가상객체설정

,

^{렌더링윈도우설정및카메라}

설정등의항목을포함하고있고이설정데이터는이 후사용될탠저블마커인터페이스의환경변수로써 사용된다

.

^{사용자는기존의사용했던프로젝트를불}

Err=

1

–(^Tc⋅ ⋅ ⋅u T_pu) T×( _c⋅ ⋅ ⋅v T_p v)×(T_c⋅ ⋅ ⋅w T_p w) Table 1. 참조마커블랜딩방법에따른오차비교

위치 ⓐ 상황 적응형

ⓑ 참조 전체혼합마커의

ⓒ 객체에 가까운 마커

ⓓ 카메라 에 가까운

마커

1 2.97 4.39 5.76 10.08

2 2.85 5.65 1.98 8.73

3 1.08 5.40 2.53 10.40

4 1.16 3.57 5.36 8.88

5 3.20 4.83 1.65 5.50

6 2.35 7.47 1.20 5.57

7 1.03 2.39 1.72 6.30

8 1.19 1.04 2.73 5.16

9 3.73 5.97 3.09 3.01

10 2.92 8.11 2.55 2.32

11 1.54 2.61 2.87 5.40

12 2.44 7.08 1.44 1.46

평균 2.20 4.88 2.74 6.07

Fig. 9. 영상입력노이즈에의한

Jittering

개선

.

러오거나

,

^{새로운프로젝트생성을}

Fig. 10(a)

^의인터

페이스에서실행한다

.

^{새로운프로젝트의경우}

Fig.

10(b)

^{의인터페이스에서가상스튜디오에서사용될가}

상객체와마커를선택한다

.

^{마지막으로}

Fig. 10(c)

^의

인터페이스에서카메라와입력영상을설정하여가상 스튜디오를실행하면

,

^{이후는탠저블미니어처와탠}

저블마커를이용하여조작을진행하며추가적인옵

션은

Fig. 10(d)

^{의인터페이스로제어한다}

.

5.2

^탠저블

AR

^{인터페이스를통한가상스튜디오저작}

구동된시스템은가상객체를정렬하기위하여증강 현실형태의가상스튜디오를실행한다

.

^{초기가상스}

튜디오를저작하기위해

, Fig. 11(a)

^{와같이각가상객}

체는마커에통하여조작이가능하며

,

^{사용자는탠저}

블미니어처에부착되어있는캠을조작하여시점의 변경이가능하다

.

^{사용자는가상스튜디오를저작하기}

위하여마커를이동시키면서실시간영상에서보여지 는가상객체의위치를확인하고적절한위치에맞게 정렬을완료한다

.

사용자는실제마커를만지면서증 강된영상과함께가상객체를조작을할수있어서가

Fig. 10. 가상스튜디오구동인터페이스

.

Fig. 11. 탠저블

AR

인터페이스를이용한가상스튜디오저작

.

상의물체를실제움직이는듯한몰입감있는인터페 이스를사용할수있다

.

Fig. 11(b)

^{에서는가상객체의하나인 “}

Panel

^”에할

당된마커를이용하여위치이동시키는모습을보여

주고있고

, Fig. 11(c)

^{에서는모든가상객체를정렬시}

킨모습을보여주고있다

.

^또한

,

^{모든가상객체를정}

렬시킨후사용자는다른사용자에게영상송출이가 능하도록가상영상모드로전환할수있다

.

5.3

^{가상스튜디오와외부영상의정합}

탠저블가상스튜디오를통해 저작이완료된이후

사용자는

Fig. 12(a)

와같이가상영상모드로변경하

면외부카메라의입력영상은가상의환경으로대체 된다

.

가상영상모드에서도증강영상모드와마찬가 지로탠저블미니어처와마커를이용하여가상객체의 조작이가능하다

.

또한외부가상영상에

3

차원스크 린형태로정합하여가상스튜디오에서사용자의영상 이실제존재하는듯한가상스튜디오의기능을수행

할수있다

.

^또한

Fig. 12(b)

^{와같이 자막등의추가}

서비스를통하여 미디어저작을효과적으로 수행할

수있다

.

적절한배치와시나리오구성이완성되면사용자는 하단의제어패널에서“

Record

^{”를클릭하여외부영상}

으로저장하는프로세스를진행하며

,

^{만들어진최종}

영상을통하여개인방송이나상거래등에사용할수 있다

.

6. 결 론

본논문에서는사용자가쉽게가상스튜디오를저작 하여개인인터넷방송혹은미디어저작을할수있 도록증강현실기반의탠저블가상스튜디오를제안하 였다

.

개인사용자가가상스튜디오객체를직접조작 이가능하도록탠저블인터페이스개념을도입한것 으로기존의마우스나키보드등

2

차원이하의인터 페이스툴을이용했던것에서벗어나직접다차원의 객체조작을쉽게함으로써사용자의조작능력향상 및몰입감을증대하는데장점을가진다

.

또한비젼트 래킹방식의안정성을높이는방법으로사용된상황 적응형마커인식방법을통하여증강현실의불안정 성을개선하였다

.

^{마커가보이지않거나부분적으로}

가려지더라도관련가상객체를올바르게렌더링할수 있으며마커의동적인변환에따른가상객체의튀는 현상도함께해결할수있었다

.

특히

,

^{제안된시스템은기존의가상스튜디오시스}

템이 특정분야를 위한전용시스템으로 제작되었고 대규모이며고가의장비를이용및조작전문가가필 요했다는것에비하여범용적이며조작이쉽고장비 구축비용이절감되는장점이있다

.

이시스템을통하 여저장된결과물은저작미디어의질적인향상외에 도다양한형태의비즈니스모델을제시하게되며특 히개인방송

,

인터넷상거래

,

교육등의분야에적극 활용될것으로판단된다

.

추가적으로진행해야할연구사항으로첫째

,

^본시

스템에적용되었던마커의비젼트래킹방식을안정 성및정확성을높이기위해추가적인연구가필요하 다

.

^둘째

,

^{현재출력장치로사용되고있는모니터나다}

른

2

^{차원 디스플레이 외에}

HMD(Head Mounted

Display)

^{등의몰입형장치의추가부분또한필요한}

부분이다

.

^{마지막으로상호작용을효과적으로지원할}

수있는상황인지기술과가상객체의상태전이

(State

Transition Method)

^{방법을적용으로객체의상태변}

화에대한적합한조치가필요하다

.

^{이러한연구를통}

하여더욱안정적이고유용한서비스를제공하는시 스템으로적용될수있을것이라고판단된다

.

Fig. 12. 탠저블가상스튜디오를이용한개인홈쇼핑스튜디오 저작

.

감사의 글

본 연구는

FTTH

^{기반 개인 인터넷 방송 기술}

,

BK21

^프로그램

, LG

^{연암문화재단에의해서지원되}

었음

.

참고문헌

1.

이규원

,

서동우

,

이재열

,

“증강현실을활용한상황인

지기반의편재형자동차정비서비스”

,

한국

CAD/

CAM

학회 논문집

,

제

12

권

,

제

3

호

, pp. 171-181, 2007.

2. Gausemeier, J., Fruend, J. and Matysczok, C.,

“

AR Planning Tool : Designing Flexible Manufacturing Systems with Augmented Reality

”

,

8th Eurographics Workshop on Virtual Environments 2002

, pp. 19-25, 2002.

3. Billinghurt, M., Kato, H. and Poupyrev, I.,

“

Collab- oration with Tangible Augmented Reality Interfaces

”

,

HCI International 2001

, pp. 234-241, 2001.

4. Balcisoy, S., Kallmann, M., Fua, P. and Thalmann, D.,

“

A Framework for Rapid Evaluation of Prototypes with Augmented Reality

”

,

Proceedings of the ACM Symposium on Virtual Reality Software and Tech- nology

, pp. 61-66, 2000.

5. Frens, J. W., Djajadiningrat, J. P. and Overbeeke, C. J.,

“

Form, Interaction and Function, an Explor- atorium for Interactive Products

”

,

Proc. Journal of the Asian International Design Conference, Tsukuba, Japan

, pp. 14-17, 2003.

6. Shirai, A., Kobayashi, K., Kawakita, M., Hasegawa, S., Nakajima, M. and Sato, M.,

“

Entertainment Appli- cations of Human-scale Virtual Reality Systems

”

,

LNCS

, Vol. 3333, pp. 31-38, 2004.

7. Kato, H., Billinghurst, M., Imamoto, K. and Tachibana, K.,

“

Virtual Object Manipulation on a Table-top AR Environment

”

,

ISAR 2000

, pp. 111-119, 2000.

8. Lee, G. A., Billinghurst, M. and Kim, G. J.,

“

Occlu- sion Based Interaction Methods for Tangible Aug- mented Reality Environments

”

,

Proceedings of ACM SIGGRAPH International Conference on Virtual Reality Continuum and Its Applications in Industry (VRCAI 2004)

, pp. 419-426, 2004.

9. Grau, O. and Thomas, G.,

“

Use of Image-based 3D Modelling Techniques in Broadcast Applications

”

,

IWDC 2002

, 2002.

10. Hayashi, M., Enami, K., Noguchi, H., Fukui, K., Yagi, N., Inoue, S., Shibata, M., Yamanouchi, Y.

and Itoh, Y.,

“

Desktop Virtual Studio System

”

,

IEEE Transactions on Broadcasting

, Vol. 42, No. 3, pp.

278-284, 1996.

11. Blonde, L., Buck, M., Galli, R., Niem, W., Paker, Y., Schmidt, W. and Thomas, G.,

“

A Virtual Studio for Live Broadcasting: The Mona Lisa Project

”

,

IEEE Multimedia

, Vol. 3, No. 2, pp. 18-29, 1996.

12. Kim, N., Woo, W., Kim, G. J. and Park, C.-M.,

“

3- D Virtual Studio for Natural Inter-Acting

”

,

IEEE Transactions on Systems, Man and Cybernetics,

Vol.

36, No. 4, pp. 758-773, 2006.

13. Ohshima, T., Kuroki, T., Yamamoto, H. and Tamura, H.,

“

A Mixed Reality System with Visual and Tan- gible Interaction Capability: Application to Evaluat- ing Automobile Interior Design

”

,

IEEE and ACM International Symposium on Mixed and Augmented Reality

, pp. 284-285, 2003.

14. ARToolkit,

http://artoolkit.sourceforge.n

et, 2005.

15. Kato, H., Billinghurst, M., Poupyrev, I., Imamoto,

K. and Tachibana, K.,

“

Virtual Object Manipulation

on a Table-top AR Environment

”

,

Augmented Reality 2000(ISAR 2000),

pp. 111-119, 2000.

이 규 원

2006년전남대학교산업공학과학사

2006년~현재전남대학교산업공학과 석사과정

관심분야: Augmented Reality, Human Computer Interaction, Com- puter Simulation

이 재 열

1992년포항공과대학교산업공학과학사

1994년포항공과대학교산업공학과석사

1998년포항공과대학교산업공학과박사

1998년~2003년한국전자통신연구원 선임연구원

2003년~현재전남대학교산업공학과 부교수

관심분야: Augmented and Virtual Reality, Human Computer Interaction, Tangible Interface, RFID, Ubiquitous Computing

남 지 승

1992년 Univ. of Arizona, 전자공학과(공 학박사)

1992^년~1995^{년한국전자통신연구소선} 1999년~2001임연구원년전남대학교정보통신특

성화센터장

2001년~2005년전남대학교인터넷창업 보육센터장

1995년~현재전남대학교컴퓨터공학과교수

관심분야: ^{통신프로토콜}, ^{인터넷 실시간서비스}, ^라우팅

홍 성 훈

1988년영남대학교전자공학과(공학사) 1991년한국과학기술원전기및전자공학

과(^공학석사)

1999년한국과학기술원전기및전자공학 과(공학박사)

1991^년~2000^년 7^월 LG^전자 DTV^연구

소책임연구원

2000년 7월~현재전남대학교전자컴퓨터정보통신공학부부교수 관심분야: 영상부호화, 의료영상처리, 멀티미디어시스템, 영상처

리용 SoC