Digital Content Interactions Using RFID/NFC-based Tangible Interfaces in Augmented Reality Environments

<응용논문> pISSN 1226-0606 eISSN 2288-6036

증강현실 환경하에서 RFID/NFC 기반의 탠저블 인터페이스를 활용한 디지털 콘텐츠 상호작용

서동우¹ · 이재열^2† · 김재성¹

1

KISTI,

전남대학교 산업공학과

Digital Content Interactions Using RFID/NFC-based Tangible Interfaces in Augmented Reality Environments

Dong Woo Seo¹, Jae Yeol Lee^2†, and Jae Sung Kim¹

1

KISTI

2

Dept. of Industrial Engineering, Chonnam Nat’l Univ.

Received 3 December 2014; received in revised form 3 March 2015; accepted 3 March 2015

ABSTRACT

Radio-Frequency Identification (RFID) or Near Field Communication (NFC) technology has many advantages over other visual interfaces since it does not require line-of-sight alignment, can identify multiple tags simultaneously, and does not destroy the integrity of original objects.

In addition, smart devices such as smartphone and smartpad have NFC/RFID readers which can provide mobile and natural interactions with digital and physical contents. Augmented reality has an excellent visual interaction capability with digital contents in a real environment by embedding digital contents into the physical world. In this paper, we propose a new approach to digital content interactions using RFID/NFC-based tangible interfaces in augmented reality envi- ronments that utilize invisible interfaces in addition to marker-based visual interfaces. By com- bining the advantages of invisible and visual interfaces, more intuitive interactions with digital contents can be provided, which can remove the difficulty of using typical AR paddles that are widely used in AR interactions. In particular, a semantic AR ontology is defined to provide more convenient interactions. Through the semantic ontology-based inferencing, physical query- ing and filtering are effectively supported. We will show the effectiveness and advantage of the proposed approach by demonstrating implementation results.

Key Words: Augmented Reality, Digital Content Interaction, NFC, RFID, Semantic Ontology, Tangible Interface

†Corresponding Author, [email protected]

©2015 Society of CAD/CAM Engineers

1. 서 론

최근 카메라, 컴퓨터 등의 하드웨어 기술의 발 전 및 시스템 구매 비용의 감소는 콘텐츠의 다양 성을 촉진하는 원인이 되고 있다. 특히, 고성능 하 드웨어를 탑재한 모바일 장치의 대중화는 현실환 경에 가상콘텐츠를 합성함으로써 사용자의 몰입 감과 현실감을 높여주는 증강현실 어플리케이션 들의 성장을 촉진하고 있다. 이러한 변화로 사용 자들은 증강현실환경에서 손쉽게 디지털 콘텐츠 와 상호작용할 수 있는 방법을 원하고 있다. 따라 서, 이를 효과적으로 지원하기 위한 새로운 상호 작용 인터페이스 기술이 필수적이다

.

탠저블 인터페이스 기술은 우리가 일상을 통해 서 익혀온 실제 세계의 사물들과 소통하는 방법을 그대로 사용하여 디지털 서비스와 자연스럽게 상 호작용하는 기술이다

. 대표적인 기술인 RFID는 현실세계의 사물과 사이버 세상의 정보를 연결하 는 지시자 역할을 함으로써 정보 접근성과 직관성 을 향상시킨다. 특히, RFID는 2004년 말까지 해당 국제표준제정이 대부분 완성되었고, 이러한 토대 위에 수많은 분야에서 RFID 시장은 새로운 전환 기를 맞을 것으로 예상된다

. 더 나아가 RFID 국 제표준화 중의 하나인 EPC 센서 네트워크는 국제 표준인 EPC Global 네트워크를 기반으로 RFID와 USN 기술을 인터넷과 통합하는 아키텍처를 제공 함으로써 언제 어디서나 인터넷을 기반으로 다양 한 센서 네트워크와 RFID 서비스 제공을 위한 기 반기술을 제공해 줄 것이다

. 이를 통해 현실세 계의 사물과 디지털 서비스를 연결할 수 있는 탠 저블 상호작용 방법이 구체적으로 제공되어야 한다.

특히 최근에 RFID 종류 중 하나인 NFC(Near Field Communication) 가 장착된 스마트폰의 활용 이 급격하게 증가하고 있다. 또한 스마트폰의 대 중화는 일상 생활 전반에 걸쳐 모바일 어플리케이 션 활용을 확대시키고 있다. 이러한 변화와 함께 사용자들은 NFC리더기가 장착된 스마트폰을 다 양한 영역의 모바일 어플리케이션에서 이용하게 될 것이다.

현재까지 사용자와 디지털 콘텐츠 간의 상호작 용 제공을 위한 RFID 기반의 콘텐츠 상호작용에 관한 연구가 활발하게 진행되었다. 어린이를 위한 교육용 디지털 콘텐츠 제공의 목적으로 어린이들 이 RFID가 부착된 카드를 이용하여 알파벳 공부

를 할 수 있는 서비스에 대한 연구

를 수행하였 다. 교육뿐만 아니라 지능적인 콘텐츠 활성화에 대 한 연구가 진행되었는데 이 연구에서는 RFID를 가지고 있는 사용자의 위치에 따라서 사용자에게 유용한 디지털 콘텐츠를 제공할 수 있는 연구

를 시도하였다. 또한, RFID 태그를 소유하고 있는 참 여자들끼리 여러 개의 리더기가 부착된 탁자에 앉 아서 자신의 태그를 이용하여 자신의 정보를 공유 할 수 있는 디지털 콘텐츠 지식공유 시스템에 대 한 연구

가 이루어졌다. 뿐만 아니라 설계나 비 디오 편집과 같은 멀티미디어 디지털 콘텐츠 분야 에서 RFID 인터페이스를 활용하여 콘텐츠를 손쉽 게 편집하고 이용할 수 있는 연구

가 있었으며, RFID 인터페이스를 이용한 전자 주사위, 카드 등 의 게임 디지털 콘텐츠에 RFID 인터페이스를 적 용한 연구

도 있었다.

하지만 기존 연구들은 RFID의 정적인 고유 ID 를 인식하여 단지 그에 맵핑되는 정보를 지원하는 응용 연구만을 주로 다루었다. 증강현실 환경에서 다양한 형태의 상호작용을 제공하기 위해서는 구 체적으로 다음의 두 가지 문제점을 해결하고 고려 해야 한다.

첫째, 기존의 RFID ID Mapping 기반의 정적인 콘텐츠 정보 활용을 넘어서 다양한 정보를 표현할 수 있는 콘텐츠 정보 운용 기술이 필요하다. 기존 의 네트워크를 통한 데이터베이스 저장 방식을 탈 피하여 RFID 인터페이스가 제공하고자 하는 콘텐 츠 정보를 강건하고 유연하게 운용할 수 있는 기 술이 필요하다.

둘째, 사용자들이 이용하는 디지털 콘텐츠는 복 잡한 시나리오와 콘텐츠들로 구성되어 있다. 특히, 이런 콘텐츠를 이용하는 사용자와 콘텐츠 간의 복 잡하고 동적인 상호작용 정보를 효율적으로 관리 해야 한다

. 따라서 체계화된 상호작용 정보를 기 반으로 복잡한 형태의 상호작용 정보를 검색, 추 론하여 유용한 상호작용을 제공할 수 있는 특화된 정보 운영기술이 필요하다.

본 논문에서는 Fig. 1과 같이 사용자가 증강현

실 환경하에서 RFID/NFC 기반의 탠저블 인터페

이스를 활용하여 디지털 콘텐츠와 손쉽게 상호작

용 할 수 있는 새로운 방법을 제안한다. Fig. 1의

제안하는 프레임워크는 증강현실 콘텐츠가 현실

공간에 표현되어 있는 상황에서 RFID 리더기와

NFC 가 장착된 스마트폰을 활용하여 만질 수 있는

인터페스(RFID 태그가 부착된 물체)를 터치 또는 공유함으로써 직관적인 상호작용을 지원해준다.

궁극적으로, 원하는 기능을 가진 태그를 바로 인 식함으로써 정보에 대한 접근성과 편의성을 높일 수 있다. 직관적이고 체계화된 상호작용을 제공하 기 위하여 정의된 상호작용 온톨로지 정보를 실시 간으로 획득, 분류 및 추론한다. 이를 바탕으로 RFID/NFC 탠저블 인터페이스 기반의 자연스러운 Touch & Share 상호작용을 증강현실과 접목시킬 수 있어서 사용자들에게 또 다른 경험을 제공해줄 수 있는 특징이 있다. 본 논문은 다음과 같이 구성 된다. 2장에서는 증강현실 상호작용을 위한 RFID/

NFC Tangibles 에 대하여 살펴보고 3장에서는 AR 탠저블 인터페이스를 활용한 디지털 콘텐츠 상호 작용방법에 대하여 자세히 설명한다. 그리고 4장 에서는 제안한 기술이 어떻게 다양한 콘텐츠에 적 용되어 사용자들에게 새로운 형태의 상호작용 경 험을 제공할 수 있는 보여줄 것이다. 마지막으로 5장에서는 제안한 시스템에 대한 결론 및 추후의 연구 과제에 대해 언급한다.

2. 증강현실 상호작용을 위한 RFID/NFC Tangibles

2.1 실현가능 시나리오

본 논문에서는 증강현실 환경에서 사용자가

RFID/NFC를 활용해 다양한 응용분야에서 활용이 가능함을 보여주기 위하여 캐릭터, 제품 콘텐츠와 상호작용할 수 있는 시나리오를 설명한다.

Fig. 1 The proposed framework for supporting AR interactions with RFID/NFC tags

Table 1 Scenarios

응용분야 캐릭터 등의 엔터테이먼트 분야

시나리오

본 시나리오는 사용자들이 RFID/NFC 태 그가 부착된 탠저블 인터페이스(캐릭터 카 드, 무기 카드, 인형, 반지 등)을 활용한 탠 저블 증강현실기반의 캐릭터 상호작용 방 법을 제시한다. 사용자는 상호작용 정보가 저장된 탠저블 RFID/NFC 태그의 정보와 상호작용 지식 검색 및 추론 기능을 이용 하여 캐릭터가 처해있는 환경에 따라서 캐 릭터의 행동을 다양한 형태로 유발함으로 써 디지털 콘텐츠와 직관적인 상호작용할 수 있다.

응용분야 제품개발의 산업분야

시나리오

본 시나리오는 사용자들이 RFID/NFC를 활용하여 증강현실 기반 제품 콘텐츠를 이 용한다. 사용자는 제어정보가 담긴 RFID/

NFC 태그를 조합하여 증강현실에서 제품 콘텐츠에 대한 변위, 응력 등의 시뮬레이 션 결과 등을 볼 수 있다. 특히, 같은 정보 를 가진 객체를 인식하더라도 사용자의 역 할 정보에 따라서 그에 맞는 정보를 동적 으로 제공함으로써 맞춤형 상호작용 기능 을 제공한다.

2.2 RFID/NFC 기반의 디지털 콘텐츠 정보 운용 디지털 콘텐츠 정보는 서비스 기능에 따라서 콘 텐츠의 요소(콘텐츠의 상태, 콘텐츠 이미지, 사용 자 정보, 사용자 역할별 기능 등)와 상호작용 정보 로 구성된다. 특히 콘텐츠 정보는 요소 간의 관계, 사용자와의 상호작용, 콘텐츠들 간의 관계 등에 따 라서 빈번하게 바뀌는 동적인 특성이 있다.

기존의 RFID/NFC 인터페이스를 활용한 기술들 은 RFID/NFC ID Mapping 기술을 이용하여 상호 작용 정보를 중앙 데이터베이스에 저장하여 실시 간으로 검색하고 매칭하는 방법을 주로 사용하였 다. 따라서 콘텐츠 상호작용에 필요한 시간, 콘텐 츠 이미지, 사용자 등의 임시정보나, 콘텐츠 서비 스 실행에 필요한 콘텐츠 서비스의 데이터, 명령, 속성 등의 다양한 정보를 효율적으로 이용하지 못 하였다. 그뿐만 아니라 기존의 방법은 네트워크에 접속된 다수의 사용자가 빈번하게 정보를 호출해 야 하므로 시스템의 효율성을 떨어뜨린다

.

본 논문에서는 이를 해결하기 위하여 Fig. 2와 같이 RFID/NFC 메모리에 저장된 콘텐츠 정보에 직접 접근하여 새로운 정보를 기록하고 수정하여 디지털 콘텐츠 정보를 효율적으로 운용하는 방법 을 제시한다.

RFID/NFC 태그는 내부 메모리를 통해 정보를 기록하고 갱신할 수 있는 기능을 가진다. 예를 들 어, RFID/NFC 태그는 카드나 캐릭터와 같은 콘텐 츠 구성 요소 정보, 캐릭터 감정 상태, 사용자의 부

가적인 정보 등을 저장할 수 있다. 또한, 태그가 이 용되는 콘텐츠나 응용도메인에 따라서 다른 의미 가 부여될 수 있다. 그리고, RFID/NFC는 정보 저 장 기능을 통해 다양한 형태의 의미를 표현할 수 있는 탠저블 인터페이스 역할을 할 수 있다. 뿐만 아니라, 디지털 콘텐츠에 관한 정보들을 RFID/

NFC 태그들에 분산시킬 수도 있다.

이러한 RFID/NFC 의 장점을 살리고 정보를 효 과적으로 이용하기 위해서는 디지털 콘텐츠 상호 작용 정보를 태그 내부에 정의하고 이용할 방법이 필요하다. 하지만 RFID/NFC 태그 메모리는 Table 2와 Fig. 3과 같이 다양한 종류가 있으며 이러한 태그의 종류에 따라서 상이한 메모리 구조와 메모 리 크기를 가진다. 따라서 상이한 구조에 따른 메 모리 공간을 최대한 활용하여 정보를 기록하고 이 용할 수 있는 기술이 필요하다.

RFID 메모리의 크기가 커지더라도 시중에 유통 된 RFID/NFC 메모리의 종류에 따라서 사용되고 있는 RFID 메모리의 크기가 워낙 다양하므로 메

Fig. 2 Interactive composition of AR tangibles and AR ontology processing for digital content interactions

Fig. 3 ISO/IEC 1800-6C & EPC C1 Gen2 tag memory structure^[19]

Table 2 RFID operating frequencies and associated characteristics^[19]

주파수

저주파 고주파 극초단파 마이크로파

125.134 KHz

13.56 MHz

860~960

MHz 2.45 GHz 인식거리 60 cm

미만 60 cm까지 ~3.5~10 m ~1 m 이내

동작방식 수동형 수동형 능동형 능동/수동형

인식속도 저속 ←－－－－－－－－－－－－→ 고속 환경영향 강인 ←－－－－－－－－－－－－→ 민감

메모리

크기 0~65 Kbyte까지 다양.

모리 종류와 크기에 따른 효과적인 상호작용 지원 을 위하여 공간 크기에 따라서 정보를 가변적으로 저장하는 방법을 이용하였다. 알고리즘은 저장이 필요한 정보 크기와 RFID 메모리 공간 크기의 상 관관계에 따라 정해지는데 Table 3과 같이 상관관 계를 분석하여 그에 맞는 저장 알고리즘 적용한다.

Table 4 는 시나리오에서 사용되는 탠저블 인터 페이스들의 태그에 저장된 콘텐츠 정보의 예를 보 여주고 있다. 각 태그 안에 XML 형태로 저장되어 있는 정보는 RFID/NFC 리더기에 인식, 수집되어 다음 장에서 설명할 증강현실 온톨로지로 표현된 후 상호작용 지식정보로 저장되어 활용된다.

3. 탠저블 인터페이스를 활용한 AR 디지털 콘텐츠 상호작용

본 장에서는 Fig. 4와 같이 RFID/NFC 메모리부 터 얻은 정보를 Touch & Share 방식의 상호작용

정보를 지식화하는 방법과 이를 통해 사용자가 원 하는 상호작용 정보를 검색 및 추론할 수 있는 기 술을 구체적으로 살펴볼 것이다. 뿐만 아니라 검 색 및 추론된 상호작용 정보를 통해서 통합된 콘 텐츠를 호출하여 새로운 상호작용 구성이 가능함 을 구체적으로 설명한다.

3.1 AR 디지털 콘텐츠 온톨로지

본 논문에서는 복잡한 디지털 콘텐츠 상호작용 정보들을 효과적으로 처리할 수 있도록 온톨로 지

를 적용하였다. 디지털 콘텐츠 정보는 다양한 특성과 내부적인 속성들이 있다. 예를 들어 디지 털 캐릭터 상호작용은 캐릭터와 그 캐릭터가 가지 고 있는 성격이나 현재의 기분 등과 같은 캐릭터 의 상태와 음악, 날씨, 등장 인물 등과 같은 캐릭 터가 처해있는 환경으로 구성된다. 디지털 제품은 제품이 가지고 있는 3D CAD 모델과 CAD 모델 을 통해 제품의 성능을 시뮬레이션한 결과 등의 기능과 관련된 요소들로 구성된다. 또한 디지털 콘 텐츠와 상호작용을 효과적으로 처리하기 위해서 는 관련 정보들을 체계화시켜야 한다. 따라서 본 연구에서는 온톨로지를 활용하여 복잡한 콘텐츠 정보를 재사용, 상호운용이 가능하도록 체계화시킨다.

디지털 콘텐츠를 체계화시키기 위해서는 먼저 그 콘텐츠가 가지고 있는 구성 요소들을 추출한 다. 구성 요소들을 추출한 후 콘텐츠 구성요소들

RFID/NFC memory 저장될 정보와

RFID 메모리

크기의 상관관계 콘텐츠 정보 운용 방법

RFID 메모리 크기

> 저장될 정보

RFID 메모리에 콘텐츠 정보(정보를 구성하는 속성과 그에 따른 데이터 등)를 모두 저장하여 운용한다.

RFID 메모리 크기

< 저장될 정보

RFID 메모리에 콘텐츠 정보(정보의 각 속성에 대한 인덱스 정보)만 기록 해놓는다.

실제 콘텐츠 정보는 XML 파일형태 로 정보를 운용하여 필요할 때 XML 파일에서 정보를 검색하여 운용한다.

RFID

메모리 없음 모든 콘텐츠 정보를 XML 파일형태 정보로 저장해서 운용하도록 한다.

Table 4 Information in the rewritable RFID/NFC memory

Tangible

Interface 콘텐츠 정보 RFID 메모리 내용 콘텐츠 데이터

콘텐츠 타입 콘텐츠 기하학정보

Au0001wheel.avi CAD

10,10,10,13 콘텐츠 데이터

콘텐츠 타입

SimulateCAD Control

Fig. 4 Query and Inferencing of RFID/NFC tangible- based touch & share interactions

의 동적인 상태변화를 유발하는 규칙들을 명세 한 다. 본 논문에서는 이러한 일련의 단계를 증강현 실 디지털 캐릭터 상호작용 시나리오와 디지털 제 품과 관련된 시나리오들에 적용하였다. 디지털 증 강현실 캐릭터 콘텐츠는 크게 태그가 부착된 탠저 블 상호작용 도구(카드, 인형 등)와 사용자 그리고 시나리오 상호작용 정보의 구성요소로 구분된다.

특히 증강현실 캐릭터 콘텐츠의 특성상 감정에 관 련된 복잡한 요소들을 정의하기 위하여 캐릭터의 성격, 감정, 행동 들에 대한 구체적인 온톨로지를 작성하였다. 또한 디지털 제품의 기계적인 기능과 관련된 CAD 모델, 해석 모델 요소를 온톨로지로 표현하여 디지털 제품 모델의 정보를 표현할 수 있도록 하였다. 온톨로지는 기존의 표준적으로 정 의되어 활용되고 있는 지식 구조를 활용하기 위하 여 사용자에 대한 정보를 표현하기 위하여 사람과 그에 관계 속성들에 대하여 정의된 FOAF(Friend of a Friend) 온톨로지를 활용하였으며, 상호작용 에 필요한 도구(인형, 장비, 도면)에 대한 상위 지 식 개념 정보를 표현하고 있는 CYC(Cycorp) 온톨 로지를 활용하였다. 또한 상호작용에 대한 개념 (어떠한 도구가 어디에 속하다, 사용자는 무엇을

좋아한다) 등 에 대한 상황 및 상호작용과 관련된 지식 정보를 활용하여 지식정보를 표현하기 위하 여 CONON(Context Ontology) 를 상위 클래스를 이용하다. 이를 통해 시나리오 맞게 상세 클래스 를 정의 하고 이를 근간으로 인스턴스들을 작성하 였다. Fig. 5는 도출된 디지털 캐릭터 콘텐츠 시나 리오에 필요한 상호작용 정보를 온톨로지로 체계 화시킨 것의 일부를 보여주고 있다.

3.2 온톨로지 룰 기반 상호작용 정보 검색 및 추론 온톨로지 기반의 디지털 콘텐츠 상호작용 모델 은 상호작용 정보(콘텐츠, 이벤트 등)를 의미에 따라 체계화시킨다. 사용자는 체계화된 상호작용 정보를 통해서 원하는 정보를 검색하고 추론할 수 있어야 한다.

JENA

는 자바로 만들어진 오픈 소스 프레임 워크이다. HP 연구소에서 개발된 온톨로지 관리 시스템으로서, RDF, OWL, SARQL 등의 기능을 제공한다. 본 논문에서는 구축된 온톨로지 모델에 서 정보를 검색하고 추론하기 위하여 SPARQ와 JENA 의 룰(Rule) 엔진을 활용한다.

SPARQL 을 이용하여 사용자가 인식한 RFID/

Fig. 5 AR ontology for physical interfaces and interactions

NFC 탠저블 인터페이스 정보의 조합에 매칭되는 콘텐츠를 검색할 수 있다. 또한, 탠저블 인터페이 스를 활용하여 새로운 콘테츠를 추가하거나 새로 운 동적인 상호작용 정보를 생성할 수 있다. 예를 들어 사용자는 정보를 담고 있는 RFID/NFC가 부 착된 가수의 사진, 영화 OST 앨범, 뮤직비디오를 나타내는 탠저블 인터페이스를 통해 OST 앨범 안 에서 해당 가수가 부른 노래에 해당하는 뮤직비디 오 서비스를 검색하여 콘텐츠에 추가하여 이를 이 용할 수 있다. 또한 디지털 제품의 코드 아이디를 가진 탠저블인터페이스를 이용하여 디지털 제품 콘텐츠가 가지고 있는 기계적 정보들을 검색하여 활용할 수 있다. Fig. 6은 앞서 디지털 제품 콘텐 츠가 가지고 있는 정보를 검색하는 SPARQL과 이 를 통해 정보가 검색된 결과를 보여준다.

JENA 의 추론기능을 통해서 새롭게 추가된 콘텐 츠와 기존 콘텐츠들과의 유기적인 상호작용과 사 용자의 역할에 따른 맞춤형 상호작용을 제공할 수 있다. 예를 들어 감정이 있는 여자 캐릭터가 존재 하는 서비스에서 검색된 뮤직 비디오 콘텐츠가 추 가되면 여자 캐릭터는 뮤직비디오에 반응하여 유 기적인 상호작용을 일으킨다. 이는 여자 캐릭터가 가지고 있는 성격, 현재의 기분, 환경 등의 복잡한 요소에 의해 결정된다. 또한 디지털 제품 모델의 경우 동일한 디지털 모델을 이용하더라도 사용자 의 역할(엔지니어, 디자이너)에 따라서 그에게 필 요한 맞춤형 정보를 제공해 준다.

본 논문에서는 복잡한 정보에 따른 콘텐츠 정보 를 추론하기 위하여 JENA의 룰을 이용한다. Fig.

7은 JENA 룰을 통해서 댄스 뮤직비디오 콘텐츠가 추가되었을 때 캐릭터의 성격과 기분에 따라서 성 격이 외향적인 경우는 춤을 추고 외향적이지 않는 경우는 웃기만 하는 등의 캐릭터의 기분과 성격 등의 복합적인 정보에 따른 상호작용 정보를 추론 한 것을 보여준다. Fig. 8은 디지털 모델이 기계적 정보를 제공하는 규칙에서는 엔지니어 경우에는

구조해석 결과를 제공해주고 디자이너에게는 CAD 디자인정보를 제공해주는 역할을 한다.

3.3 상태머신 기반 서비스 제공

앞서 설명한 온톨로지 결과나 추론 등의 이벤트 들은 실제로 구현된 증강현실 기반의 디지털 캐릭 터 상호작용 디지털 콘텐츠 등과 통합해야 한다.

이를 효과적으로 지원하기 위하여 Fig. 9와 같이 State Machine

을 적용하였다.

이러한 상태머신 템플릿은 온톨로지에 정의된 정보와 개발된 시스템의 API를 통해서 자동으로 만들어진다. 콘텐츠 서비스 제공자는 이러한 템플

Fig. 6 SPARQL based content query Fig. 9 State Machine based content module invocation Fig. 7 JENA rule based content information inference

Fig. 8 JENA rule based digital product information inference

릿을 이용하여 디지털 콘텐츠의 어플리케이션 API 를 호출하는 명세만 기술해주면 콘텐츠 모델과 연 계된 서비스를 제공할 수 있다.

4. 시스템 구현

4.1 시스템 구현을 세부 요소

증강현실 기반의 디지털 캐릭터 콘텐츠와 가상 제품기반의 상호작용 콘텐츠를 구현하였다. 제시 한 시스템은 MFC와 JAVA로 구현하였다. 증강현 실 상호작용 디지털 콘텐츠를 구현하기 위하여 Visual C++을 이용하였으며 증강현실 인터페이스 를 제공하는 ARToolkit

, PTAMM

을 사용하 였다.

또한 RFID/NFC 상호작용처리를 위하여 960 MHz Gen2 보드형 RFID 리더기, 902 MHz Gen2 휴대용 RFID 리더기, NFC 리더기가 장착된 Galaxy 노트2와 노트3 장비를 활용하고 RFID/NFC 태그 는 부착형태의 태그를 구입하여 서비스를 구현하였다.

제안하는 시스템처리를 위한 모듈 구조는 Fig.

10 과 같이 크게 3개의 모듈로 구성되어 있다. 각

모듈은 RFID/NFC 와 디지털 콘텐츠 정보 제공을 위한 AR RFID/NFC Interaction Module, 온톨로지 와 온토롤지 룰을 이용하여 디지털 콘텐츠 상호작 용 정보의 관리, 검색, 추론을 위한 AR Content Interaction Inferencing Module, 상태머신을 이용 하여 다양한 디지털 콘텐츠와 통합하여 상호작용 정보에 따라 콘텐츠를 제어하기 위한 AR Content Providing Module 로 구성되어 있다.

RFID/NFC Interaction Module은 RFID/NFC 태 그와 RFID/NFC 리더기를 효과적으로 관리하고 상호작용과 관련된 RFID/NFC 정보들을 실시간으 로 처리하는 역할을 한다. RFID 태그는 디지털 콘 텐츠에 필요한 부가정보들을 가질 수 있다. 예를 들어, RFID 태그 아이디는 카드나 캐릭터와 같은 콘텐츠 구성 요소 정보와 특정 콘텐츠와 관련된 사용자의 부가적인 정보 등을 가질 수 있다. 이러 한 아이디 종류는 태그가 이용되는 콘텐츠나 응용 도메인에 따라서 다른 의미로 다양하게 부여될 수 있다. 특히, 사용자는 아이디의 종류에 따라 부과 되는 특정 디지털 콘텐츠 정보를 제공받기 위하여 RFID/NFC 태그 메모리에 특정 정보를 기록하고 이를 이용한다. 이는 부가적인 정보처리 없이 간 편하게 필요한 정보들을 운용할 수 있도록 한다.

AR Content Interaction Inferencing Module 은 디 지털 콘텐츠 상호작용 정보를 저장하는 지식 저장 소 역할을 한다. 이를 통해서 콘텐츠와 상호작용 과 관련된 메타데이터를 관리함으로써 상호작용 정보를 체계적으로 관리 유지할 수 있다. 그뿐만 아니라 체계화된 형태의 상호작용 정보를 JENA 와 SPARQL을 토대로 원하는 형태의 정보를 검색 하고 유용한 형태의 상호작용 정보를 추론할 수 있다.

AR Content Providing Module은 실질적으로 콘 텐츠 내부를 활성하고 제어하여 콘텐츠와 통합하 는 모듈이다. 궁극적으로 상호작용 이벤트를 통하 여 전달된 디지털 콘텐츠의 내부 상태를 제어한 다. 특히 이 Module은 디지털 콘텐츠 상태 변화에 따른 디지털 콘텐츠 제어를 위하여 상태머신 시스 템을 이용한다.

제시한 시스템 모듈은 가상의 콘텐츠가 실제 현 실공간에 혼합된 증강현실환경에서 RFID/NFC 리 더기를 통해 RFID/NFC 인터페이스가 부착된 인 터페이스를 Touch & Share함으로써 현실공간에 서 가상의 디지털 콘텐츠와 실재감 있는 상호작용 할 수 있는 특별한 경험을 제공할 수 있다.

Fig. 10 RFID/NFC based tangible interaction system modules

4.2 RFID/NFC 탠저블 인터페이스기반 AR 디 지털 캐릭터 상호작용

2장에서 설명한 시나리오를 토대로 디지털 캐릭 터와 상호작용할 수 있는 탠저블 인터페이스를 구 현하였다. 구현된 탠저블 인터페이스는 캐릭터, 캐 릭터 환경 등의 콘텐츠 정보를 담고 있는 카드, 사 물, 책 등을 이용하였다. 본 시나리오에서는 증강 현실 라이브러리인 ARToolkit과 캐릭터 에니메이 션처리를 지원하는 CAL3D

라이브러리를 통합 하여 증강현실 기반 캐릭터 가시화 및 상호작용 처리가 가능하도록 시스템을 구성하였다. 사용자 는 자신이 상호작용하고자 하는 캐릭터 콘텐츠 정 보가 담긴 카드나 책자를 스마트폰의 NFC 리더로 읽거나 RFID 리더기 위에 올려놓는다. 시스템은 인식된 객체로부터 캐릭터 정보를 획득하여 Fig.

11 같이 대상 객체를 로딩한다.

사용자는 콘텐츠 정보가 담긴 탠저블 인터페이 스를 이용함으로써 다양한 콘텐츠를 검색하여 추 가할 수도 있다. Fig. 12는 사용자가 올려놓은 뮤 직비디오 카드와 무기 카드를 통해 해당 정보에 해당하는 속성 정보를 추출하여 그에 해당하는 뮤 직비디오를 재생시키고 캐릭터에게 무기를 장착 시킨다.

사용자가 추가한 콘텐츠들은 캐릭터 콘텐츠의 내외부적인 상호작용 정보를 결정하는 중요한 요 소가 된다. 따라서 캐릭터의 성격이나 기분에 따 라서 캐릭터가 추가된 콘텐츠에 반응하는데 Fig.

13 는 여자 캐릭터가 인형 선물에 즐거워하는 상호

작용, 여자 캐릭터가 남자 캐릭터가 폭력을 행사 할 때 이에 반응하여 전투를 벌이는 결과를 상호 작용 지식에서 추론하여 결과를 보여준다.

4.3 증강현실 기반의 디지털 제품 상호작용 본 시나리오에서는 비마커 기반의 보다 자연스 러운 형태의 증강현실가시화가 가능한 PTAMM

과 해석결과를 가시화 시킬 수 있는 OPENVRML

라이브러리를 통합하여 증강현실 기반 캐릭터 가 시화 및 상호작용 처리가 가능하도록 시스템을 구 성하였다.

사용자는 자신이 상호작용하고자 하는 디지털 모델 정보를 담고 있는 도면이나 모델 사진을 올 려놓는다. 본 예에서는 자동차의 휠, 자동차 세부 연결 부품인 슬러그, 자동차 핸들 모델의 시뮬레 이션 결과의 변위, 응력 등의 결과를 검토할 수 있 는 결과를 제공해준다. 이를 위해 RFID/NFC 태그 가 부착된 자동차, 도면, 제어, 옵션 토큰 등을 저 작하였다(Fig. 14).

사용자는 디지털 제품 구조해석 등의 시뮬레이 션 결과 등을 검색 및 추론하여 이용할 수 있다.

이를 위해서 모바일 RFID/NFC 리더기를 이용하 여 제어 토큰와 대상 디지털 모델 정보를 담고 있

Fig. 14 Interaction for digital AR contents of automobile component analysis

Fig. 13 Inferencing of AR interaction

Fig. 12 Interactive composition of digital AR contents through AR interaction ontology-based query Fig. 11 RFID/NFC tangible based character loading

는 객체를 인식한다. 지식베이스는 인식된 정보들 간의 관계와 온톨로지 지식 규칙 정보를 맵핑함으 로써 그에 맞는 결과 정보를 추론한다. Fig. 15는 인식된 제어 토큰과 객체에 따라서 제품에 대한 응력, 변위 결과 등의 시뮬레이션 정보를 가시화 해주는 결과이다. 본 예에서는 인식된 디지털 모 델 객체 정보와 대상 디지털 모델의 구조해석 결 과인 변위, 응력 등의 데이터 정보를 인식된 객체 에 증강하여 가시화 해준다. 가시화된 결과를 통 해서 증강현실 환경에서 손쉬운 형태로 현장에서 사용하는 도면 등을 이용하여 결과 등을 직관적으 로 확인함을 볼 수 있다.

4.4 사용성 평가

본 연구에서 제안한 상호작용 기술의 유용성을 알아보기 위해 실험 및 평가를 하였다. 이를 위해 참가자들을 선정하고 구현된 시나리오의 작업들 을 토대로 실험한 후 참가자들의 설문과 인터뷰를 토대로 실험 평가를 하였다.

실험 환경 내부에는 구현된 서비스를 실행시키 는 PC 기반의 시스템과 콘텐츠와 상호작용하기 위 한 RFID 텐저블 도구들이 제공되었다. 구현된 시 스템 사양은 intel Xeon 2.6 GHz(Dual CPUs), 2Gbytes (Memory) 와 Window7(OS) 가 사용되었다.

사용자들에게 앞에서 구현된 시나리오를 토대 로, 상호작용 편의성 대한 평가를 위한 작업을 부 여하고 이를 분석하여 각각의 요소에 대하여 평가

하였다. 마지막으로 제안된 상호작용 방법과 기존 의 연구들과 비교 판단하여 다른 기술과의 차별성 을 분석해 보았다.

본 시스템의 평가를 위해 20살에서 31살 사이의 학생 16명이 참가하였다. 인터페이스에 대한 교육 을 5분간 실시하였다. 본 시스템의 평가를 위한 데 이터는 설문을 통해서 수집한다. 설문은 사용자들 에 부여된 작업 후 설문의 각 항목에 체크하도록 하여 데이터를 수집한다. 또한 인터뷰를 통해서 편 의성 측면에서 그들의 의견을 참조하여 결과를 분 석하는데 이용하였다.

제안한 상호작용 기술을 기존 연구들과 비교하 였다. 참가자 대부분이 상호작용 편의성 측면에서 기존의 연구들에 비해서 만족스럽다는 응답을 보 여줬다(Table 5).

설문과 인터뷰를 통한 분석결과 증강현실 공간 에서 종래에 일반적으로 사용하던 패들, 블록 등 의 도구들은 마커의 인식문제나 상호작용을 위한 메뉴들의 효율적인 표현이 어렵고 메뉴의 접근을 위한 과정이 어렵기 때문에 전체적으로 불편하다 는 의견이 많았다. 제안한 방법의 경우 인식률이 높고 직관적으로 원하는 기능이 있는 태그를 이용 함으로써 접근성이 높아 편의성 측면에서 만족스 럽다는 평이 많았다. 하지만 텐저블 인터페이스를 조합함으로써 기능들이 복잡해질 때 직관성이 떨 어진다는 의견도 있었다.

5. 결 론

본 논문에서는 사용자가 증강현실 환경하에서 NFC/RFID 탠저블을 활용하여 디지털 콘텐츠를 손쉽게 상호작용 할 수 있는 새로운 방법을 제안 하였다. NFC/RFID 인터페이스의 동적 메모리를 이용하여 다양한 디지털 콘텐츠 정보를 운용하고 활용할 수 있는 방법을 설명하였다. 또한 다수의

through RFID/NFC based tangible interactions

Table 5 Usability study

비교한 방법 비교 항목

상호작용 편의성

1 AR 패들 2.5

2 AR 블록 1.8

4 제안하는 방법 3.7

1점: 매우 낮은, 2점: 약간 낮은, 3점: 보통, 4점: 만족, 5: 매우 만족

RFID 탠저블 인터페이스 인식시켰을 때 인식된 콘테츠들의 관계뿐만 아니라 기존에 저장되었던 상호작용 정보간의 관계를 추론할 수 있다. 특히, JENA 와 SPARQL을 활용하여 온톨로지 기반 상 호작용 지식처리 기술을 개발하였다. 따라서 사용 자는 RFID 탠저블 도구 조합에 따라 원하는 콘텐 츠나 정보를 검색, 추론하여 맞춤형 상호작용을 경 험할 수 있다.

하지만 RFID/NFC 탠저블 인터페이스 특성상 제공하는 기능이 증가하면 그에 비례하여 토큰 등 의 인터페이스가 증가하기 때문에 복잡성을 높이 고 불편함을 야기시킬 수 있다. 이를 해결할 수 있 도록 터치 및 제스처 등의 상호작용 방법을 통해 보다 직관적으로 사용할 수 있도록 확장되어야 한 다. 또한, 사용성 평가를 위한 추후 연구도 필요하다.

감사의 글

본 연구는 한국과학기술정보연구원, 슈퍼컴퓨팅 기반 Modeling 및 Simulation 활용체제 구축과 한국 연구재단 일반연구자지원사업(2012R1A1A2004189) 에 의해 지원되었습니다.

References

1. Kim, K.H., Kim, J.H. and Son, J.S., 2007, Mobile Mixed Reality Technology, ETRI Journal, 22(4), pp.96-109.

2. Kim, D.G., 2007, IPTV Technology, KT Journal, 24(4), pp.49-58.

3. Jo, D.H., 2007, WEB 2.0 with UCC, Internet Information Journal, 8(2), pp.27-33.

4. Lee, J.Y., Seo, D.W. and Rhee, G.W., 2007, Ubiquitous Car Maintenance Services using Aug- mented Reality and Context Awareness, Society of CAD/CAM Engineers, 12(3), pp.171-181.

5. Lee, J.Y., Rhee, G.W. and Nam, J.S., 2008, Authoring Personal Virtual Studio using Tangible Augmented Reality, Society of CAD/CAM Engi- neers, 13(2), pp.77-88.

6. Hinske, H. and Langheinrich, M., 2007, An RFID-based Infrastructure for Automatically Determining the Position and Orientation of Game Objects in Tabletop Games, In: Carsten Magerkurth, Carsten Rcker (Eds.): Concepts and Technologies for Pervasive Games – A Reader for Pervasive Gaming Research, 1, pp.311-336.

7. Weiser, M., 1991, The Computer of the 21st

Century, Scientific American, pp.66-75.

8. Florerkemeier, C. and Lampe, M., 2004, “Issues with RFID usage in Ubiquitous Computing Applications, LNCS, 3001, pp.188-193.

9. Schwieren, J. and Vossen, G., 2007, Implement- ing Physical Hyperlinks for Mobile Applications using RFID Tags, IDEAS, pp.154-162.

10. Jeong, P.S. and Oh, Y.H., 2007, Design of RFID Tag Data Format for Books Information Man- agement and Implementation of System, KITE Journal of electronics Engineering, 44, pp.1-7.

11. Africano, D., Berg, S., Lindbergh, K., Lundholm, P., Nilbrink, F. and Persson, A., 2004, Designing Tangible Interfaces for Children's Collaboration, Proc. of CHI EA ‘04, pp.853-868.

12. Kim, J.H. and Kim, M.H., 2006, Display Auto- matic Activation and Selective Contents Offer using RFID, Korea Computer Congress, 33, pp.

1-7.

13. Iwasaki, S., Hirakawa, Y., Mase, H., Tokunaga, E., and Nakajiman, T., 2006, Towards Computer- supported Face-to-face Knowledge Sharing, Proc.

of CHI EA ‘06, pp.911-916.

14. Sokoler, T., Edeholt, H., and Johansoon, M., 2002, VideoTable: A Tangible Interface for Col- laborative Exploration of Video Material during Design Sessions, Proc. of CHI EA ‘02, pp.656- 657.

15. Hinske, S. and Langheinrich, M., 2008, RFIDice Augmenting Tabletop Dice with RFID, Journal of Virtual Reality and Broadcasting, Vol. 5, No.

4, pp. 4-14, 2008

16. Ishii, H. and Ullmer, B., 1997, Tangible Bits:

Towards Seamless Interfaces between People, Bits and Atoms, Proc. of CHI ’97, pp.234-241.

17. Zang, T. and Fan, Y., 2007, Complex Event Processing in Enterprise Information Systems based on RFID, Enterprise Information Systems, 1, pp.3-23.

18. Wang, F. and Liu, P., 2005, Temporal Manage- ment of RFID Data, Proc. of the 31

International Conf. on Very Large Databases, pp.1128-1139.

19. Lai, E.M., 2003, An Analysis of the Department of Defense Supply Chainpotential Applications of the Auto-ID Center Technology to Improve- ment Effectiveness, BS Thesis, MIT.

20. Strang, T. and Linnhoff-Popien, C., 2004, A context modeling survey, Proc. of the 1st Inter- national Workshop on Advanced Context Mod- eling, Reasoning and Management.

21. Jena, 2006, http://jena.sourceforge.net.

22. Drumea, A. and Popescu, C., 2004, Finite State

Machines and their Applications in Software for

Industrial Control, Proc. of the 27th International

Spring Seminar on Electronics Technology, pp.

25-29.

23. ARToolkit, 2005, http://artoolkit.sourceforge.net.

24. Castle, R.O. and Murray, D.W., 2011, Keyframe- based Recognition and Localization during Video-

rate Parallel Tracking and Mapping, Journal of Image and Vision Computing, 29(9), pp.524-532.

25. CAL3D, 2010, http://home.gna.org/cal3d/.

26. OpenVRML, 2005, http://openvrml/org.

서 동 우

2006년 전남대학교 산업공학과 학사 2008년 전남대학교 산업공학과 석사 2013년 전남대학교 산업공학과 박사 2013년~현재 한국과학기술정보연구 원 선임연구원/가상설계분석실 관심분야: VR/AR based post-pro-

cessing, Digital Product Design, Collaboration Interaction, Service Strategy

이 재 열

1992년 포항공과대학교 산업공학과 학사

1994년 포항공과대학교 산업공학과 석사

1998년 포항공과대학교 산업공학과 박사

1998년~2002년 한국전자통신연구 원 선임연구원

2003년~현재 전남대학교 조교수/부 교수/교수

관심분야: Tangible User Interface for Collaboration and Interaction, VR/AR, Mobile HCI, Digital Product Design and Evaluation, Semantic Patent Analysis

김 재 성

1997년 홍익대학교 산업공학과 학사 1999년 포항공과대학교 산업공학과

석사

2003년 포항공과대학교 산업공학과 박사

2003년~현재 한국과학기술정보연구 원 책임연구원/가상설계분석실 관심분야: Digital Product Design,

CAE, Technology Strategy