A Study on the Implementation of Nanta Music using a Haptic Device in Virtual Reality

논문 2011-4-18

가상현실에서 Haptic 디바이스를 활용한 난타 음악 구현에 관한 연구

A Study on the Implementation of Nanta Music using a Haptic Device in Virtual Reality

고영혁

Young-Hyuk Ko

요 약 본 논문은 난타 음악과 상호작용하는 햅틱 포스 피드백기술의 활용 가능성을 조사했다

.

VR

.

VR

.

Matlab/Simulink

Handshake

proSENCE Virtual Touch Toolbox

.

x, y, z

3D

.

.

3D

Haptic

.

,

VR

.

Abstract This paper investigates the possibility of exploiting haptic force-feedback technology for interacting with Nanta music. We use VR technologies including touch processing technologies and haptic devices to offer touch of cylinder objects and cup object to users. Haptic device is used to implement touch model in VR space.

Matlab/Simulink and proSENCE Virtual Touch Toolbox of Handshake Inc. for experiment, are used as programing tools. Function needed to describe the movement of x, y, and z axis respectively are applied to delineate the natural movement of water in cup object modeled with 3D. A certain amount of water in cup object has the difference of sounds. In experiment, to perceive the appearance of 3D object by touch and to feel the tactile by touch are conducted with the effect of sound on Haptic perception. We also verify that it is possible to develop games or contents in VR space by using point

Key Words : Omni, Haptic, VRML, VR World, Nanta Music

*종신회원, 동신대학교 정보통신공학과 접수일자 2011.6.23, 수정일자 2011.7.30 게재확정일자 2011.8.12

Ⅰ. 서 론

햅틱스(Haptics) 기술은 사람의 오감 중에서 촉감이라 는 채널을 통해 컴퓨터/기계와 대화할 수 있는 기술들에 관한 연구 분야를 말한다.

기존의 HCI(Human Computer Interface/Interaction)에서는 주로 시각과 청 각을 중심으로 연구되어 왔고 상대적으로 촉각을 통한

인터페이스는 최근 들어 많은 주목을 받고 있다. 2005년 가트너 그룹의 HCI에 관한 보고서(Hyper Cycle for HCI) 에서 햅틱 기술은 태동기를 지나서 발전 단계에 있는 유 망한 기술로 분류하였다. 또한 세계적인 경제전문지 포 브스(Fobes)는 2006년 초에 발표한 “앞으로 인류의 미래 의 삶을 바꿀 10가지(10 things that will change the way we live)"중에 햅틱 기술을 포함하였다.

현재의 보편화된 상호작용 수단은 모니터 화면과 스

피커에 의한 시각과 청각의 인터페이스이지만, 인간이

현실에서 느끼는 지각 능력은 시/청각에만 국한되지 않

고, 물리적 힘에 관한 상황도 많기 때문에, 인터페이스에 있어서 역감과 촉감을 통한 상호 작용의 효율화라는 측 면에서 질 높은 가상환경 구축에 중요한 도구로 활용될 수 있으며, 게임과 의료 방면에서는 이미 보편화되고 있 는 실정이다. 이외에도 역감과 촉감을 통한 인터페이스 는 시각과 청각에 의한 인터페이스가 용이하지 않은 장 애인들을 위한 대안적인 인터페이스로 사용될 수 있다.

본 논문에서는 난타 음악과 상호작용하는 햅틱 포스 피드백기술의 활용 가능성을 조사하고, Matlab을 이용하 여 사운드를 링크시킨 난타 가상환경에서 햅틱 디바이스 와 연동한 객체 포인터로 촉감 표현 모델을 제안하고 실 험하였다.

Ⅱ. 시스템구성

1. 촉각시스템의 기본 구성

일반적으로 가상환경과의 촉감상호작용 시스템은 그 림 1과 같이 조작자, 햅틱장치, 제어기 그리고 가상환경 으로 이루어진다.

그림 1. 촉감시스템의 기본 구성

Fig. 1. Basic configuration of touch system

가상 환경의 구성은 여러 객체에 대해 촉감정보를 제 공하기 위한 햅틱 제시 알고리즘과 시각정보를 제공하기 위한 그래픽 제시 알고리즘 및 청각정보를 생성하는 청 각제시 알고리즘을 포함한다. 그리고 필요에 따라 동역 학 및 유한 요소 해석 등을 담당하는 실시간 시뮬레이션 엔진을 포함하기도 한다. 제어기는 햅틱장치를 구동하기 위한 함수들을 포함하며, 일반적으로 액츄에이터와 앤드 이펙트의 관계를 결정하는 기구학 연산 및 전체촉감 상 호작용 시스템의 안정성을 담보하고 성능을 최대화하기 위한 제어 알고리즘 등으로 구성된다.

2. Omni-Device

그림 2의 Omni-Device는 기본적으로 3 by 1의 vector 값을 출력으로 하고 데카르트 좌표계를 기본으로 하는 뉴튼단위의 힘을 입력 받을 수 있다.

조작자가 조정한 컨트롤러의 각 속성값은 VR에 생성된 객체에 이동과 자 세에 대한 제어값을 넘기며 Omni-Device에서 들어오는 벡터값에 대하여 충돌값(Collsion)을 발생시키는데, 이때 발생된 충돌값은 다시Omni-Device로 FeedBack 된다.

그림 3은 이러한 Omni-Device의 속성을 나타내는 Matlab에서의 블록이다.

그림 2. 센서블사의 Omni-Device Fig. 2 Omni-Device of Sensable Inc.

그림 3. Omni-Device 블록 Fig. 3. Omni-Device block

Omni-Device의 블록속성에서 Command 입력은 디바 이스에 힘의 명령을 주기 위해서 사용되고, Cartesian Position 출력은 디바이스의 Cartesian 위치정보를 주기 위해 사용된다. 그리고 Rotation 출력은 기본 프레임에 대해서 디바이스 end-effecter의 방향을 주기 위해서 사 용하고, Buttons는 디바이스의 버턴 상태를 출력으로 사 용한다.

표 1. Omni-Device의 속성

Table 1. Property of Omni-Device

구분 속성 Vector 값

제어 명령

Command 3by1 Vector 값 입력

Cartesian Position 3by1 Vector 값 출력

Rotation 4by1 Vector 값 출력

Buttons 2by1 Vector 값 출력

Matlab/Simulink를 이용한 Haptic 모델 설계는 Omni- Device를 이용한 입출력을 관장하는 디바이스 블 록, VRML을 구현하는 HVR(Haptic Vritual Reality )-World 그리고 가상환경으로의 객체 컨트롤을 위한 인 터페이스 블록으로 구성되어 있다.

OmniDevice 블록에서 객체의 초기화와 운동을 위한 파라메터는 표 1과 같이 정의하였다.

Ⅲ. 원기둥 객체의 난타 구현

1. 원기둥 객체구현을 위한 HVR-World

HVR World는 그래픽 렌더링과 햅틱 디바이스, 그리 고 Simulink 데이터를 활용해서 가상의 세계를 새롭게 한다. 그림 4는 HVR-World의 속성을 나타내는 Mathlab 에서의 블록이다.

그림 4. 웡기둥 객체들의 HVR-World 블록

Fig. 4. HVR-World block of cylinder objects

기본적으로 블록은 2개의 입력포트(enable, Device Pos)와 2개의 출력 포트(info, Force)로 표현되고, 추가적 인 포트는 사용자 인터페이스로부터 추가하여 사용할 수 있다. 만약 영값을 가진 신호가 enable에 인가된다면 그 래픽 렌더링과 햅틱 디바이스는 각각 disable된다. 따라 서 enable 포트에 1값을 연결하고 있다. Device Pos 입력 포트는 햅틱 입력 디바이스의 3차원 위치값을 얻는데 활 용한다. info 출력 포트는 디버깅 정보를 제공한다. Force 출력 포트는 이 블록에서 나타내고 있는 객체가 가지고 있는 햅틱 입력 디바이스의 상호작용의 힘을 출력으로 활용한다.

사용자 인터페이스로부터 추가하여 사용한 출력 포트 에서 Collision TagID 포트는 햅틱 입력 디바이스가 객체 와 충돌하는 장면에서 객체를 확인한다. 햅틱 객체가 터 치하는 것이 없다면 출력은 영의 값을 갖는다.

CollisionPoint 포트는 햅틱 디바이스 포인터가 객체에 충돌하여 침투하지 않도록 한다.

따라서 이번에 활용된 HVR World는 2개의 입력포트 (enable, Device Pos)와 4개의 출력 포트(info, Force, Collision TagID, CollisionPoint)를 사용하여 구현했고, 특히 출력 포트는 Force 포트와 CollisionPoint 포트를 활 용하여 햅틱 디바이스 포인터가 객체에 충돌하여 침투하 지 않도록 함으로써 촉감을 갖도록 구현했다.

2. 객체와의 상호작용

HVR-World는 난타를 표현하기 위해 네 개의 서로 다 른 원기둥을 악기 객체로 표현하였다. 그림 5는 객체와 조작자의 포인터를 캡처한 것이다.

그림 5. 악기 객체와 터치 포인트

Fig. 5. Musical instrument object and touch point

각각의 악기 객체에는 서로 다른 사운드를 링크시켰 으며, 앞에서 설명한 Omni-Device와 악기 객체는 조작 자가 움직이는 포인터와의 충돌을 통하여 햅틱값을 발생 시킨다. Omni-Device에서 출력된 데카르트 좌표계를 이 용한 포인터의 포지션값이 반영되는 VR의 객체는 객체 와 포인터간의 충돌을 통하여 댐핑효과가 일어남과 동시 에 각각의 악기 객체에 링크된 사운드를 발생 시킬 수 있 다.

HVR-World에서 악기 객체의 위치 좌표값은 표 2와

같다. 그림 6은 동작하고 있는 시스템에서의 악기 객체와

조작자의 포인터의 충돌을 보여주는 것으로 조작자의 포

인터가 악기 객체의 위치 좌표값 범위 안에서 충돌이 일

어나도록 하였으며, 각 악기 객체와 링크된 사운드 및 악

기 객체를 치는 힘의 크기에 따라 조작자에게 피드백되

는 촉감을 확인할 수 있도록 하였다.

표 2. 악기 객체의 좌표 값

Table 2. Coordinates value of the musical instrument object

구 분 X축 Y축

객체 1 -9 ∼ -7 -2.5 ∼ -2.2

객체 2 -5 ∼ -1.9 -2.1 ∼ -1.9 객체 3 -1.1 ∼ 2.3 -1.55 ∼ -1.4 객체 4 3.77 ∼ 7.2 -1.55 ∼ -0.9

그림 6. HVR-World에서 악기 객체의 X-Y 좌표 Fig. 6. X-Y coordinates of the musical instrument

object in HVR-World

그림 7은 Mathlab에서 악기 객체의 X-Y축의 좌표값 을 비교하여 사운드를 동작시키기 위한 블록 속성이다.

그림 7. X-Y축 좌표값의 비교 블록 속성

Fig. 7. Comparative black property of X-Y coordinates value

그림 7에서 ①은 X축의 좌표값, ②는 Y축의 좌표값을 비교하기 위한 블록 속성이다. ①과 ②의 좌표값 크기를 만족하는 포인터가 첫 번째 악기 객체에 터치될 때 촉감 을 느기도록 하고, 첫 번째 악기에 해당하는 사운드가 재

생되도록 하였다. 그림 8은 Omni-Device의 값이 HVR- World에서 50배 증폭시켜 입력되고, 객체의 터치 힘에 의한 값에 대해 피드백 되어지는 블록 속성이다.

그림 8. Omni-Device와 HVR World 연동 블록 속성 Fig. 8. The link black property of Omni-Device

and HVR-World

그림 9는 HVR-World와 Omni-Device가 연동되어 조 작자가 난타를 구현하는 모습이고, HVR-World에서 조 작자의 포인터가 악기 객체의 X-Y축 좌표값 범위내에서 Z축으로 힘을 가했을 때, 악기 객체에 링크된 사운드 및 힘의 크기에 대해 피드백되는 촉감이 달라지도록 하였다.

그림 9. Omni-Device와 원기둥 VR 객체의 연동 Fig. 9. The link of Omni-Device and cylinder VR

object

Ⅳ. 컵 객체의 난타 구현

1. 컵 객체 구현을 위한 HVR-World

그림 10은 컵 객체의 VR-World 속성을 나타내는

Mathlab에서의 블록이다.

그림 10. 컵 객체의 HVR-World 속성 Fig. 10. HVR-World block of cup object

사용자 인터페이스로부터 추가하여 사용한 입력 포트 에서 T1.translation, T1.scale 포트는 그림 11의 HVR UI 블록과 연계하여 사용자가 컵안의 물높이를 자유자재로 조절할 수 있도록 설정하였다. 특히 사용자가 물높이를 조절함에 있어 컵안의 물이 컵의 바닥에 기준을 주어 물 의 위치와 높이를 같이 조절할 수 있도록 그림 12와 같이 VR 컨트롤러를 설정하였다.

그림 11. HVR-UI 속성 Fig. 11. HVR-UI property

VR 컨트롤러는 X, Y, Z축의 위치이동과 크기를 손쉽 게 조절할 수 있도록 슬라이더(Slider)를 활용하여 디자 인 하였다.

그림 12. VR-Controler Fig. 12. VR-Controler

HVR-World에서 컵 객체와 조작자의 포인터의 터치 좌표는 그림 13에서와 같이 좌표값(X축:-0.4~0.5, Z 축:-0.45~0.28)을 설정하여 컵 옆면의 일정 위치에서의 터 치가 이루어 졌을 때에 동작하도록 설정하였다.

그림 13. X-Z축 좌표값의 비교 블록 속성

Fig. 13. Comparative black property of X-Z coordinates value

또한 물 높이에 따른 다른 사운드를 사용자에게 제공 하기 위하여 그림 14와 같이 물 높이에 따른 조건을 블록 으로 설정하였다. 이 두 가지의 조건이 만족되는 좌표값 안에서 조작자의 포인터가 컵과 접촉이 되면 링크된 사 운드가 재생이 되며, 조작자가 가한 힘의 크기에 따라 조 작자에게 피드백 되는 촉감을 확인할 수 있도록 하였다.

그림 14. Y축 좌표값의 비교 블록 속성

Fig. 14. Comparative black property of Y coordinates value

그림 15. Omni-Device와 컵 VR 객체의 연동

Fig. 15. The link of Omni-Device and cup VR object

그림 15는 그래픽 렌더링에 의해 VR환경에 물이 담긴 컵을 재현하고 조작자가 Omni-Device를 조작하여 사운 드와 연동된 포인트의 촉감을 표현하였다.

Ⅴ. 결 론

햅틱 디바이스와 컴퓨터 그래픽스 기술을 연결하는 중요한 기술인 촉감처리기술은 진일보한 햅틱 디바이스 들의 등장과 범용시스템의 고도화에 힘입어 점차 활용영 역과 기능이 업그레이드되고 있다.

본 논문에서는 Matlab을 이용하여 사운드를 링크시켜 난타 가상환경인 HVR-World을 구성하고 햅틱 디바이 스인 Omni_Device를 연동하여 VR공간에서 객체 포인터 로 촉감을 표시하는 모델을 제안하고 실험하였다. 실험 에서는 원기둥 객체들을 각각의 악기 객체로 표현되도록 서로 다른 사운드와 링크시켜서 난타를 재생하였고, 3D 객체인 컵 안의 물 높이를 컨트롤러를 이용하여 조작자 가 임의로 조절하며 객체를 터치함으로써 가상 환경에서 시각을 비롯한 촉감 및 청각을 느낄 수 있도록 표현되었다.

HVR-World에서 컵 객체와 조작자의 포인터의 터치 좌표을 설정하여 컵 옆면의 일정 위치에서의 터치가 이 루어 졌을 때에 동작하도록 설정하였다. 또한 물 높이에 따른 다른 사운드를 사용자에게 제공하기 위하여 물 높 이에 따른 조건을 블록으로 설정하였고, 조작자의 포인 터가 컵과 접촉이 되면 링크된 사운드가 재생이 되며, 조 작자가 가한 힘의 크기에 따라 조작자에게 피드백 되는 촉감을 확인할 수 있었다.

앞으로 세밀한 그래픽 렌더링과 위치 제어를 통해 HVR-World를 구성하고, 햅틱 장비를 이용한 촉감 기술 을 이용하여 더욱 발전한 시각적, 청각적 및 촉각적 효과 를 느낄 수 있는 현실감 있는 컨텐츠 개발을 하도록 적용 할 예정이다.

참 고 문 헌

[1] Sensable Technology, http://www.sensable.com.

[2] Toshio Asano et al., "Surveys of Exhibition Planners and Visitors about a Distributed Haptic Museum," in Proc. ACE 2005, pp. 246-249, 2005.

[3] D. Gaw, D Morris., and K. Salisbury, "Haptically Annototated Movies: Reaching Out and Touching the Silver Screen, "In Proc. int. Sysmp.

Haptic Interfaces for Virtual Environment and Teleoperator Systems, pp. 287-288, Mar.2006 [4] 류제하,“촉감기술의 핵심요소기술 및 응용”, 대한기

계학회, 기계저널 제47권, 제2호, 2007. 2,pp. 44 ~ 49 [5] Handshake proSENSE Virtual Touch Toolbox,

http://www.handshakevr.com.

[6] Handshake VR Inc., "Handshake proSENSE Virtual Touch Toolbox v1.3 User Guide", Copyright 2001-1005, patent pending.

[7] 김현곤, 이영훈, “다중 이미지 기반의 촉감 모델링 방법”,한국정보기술학회논문지 제8권 제7호, 2010.

7, pp163~169

[8] US Patent-20060129719-System and Method for Ordering Haptic Effects

저자 소개

고 영 혁(종신회원)

∙1981년 3월-1983년 3월 건국대학교 전자공학과 조교

∙1994년 7월-1995년 6월 리혼대학 전 자공학과 Post-Doc

∙2004년 9월-2009년 11월 디지털 영 상매체 기술혁신센터 소장

∙1990년 3월-2010년 현재 동신대학교 정보통신공학과 교수

<주관심분야 : 소형 안테나, RF회로설계, RFID/USN, 지능형

제어기술>