증강현실 기반 휴대용 전자제품 설계품평을 위한 사실적 시각화 및

2012년 8월

박사학위 논문

증강현실 기반 휴대용 전자제품 설계품평을 위한 사실적 시각화 및

감각형 상호작용 방안

조선대학교 대학원

산업공학과

문 희 철

증강현실 기반 휴대용 전자제품 설계품평을 위한 사실적 시각화 및

감각형 상호작용 방안

Realistic Visualization and Tangible Interaction

for Augmented Reality Based Design Evaluation

of Digital Handheld Products

2012 년 8 월 24 일

조선대학교 대학원

산업공학과

문 희 철

증강현실 기반 휴대용 전자제품 설계품평을 위한 사실적 시각화 및

감각형 상호작용 방안

지도교수 박 형 준

이 논문을 산업공학 박사학위신청 논문으로 제출함

2012 년 4 월

조선대학교 대학원

산업공학과

문 희 철

문 희철의 박사학위논문을 인준함

위원장 조선대학교 교수 김 종래 인 위 원 조선대학교 교수 박 형준 인 위 원 조선대학교 교수 신 영숙 인 위 원 전남대학교 교수 이 재열 인 위 원 광주과학기술원 교수 이 성희 인

2012 년 6 월

조선대학교 대학원

- i -

목 차

목차 ···ⅰ 그림 목차 ···ⅲ 표 목차 ···ⅵ ABSTRACT ···ⅶ

제 1 장. 서 론

···1

1.1 연구 배경

···1

1.2 연구 범위 및 목적

···3

제 2 장. 기존연구 고찰

· ·· · ··· · · ·· ·· · ·· · ·· · ·· ·· · ·· · ·· · 5

2.1 가상 디자인 품평

···5

2

.1.1 VR 기반 디자인 품평 ···6

2

.1.2 AR 기반 디자인 품평 ···9

2.2 제품 시각화

···13

2.3 제품 사용자간 상호작용

···16

제 3 장. 증강현실 기반 사실적 시각화 방안

···23

3.1 손가림 현상 해결 방안

···23

3.2 손 영역 검출 방안

···26

3.3 손 색상 정보 획득 방안

···30

3.4 사실적 시각화 방안 구현

···32

제 4 장. 증강현실 기반 감각형 상호작용 방안

···34

4.1 감각형 오브젝트 제작

···35

4.1.1 제품용 감각형 오브젝트 ···35

- ii -

4.1.2 포인터용 감각형 오브젝트 ···36

4.1.2.1 터치펜형 ···37

4.1.2.2 손가락 고정구형 ···38

4.2 상호작용 원리 및 구현

···45

4.3 상호작용 정확도 평가

···49

4.3.1 실험 환경 및 방법 ···50

4.3.2 실험 결과 및 분석 ···53

제 5 장. 증강현실 기반 휴대용 전자제품 디자인 품평

···56

5.1 디자인 품평 시스템 구현

···56

5.2 적용 및 사용성 평가

···60

5.2.1 시스템 적용 ···60

5.2.2 사용성 평가 ···65

제 6 장. 결론

···74

참고 문헌 ···78

감사의 글 ···91

- iii -

그 림 목 차

그림 1. 가상 디자인 품평 예 ···6

그림 2. 도요타 자동차 Yaris 의 3D 엔진 모델링 예 ···7

그림 3. Benz 자동차 SL-CLASS 의 3D 외관 모델링 예 ···8

그림 4. 하드웨어와 소프트웨어를 접목시킨 제품 디자인 품평 예 ···10

그림 5. 주변 환경의 정보를 이용한 가상 오브젝트 크기 인지 예 ···11

그림 6. 제품 속성의 변화를 품평 할 수 있는 예 ···11

그림 7. 증강현실 기반 감각형 상호작용 예 ···12

그림 8. Head Mounted Display ···14

그림 9. CAVE 시스템 ···15

그림 10. 데스크탑형 가상현실 시스템 ···16

그림 11. PHANTOM 의 햅틱 디바이스 ···18

그림 12. 데이터 글러브와 모션 트래커 ···19

그림 13. 감각형 인터페이스를 위한 툴킷들 ···20

그림 14. 증강현실 기반 감각형 인터페이스 ···22

그림 15. 증강현실 손가림 현상 ···23

그림 16. 손 가림 현상 해결을 위한 전체 과정 ···24

그림 17. 최소 사각형 영역 생성 ···25

그림 18. YCbCr 칼라 모델을 이용한 손 영역 추출 ···28

그림 19. 손 영역 이진화 및 평활화 ···29

그림 20. 손 가림 현상 해결 ···30

그림 21. 사용자의 정확한 손 색상 영역을 얻기 위한 Cb, Cr 값의 조절 ···31

- iv -

그림 22. 손가림 현상 해결 과정 ···32

그림 23. 손가림 현상 해결 적용 ···33

그림 24. 증강 현실 기반 감각형 상호작용의 주요 과정 ···35

그림 25. 게임폰의 제품용 감각형 오브젝트 ···36

그림 26. 터치펜형 감각형 오브젝트 ···37

그림 27. 손가락 고정구의 설계대안 2 가지 ···40

그림 28. 손가락 고정구 대안 A 주요 형상치수 ···42

그림 29. 손가락 고정구 대안 B 주요 형상치수 ···42

그림 30. 손가락 고정구 대안 A ···44

그림 31. 손가락 고정구 대안 B ···44

그림 32. 포인터와 제품용 오브젝트 간의 상호작용 ···46

그림 33. 터치펜형 포인터 P 의 계산 ···47

그림 34. 손가락 첫번째 마디 길이(l1) ···47

그림 35. 고정구 대안 A 의 P 계산 ···48

그림 36. 고정구 대안 B 의 P 계산 ···49

그림 37. 증강현실 기반 가상 디자인 품평 테스트베드 ···51

그림 38. 버튼 선택 작업 ···52

그림 39. 버튼 선택 작업의 2 가지 임계값 ···52

그림 40. 버튼 크기별 선택 소요시간 ···54

그림 41. 버튼 크기별 잘못 선택한 횟수 ···54

그림 42. 제품 기하모델 생성 ···57

그림 43. 제품의 버튼들 ···57

그림 44. 상태전이 ···58

- v -

그림 45. 디자인 품평 프로세스 ···59

그림 46. 테스트베드 환경 ···60

그림 47. 터치펜형 감각형 오브젝트를 이용한 제품별 디자인 품평 ···62

그림 48. 고정구 대안 A 를 이용한 제품별 디자인 품평 ···63

그림 49. 고정구 대안 B 를 이용한 제품별 디자인 품평 ···65

그림 50. 손가림 현상 해결에 대한 설문 평가 결과 ···66

그림 51. MP3 Player 정량적 사용성 평가 도표 ···69

그림 52. 게임폰 정량적 사용성 평가 도표 ···69

그림 53. PMP 정량적 사용성 평가 도표 ···70

그림 54. 설문 평가 결과 ···71

- vi -

표 목 차

표 1. 수행된 연구 내용 ···4

표 2. 손가락 고정구 요구사항 ···38

표 3. 손가락 고정구 설계변수들 ···41

표 4. 포인터 종류에 따른 소요시간 및 오류횟수에 대한 ANOVA 결과 ···55

표 5. 손가림 현상 해결에 대한 설문 평가 항목 ···66

표 6. 포인터 오브젝트에 대한 사용성 평가 작업 내용 ···68

표 7. 포인터 오브젝트에 대한 사용성 평가 설문 문항 ···71

표 8. 포인터 종류에 따른 제품별 Task 시간에 대한 ANOVA 결과 ···72

표 9. 포인터 종류에 따른 설문 문항별 점수에 대한 ANOVA 결과 ···72

표 10. 3 가지 포인터에 대한 선호요소들과 선호도 ···73

- vii -

ABSTRACT

Realistic Visualization and Tangible Interaction for Augmented Reality Based Design Evaluation

of Digital Handheld Products

Hee Cheol Moon Advisor: Prof. Hyungjun Park, Ph.D.

Department of Industrial Engineering Graduate School of Chosun University

Virtual reality (VR) techniques can be combined to support virtual prototyping of digital handheld products, but conventional VR-based prototyping still suffers from lack of reality and presence in spite of a significant amount of time and effort, and costly investment in equipments necessary to construct a decent virtual environment. Moreover, it is not easy to acquire tangible user interaction with low cost VR devices. Recently, augmented reality (AR) approaches have been applied as alternatives for developing VP solutions to overcome the shortcomings of VR based prototyping.

This dissertation presents a new approach to AR-based realistic visualization and tangible interaction for virtual prototyping of digital handheld products, which does not require high cost devices, makes the user experience product design with ease, and provides a feeling like manipulating products with human hands.

- viii -

Especially, it gives focus on two issues on realistic visualization and tangible interaction with sense of touch.

First, to realize realistic visualization, we have investigated and solved the problem of hand region occlusion occurring in a typical AR environment. In AR environments for virtual prototyping, the user interacts with virtual products by manipulating tangible objects with his or her hands, but the user often encounter awkward situations in which his or her hands are occluded by augmented virtual objects, which reduces both immersion and ease of interaction. To solve this problem, we first detected hand region in a real image and refined the rendered image of the virtual object by subtracting the hand region from the rendered image.

Then, we superimpose the refined image onto the real image to obtain an image in which the occlusion is resolved.

Second, to realize tangible interaction between a user and a product in AR environment, we use two types of tangible objects: one is a RP model for the product, and the other is a paper model or a finger fixture for the pointer. The product type tangible object is used to acquire the position and orientation of the product. Combined with the product type tangible object, the pointer type tangible object is used as a tool to create the human machine interaction (HMI) events. The user creates HMI events by touching specified regions of the product type tangible object with pointer type tangible object.

Finally, we implemented a product design evaluation system based on the proposed approach to AR-based realistic visualization and tangible interaction, and performed a preliminary user study to investigate the usefulness and quality of the approach. From the user study, we found that it obtained highly encouraging feedback from users, and that the system can be used as a good tool for design review and evaluation of digital handheld products.

- １ -

제 1 장 서론

1.1 연구 배경

최근 디지털 제품 시장은 제조업체들 간의 경쟁의 가속화, 고객 요구의 다양화, 기 능의 컨버전스화 및 융합화, 그리고 사용 환경의 유비쿼터스화 등의 변화를 겪고 있 으며, 제품 수명 주기가 점점 짧아지고, 다양한 미디어를 통한 제품 홍보 및 판매가 증가하고 있는 추세이다. 디지털 제품의 성공적인 시장진입을 위해서는 사용 편의성 (ease-of-use), 제품 특성(features)과 기능(functions) 등에 대한 고객의 요구를 효과적으로 반영하여 제품 디자인에 빠르고 정확히 반영함으로써 제품을 신속히 시 장에 출시하는 것이 절실히 요구된다[1,2].

이러한 요구에 능동적으로 대처하기 위한 일환으로 제품개발과정(product development process)에서 시작품(prototypes)의 효율적인 사용에 대한 연구가 부단 히 지속되어 왔다. 시작품은 제품의 중요한 특성들을 표현하며, 설계 대안들을 검증 하거나, 설계 오류를 조기 발견, 공학해석과 제조계획 수행 및 경영진의 의사결정을 지원하기 위해 주로 사용된다[1,2]. 시작 기술은 물리적 시작(physical prototyping), CAD 모델, RP(Rapid Prototyping, RP) 모델을 이용한 쾌속시작, 그리 고 가상시작(Virtual Prototyping, VP) 등으로 발전 되어 왔다.

가상시작은 컴퓨터 기술의 급속한 진보와 더불어 기존 시작 방법들의 단점들을 극 복하기 위한 해법으로 인식되고 있는데, 주로 자동차 업체가 주도가 되어 가상현실 (Virtual Reality, VR)과 CAD/CAM/CAE/CG 기술을 바탕으로 발전되어 왔다[7,8]. 가 상디자인품평(virtual design evaluation)은 사용자가 향후 개발될 제품의 디자인을

- ２ -

가상공간에 체험하게 함으로써, 보다 정확하고 효율적인 제품의 평가 작업을 수행하 도록 한다[1,5]. 많은 가상시작 시스템이 가상디자인품평 기능에 초점을 두고 있는 데, 이는 제품 개발 단계에서 초기 디자인에 대한 평가 및 의사결정의 중요성이 매 우 크기 때문이다.

가상시작 관련 연구는 주로 산업체의 주도 하에 자동차 또는 항공 분야로 집중되어 왔으며[9,10,11], 주로 제품의 시각화[1,6], 제품 조립성 검사[19,20], 제조공정 시 뮬레이션[21,22], 구조해석[1,4], 인간공학적 분석[1,6], 설계품평[23,24] 등에 초 점이 맞추어져 왔다. 대부분 가상시작 시스템 구축에는 고가의 VR 장비와 영상출력 장치, 고성능 컴퓨터 장비, 그래픽 관련 소프트웨어 및 하드웨어 등 상당한 투자와 개발인력이 수반된다. 또한 VR 기반 가상시작 방식은 상당한 인력과 비용 소요, 현 실감 미흡, 고가 장비 요구 등의 단점들을 갖고 있다. 특히, VR 환경에서 부피감 및 촉감을 제공하기 위해서는 상당한 비용과 노력이 요구되며, 실제 손으로 제품을 조 작하는 것과 유사한 상호작용을 사용자에게 제공하는 일은 현실적으로 매우 어렵다.

한편, 휴대용 전자제품은 디지털 가전산업의 주력 제품군으로서 제품 생명주기가 자동차/항공기/조선 분야 제품에 비해 훨씬 짧으며, 대기업에서부터 중소업체까지 다양한 규모의 업체가 사업에 참여하고 있으며, 관련 제품의 시장규모도 엄청나게 커지고 있다. 또한, 자동차/항공기/조선 관련 제품에 비해 사용 편의성/제품 특성/

유저인터페이스가 제품 구매력에 미치는 영향이 상당히 크며, 제품마다 내장된 임베 디드(embedded) 시스템이 인간-기계 상호작용(human-machine interaction, HMI)을 통해 표출되는 복잡한 기능적 행동양태(functional behavior)를 제어한다. 이러한 휴대용 전자제품의 특성상 자동차/항공기/조선 제품에 적용되고 있는 기존의 가상 시작 시스템을 휴대용 전자제품 분야에 적용하기에는 매우 비경제적이며, 부적절하 다. 따라서 저가의 비용, 소규모 개발인력 및 짧은 개발기간을 소요하는 휴대용 전

- ３ -

자제품의 특성에 맞추어진 가상시작 시스템의 개발 및 운용 방안이 요구된다.

휴대용 전자제품의 가상시작 방안에 대한 연구가 일부 진행되어 왔으나[26,27], 심 도 있는 연구는 아직 미흡한 상황이며, 증강현실(Augmented Reality, AR) 기술을 접 목하여 기존 VR 기반 가상시작 방식의 단점을 극복하려는 시도가 진행 중이지만[12], 감각형 오브젝트(tangible objects)의 이용과 기능 시뮬레이션 제공을 통해 가상시 작의 효율성을 극대화 하고자 하는 연구는 초기 단계에 있다.

증강현실을 이용하여 휴대용 전자제품의 가상시작 효율성 극대화하기 위해서는 제 품의 사실적인 시각화와, 자연스러운 상호작용 환경, 그리고 기능적 행동양태 등을 저렴하고 편리하게 체험할 수 있게 해야 한다. 아울러 실제 제품을 조작하는 것과 같은 느낌을 제공하는 감각형 상호작용 방안에 대한 기술 확보가 매우 중요하며, 이 를 위한 연구는 학문적 측면뿐만 아니라 산업경제적인 측면에서 큰 의미가 있으리라 사료된다.

1.2 연구 범위 및 목적

본 연구의 목적은 휴대용 전자제품의 개발 참여자(개발자, 잠재고객, 일반 사용자) 가 고가의 장비를 사용하지 않고 제품에 대한 디자인을 쉽고, 직관적이고, 실감나게 제품을 체험할 수 있도록 하는 증강현실 기반 사실적인 시각화 및 감각형 상호작용 방안을 연구 개발하는 것이다.

연구목적 달성을 위해 일반적인 증강현실 환경에서 감각형 오브젝트를 조작할 때 발생하는 손 가림 문제를 해결하여 보다 사실적인 가상 환경을 사용자에게 제공하는 방안을 연구하였고, 상호작용에 이용될 감각형 오브젝트의 용이한 제작 방안과 사용 자-가상모델 간의 효율적인 상호작용 방안을 연구하였다. 이를 바탕으로 제품의 외

- ４ -

관, 기능, 사용자인터페이스를 실감나게 체험하게 하고, 사용자의 의견을 효과적으 로 수렴할 수 있는 가상디자인 품평 테스트베드를 구현하였다. 표 1은 본 연구에서 수행한 연구내용을 요약한 것이다.

표 1. 수행된 연구 내용

● 휴대용 전자제품의 사실적인 시각화 방안

1. 손 색상 정보 획득 및 영역 검출 방안 2. 손 가림 현상 해결 방안

● 감각형 증강현실 기반 상호작 용 방안

1. RP 모델과 손가락 고정구를 이용한 감각형 상호 작용

2. 감각형 상호작용의 정확도 평가 및 유효영역 산출

● 가상 디자인 품평 테스트베드 구현 및 적용

본 연구에 의해 개발된 가상디자인품평 시스템을 통해 손으로 제품을 만지고 조작 하는 것과 같은 감각적인 상호작용과 사실적인 시각화로 제품에 대한 사용자 의견 및 요구사항을 신속 정확히 수렴함으로써 기존 가상현실(VR) 기반 디자인 품평 시스 템의 단점을 극복할 수 있으리라 사료된다.

논문의 구성은 다음과 같다. 2장에서는 가상 디자인 품평과 관련된 기존 연구 및 사례들을 살펴보며, 3장에서는 증강현실환경에서 사실적인 시각화를 위해 수행한 손 가림 해결 방안을 설명한다. 4장에서는 감각형 상호작용을 위한 감각형 오브젝트 제 작 및 상호작용 원리에 대해 설명하며, 5장에서는 본 논문에서 제안된 방안을 의거 한 가상 디자인 품평 테스트베드 구현 및 사용성 평가에 대해 설명한다. 마지막으로 6장에서는 결론 및 추후 연구 방안에 대해 언급한다.

- ５ -

제 2 장 기존연구 고찰

가장 이상적인 가상 디자인 품평 시스템은 사용자가 실제 제품과 동일한 체험을 하도록 몰입할 수 있는 환경을 지원해야 한다. 이를 위한 핵심기술로는 실사 수준의 제품 가시화 및 사실적 시각화 기술과, 사용자가 가상 제품을 자연스럽게 조작하는 상호작용 기술이라고 할 수 있다. 2장에서는 가상 디자인 품평과 관련된 기존 VR/AR 연구 및 사례들을 살펴보고 가상환경에서의 제품 시각화, 상호작용에 대해서 알아본 다.

2.1 가상 디자인 품평

가상현실의 일반적인 정의는 컴퓨터로 제어되는 가상 환경에서 현실 세계의 사용 자가 인터페이스 시스템을 이용하여 상호 작용함으로써, 마치 현실 상황에서 느낀 것과 같은 체험을 전달하는 것이다. 디자인 품평은 제품의 라이프사이클의 단계 중 스타일 디자인 단계에 속하는 작업으로, 기획 작업을 마친 제품에 대하여 초기 디자 인을 설계하고 시작품(prototypes)을 통하여 후보가 되는 디자인의 선별 작업에 대 한 의사 결정을 돕는 작업이다[5,10,14]. 따라서 가상 디자인 품평 시스템은 가상의 환경에서 사용자가 완성된 결과물과 유사한 제품을 직접 체험해 볼 수 있도록 함으 로써, 보다 정확하고 효율적인 디자인 평가 작업을 가능하도록 한다.

가상 디자인 품평 시스템의 강점은 현실과 같은 가상 체험에 있으므로, 이상적인 가상 체험의 구현을 위해서는, 작업환경에서의 사용자 요구 분석과 사실감 높은 가 상환경의 구축, 그리고 현실과 비슷한 자연스러운 상호작용을 지원하는 인터페이스

- ６ - 기술이 필요하다.

가상 현실 기반 디자인 품평 시스템과 관련된 기존 연구는 주로 산업체의 주도 하 에 여러 분야(자동차/항공/조립성 검사/시뮬레이션등)에 초점을 맞추어 다양하게 이 루어져 왔다. 이에 반해 증강 현실 기술을 이용한 디자인 품평 시스템은 VR 기반 가 상 시작 방식의 단점을 극복하려는 시도가 많이 제안되고 있지만[29-35] 아직은 많 은 연구가 필요한 상황이다. 그림 1은 가상 디자인 품평 예를 보여주고 있다.

그림 1. 가상 디자인 품평 예

[그림 출처: http://www.motionanalysis.com/html/temp/bellhelicopter.html, http://csr.hyundai.com/about/company/history.aspx]

2.1.1 VR 기반 디자인 품평

가상현실 디자인 품평 시스템의 초기 시도들은 주로 CAD/CAM/CAE에 기반을 두고 있다. 일본의 경우 도요타 자동차는 1996년부터 1999년까지 전세계 20여 곳에 200억 원 이상의 비용을 투입하여 가상현실센터를 구축하였다. 설계오류 및 설계 변경으로 인한 차량 개발비와 개발시간이 많이 소요된 것을 해결하기 위해 3D 모델링과 가상

- ７ -

현실시스템을 도입하였다. 이를 통해 생산으로 이어진 많은 비용절감과 개발기간을 단축하였고, 전체 6단계의 개발 프로세스를 3단계로 줄이는 것을 실현하였다.

그림 2. 도요타 자동차 Yaris의 3D 엔진 모델링 예

[그림 출처: http://www.gizmag.com/toyotas-yaris-gets-bonsai-100-bhp-hybrid- synergy-drive/21352/pictures]

미국은 General Motors, Ford, Chrysler를 중심으로 가상현실 기술을 자동차 설계 및 생산에 응용하고 있고, 독일은 컴퓨터 그래픽 및 가상현실 분야의 응용기술을 자 동차 산업에 적용하는 기술을 지속적으로 개발하여 BMW과 Benz 등에서 상용화하여 이용하고 있다. BMW에서는 엔진 제어 플랫폼을 대상으로 프로그램 상태 및 데이터 상태 확인 등 수소/가솔린 엔진의 제어 시스템을 시험하기 위해 제어 장치의 하드웨 어와 제어 프로그램을 소프트웨어로 구성하여 시험환경을 구축하여 평가하였다.

Benz의 경우 가상현실 센터를 설립하여 실물 크기의 디지털 프로토타입을 가시화한 후 엔지니어들이 설계를 평가할 수 있는 환경을 구축하여 응용하고 있다.

- ８ -

그림 3. Benz 자동차 SL-CLASS의 3D 외관 모델링 예 [그림 출처: http://boronextrication.com/tag/mercede-benz]

국내의 경우는 대부분 연구소 및 대학에서 산업계와 연계하여 연구 개발과 기술 적용을 진행하거나 산업계 자체적으로 생산 프로세스를 개선하기 위해 가상현실 기 술을 적용하여 시뮬레이션 기술 개발을 진행하고 있다. 현대기아자동차의 계열사인 오토에버시스템즈는 자동차 생산기술 분야의 개발기간 단축 및 생산성 향상, 품질 향상, 비용절감을 위한 가상생산 기술 기반의 디지털 생산준비 관리체계를 개발하였 다. 자동차 차체 공장을 대상으로 시운전 기간 및 수정/변경을 최소화하고, 조기 문 제점 개선 및 품질을 확보하기 위해 생산기술의 4M(자원, 공법, 제품, 작업자)의 정 보 및 데이터를 실 공장과 동일하게 적용한 3차원 가상환경 기반 자동차 차체공장 가상 공장(digital factory) 기술을 구축하였다. LG CNS의 자회사 VENS에서는 200여 명의 자동차 설계 전문가가 모여 자동차 설계를 하고 이를 검증하기 위해 설계 데이 터의 조립, 사용성 평가, 충돌 시뮬레이션, 자동차 내외관 품평, 주행 등을 가상 공 간에서 적용하고 있다.

- ９ -

2.1.2 AR 기반 디자인 품평

전통적인 가상현실 기반 디자인 품평 시스템을 사실감 있게 구축하기 위해서는 상당한 인력과 비용 소요, 고가 장비 요구 등의 단점이 있으며, 촉감을 제공하는 감각형(tangible) 상호작용을 구현하기가 쉽지 않다. 또한 가상현실에서 제작된 오브젝트은 현실 공간에 대한 정보가 결여 되어 가상 오브젝트의 부피감을 정확히 판단하기 어렵다. 이러한 단점들을 극복하기 위해 증강현실 기술들을 응용한 해법 들이 제시되고 있다. 증강현실은 현실세계라는 배경에 가상 오브젝트를 3차원적으 로 정합시켜 가상현실에 비해 높은 현실감, 현장감이 있는 환경을 구현 할 수 있 으며, 사용자와 가상오브젝트 간의 직관적이고 자연스러운 상호작용을 가능하게 한다.

Verlinden 등[32]은 쾌속시작(Rapid Prototyping, RP) 기술에 의해 만들어진 물 리적 오브젝트 위에 제품의 원근영상(perspective images)을 투영하는 증강시작 (augmented prototyping)의 개념을 제안하였다. AR 환경에서 하드웨어와 소프트웨 어를 접목시키는 방식도 발표되었다[33,34]. 기본적으로 이 방식은 입력 인터페이 스로서 간단한 스위치들을 이용하고, 제품모델의 3차원 렌더링 이미지를 소프트 목업(soft mockup) 위에 증강시키는 방식이다. 하드웨어적 연결이 수반된 물리적 오브젝트 또는 프로토타입이 직접적이고, 정확한 인터페이스를 제공하지만, 구현 과 제작을 위해 상당한 노력이 소요된다. 또한, 이러한 물리적 오브젝트들을 서로 다른 장소에 있는 많은 사람들이 접근하여 이용할 수 있게 하는 것이 현실적으로 어렵다[그림 4].

- １０ -

그림 4. 하드웨어와 소프트웨어를 접목시킨 제품 디자인 품평 예 [그림 출처: 참고문헌 33]

Lee[14,15]는 데스크톱 환경에서 발생하는 실체성 결여의 문제를 증강현실을 이 용하여 맥락정보를 보완함으로써 제품디자인 과정에서 정량 구조 시뮬레이션 작업 에 활용 할 수 있는 기법을 제안하였고 가상 오브젝트에 대한 인간의 크기 인지 정확성을 평가하였다[그림 5]. 가상 CAD 시스템과 실제 세계를 통합하는 증강현실 기반 디자인 시뮬레이션의 가능성에 대해 실증적인 근거를 제시하였고 실험을 통 해 환경적 컨텍스트(context)로부터 얻어지는 정보의 중요성을 확인하였다.

Park[18]은 목업에 제품을 증강시켜 디자이너에게 제품의 외관, 색상, 텍스처 (texture) 등의 속성을 바꾸어 가며 제품 디자인을 품평할 수 있게 하였으며, 제 품의 크기 및 기능 등을 체험 할 수 있게 하였다. 그러나 깊이 정보(depth information)를 고려하지 않고 2차원 상의 손의 끝점에 해당하는 영역만을 계산하 여 상호작용 할 수 있도록 구현하였기 때문에 자연스러운 상호작용을 하는 데는 조금 어려움이 있다. [그림 6].

- １１ -

그림 5. 주변 환경의 정보를 이용한 가상 오브젝트 크기 인지 예 [그림 출처: 참고문헌 14]

그림 6. 제품 속성의 변화를 품평 할 수 있는 예 [그림 출처: 참고문헌 18]

- １２ -

Park 등[35]은 저가의 비용으로 손쉽게 구축이 가능한 증강현실 기반 감각형 상 호작용 방안을 개발하여 이를 휴대용 전자제품의 가상디자인품평에 적용하였다.

그들이 제시한 상호작용에서는 사용자가 제품용 오브젝트와 포인터용 오브젝트를 각각 양손에 쥐고, 포인터용 오브젝트 끝 부분을 제품용 오브젝트의 특정부위(즉, 가상제품의 입력장치)를 접촉함으로써 HMI이벤트를 발생시킨다. 발생된 이벤트에 따른 제품의 상태가 실시간으로 출력함으로써 제품의 디자인을 체험토록 하였다.

그림 7. 증강현실 기반 감각형 상호작용 예

이러한 상호작용이 저가의 비용으로 손쉽게 구축이 가능한 AR 기반 감각형 상호 작용이라는 점에서 의미가 있지만, 포인터용 오브젝트 끝 부분으로 가상제품을 접 촉하므로 손으로 제품을 조작하는 느낌을 제공할 수 없는 단점이 있다[그림 7].

- １３ -

2.2 제품 시각화

가상현실 시스템은 시각화 방식에 따라서 크게 3가지 몰입형, 투사형, 데스크탑형 으로 분류할 수 있다. 몰입형의 대표적인 예로는 HMD(Head Mounted Display)를 들 수 있다. 1965년 처음으로 Evans and Sutherland는 스테레오 영상을 보여주는 HMD를 시험 사용한 이래, 20년이 지난 1989년에서야 VPL Research Lab에 의해

“EyePhone” 시스템이라는 모델명으로 최초의 상업화 제품이 출시되었다. HMD는 영 상을 입체적으로 보기 위해서 각 눈앞에 작은 비디오 모니터(LCD or CRT)를 포함하 고 있는 헬멧 형태이며, NTSC(RGB)신호를 입력데이터로 받아서 시차를 이용해 입체 영상을 투영한다. 즉, 모니터의 좌우 영상을 교대로 디스플레이 시키며 Glass의 좌 우 렌즈가 동시성을 갖게 하여 입체영상을 구현하는 방식이다. 또한 이용자의 머리 를 향하고 있는 방향을 자이로 센서 등으로 검출, 움직임에 대응한 영상을 강조함으 로써 3차원 공간에 있는 것 같은 체험이 가능하도록 한 것도 있다. 초기 시스템들의 경우 크기도 크기이거니와 무게가 상당히 무거워서(1-2KG)착용하기 힘들었으나 최근 안경 형태로 점차 소형화 되고 있으며, HMD를 착용하여 마치 2m 앞 40 inch 이상의 화면을 시청하는 효과를 내는 기술 구현이 가능한 상태이다. HMD는 사람의 두 눈을 좌우가 차단되게 고안되어 있기 때문에 좌/우 분리된 영상의 입력과 자신의 시력에 맞는 초점을 정확히 맞추면 뛰어난 입체를 구현할 수 있다는 특징이 있으며, 모바일 디스플레이 기기의 소형화를 실현시키는 HMD 기술은 다양한 미디어 기기와 결합하여 가상현실을 즐길 수 있게 해준다.

- １４ -

그림 8. Head Mounted Display

[그림 출처: http://www.vrealities.com/5dt.html]

투사형으로는 CAVE(Cave Automatic Virtual Environment, CAVE)를 들 수 있다.

CAVE (Cave Automatic Virtual Environment) 시스템은 1992년 Siggraph 에서 최초로 발표하여 최초 개발은 일리노이드대학 분교 EVL 연구 책임자 Dr. Thomas DeFanti에 의해 개발되었다. 개발 초기의 목적은 수치데이터의 가시화(Visualization)였다. 슈 퍼컴퓨터에서 계산된 결과를 2차원 CG로 표현하고 이때 그 데이터를 리얼타임으로 인터랙션을 수행하는 것으로 직감적으로 데이터를 이해하도록 제작한 시스템이었다.

CAVE 시스템 내부는 3개의 벽면과 바닥으로 이루어져 있다. 벽면은 뒤에서 이미지를 쏘는 얇은 후방투사 스크린(rear projection screen)으로 되어 있고, 바닥은 위에서 아래로 이미지를 쏘는 하향 투사 스크린(down projection screen)으로 되어 있다.

여러 개의 스크린을 합쳐 하나의 가상공간을 만들어내는 것이 CAVE 시스템이다. 여 러 대의 프로젝터를 움직여 하나로 통일된 공간의 환영을 만들어내기 위해서 이미지 를 각 방향으로 배분하고, 그렇게 배분된 이미지들이 다시 하나로 합치도록 해야 하 는데 이러한 작업들은 쉽지 않은 일이다. 이러한 이유로 CAVE 시스템을 구축하는 데

- １５ -

는 많은 고성능 장비와 소프트웨어가 필요로 한다는 단점이 있지만, CAVE는 HMD와 달리 다수의 사용자가 똑같은 가상 환경을 체험하게 할 수 있다는 장점을 갖고 있다.

그림 9. CAVE 시스템

[그림 출처: http://www.jamstec.go.jp/esc/research/Perception/cave.ja.html, http://www.christiedigital.com/en-us/3d/3d-and-advanced visualization-case -studies]

마지막으로 데스크탑형이 있다. 데스크탑형은 전통적인 컴퓨터의 그래픽 화면에 나 타난 영상을 통하여 사용자가 가상환경을 체험하는 시스템이다. 이 방식은 앞서 언 급한 몰입형과, 투사형에 비해 현실감이 떨어지지만 우선 사용자 층이 많고 우리들 의 주변에 흔히 있는 컴퓨터를 마련하면 쉽게 사용이 가능하다는 특징이 있다. 그림 10은 일반적인 데스크탑형 가상현실 환경을 보여주고 있다.

- １６ -

그림 10. 데스크탑형 가상현실 시스템

[그림 출처: http://www.5dt.com/products/ifloviz01.html, http://hackedgadgets .com/ 2010/11/27/situated-virtual-reality-for-telerobotic-control]

2.3 제품 사용자간 상호작용

상호작용이란 주어진 환경에서 둘 이상의 개체가 서로 간에 영향을 주고 받는 행 위라 할 수 있다. 상호작용을 하는 개체들 간의 인터페이스가 다르거나 부자연스러 울 경우, 서로 간에 오해가 생기거나 문제가 발생하게 된다. 따라서 사람과 컴퓨터 간의 상호작용에 있어서 보다 효과적인 상호작용을 하기 위해서는 두 개체 간의 의 사를 잘 이해할 수 있는 편리하고 자연스러운 인터페이스가 요구된다. 이러한 자연 스러운 상호작용을 지원하기 위해 새로운 형태의 사용자 인터페이스에 대한 다양한 연구들이 진행되어 왔다. 컴퓨터와 사용자간의 상호작용에 가장 보편적 인터페이스 인 1960년대에 개발된 마우스와 1970년대에 개발된 키보드를 시작으로 음성인식, 촉 감인식, 사용자 제스처 인식 등 사용자 인터페이스에 대한 연구가 활발히 진행되고 있다.

- １７ -

음성은 사람들간의 상호작용에 있어서, 가장 쉽고 보편적이며 편리한 수단이다.

음성을 이용한 상호작용 환경에서는 사용자의 음성을 인식하는 것 이외에도 사용자 가 말하는 내용을 이해할 수 있어야 하며 실시간으로 사용자의 입력에 반응할 수 있 어야 한다[38]. 하지만 보다 자연스럽고 편리한 음성기반 상호작용을 위해서는 노이 즈에 강건한 음성 인식 기술, 다중 사용자들로부터 특정 화자를 구별할 수 있는 화 자 인식 기술, 음성 입력과 새로운 단어 학습 기술 등의 발전이 요구된다.

제품의 재질이나 질감, 단단함의 정도 등 이러한 정보를 사용자에게 전달할 때는 주로 촉감기반 사용자 인터페이스가 활용된다. 터치(touch)를 기반으로 한 정보의 인지와 장치 조작에 관한 연구 분야를 햅틱기술(Haptic Technology)이라 일컫는다.

일반적으로 피부가 물체 표면에 닿았을 때 느끼는 촉감(tactile feedback)과 관절과 근육의 움직임이 방해될 때 느껴지는 근 감각적인 힘(kinesthetic force)의 두 가지 힘을 합쳐서 햅틱이라고 지칭한다[39]. 햅틱 기술은 초창기 1970~1980년대에는 주로 로보틱스 분야에서 많이 활용되었으며 그 후 1990년에 들어서는 컴퓨터 그래픽스, 가상 현실 분야로 연구분야가 확대되고 있다. 햅틱 기반 상호작용을 위해서는 충돌 검출(collision detection), 접촉 저항력 계산(contact impedance), 형상 표현 (shape representation), 마찰력(surface friction), 동역학 계산(dynamics), 표면 무늬 및 굴곡 표현(surface curvature), 질감 표현(texture modeling), 물리적 제약 상태(physical constraints) 등의 기술적 내용들이 반드시 수반되어야 한다. 그림 11은 미국 Sensable Technology사의 햅틱 디바이스(device)를 나타내고 있다.

- １８ -

그림 11. 햅틱 디바이스

[그림 출처: http://www.sensable.com/haptic-phantom-desktop.htm]

제스처기반 사용자 인터페이스는 사용자의 움직임을 통해서 미디어 콘텐츠와 상호 작용하는 것을 의미한다[28,40]. 사용자의 움직임을 이용한 상호작용의 경우, 평면 적인 2차원 상호작용이 아니라 3차원 상호작용이 가능하기 때문에, 사용자에게 보다 편안하고 자연스러운 상호작용을 제공할 수 있다. 대표적인 인터페이스들로는 데이 터 글러브(Data Glove)와 모션 트랙커(Motion Tracker) 등이 있다. 데이터 글로브는 장갑 형태의 입출력 장치이며, 수화의 입력이나 사람 손의 움직임을 3차원 컴퓨터 그래픽으로 재현하는 등 여러 분야에서 활용되고 있다. 모션 트래커는 사용자의 몸 에 센서를 부착시킨 후 가상환경에서 손, 얼굴 및 바디를 검출하고 움직임의 변화 등을 인식하여 추적하는 기술이다.

- １９ -

그림 12. 데이터 글러브와 모션 트래커

[그림 출처: http://www.5dt.com/products/idataglove501u.html, http://en.

wikipedia.org/wiki/Motion_capture]

이러한 햅틱, 데이터 글러브, 모션 트래커 등의 장비들은 일반인이 쉽게 사용하기 에는 아직 어려움이 있고 가격이 고가인 경우가 대부분이므로, 이를 해결하기 위해 감각형 사용자 인터페이스(Tangible User Interface)의 해법들이 제시되고 있다. 감 각형 사용자 인터페이스란 사용자가 물리적 환경(물체, 도구, 공간등)을 활용하여 디지털 정보와 상호작용하는 인터페이스를 의미한다[52]. 감각형 사용자 인터페이스 는 Ishii에 의해 처음 제안되었으며 [36], 이를 응용할 수 있는 툴킷(toolkit)으로 는 RFID(Radio Frequency Identification, RFID), Phigets, d.tools 등이 있다.

RFID 기술은 전파를 통해 일정 거리 내에 있는 프로세서 및 메모리를 인식하여, 내 부에 저장된 데이터를 읽거나 위치를 찾아내는 기술로써, 이를 이용한 감각형 상호 작용을 적용하는 사례들이 제시되고 있다[53,54,55].

- ２０ -

(a)

(b)

(c) 그림 13. 감각형 인터페이스를 위한 툴킷들: (a) RFID; (b) Phigets; (c) d.tools [그림 출처: (a) 참고문헌 55, (b) http://www.phidgets.com, http://grouplab.cpsc.

ucalgary.ca/phidgets/gallery/phidgets.UIST01.html, (c) http://hci.stanford.ed u/research/dtools/gallery.html]

- ２１ -

Phigets은 인터렉티브한 제품디자인 환경 구축을 위해 Greenberg와 Fitchett[57]에 의해 개발되었으며, 사용자로 하여금 쉽게 능동적 장치를 설계 할 수 있게 하고 API 를 제공함으로써 프로그래밍이 용이하다는 특징이 있다. d.tools는 스테이트차트 (state chart) 기반 프로토타입 개발 환경으로 Hartmann 등[58]에 의해 개발되어 감 각형 사용자 인터페이스로 활용되었다.

이러한 감각형 상호작용 인터페이스는 디지털 정보를 주고받기 위해 물리적 오브젝 트들과 주위공간들이 함께 이용되며, 전자부품들을 이용한 하드웨어적 연결이 수반 되기도 한다. 물리적 오브젝트의 조작을 구속하는 특성과 제약들로 인해 물리적 오 브젝트의 특성들을 역동적으로 변화시키고 평가하는 것이 어렵기 때문에 감각형 인 터페이스가 유용한 경우가 많다. 이러한 측면에서 감각형 사용자 인터페이스를 쉽게 구현할 수 있는 증강 현실 기술이 여러 분야에서 활용되어 많은 연구가 이루어져 왔 다[25,37,51,56]. 그림 14는 증강현실 환경에서의 감각형 인터페이스를 나타내고 있 다.

증강현실에 기반한 감각형 사용자 인터페이스는 사용자가 가상 객체에 대응하는 감 각형 오브젝트를 사용하여 물체의 이동, 회전 등의 상호작용을 할 수 있는 가상환경 을 구현할 수 있다.

최근에 휴대용 전자제품을 포함한 디지털 제품의 가상시작을 지원하기 위한 다양한 접근방안들이 제안되어 왔으나[26,27], 이러한 증강현실 기반 감각형 오브젝트를 이 용한 인터페이스와 기능 시뮬레이션 제공을 통해 가상시작의 효율성을 극대화하고자 하는 연구는 초기 단계에 있으며, 좀 더 심도 깊은 연구가 요구되고 있다.

- ２２ -

그림 14. 증강현실 기반 감각형 인터페이스 [그림 출처: 참고문헌 13, 59]

- ２３ -

제 3 장 증강현실 기반 사실적 시각화 방안

일반적인 증강현실 환경은 가상의 물체를 실세계의 정보에 오버레이(overlay) 하 여 모니터에 출력 하게 되는데 이 과정에서 가상의 물체가 사용자의 손을 가려 시각 적으로 어색한 현상이 발생한다. 이로 인해 사용자가 자연스러운 영상을 제공받지 못하며, 종종 손 위치를 파악할 수 없어 상호작용에 불편함을 느끼는 경우가 있다.

따라서 본 장에서는 증강현실 환경에서 휴대용 전자제품의 가상객체와 사용자 간의 상호작용 과정에서 발생하는 손 가림 현상을 해결함으로써 보다 사용자에게 사실적 인 화면을 제공해 줄 수 있는 시각화 방안에 대해 설명한다.

(a) (b)

그림 15. 증강현실 손가림 현상: (a) 실제 이미지; (b) 증강 이미지

3.1 손가림 현상 해결 방안

증강현실 환경에서는 실세계 이미지로부터 인식된 AR 마커 정보를 이용하여 카메라

- ２４ -

의 시점을 파악하여 가상객체에 대한 3D 렌더링 이미지를 생성하고, 이를 실세계 이 미지 위에 실시간으로 오버레이함으로써 시각화를 수행한다. 이러한 과정에서 그림 15와 같이 가상 물체가 사용자의 손을 가려서 시각적으로 어색한 현상이 빈번히 발 생하게 된다. 이를 해결하기 위한 기본 아이디어는 손이 갖는 색상 정보를 이용하여 손 영역을 찾아 영상처리를 통해 손가림 현상을 해결하는 것이다.

그림 16은 본 연구에서 제시하는 손 가림 현상 해결을 위한 전체과정이 도식화 되 었다.

그림 16. 손 가림 현상 해결을 위한 전체 과정

먼저, 실세계 이미지를 획득한 다음, AR 마커 정보를 이용한 가상객체의 렌더링을 통해 실세계 이미지 위에 증강시킬 가상객체 이미지를 획득하고, 가상객체 이미지로 부터 최소 사각형 영역을 찾는다. 그런 다음, 사전에 확보된 손의 색상 정보를 이용 하여 실세계 이미지로부터 최소 사각형 범위에 속하는 손 영역을 추출한 후, 손 영 역 이미지와 가상객체 이미지의 영상처리를 통해 손 영역이 제외된 가상 객체 이미

- ２５ -

지를 생성한다. 마지막으로, 수정된 가상 객체 이미지를 실세계 이미지에 오버레이 (overlay)한다. 결과적으로 사용자는 상호작용 과정에서 손 가림 현상이 해결된 현 실감 있는 화면을 제공 받음으로써 휴대용 제품의 기능 체험을 보다 용이하게 할 수 있다.

전술한 바와 같이 실세계 이미지로부터 인식된 AR 마커 정보를 이용하여 가상객체 의 3D 렌더링 이미지를 생성할 수 있으며, 증강현실 환경에서는 손 가림 현상이 이 러한 가상객체 이미지 영역에서만 발생한다. 따라서, 가상객체를 포함하는 최소 사 각형 영역을 획득한 후, 손 가림 현상 해결을 위한 관심 영역(Region of Interest, ROI)으로 이용한다.

그림 17(a)에서와 같이 검정 바탕색 위에 가상객체 렌더링 이미지를 생성하여 해당 이미지의 픽셀들 중 검정색이 아닌 픽셀들의 최대 및 최소 구간을 계산하여 최소 사 각형 영역을 생성한다.

(a) (b)

그림 17. 최소 사각형 영역 생성: (a) 가상 오브젝트 이미지;

(b) 최소 사각형 이진화 이미지

- ２６ -

그런 다음, 그림 17(b)에서와 같이 가상객체 렌더링 이미지의 최소 사각형 영역에 해당하는 이미지를 추출하여 검정색이 아닌 (가상객체에 해당하는) 픽셀들은 흰색으 로 처리하여 가상 객체에 대한 이진화 이미지를 생성한다.

3.2 손 영역 검출 방안

영상처리에서 색상 모델(color model)의 선택은 시스템의 성능과 관계되는 중요한 문제이다. 색상 모델이란 어떤 색상과 다른 색상 모델들과의 관계를 표현하는 방법 으로 사람의 피부영역을 얻기 위한 색상 모델로는 RGB, YCbCr, HIS 등이 있다 [16,17].

RGB 색상 모델은 빨강(R), 초록(G), 파랑(B)의 기본 스펙트럼 성분들로 나타내며, 이들로 이루어진 영상은 각 원색 당 하나씩 모두 3개의 독립적인 영상평면으로 구성 되어 있다. 이 모델은 위성의 다중 스펙트럼 영상 데이터의 처리, 컴퓨터 그래픽스 시스템들에서 주로 사용되고 있다. YCbCr 색상 모델은 밝기값 Y와 파란색 색차 신호 Cb, 빨간색 색차 신호 Cr로 이루어진다. RGB 색상 모델은 3개의 요소가 시각적으로 균일한 정보를 가지는 반면, YCbCr은 밝기값과 색차 신호로 서로 다른 정보를 가지 고 있기 때문에 JPEG 압축과 MPEG 비디오 압축에서 주로 이용되고 있다. HSI 색상 모델은 색상(Hue), 채도(Saturation), 그리고 명도(Intensity)로 구성된다. 색상은 그 색의 원색을 나타내고, 채도는 색의 순수도를 나타내는 것으로 원색에 어느 정도 의 흰색이 혼합되었는지를 나타내며, 명도는 색깔의 밝은 정도를 나타낸다.

본 연구에서는 조명 변화에 강인하고 시스템 속도와 성능을 고려하여 YCbCr 모델 을 이용하였다. 손의 YCbCr 영역 정보를 얻기 위해 다양한 각도에서 사용자의 손을 카메라로 찍은 후 휘도 Y를 제외한 CbCr구간을 확보하였다.

- ２７ -

손에 대한 CbCr 값의 구간은

Cb

_handÎ[

Cb

_min,

Cb

_max],

Cr

_handÎ[

Cr

_min,

Cr

_max]으로 주 어지고, 이미지 A는 실세계 이미지 중 최소 사각형 영역(ROI)에 해당하는 이미지일 때, 이미지 B는 이미지 A에 대한 YCbCr 이미지라고 하자. 이미지 B의 CbCr 값이 손 영역의 CbCr 구간에 해당하면, 이미지 A의 해당 픽셀 값으로 대치하고, 그렇지 않으 면, 검정색으로 처리하여 손 영역 이미지 C를 구할 수 있다. 이를 식으로 나타내면 다음과 같다.

þ ý ü î í

ì Î Ù Î

= otherwise

Cr j i B Cb

j i B if j i j A

i

C

^{Cb hand Cr hand}

0

) , ( )

, ( )

, ) (

, (

그림. 18은 최소 사각형 영역의 실세계 이미지에 대해 CbCr값 구간을 이용하여 추출 된 손 영역 이미지를 보여주고 있다.

(a) (b)

- ２８ - (c)

그림 18. YCbCr 칼라 모델을 이용한 손 영역 추출: (a) 실제 이미지;

(b) 실제 이미지의 YCbCr; (c) 손 영역이 추출된 이미지

YCbCr 구간을 이용하여 얻어진 손 영역의 외곽선(boundary) 부분은 이미지 팽창 및 축소 기법을 이용하여 잡음을 제거할 수 있다. 본 연구에서는 시스템의 속도를 개선시키기 위해 손 영역 이미지를 이진화하여 외곽선을 추출한 후, 외곽선의 점들 을 샘플링(sampling)하여 평활화 작업을 수행하였다. 평활화된 이미지는 추후에 실 제 이미지에서 가상객체를 오버레이 할 때 이용된다. 그림. 19는 손 영역 이미지의

(a) (b)

- ２９ -

(c) (d)

그림 19. 손 영역 이진화 및 평활화: (a) 이진화 이미지; (b) 외각선 추출 이미지;

(c) 외각선 평활화 이미지; (d) 평활화 된 손 영역 이진화 이미지

이진화 및 평활화 과정을 도식화하였다.

얻어진 가상객체 이진화 이미지와 손 영역 이진화 이미지를 함께 이용하여 손 영 역이 제외된 가상 객체 이진화 이미지를 얻을 수 있다. 각각 최소 사각형 영역에 해 당하는 크기의 가상 객체 이진화 이미지와 손 영역 이진화 이미지가 주어졌을 때, 가상 객체 이진화 이미지의 픽셀 값

D ( j i , )

는 흰색 값이고, 손 영역 이진화 이미 지 픽셀 값

E

( j

i

, )는 검정색 값이면, 해당 픽셀

F ( j i , )

에 흰색 값을 부여하고, 그렇지 않으면 검정색 값을 부여함으로써 그림 20(a)에서와 같은 손 영역이 제외된 가상 객체 이진화 이미지 F를 얻을 수 있다. 이러한 이미지 F에서 흰색 값을 갖는 픽셀에 대해 가상 객체 이미지의 원래 픽셀 값을 부여하고, 나머지 픽셀들에 대해서 는 검정색 값을 부여함으로써 그림 20(b)에서와 같은 손 영역이 제외된 가상 객체 이진화 이미지를 얻을 수 있다. 궁극적으로, 이러한 손 영역이 제외된 가상 객체 이 진화 이미지를 실세계 이미지 위에 오버레이(overlay)함으로써 그림 20(c)에서와 같 은 손 가림 현상이 해결된 AR 이미지를 구할 수 있다.

- ３０ -

(a) (b)

(c)

그림 20. 손 가림 현상 해결: (a) 손 영역이 제거된 가상 객체 이진화 이미지;

(b) 가상 객체를 오버레이한 이진화 이미지; (c) 결과 이미지

3.3 손 색상 정보 획득 방안

본 논문에서는 사용자의 손 색상 정보를 획득하기 위해 YCbCr모델의 Cb,Cr값을 이 용하여 손 영역을 추출하였다. 그러나 사용자의 손 색상 정보를 획득하기 위해 정확 한 Cb, Cr값을 찾는 것은 쉬운 일이 아니다. 사용자마다 피부 영역에 대한 Cb, Cr 값이 조금씩 다르고, 정확한 손 영역에 해당하는 Cb, Cr값을 획득하였더라도 주변

- ３１ -

배경이나 조명이 변할 경우 Cb, Cr 값들을 다시 수정 해주어야 한다. 일반적으로 알 려진 사람의 피부영역에 대한 Cb,Cr 값이 존재하지만 이 값을 그대로 적용하기에는 어려움이 있다. 이러한 문제는 YCbCr 뿐만 아니라 다른 색상 모델들도 동일하게 적 용된다.

따라서, 본 논문에서는 이를 해결하기 위해 사용자가 구현된 테스트 베드를 사용 하기 전에 그림 21에서와 같이 손의 영상을 보면서 바(bar)를 사용하여 Cb, Cr값을 조절함으로써 손 영역을 정확하게 추출할 수 있는 손 색상 영역 정보를 얻어 이를 테스트 베드에 반영하여 손가림 문제를 해결하도록 하였다. 또한 손 영역을 찾는 일 을 용이하게 하기 위해 손 색상과 대비가 잘되는 파란색을 감각형 오브젝트에 도포 하였다.

그림 21. 사용자의 정확한 손 색상 영역을 얻기 위한 Cb, Cr값의 조절

- ３２ -

3.4 사실적 시각화 방안 구현

그림 22는 손 가림 현상의 해결 과정의 도식화를 나타낸다. 제시된 손 가림 현상 해결 방안을 A사 MP3 플레이어와 B사 게임폰, C사 PMP에 대한 AR 기반 감각형 상호 작용에 적용하였다. 그림 23은 이러한 3가지 휴대용 전자제품들에 대해 손가림 현상 이 해결되지 않은 경우와 해결된 경우의 그림을 각각 나타낸다. 그림에서와 같이 손 가림이 해결된 화면이 보다 쉽게 손에 위치를 파악 할 수 있으며, 좀더 사실적인 이 미지를 사용자에게 제공해준다.

그림 22. 손가림 현상 해결 과정

- ３３ - (a)

(b)

(c)

그림 23. 손가림 현상 해결 적용: (a) MP3 Player; (b) 게임폰; (c) PMP

- ３４ -

제 4 장 증강현실 기반 감각형 상호작용 방안

Park등[35]에 의해 제시된 상호작용 방식에서는 두 종류의 감각형 오브젝트(제품 용 오브젝트와 포인터용 오브젝트)를 이용한다[그림 24]. 사용자가 종이모델로 만들 어진 포인터용 오브젝트의 끝점을 RP 모델로 만들어진 제품용 오브젝트의 특정 부위 에 접촉함으로써 사용자-제품 간의 상호작용이 이루어진다. 이 방식은 사용자가 제 품모델을 손으로 만지는 것과 같은 느낌을 제공하지만, 손가락 끝으로 제품의 버튼 이나 슬라이드를 직접 눌러서 HMI 이벤트를 발생시키는 느낌을 제공할 수 없다.

따라서 본 장에서는 이러한 단점을 극복하기 위해 사용자가 휴대용 전자제품을 손 으로 조작하는 느낌을 제공하는 감각형 상호작용 방안을 제안한다. 제시된 감각형 상호작용에는 기존 연구와 같이 제품용 오브젝트와 포인터용 오브젝트가 이용되는데, 제품용 오브젝트는 제품의 위치와 자세 조작을 위해 이용되고, 포인터용 오브젝트는 제품용 오브젝트와 연동하여 이벤트를 발생시키는 매체로 이용된다. 제품용 오브젝 트는 제품에 대한 RP모델을 이용하였고 포인터용 오브젝트로는 손가락 고정구를 제 작하였다. 손가락 고정구 설계를 위해 체계적 공학설계 접근 방식을 적용하여 손에 부하가 적게 걸리고, 자연스러우면서 정확한 버튼 선택을 가능케 대안을 구상하여 이를 바탕으로 RP 모델을 제작하였다. 그리고 실험을 통하여 본 연구에서 제안하는 감각형 상호작용 방안을 원활히 허용하는 가상 버튼의 크기를 도출함으로써 상호작 용 방안의 정확도를 산출하였다.

- ３５ -

그림 24. 증강 현실 기반 감각형 상호작용의 주요 과정

4.1 감각형 오브젝트 제작

4.1.1 제품용 감각형 오브젝트

제품용 감각형 오브젝트는 증강현실 환경에서 제품의 위치와 자세를 조작하고, 포 인터용 감각형 오브젝트와 연동하여 HMI 이벤트를 생성하기 위해 이용된다. 본 연구 에서는 제품용 감각형 오브젝트 제작을 위해 RP 기술[1]을 적용한다. 따라서, 제품 의 STL 파일을 이용한 RP 모델을 생성한 후, RP 모델의 특정 부위에 AR 마커를 부착 한다.

- ３６ -

(a) (b)

그림 25. 게임폰의 제품용 감각형 오브젝트: (a) RP 모델 실제 화면; (b) 가상 제품 증강 화면

휴대용 전자제품은 한 개 이상의 LCD 디스플레이를 가지고 있으므로 AR 마커를 각 LCD 디스플레이 중앙에 부착한다. 그림 25는 게임폰에 대한 감각형 오브젝트와 이를 이용하여 실세계에 증강된 제품을 나타낸다.

4.1.2 포인터용 감각형 오브젝트

포인터용 감각형 오브젝트는 증강현실 환경에서 제품용 오브젝트의 특정 부위를 선택하기 위해 이용된다. 포인터용 오브젝트의 경우, 제작 방식 및 접촉 방식에 따 라 다양한 대안이 고려 될 수 있다.

본 절에서는 기존 연구[35]에서 포인터용 감각형 오브젝트로 사용된 터치펜형 (paper model)에 대해 간략히 설명하고 본 연구에서 제작한 2가지 손가락 고정구형 RP 모델(RP model)을 설명한다.

- ３７ -

4.1.2.1 터치펜형

터치펜형 종이모델은 육면체와 사각뿔이 합쳐진 형상의 다면체로 정의된다. 이러 한 다면체는 장축과 수직인 평면을 교차 시켰을 때 항상 정사각형이 나오는 형상을 갖는다. 이러한 형상모델에 대한 전개도를 생성 및 인쇄하여 가위와 풀만으로 쉽게 종이모델을 제작한 후, 육면체 4 개의 면 중앙에 동일한 AR 마커를 포함시킨다. 4개 의 동일한 AR 마커가 부착된 대칭성이 있는 감각형 오브젝트를 이용함으로써 AR 환 경에서의 마커 인식률 향상 및 조작 용이성을 확보하였다. 그림 26은 터치펜형 감각 형 오브젝트와 실세계에 증강된 감각형 오브젝트를 나타낸다.

(a) (b)

그림 26. 터치펜형 감각형 오브젝트: (a) 터치펜형 감각형 오브젝트;

(b) 실세계에 증강된 감각형 오브젝트

- ３８ -

4.1.2.2 손가락 고정구형

손가락 고정구 설계를 위해 체계적 공학설계 접근 방식을 적용하였다[2,3]. 증강 현실 환경에서 손가락 고정구가 충족시켜야 하는 요구조건들을 조사하였으며, 표 2 은 이러한 요구조건들을 나타낸다.

표 2. 손가락 고정구 요구사항

1 손가락 끝으로 제품형 오브젝트를 접촉할 수 있어야 한다.

2 AR 마커가 손가락 끝과 가까워야 한다.

3 버튼 선택 작업 중 손가락 끝 부위가 잘 보여야 한다.

4 부착된 AR 마커가 카메라로부터 잘 보여야 한다.

5 사용할 때 손가락에 걸리는 부하가 적어야 한다.

6 많은 사람들의 손가락에 잘 맞아야 한다.

7 가볍고 쉽게 부서지지 않아야 한다.

8 제작이 용이해야 한다.

9 제작 비용이 저렴해야 한다.

이러한 요구조건들을 고려하고, 사용자가 검지 손가락 끝을 이용하여 버튼 선택 작업을 수행한다는 점을 착안하여 손가락 고정구에 대한 개념설계들을 도출하였다.

그런 다음, 도출된 개념설계들 중에서 단일 부품으로 이루어진 일체형 오브젝트에 해당하는 개념설계들을 선별하였다. 일체형 오브젝트는 조립 및 체결 문제를 고려하

- ３９ -

지 않아도 되며, RP 기술을 통해 저비용으로 빠르고 쉽게 제작할 수 있다. 대안들의 선별과정에서 이러한 일체형 오브젝트에 대한 개념이 중요하게 고려되었다. 그림 27 은 선별된 설계대안 2가지를 나타내는데 이들은 일체형인 손가락 고정구를 검지 손 가락에 착용하는 개념에 바탕을 두고 있다. 참고로, 검지 손가락의 세 마디 중 손톱 이 있는 마디를 첫째 마디라고 한다.

손가락 굽힘 정도, AR 마커 위치, 손끝과 AR 마커 간의 거리는 요구조건 2, 3, 4, 5번 항목에 상쇄적으로 영향을 미친다. 예를 들어, 손가락을 곧게 편 상태에서 버튼 선택을 하게 되면, 손가락에 힘이 들어가지만, 카메라로부터 AR 마커의 가시성이 높 아진다. 또한, 손끝과 마커 중심 간의 거리가 가까우면 선택 작업의 정확성은 높지 만 손가락 끝부분이 사용자로부터 잘 보이지 않게 되어 버튼 선택과 같은 작업 성능 이 저하된다.

- ４０ - 설계

대안

개념도 개념 설명

A

* 구성: 2 개 고리+ AR 마커 부착판

* 마커 위치: 셋째 마디 위

* 손가락을 어느 정도 구부리게 함.

B

* 구성: 2 개 고리+ AR 마커 부착판

* 마커 위치: 둘째 마디 위

* 손가락을 어느 정도 구부리게 함.

그림 27. 손가락 고정구의 설계대안 2가지

손가락 고정구의 설계대안 2가지는 2개의 고리와 AR 마커 부착판으로 구성되며, 손 가락 마디 위에 AR 마커를 부착한다. 상호작용을 할 때, 네 손가락을 굽히고, 손가 락 고정구를 착용한 검지 손가락을 편 상태에서 손가락 끝으로 제품용 오브젝트를 접촉한다. 부착된 AR 마커 정보를 바탕으로 손가락 끝의 위치를 파악한 후 버튼 선 택 작업이 이루어진다. 이러한 설계대안 2가지를 구체화 시켜, 이를 토대로 손가락 고정구를 제작하였다. 표 3은 손가락 고정구 설계변수들(재료, 제조공법, 형상치수) 들의 예를 보여주고 있다.

- ４１ -

표 3. 손가락 고정구 설계변수들

재질 손가락 고정구의 재질

제조 공정 손가락 고정구의 제조 방안 주요 형상치수 t: 고정구 쉘(shell) 두께

a23: 둘째와 셋째 마디 사이 각도 l2: 둘째 마디의 길이

l3: 셋째 마디의 길이 w2: 둘째 마디의 폭 w3: 셋째 마디의 폭

r2: 둘째 마디의 고정 고리 반경 r3: 셋째 마디의 고정 고리 반경 d2: 둘째 마디의 고정 고리 폭 d3: 셋째 마디의 고정 고리 폭

이러한 설계변수들은 손가락 고정구의 요구조건들과 모두 연관되어 있으며, 그림 28, 29는 손가락 고정구 대안 2가지 형상을 결정짓는 주요 형상치수 예를 나타낸다.

- ４２ -

그림 28. 손가락 고정구 대안 A 주요 형상치수

그림 29. 손가락 고정구 대안 B 주요 형상치수

손가락 고정구의 주요 형상치수 결정은 연구자가 소속된 학과의 학생들 10명을 대 상으로 선택작업에 이용하는 왼손 또는 오른손 검지 손가락의 해당 치수들을 측정하

- ４３ -

여 얻은 값들을 바탕으로 하였다. 둘째 마디와 셋째 마디 간의 각도(a23)의 결정을 위해 각 피실험자의 검지손가락에 힘을 주지 않은 자연스러운 상태에서의 해당 각도 를 측정한 다음, 평균값으로 정하였다. 치수(l2, l3)의 결정은 각 피실험자의 해당 손가락 마디를 측정한 다음, 평균값으로 하였다. 치수(r2, r3)의 결정은 각 피실험 자의 해당 손가락 마디를 측정한 다음, 최대값+여유값으로 하였다. 2가지 고정구는 검지손가락의 첫째 마디를 고정하게끔 고리로 제작되어 사용자의 손에 따라 손가락 고정구가 쉽게 움직이는 경우나, 고정 고리가 너무 작아 손가락이 잘 들어가지 않는 경우가 발생 할 수 있다. 따라서, 고정 고리를 고무밴드 재질이나 후크패스너(hook fastener)와 같이 조절 가능한 것으로 대치하는 방안을 고려할 수 있다. 이상에서와 같이 결정된 손가락 고정구의 주요 형상 치수 값들은 다음과 같이 요약된다.

l 손가락 고정구 A 형상 치수 값

23

2 2 2 2

3 3 3 3

3 150

22 14 8.5 5

28 28 10 5

t mm a

l mm w mm r mm d mm

l mm w mm r mm d mm

= =

= = = =

= = = =

o

l 손가락 고정구 B 형상 치수 값

23

2 2 2 2

3 3 3 3

3 170

28 28 8.5 5

21 14 10 5

t mm a

l mm w mm r mm d mm l mm w mm r mm d mm

= =

= = = =

= = = =

o

언급된 손가락 고정구의 주요 형상치수를 매개변수로 이용한 특징형상 기반 파라 매트릭 모델링을 이용하여 손가락 고정구의 CAD 모델을 생성할 수 있다. 이를 통해

- ４４ -

매개변수 수치를 바꿈에 따라 다양한 치수의 손가락 고정구 CAD 모델을 쉽게 생성할 수 있다. 본 연구에서는 CATIA Version 5를 이용하여 결정된 형상치수 값들에 해당 하는 손가락 고정구의 CAD 모델을 생성하였다[41]. 손가락 고정구의 제작을 위해 생 성된 CAD 모델의 STL 파일을 쾌속시작(RP) 기술에 적용하여 RP 모델을 생성한 후, RP 모델에 AR 마커를 부착한다. 그림 30, 31은 손가락 고정구 A, B에 대한 실제 RP 모델과 증강된 모델들을 나타낸다.

(a) (b)

그림 30. 손가락 고정구 대안 A: (a) RP 모델; (b) 증강된 모델

(a) (b)

그림 31. 손가락 고정구 대안 B: (a) RP 모델; (b) 증강된 모델

- ４５ -

4.2 상호작용 원리 및 구현

증강현실 환경에서는 3차원 공간에 위치한 카메라와 마커 간의 3차원 정보(상대적 위치 및 자세)를 이용하여 가상공간과 상호작용을 한다. 따라서, 카메라 보정 (calibration) 작업이 필수적이다. 본 연구에서는 ARToolKit [12]에서 제공하는 카 메라 보정 기법을 사용하여 카메라 보정을 수행하였다. 카메라 보정 정보를 이용하 여 마커와 카메라 간의 3차원 정보는 물론 마커와 마커 간의 3차원 정보를 획득할 수 있다. 따라서, 서로 다른 마커 좌표계 위에 놓인 두 개의 가상모델 간의 상대적 인 위치 및 자세 정보를 파악할 수 있다[12-13]. 이러한 사실은 고유 마커를 포함하 는 감각형 오브젝트들을 이용한 상호작용의 토대가 된다.

고려되는 증강현실 환경에서 이루어지는 상호작용(이벤트 발생에 따른 제품 작동) 원리는 다음과 같다. 마커 A좌표계에 정의된 포인터 끝점과 마커 B 좌표계에 정의된 제품의 버튼 또는 스위치에 해당하는 특징 점들의 거리를 구한 다음, 두 점의 거리 가 임계값 d 이하인 상태를 일정시간(임계값 t) 이상을 유지할 때, 해당 버튼 또는 스위치가 선택되었다는 이벤트를 생성시킨다. 이러한 이벤트를 바탕으로 해당 버튼 및 스위치의 기구학적 이동을 수행하거나, 제품 기능 시뮬레이션을 수행하도록 한다.

그림 32(a)는 증강현실 환경에서 마커와 카메라의 좌표계를 나타내고 그림 32(b)는 포인터와 제품의 상호작용을 나타낸다.

- ４６ -

(a) 마커와 카메라 좌표계 (b) 포인터와 제품과의 상호작용 그림 32. 포인터와 제품용 오브젝트 간의 상호작용

4.1.2 절에 언급한 터치펜형 포인터의 상호작용을 위한 끝점 위치는 포인터용 AR 마커 좌표계 OXYZm을 기준으로 다음과 같이 산정한다.

1

m z

P O = + A + l

터치펜형 포인터의 경우 점 P가 고정되어 있는데 반해[그림 33], 손가락 고정구는 사용자의 첫째 마디 길이에 따라 점 P를 수정해주어야 한다. 따라서 손가락 고정구 는 손가락 끝점의 위치를 계산하고자 할 때, 손가락의 움직임으로 인해 끝점의 위치 가 일정하지 않게 되는 문제점을 최소화 하기 위해서는 고정구가 잘 고정되어야 하 며, 고정구의 끝부분에서부터 손가락 끝점에 이르는 거리, 즉 첫째 마디 길이(l1) 를 가능한 정확하게 측정해야 한다[그림 34].

- ４７ -

그림 33. 터치펜형 포인터 P의 계산

그림 34. 손가락 첫번째 마디 길이(l1)

사용자의 검지손가락 첫째 마디 길이(l1)이 정해지면, 손가락 고정구 대안 A는 그 림35 에서와 같이 AR 마커 좌표계 OXYZm 을 기준으로 손가락 끝점(P)의 위치를 다음 과 같이 산정한다