그림 18은 두 개의 마커와 카메라의 위치 관계를 나타낸다. TA 는 마커 A의 카메라 좌표 변환 행렬을 나타내고 TB 는 마커 B의 카메라 좌표 변환 행렬을 나타낸다.
그림 18 두 마커와 카메라의 위치관계
마커 A에 정의된 한 점은 행렬 TA 에 의해서 카메라 좌표로 변환이 되며, 마커 B에 정의된 한 점은 행렬 TB 에 의해서 카메라 좌표로 변환이 된다. 식 (3.3)과 (3.4)는
- ２２ - 이러한 마커에 따른 행렬 변환식을 나타낸다.
=
=
•
1 1
1 0
0 0
1
34 33
32 31
24 23
22 21
14 13
12 11
MA MA MA
A MA
MA MA
CA CA CA
Z Y X Z T
Y X
A A
A A
A A
A A
A A
A A
Z Y X
(3.3)
•
=
=
1 1
1 0
0 0 1
34 33
32 31
24 23 22
21
14 13 12
11
MB MB MB
B MB
MB MB
CB CB CB
Z Y X Z T
Y X
B B
B B
B B
B B
B B B
B
Z Y X
(3.4)
이렇게 카메라 좌표계로 정의된 (XCA, YCA, ZCA) 와 (XCB, YCB, ZCB)를 이용하여 본 연 구에서 사용되는 포인터와 제품 사이에 이벤트를 줄 수 있다.
그림 19와 같이 마커 A 좌표계에 정의된 포인터 끝점과 마커 B 좌표계에 정의된 제품의 버튼이나 스위치에 해당하는 특징 점들의 거리를 구한 후 두 점의 거리가 임 계치1 이하일 때는 제품의 기구학적 정보를 활용하여 버튼의 좌우 및 상하 운동이 일어날 수 있게 하고, 임계치1 이하인 상태에서 임계치2 이상으로 거리가 멀어질 때 제품이 하는 기능 시뮬레이션과 임계치1에 의해 옮겨졌던 버튼이나 스위치의 좌표를 다시 원상복귀 할 수 있도록 하였다. 그리고 flag의 값을 판별하도록 하여 버튼 및 스위치가 계속적으로 움직이는 걸 방지하였다.
- ２３ -
그림 19 포인터와 제품과의 상호작용
이렇게 혼합현실에서 두 개의 감각형 오브젝트를 조작하여 이벤트를 발생시켜 상 호작용이 일어날 수 있게 하였다. 이를 통해 사용자는 자신이 직접 두 감각형 오브 젝트를 잡고 포인터를 이용해 제품의 원하는 버튼을 눌러 이벤트를 발생시켜 상호작 용을 하며, 모니터를 통해 실시간으로 이루어지는 이런 작업들을 시청함으로써 몰입 감, 임장감, 현실감을 느낄 수 있다.
- ２４ -
제 제 제
제 4 4 4 4 장 장 장 장 제안된 제안된 제안된 제안된 상호작용 상호작용 상호작용 상호작용 방안을 방안을 방안을 방안을 이용한 이용한 이용한 이용한 설계품평 설계품평 설계품평 설계품평
본 장에서는 3장에서 제안된 혼합현실 기반 상호작용 방안을 이용하여 휴대용 전 자제품의 설계품평 및 응용을 하기 위해 필요한 주요 요소들 제품 모델의 멀티미디 어 콘텐츠 데이터 획득부터 기능 정보 모델 생성 및 시뮬레이션에 대해 설명한다.
이러한 요소들을 활용하여 감각형 오브젝트를 병행함으로써 혼합현실 기반 상호작용 및 제품 기능 시뮬레이션을 수행한다. 이를 통해 휴대용 전자제품의 사실적인 시각 화, 기능 시뮬레이션, 그리고 제품 기능 평가 등과 같은 제품 설계품평 과정에서 요 구되는 중요한 일들을 수행 할 수 있게 된다. 그림 20은 혼합현실 기반 제품 설계 품평을 위해 필요한 주요 성분들과 이들의 관계를 나타내고 있다.
그림 20 혼합현실 기반 제품 설계 품평을 위한 주요 과정
2장에서 제안된 제품 모델 생성에 따른 부품 기하 모델들과 이들 간의 조립관계
- ２５ -
및 기구학적 정보로 구성된 제품 모델과 특정상태의 제품 시각적 콘텐츠를 이용하여 특정 상태의 렌더링 이미지를 생성한 후, 혼합현실 기술을 이용하여 해당 이미지를 실세계 영상 위에 실시간으로 오버레이(Overlay)함으로써 사용자에게 시각 정보를 전달한다. 이와 동시에 특정상태에 따른 음성 콘텐츠도 스피커를 통해 출력된다. 제 품의 기능적 행동양태를 기능 정보모델로 표현한 후, 이를 바탕으로 유한상태기계 (Finite State Machine, FSM) 코드를 생성하여 기능 시뮬레이션이 가능하게끔 한다.
이러한 유한상태기계를 감각형 오브젝트를 이용한 혼합현실 기반 상호작용과 병행하 여 제품의 기능 시뮬레이션을 수행한다. 즉, 감각형 오브젝트를 이용하여 사용자는 제품 구성 부품인 버튼이나 조이스틱을 조작하여 이벤트를 발생시키면, 유한상태기 계에 의거하여 제품의 상태를 바꾸거나 미리 정해진 활동(Activity)을 수행하는 방 식으로 사용자의 입력 이벤트를 받아 기능 시뮬레이션을 수행할 수 있게 된다.