Simulink 와 3D 가상제품 간의 소켓통신

본 연구에서는 UI 설계자가 Simulink를 활용하여 제작한 UI 행동양태 정보를 재 사용하기 위해 소켓통신을 활용한다. 소켓(socket) 통신은 서로 다른 장비 또는 프 로그램 간의 데이터 전송을 위한 하나의 수단으로 크게 TCP와 UDP로 나누어진다.

TCP는 가장 흔하게 사용되는 프로토콜 방식으로 클라이언트는 서버로부터 발신된 정 보를 받지 못 할 경우 서버에 다시 요청할 수 있고 데이터 손실이 발생하지 않는 장 점이 있다. UDP는 TCP와 다른 점으로 한 방향으로만 통신 하는 것을 말한다. 이는 속도 면에서 TCP보다는 좋으나 데이터의 손실이 발생 할 수 있는 단점이 있다. 본 연구에서는 시뮬레이션 동안에 데이터의 손실이 발생하지 않는 TCP/IP를 사용하였다.

Simulink에서 소켓 통신을 지원하는 블록을 제공하고 있다. 이 블록을 활용하여 UI

- ２４ -

행동양태 정보를 근·원거리에 있는 3D 가상 제품 시뮬레이션 시스템에 전달하여 사 용 할 수 있다. 그림 18 은 Simulink에서 TCP/IP 기능을 지원해주는 블록을 활용하 여 3D 가상시작 시스템과 연결하는 모듈을 나타낸다.

그림 18. 3D UI 행동양태 시뮬레이션 모듈

사용자로 하여금 3D 가상 제품 시뮬레이션 시스템에서 발생된 이벤트 정보가 소 켓 통신을 통해 Simulink 에서 개발된 유한 상태 기계로 전송되고, 상태전이에 관련 있는 신호일 경우 제품의 상태정보를 갱신한다. 이후 소켓통신을 통해 3D 가상 제품 시뮬레이션 모듈에 상태정보가 전달되어 사용자는 제품의 기능정보를 확인 할 수 있 다.

3.3.2 3D기반 제품 행동양태 저작

3D 가상 제품 시뮬레이션을 수행하기 위해서는 제품의 3D 모델 및 제품/부품들 의 행동양태 정보가 정의되어야 한다. 이를 위해 그림 19 와 같이 가상시작 개발자 와 CAD 설계자는 데이터 정보를 생성 및 보관한다.

- ２５ -

그림 19. AR Authoring Tool 의 구성

제품의 3D 부품 모델들과 조립체 모델을 포함하는 제품모델(product model)은 CAD 설계자에 의해 생성된다. 제품모델에는 제품을 이루는 부품들의 기하모델, 색상 및 재질, 부품들 간의 조립 관계(assembly structure)와 기구학적 운동(kinematics) 에 관한 정보가 포함된다[8]. 기하모델은 보통 CAD 소프트웨어를 이용하여 생성되나, 제품 외형에 대한 물리적 시작품이나 소프트 목업(soft mockup)이 존재하는 경우, 역공학(reverse engineering) 기법[29]을 병행하여 기하모델을 생성할 수 있다. 제 품의 3D 모델이 완성된 이후 가상 시작 개발자는 제품을 사실적으로 표현하기 위해 서 제품-사용자 간의 상호작용에 따른 3D 제품/부품들 간의 행동양태를 기술하고 생 성한다[30]. 대표적인 행동양태로는 3D 제품 및 부품들 간의 이동 및 변환을 들 수 있다.

3.3.3 3D 가상제품 행동양태 시뮬레이션

3D 가상 제품 시뮬레이션 (즉, 설계검토 및 행동양태 시뮬레이션)은 앞 절에서 언급된 Simulink와 3D 가상제품 시뮬레이션간의 소켓통신, 3D 제품/부품 행동양태와 3D 제품모델 정보를 이용하여 VR(virtual reality)/AR(augmented reality) 기반으로 3D 가상시작을 구현한다.

- ２６ -

(1) VR 기반 3D 가상시작

VR은 가상환경으로 사용자와 상호작용이 가능하고 사용자의 경험을 제공 할 수 있다. 그림 20 은 VR 기반 3D 가상 시작 시스템 개발 절차를 보여주고 있다.

그림 20. VR 기반 3D 가상 시작 시뮬레이션 프로세스

사용자는 제품-사용자 간의 상호작용 장비로 마우스와 키보드를 사용한다. VR 기반 3D 가상시작 시스템은 사용자가 마우스와 키보드 들을 통해 발생시킨 이벤트 신호를 시점변환 이벤트와 제품 이벤트로 분류한다. 시점변환 이벤트가 발생되는 경 우 사용자는 제품을 보는 시점의 변경이나 제품의 위치 및 자세 등을 변화시켜 제품 의 외형을 확인할 수 있으며, 제품 이벤트가 발생되는 경우에는 3D 가상 시작 개발 자가 저작한 3D 제품/부품 간의 행동양태 정보를 바탕으로 3D 제품/부품의 행동양태 정보를 표현하고, 발생된 이벤트 신호를 소켓통신을 통해 Simulink로 제작된 유한

- ２７ -

상태기계에 이벤트를 전달한다. Simulink는 전송 받은 이벤트 신호를 확인하여 제품 의 상태전이와 관련될 경우 상태정보를 최신정보로 변화시켜 VR 기반 3D 가상시작 시스템으로 전송하여 준다. 전송 받은 상태 값에 따라 멀티미디어 컨텐츠를 검색하 여 사용자에게 제품의 이미지 정보를 보여주고, 음성을 갖는 컨텐츠의 경우 음향장 치를 통해 음성정보를 제공한다. 이를 통해 사용자는 제품의 외형 및 상태를 확인하 고, 기능을 체험 할 수 있다. 그림 21 은 VR 기반 3D 가상시작에 사용한 PMP 모델을 보여주고 있다.

그림 21. VR 환경의 3D 가상 제품

- ２８ -

(2) AR 기반 3D 가상시작

AR은 실제환경에서 가상의 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 기법이다. 그림 22 는 AR 기반 3D 가상 시작 시스템을 개발 하는 절차를 보여주고 있다.

그림 22. AR 기반 3D 가상 시작 시뮬레이션 프로세스

AR 기반 3D 가상시작 시스템은 Park [22]등의 휴대용 전자제품 품평시스템 방식 에서와 같이 제품용 오브젝트와 포인터용 오브젝트 이 두 가지 감각형 오브젝트를 이용한다. 제품용 오브젝트는 휴대용 전자제품의 역할을 하며 위치 및 자세 조작을 위해 사용되고, 포인터용 오브젝트는 제품형 오브젝트와 접촉하여 이벤트를 발생시 키는 포인터의 역할을 한다. 카메라를 통해 얻은 영상에서 두 오브젝트의 마커를 찾 아 각 오브젝트에 대한 위치 및 자세 정보를 얻는다. 이를 통해 제품형 오브젝트와 포인터형 오브젝트의 상대적인 위치를 파악하여 이벤트 신호를 발생 여부를 확인 할

- ２９ -

수 있다. 사용자가 두 감각형 오브젝트를 이용해 제품의 버튼을 누르면 이벤트 신호 가 발생된다. 이벤트 발생시 3D 제품/부품 행동양태와 관련될 경우 가상제품의 움직 임을 표현해주어 실제 버튼을 누르는 것과 같은 느낌을 제공해주고 소켓통신을 통해 Simulink로 제작된 유한 상태기계에 이벤트를 전달한다. 이후, 상태정보가 정의된 Simulink와 AR 기반 3D 가상 시작 시스템의 정보교환 방식은 앞 절의 VR 기반 3D 가 상 시작의 정보교환 방식과 동일하다. 그림 23은 AR 기반 3D 가상 시작에 사용한 PMP 모델을 보여주고 있다.

그림 23. AR 환경의 3D 가상 제품

- ３０ -

제 4 장 시스템 구현 및 적용