Development of the 3D Virtual Fitting Room Simulator using Augmented Reality

증강현실을 이용한 3D 가상 피팅룸 시뮬레이터의 개발

김성호

상지대학교 컴퓨터정보공학부

Development of the 3D Virtual Fitting Room Simulator using Augmented Reality

Sung-Ho Kim

School of Computer, Information and Communication Engineering

요 약 최근 홈 쇼핑 이용자의 수가 급증하면서 각 매장에서는 소비자의 눈높이에 맞는 서비스를 제공하기 위한

많은 노력들이 있어왔다

.

·

.

OpenCV,

API

Kinect

.

.

OpenCV

libsigc

3D

.

·

.

주제어 : 증강현실

, 3D

,

, OpenCV,

,

Abstract Recent, the number of consumers using home shopping are in increase. So, there have been a lot of effort to provide services that meet the consumer's eye level in each store. In particular, apparel stores have been conducted the research for virtual fitting room based on augmented reality technology that consumers can simulate in real time costumes that meet the tastes of consumers in online and offline market. In addition, some services has already progress. The general virtual fitting room simulator built the user interface based on OpenCV, augmented reality API, Kinect, and so on. But, it has the disadvantage that the equipment is expensive. In this paper, we have developed a 3D virtual fitting room simulator based on augmented reality technology using OpenCV and libsigc

. This simulator can simulate easily in general home without any special equipment. This simulator is expected to be available very efficient in online and offline market as well as home shopping.

Key Words : Augmented Reality, 3D Fitting Room, Simulator, OpenCV, Web Camera, Costume Market

* 본 논문은 2012년도 상지대학교 교수 연구년제 지원에 의한 것임 Received 2 September 2013, Revised 24 September 2013 Accepted 20 November 2013

Corresponding Author: Sung-Ho Kim(Sangji University) Email: [email protected]

Ⓒ The Society of Digital Policy & Management. All rights reserved. This is an open-access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.otg/licenses/by-nc/3.0), which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.

ISSN: 1738-1916

1. 서론

최근 인터넷, TV 및 스마트폰 등의 다중 매체를 이용 한 홈쇼핑 이용자의 수가 급증하고 있다. 그러나 단순한 문자, 이미지 및 영상을 기반으로 하고 있는 현재 온라인 쇼핑몰의 최대 단점은 역시 소비자가 직접 상품을 만져 보고 시험적으로 착용해보았을 때 어떤 모습인지를 직접 확인할 수 있는 등의 현실감을 거의 제공해줄 수 없다는 것이다. 물론 소비자가 오프라인 의류 매장을 직접 방문 하면 전시된 다양한 의류 제품들을 직접 눈으로 보고 손 으로 만져보면서 입어보고 거울을 통해 확인할 수는 있 다. 그렇지만 소비자가 매우 다양한 의류 제품들을 일일 이 입어보고 거울을 보면서 확인해야하는 과정 또한 매 우 비경제적이고 너무 많은 시간을 소요하게 되어 피곤 함을 가져오게 하는 단점을 가지고 있는 것이 사실이다.

국내 의류 매장에서는 찾아보기 쉽지 않지만, 해외 유명 대형 의류 매장에서는 이와 같은 소비자들의 불편함을 조금이나마 줄이고 흥미와 즐거움을 제공해줌으로서 판 매율을 높이기 위한 서비스 개발에 많은 노력을 하고 있 다. 그 대표적인 예가 온·오프라인 의류 매장 등에서 서 비스하고 있는 가상 피팅룸(Virtual Fitting Room) 혹은 가상 드레싱룸(Virtual Dressing Room)이다. 여기서 피 팅룸(Fitting Room) 혹은 드레싱룸(Dressing Room)은 탈의실과 같은 의미로 사용되고 있다. 즉, 소비자가 다양 한 의상을 입어보고 갈아입고 하는 등의 기능을 수행하 는 공간이라고 생각하면 된다. 그러나 가상 피팅룸은 꼭 밀폐된 공간이나 방(Room)을 의미하는 것은 아니며 모 니터 기능을 수행하는 증강현실 기술이 접목된 거울이 있는 곳이면 어디든지 가능하다. 그러므로 본 논문에서 는 가상공간에서 의류 제품 등을 소비자가 직접 시뮬레 이션 함으로서 만족도도 높이고 시간적, 경제적인 효율 도 매우 크게 높여주기 위하여 증강현실 기술이 접목된 3D 가상 피팅룸 시뮬레이터를 제안한다.

본 논문의 구성과 각 장의 내용은 다음과 같다. 2장은 본 논문의 주제와 관련된 연구 결과들에 대하여 기술하 고, 3장에서는 전체 시스템의 구성도에 대하여 기술한다.

4장에서는 시뮬레이터에서 사용될 3D 의상 모델링 및 데 이터에 대하여 기술하고, 5장에서는 사용자 인터페이스 의 설계에 대하여 기술한다. 6장에서는 시스템의 구현 결 과에 대하여 기술하고, 마지막 7장에서는 결론 및 향후

연구 과제에 대하여 기술하고 끝을 맺도록 한다.

2. 관련 연구

증강현실을 이용한 가상 피팅룸에 대한 연구 및 구현

결과는 온라인 쇼핑몰의 매우 큰 부분을 차지하고 있는

의상 분야에서 소비자에게 보다 더 현실적인 서비스를

제공해주기 위해서 연구 개발되기 시작하였다. 최근에서

는 사용자의 눈높이에 맞추기 위하여 더욱더 고급스럽고

사용하기 쉬우며 성능이 향상된 사용자 인터페이스를 구

축하여 고객에게 다가가고 있는 것이 사실이다. 이와 관

련된 수많은 연구 결과들이 있는데, [1]은 증강현실에서

사용되는 마커를 사용하지 않고 손동작을 사용자 인터페

이스로 사용하기 위한 목적을 가지고 있다. 그러나 손동

작 인식만 가능할 뿐 실제 가상 피팅룸에 적용하지는 않

았다. [2]는 증강현실 기술을 의류 쇼핑에 적용하기 위한

Prototype을 제안하였는데, 판매자가 자동판매기 안에

상주하면서 사용하여야 하기 때문에 비현실적인 문제가

있다. [3]은 스마트폰에서 사용하기 위한 증강현실 기반

의 패션 피팅 시스템을 개발한 것이지만, 매우 단순하고

실용적이지 못하다는 부분이 있다. [4, 5, 6]은 아바타를

대상으로 다양한 색상의 의상을 입혀보는 시뮬레이션을

개발한 것으로서 실제 사용자를 대상으로 하지 않았기

때문에 비현실적이고 실용적이지 못하다. [7]은 본 논문

의 주제를 설정하기 위해 참고한 가상 피팅룸의 모델이

다. 주요 기능은 다양한 의상의 항목들을 이미지로 나열

하고, PC에서 증강현실을 개발하기 위한 툴(Tool) 중의

하나인 ARToolKit을 사용하여 Marker로 하여금 의상

이미지를 보여주는 것이다. 또한 이전(Prev)과 이후

(Next) 메뉴를 두어 의상의 항목을 선택할 수 있게 하고

있다. 그러나 Marker를 사용하기 때문에 사용자에게는

매우 번거롭고 불편한 것이 사실이다. [8]은 국내에서 개

발한 증강현실 기반의 가상 피팅 솔루션 중의 하나이며,

Web 환경과 Application 환경 모두 고려하고 있다. 주목

할 부분은 초기 동작 시 카메라로부터 사용자의 위치를

잡아주기 위한 과정이 필수적이라는 것이다. 그러므로

다소 불편함을 초래할 수도 있다. [9]는 웹에서 쇼핑을 할

수 있도록 하기 위한 가상 드레싱룸을 개발하여 사용하

고 있다. [9]의 Social Shopping App은 매우 다양하고 기

본적인 의상 시뮬레이션의 기능을 가지고 있다. 주목할 만한 기술 중의 하나는 모션 캡처 기술을 적용하여 사용 자의 몸동작을 이해하고 이를 메뉴 아이콘 선택에 적용 한다는 것이다. 모션 캡처 기술을 적용하기 때문에 사용 자에게는 사용자 인터페이스가 사용하기 쉬울 수도 있으 나 고가 장비를 사용하기 때문에 상업화에 어려움이 있 을 수도 있다. [10]은 Microsoft사의 Kinect를 사용한 증 강현실 기반의 3D 가상 피팅룸 시스템 중의 하나이다. 주 목할 만한 기술 중의 하나는 사용자의 동작에 따른 의상 의 물리적 시뮬레이션이 가능하다는 것이다. 그러나 시 뮬레이션을 시작할 때 Kinect를 사용하기 때문에 양손을 위로 올리면서 초기 자세를 취해야만 실행된다는 것이다.

또한 일반 사용자가 사용하기에는 고가의 Kinect를 구입 해야하는 문제 때문에 일반화에 문제가 있을 수 있다.

[13]은 지능적인 의상 피팅룸을 제안하고 있다. 주목할 만한 기술은 사용자의 동작 추적(Motion Tracking)과 의 상 인식(Costumes Recognition)을 기반으로 의상의 색상 을 변경시킬 수 있다는 것이다. 그러나 주변의 인터페이 스에 기능들이 분산되어 실제 사용자의 의상 시뮬레이션 의 기능은 충분하지 않다는 점이 아쉽다. [14]는 지금까 지 연구 및 개발된 결과물들의 단점이나 문제점들을 조 사하여 개선, 수정 및 보완된 사용자 인터페이스를 제안 하고 있다. 그러나 최근 서비스되고 있는 시스템들의 사 용자 인터페이스와 비교하여 크게 달라지거나 개선되었 다기보다는 약간은 사용자가 이해하기 쉽게 메뉴들 나타 내고 있다는 것이 전부이다.

가상 피팅룸에 대한 국내외 연구 결과들은 위에 소개 한 시뮬레이터 외에도 다수 존재하고 있다. 본 논문에서 는 이와 같은 기존의 가상 피팅룸의 장점을 포함하며 고 가의 장비를 사용하지 않는 상태에서 사용자에게 더욱더 친숙하고 현실감 있는 가상 피팅룸을 설계하고 구현하고 자 한다.

3. 전체 시스템의 구성도

본 논문은 가상공간에서 3D로 모델링 된 다양한 의상 들을 증강현실 기술을 이용하여 시뮬레이션해볼 수 있는 3D 가상 피팅룸 시뮬레이터를 개발하고자 한다. [Fig. 1]

은 본 논문에서 제안하는 전체 시스템의 구성도이다.

[Fig. 1]에서 OpenCV는 웹 카메라로부터 입력되어지는 실시간 영상을 윈도우에 보여주기 위한 목적으로 사용하 고 있다. 또한 libsigc++은 OpenCV를 통해서 입력되어지 는 영상들 중 사용자 인터페이스와 관련된 기능을 수행 하기 위해서 사용되어진다.

[Fig. 1] Configuration of the system

libsigc++은 표준 C++을 위해 컴파일시에 형태가 보증 된(typesafe) Callback 시스템을 제공한다. 그리고 정적 이거나 가상이거나 상관없이 신호(Signal)를 정의하고 Global 또는 Member 함수도 모든 Callback 함수에 그 신 호를 연결할 수 있다. 또한 유사한 callback을 연결하기 위한 Adapter Class들을 포함한다. 본 시스템은 3D로 Modeling.된 의상들을 호출하여 윈도우에 나열하고 사용 자가 선택한 의상을 윈도우의 중앙에 나타내어 사용자가 직접 확인할 수 있도록 구성되어져 있다.

4. 의상 모델링

본 논문에서 시스템에 사용하고자 히는 3D 의상 모델

은 3D Studio MAX를 사용하여 Modeling된 여러 개의

의상 데이터들[11, 12]로 구성되어져 있다. [Fig. 2]는 시

뮬레이션에서 사용하기 위한 3D 의상 모델들의 정면 모

습들이다. 본 시스템은 3D 의상 모델을 사용자의 신체에

맞게 입은 것처럼 보이도록 하기 위하여 3D 의상 모델에

서 사용자의 신체 부분이 보이게 될 부분을 모두 삭제하

였다. 또한 [Fig. 3]과 같이 사용자가 카메라를 보며 좌우 로 회전을 하면서 자신의 신체에 맞는지 확인할 수 있도 록 7개 방향에서 바라본 의상의 모습을 Image화하여 구 축하였다.

[Fig. 2] 3D Costume Models for use in Simulation

[Fig. 3] Sample of 3D Costume Model with Some Rotate Value to the Left and Right Direction.

5. 사용자 인터페이스의 설계

본 논문에서 제안하는 시스템은 지금까지 연구되어진 결과물들의 장점과 현장에서 서비스하고 있는 시스템들 의 사용자 인터페이스를 참조하여 설계하였으며, 일반인 들이 의류 매장뿐만 아니라 일반 가정에서도 쉽게 시뮬 레이션해볼 수 있도록 하였다. 즉, 3D 가상 피팅룸을 구 축하고 시뮬레이션하기 위해서는 현재 선택된 의상과 새 로 선택할 의상을 위한 이전(Prev), 이후(Next) 메뉴가

필요하며, 선택된 의상에 대한 좌우 회전(Rotation) 기능 이 필요하다. 또한 의상의 크기가 사용자의 신체에 정확 하게 맞지 않기 때문에 확대(Zoom In)하거나 축소(Zoom Out)할 수 있는 기능이 필요하다. 그리고 마음에 드는 의 상이 선택되어지면 사진(Photo)을 찍거나 동영상(Movie) 으로 녹화하여 다양한 포즈를 취할 수 있어야 한다. [Fig.

4]는 이와 같은 기능들을 모두 포함하는 사용자 인터페이 스이다.

[Fig. 4] User Interface

물론 윈도우의 가운데에는 사용자가 선택한 의상의 정면 이미지가 나타나야하고, 윈도우의 아래 부분에는 본 시스템이 보유하고 있는 3D 의상 모델 이미지들을 보 여주며 현재 사용자에 의해 선택된 의상을 확인시켜준다.

사용자는 손동작을 이용하여 다양한 메뉴들을 선택할 수 있으며 실시간으로 윈도우에서 확인할 수 있게 된다.

6. 시스템 구현결과

본 논문의 결과물인 3D 가상 피팅룸 시뮬레이터는 의

류 매장을 직접 방문하지 않고 PC가 있는 곳이면 어디서

든지 다양한 의상을 사용자의 체형에 맞게 직접 3D로 시

뮬레이션해볼 수 있도록 하기 위한 시스템을 개발한다는

것을 목표로 하고 있다. 그래서 본 논문에서는 웹 카메라

를 사용하여 증강현실 기반의 3D 가상 피팅룸 시스템을

구현하였다. [Fig. 5]는 서로 다른 스타일을 가진 6개의

의상 모델들 중 첫 번째 의상이 선택된 상태에서 사용자 의 정면을 바라보고 있는 모습이고, [Fig. 6]은 첫 번째 의상이 45도 정도 오른쪽 방향으로 회전한 상태이다.

[Fig. 7]은 첫 번째 의상이 오른쪽 방향으로 90도 회전한 모습이다. 여기서 본 시스템은 양쪽 방향 모두 최대 90도 까지 회전하여 시뮬레이션할 수 있도록 제한하였다.

[Fig. 5] Front View of the First Costume Model

[Fig. 6] Turn 30 Degree by right of the First Costume Model

사용자 인터페이스의 설계 부분에서도 언급하였듯이 본 시스템은 미리 준비한 3D 의상 모델을 윈도우에서 확 인하기 위한 이전(Prev), 이후(Next) 기능뿐만 아니라 회 전(Rotation), 확대 및 축소(Zoom), 사진(Photo) 및 동영 상(Movie) 등의 기능들을 사용하여 효율적인 3D 가상 피

팅룸 시뮬레이터가 될 수 있도록 하였다. 본 논문에서는 3D 가상 피팅룸 시뮬레이터를 10명의 학생들을 대상으 로 실험해본 결과, 윈도우의 좌우에 배치된 각 메뉴들을 카메라와 모니터 화면을 보면서 손동작으로 선택하였을 때 그 기능들은 모두 매우 잘 수행되었으며, 특별한 문제 점이 발견되지는 않았다.

[Fig. 7] Turn 90 Degree by right of the First Costume Model

일반 사용자를 위한 본 시스템의 적정 실행 환경은 2GB 이상의 RAM이 설치된 PC에 추가적으로 PC 카메 라가 설치되어 있으면 되는데, PC 카메라는 가능한 고화 질일수록 좋다.

7. 결론 및 향후 연구

본 논문의 결과물은 3D로 모델링 된 다양한 의상들을

증강현실 기술을 이용하여 사용자가 직접 자신의 몸에

시뮬레이션해볼 수 있는 3D 가상 피팅룸 시뮬레이터로

서 HD급 웹 카메라와 본 시뮬레이터가 설치된 PC에서

언제 어디서든지 확인해볼 수 있다는 장점이 있다. 또한

본 논문의 결과물에 온라인 기술을 적용하여 확장하게

되면 인터넷, 스마트폰 및 TV 홈쇼핑 등과 연동하여 실

시간으로 자신의 체형에 잘 맞는 각종 의상을 3D로 직접

체험해볼 수 있는 매우 효율적인 장점 때문에 쇼핑몰 업

체에 매우 유용하게 사용될 수 있다고 기대된다. 본 논문

에서 개발한 시스템은 의상뿐만 아니라 각종 액세서리, 신발, 모자, 안경, 가방 등과 같이 사람의 몸에 입고 걸치 고 부착하는 등의 다양한 항목들에 대한 다양한 시뮬레 이션 분야에서 활용 가능하기 때문에 향후 추가적으로 연구해야할 분야이기도 하다. 또한 이를 각종 쇼핑몰 업 체에 제공하여 소비자로 하여금 제품 구입 시에 현실감 있는 만족감을 추구할 수 있기를 기대해본다. 그러나 본 시스템은 사용자가 카메라와 모니터를 보면서 모니터 화 면에 보이는 의상에 본인의 몸을 맞추기 위해 위치 이동 및 자세 변경을 적절히 하여야하는 단점을 가지고 있다.

또한 사용자가 좌우로 회전을 한다고 하여 의상이 사용 자의 몸에 맞게 자동으로 회전이 되는 것도 아니다. 모든 것은 모니터 화면 좌우에 배치된 메뉴들에 의해서 작동 하게 된다. 그러므로 향후 연구에서는 사용자의 움직임 에 따라 의상이 자동으로 이동, 회전 및 크기조절 등이 가능하도록 개선시켜야 한다. 본 논문에서는 향후 연구 과제로 사용자의 동작 인식 기술을 추가하기 위해서 OpenNI 등과 같은 라이브러리를 사용하여 시스템을 개 선시키고자 한다.

ACKNOWLEDGMENTS

This research was supported by Sangji University Faculty Research Year Fund, 2013

REFERENCES

[1] Keon-Hee Park, Guee-Sang Lee, Hand Gesture Interface for Manipulating 3D Objects in Augmented Reality, Journal of Korea Contents Association, Vol.10, No.5, pp.20~28, 2010.

[2] An Myoung-Uk, Yang Seungsin, Wi DaeHyeon, Yoon Gunwoo, Park Dahan, A Clothing Vending Machine using Augmented Reality Mirror, Proceeding of the 2009 Korea Contents Association, Vol.7, No.1, pp.368-372, 2009.

[3] Tak Myungja, Kim Cheeyong, Augmented Reality Fashion Fitting System using Smartphone,

Proceeding of the 2012 Korea Computer Graphics Society, pp.113-114, 2012.

[4] Tak Myungja, Kim Cheeyong, A Study on Virtual Fitting Model System, Proceeding of the 2006 Korea Multimedia Society, pp.307-310, 2006.

[5] Tak Myungja, Kim Cheeyong, A Study on Virtual Fitting Model System for Internet Fashion Shopping Mall, Journal of Korea Multimedia Society, Vol.9. No.9, pp.1184-1195, 2006.

[6] Ja-Ryoung Choi, Soon-Bum Lim, Jongwoo Lee, Implementation of virtual fitting service solution in digital fashion, Proceeding of the 2009 Korea Multimedia Society, pp.401-402, 2009.

[7] http://www.youtube.com/watch?v=0J0fwQqCIuE [8] http://www.virtualfitting.co.kr/

[9] http://www.zugara.com/

[10] http://www.fitnect.hu/

[11] http://www.fallingpixel.com/3d-models/clothing [12] http://www.turbosquid.com/Search/3D-Models/

Characters/Clothing

[13] Zhang, W., Matsumoto, T., Liu, J., Chu, M., Begole, B., An Intelligent Fitting Room Using Multi- Camera Perception. IUI, 2008.

[14] Kasper Kristensen, Nanna Borum, Line G. Christensen, Henrik W. Jepsen, Jacob Lam, Anthony L. Brooks, Eva Petersson Brooks, Towards a Next Generation Universally Accessible ‘Online Shopping-for-Apparel’

System, Lecture Notes in Computer Science Vol.8006, pp.418-427, 2013.

김 성 호(Kim, Sung-Ho)

․1998년 8월 : 숭실대학교 컴퓨터학 과(공학석사)

․2005년 2월 : 숭실대학교 컴퓨터학 과(공학박사)

․2006년 3월 ～ 현재 : 상지대학교 컴퓨터정보공학부 교수

․관심분야 : 컴퓨터 그래픽스, 컴퓨 터 애니메이션, 모션 캡처, 가상현실/증강현실, 컴퓨터게임, Web3D, 멀티미디어, 지리정보시스템

․E-Mail : [email protected]