게임 기획 및 디자인
Received: Sep. 09. 2019 Revised: Oct. 02. 2019 Accepted: Oct. 16. 2019
Corresponding Author: Il-Ju Ko(Soongsil University) E-mail: [email protected]
ISSN: 1598-4540 / eISSN: 2287-8211
Ⓒ The Korea Game Society. All rights reserved. This is an open-access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.otg/licenses/by-nc/3.0), which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
체감형 스포츠 게임을 위한
프로젝터 캘리브레이션 매핑 기술 개발※
길영익
*
, 서혜란*
, 이현주**
, 고일주*
숭실대학교 정보통신소재융합학과*, 숭실대학교 미디어학과**
{xjr1636, hyeran525}@gmail.com, [email protected], [email protected]
Development of Projector Calibration Mapping Technology for Physically Interactive Sport Game
Young-Ik Gil
*
, Hye-Ran Seo*
, Hyeon-Ju Lee**
, Il-Ju Ko*
Dept. of ICMC Convergence Technology, Soongsil University
*
, Dept. of Digital Media, Soongsil University**
요 약
최근 체감형 스포츠 게임은 시각적 자극 통한 콘텐츠 몰입을 위해 다양한 연구가 진행되고 있다. 그 중 미디어 콘텐츠의 다면 영상 기술은 넓은 시야에 영상을 투사하여 몰입시키기에 적 절하지만 캘리브레이션과 시야에 맞는 매핑 작업을 따로 거쳐야한다는 어려움이 있다. 본 논문 은 누구나 쉽게 적용 가능한 캘리브레이션 매핑 기술을 개발하고, CAVE 형태의 체감형 필드아 처리 게임 공간에 적용한다. 그 결과 콘텐츠의 해상도를 유지하고 왜곡 없는 영상을 통해 체험 자에게 공간감 제공이 가능하다는 것을 확인하였다. 본 논문에서 개발한 기술은 소방 훈련 콘 텐츠와 같이 높은 몰입이 필요한 훈련 및 교육 분야에도 활용 가능할 것으로 기대한다.
ABSTRACT
Recently many studies has been conducted for interactive game to contents immersion through visual stimuli. Among them, Multi-Plane Image tech is suitable for projecting video in wide views, but it is difficult to perform calibration and mapping tasks for viewing separately. In this paper, we developed a calibration mapping applies to the field archery game space in the form of CAVE. As a result, we maintained the resolution confirmed the space through the video without distortion and expect to be applicable to the fields requiring presence, such as training contents.
Keywords : Physically Interactive Game(체감형 게임), Projection calibration(프로젝션 캘리브
레이션), Screen Sports(스크린 스포츠), Studio design(스튜디오 설계), Serious game(기능성 게임)
1. 서 론
체감형 스포츠 게임은 IT기술의 발전으로 인해 다양한 종목을 주제로 현대인들의 신체활동 증가의 대안으로 활용되고 있다[1]. 체감형 스포츠 게임은 게임적인 특성과 함께 기술 훈련 및 신체능력 향 상 등과 같은 운동적 특성도 포함하고 있으며, 익 숙한 스포츠를 주제로 하기 때문에 누구나 쉽고 익숙하게 체험할 수 있다는 장점을 가진다[2]. 체 감형 스포츠 게임은 실제 스포츠 경기에서 느끼는 다양한 감각적 요소를 반영하여 높은 실재감을 제 공하는 방향으로 발전하고 있으며, 특히 체험자의 시각을 자극시키기 위한 방법으로 기존 단면 스크 린을 적용한 방법에서 곡면 스크린, 다면 스크린 등과 같이 변화된 디스플레이 방법을 적용하기 위 한 연구가 활발하게 진행되고 있다[3]. 그러나 곡 면 스크린의 경우 체험자가 사전에 정의한 체험자 의 위치를 벗어나면 이미지에 왜곡이 발생하게 되 고, 2면 이상의 스크린을 사용하는 다면 스크린 방 법의 경우에는 설치와 별개로 스크린에 맞게 프로 젝션을 위한 캘리브레이션 과정이 따로 필요하기 때문에 복잡한 과정을 거치며, 설치비용이 상승하 게 되는 어려움이 있다[4].
최근 미디어 기술은 콘텐츠의 다양화를 위해 꾸 준하게 발전하고 있다. 특히 가상현실이나 증강현 실의 재현을 위해 인간의 시각, 촉각, 청각과 같이 다양한 감각을 동시에 자극하는 기술로 체험자에게 새로운 경험을 제공하고 즐거움을 가져왔다[5]. 그 중 프로젝션을 이용한 미디어 콘텐츠는 기존 단면 스크린을 활용한 형태에서 여러 면의 스크린을 활 용한에게 시각의 즐거움을 제공하고 있다[6]. 다면 영 다면 영상 기술의 형태로 발전하면서 관람자상 기술은 특수한 공간에 맞는 프로젝션을 위해 다수 의 프로젝터를 사용하고, 프로젝션 매핑과정을 거 쳐 관람자에게 시각을 통한 공간적 지각을 유도하 는 기술이다[7]. 이러한 다면 영상 기술은 영화관, 테마파크, 전시장 등 시각적인 즐거움을 제공하는 분야뿐만 아니라 광고, 교육 등 다양한 분야에서
가상현실에 대한 몰입을 유도하기 위해 사용되고 있다[8]. 그러나 하나의 영상을 공간에 맞게 분할 하는 과정에서 해상도를 유지하고 자연스러운 연결 을 위해 후처리 작업이 필요하기 때문에 많은 시 간 투자된다는 어려움이 따른다. 이처럼 다면 영상 기술의 한계를 해결한다면 체감형 스포츠 게임에 다면 스크린을 적용하여 높은 실재감을 제공할 수 있을 것이다.
따라서 본 논문에서는 누구나 쉽게 적용할 수 있는 프로젝터 캘리브레이션 기술을 개발하고 필드 아처리를 주제로 구현한 체감형 스포츠 게임에 적 용하여 실재감과 공간감 제공 가능성을 확인하고자 한다. 본 논문은 총 5장으로 구성되어 있으며, 2장 에서는 관련연구를 다루고 3장에서는 프로젝터 캘 리브레이션 기술에 대해 설명한다. 그리고 4장에서 는 개발된 캘리브레이션 프로그램을 이용하여 다면 스크린의 CAVE형 체험 공간에 체감형 필드아처 리 콘텐츠를 구현하고, 마지막 5장에서는 결론 및 향후 과제를 다룬다.
2. 관련연구
2.1 체감형 스포츠 게임
체감형 스포츠 게임은 실제 스포츠와 동일한 운 동 동작으로 조작되는 방식의 게임으로 가상의 공 간에서 실제와 같은 운동 경험과 효과를 제공하는 게임이다. 특히 체감형 게임은 날씨와 계절 등에 상관없이 누구나 쉽게 실내에서 스포츠를 즐길 수 있기 때문에 현대인들의 부족한 신체활동의 대안이 되면서 활발하게 이용되고 있다[9]. 체감형 스포츠 게임은 Nintendo Wii, XBOX360등과 같은 콘솔 게임을 시작으로 시장에 등장하였으며, 국내에서는 스크린 골프를 시작으로 스크린 야구, 자전거, 사 격, 양궁 등 다양한 스포츠 콘텐츠로 확대되었다.
이러한 체감형 스포츠 게임은 가상공간에서도 실제
스포츠 경기를 진행하는 것과 같은 몰입감과 실재
감을 제공하여 체험자들에게 큰 인기를 끌고 있으
며, 관련 기술이 발달함으로 인해 더 큰 재미와 몰 입감을 제공하기 위한 다양한 연구와 제품이 계속 출시될 전망이다[10]. 체감형 스포츠 게임의 높은 몰입감을 제공하기 위한 선행연구에 따르면 체감형 스포츠 게임의 진행방법은 게임 화면의 출력 방법 에 따라 모니터형, HMD형, 스크린형과 같이 크게 세 가지로 구분된다.
[Fig. 1]과 같이 모니터형 진행방법은 체험자가 PC와 연결된 모니터 또는 TV 화면을 보며 체감 형 스포츠 게임을 진행하는 방식으로 가정에 보급 된 콘텐츠를 즐길 때 많이 사용된다[11]. 모니터형 콘텐츠는 작은 화면을 보며 진행하기 때문에 콘텐 츠 내에서는 실제 스포츠와 동일한 규칙과 운동 효과를 제공할 수 있으나, 디스플레이 부분에서 높 은 실재감을 제공하기 위한 그래픽을 구사하기 어 렵고 작은 화면을 여러 체험자가 공유하기 때문에 몰입보다는 재미 제공에 초점을 맞추었다고 할 수 있다.
[Fig. 1] Monitor Type Physically Interactive Game
HMD형 진행방법은 체험자가 가상 환경 속으로 들어가 시각적인 인지 측면에서 적절한 환경과 효 과를 제공받아 높은 몰입이 가능한 진행방법이다 [12]. 기존의 모니터와 스크린과 같이 평면에서 느 껴지는 입체감과 다르게 체험자의 시각 측면에서 실제와 같은 입체효과를 제공할 수 있어 더욱 다 이내믹한 영상효과를 바탕으로 높은 몰입이 가능하 다는 장점이 있다. 그러나 [Fig. 2]에서 보는 것과 같이 HMD기기의 착용 시 나타나는 어지러움 증
과 멀미로 인해 장시간 콘텐츠 진행이 어렵고, 시 야를 차단하는 형식으로 인한 움직임의 제한, 안전 상의 위험과 같이 체감형 스포츠 게임을 진행함에 있어 한계점을 갖는다[13].
[Fig. 2] HMD Type Physically Interactive Game
마지막으로 스크린형 진행방법은 [Fig. 3]과 같 다. 체험 공간 전면의 대형 스크린에 투사되는 게 임 화면을 보며 진행하는 형태로 체감형 스포츠 게임에서 가장 활발하게 사용되는 방법이다. 대형 화면으로 인해 체험자의 움직임 공간 확보와 동시 에 비교적으로 높은 몰입이 가능하다. 그러나 체험 자가 프로젝션 범위를 벗어나 다른 부분을 보게 되면 몰입을 유지하는데 문제가 발생할 수 있으며, 사전에 지정한 체험 공간을 벗어나게 되면 스크린 에 출력되는 가상환경에 왜곡이 발생한다는 어려움 이 있다[14].
[Fig. 3] Screen Type Physically Interactive Game
체감형 스포츠 게임은 실제 스포츠를 즐기는 것 과 같은 경험과 동시에 운동 동작을 통한 운동효 과를 제공하는 것이 중요하다. 또한 가상공간에 몰 입할 수 있는 환경에서 게임이 진행된다면 게임적 인 가치와 더불어 스포츠로써의 가치가 크게 향상 될 것이다[15]. 따라서 가상 환경에 몰입할 수 있 는 환경을 제공하는 방법으로, 다면 스크린을 활용 한다면 기존 스크린형 진행방법과 같이 체험 공간 을 확보하여 자유로운 운동 동작이 가능하면서 안 전을 확보할 수 있으며 넓은 시야각의 가상 환경 을 표현하면서 지속적으로 높은 몰입감과 보다 향 상된 경험을 제공할 수 있는 방법이 될 것이다.
2.2 프로젝션 캘리브레이션 및 매핑
IT기술의 발전으로 인해 콘텐츠가 다양해지면서 새로운 경험을 제공하기 위해 영상관은 다양한 형 태로 진화하고 있다. 다양한 영상관들은 단면 영상 에서 다면 영상을 제공하는 형태로 변화하고 있는 추세이다[16]. 이러한 다면 영상을 제공하기 위해 서 여러 대의 프로젝터를 이용한 영상 시스템을 사용한다. 여러 대의 프로젝터를 사용하여 다면 영 상을 제공하는 시스템은 기존의 단면 영상보다 더 욱 넓은 화면을 제공할 수 있는 파노라마 영상 제 공이 가능해진다[17]. 다면 영상을 위해 여러 대의 프로젝터를 사용한다는 점에서 각 프로젝터에서 출 력하는 영상을 설계 과정에서 자연스럽게 연결할 수 있도록 해야 하며, 자연스러운 영상 연결을 통 해 체험자에게 더 큰 몰입감과 현실감을 제공하기 위한 섬세한 캘리브레이션 과정이 필요하다.
캘리브레이션은 프로젝터가 이미지를 투사하는 과정에서 설치된 위치와 방향으로 인해 발생하는 이미지 왜곡 현상을 보정하거나 제어하는 방법이 다. 영상관들은 영상 제공에 있어 경쟁력 확보를 위해 다양한 공간 구조에 영상을 투사하기 때문에 해당 공간에 이미지를 정확하게 일치시키고 변화시 키기 위해 프로젝터 이동, 스크린 이동, 키스톤 조 절, 컴퓨터 제어와 같이 4가지 방법을 사용한다 [18]. 프로젝터와 스크린 이동 방법은 설치하는 과
정에서 정확한 이미지 투사를 위해 물리적 이동을 실시하여 수동적으로 캘리브레이션을 하는 방법으 로 섬세한 캘리브레이션이 필요하지 않은 환경에서 는 사용해도 무방하나, 그 외에 섬세한 조정이 필 요한 환경에서 사용하기에는 부적합한 방법이다.
키스톤 조절방법은 프로젝터 내 탑재된 소프트웨어 를 통해 이미지 왜곡 현상을 디지털 방식으로 보 정하는 방법이다. 스크린과 프로젝터가 설치된 위 치에 따라 사다리꼴 형태로 이미지가 투사되는 현 상을 볼 수 있는데, 이 때 키스톤 조절을 통해 사 다리꼴 형태로 투사되는 이미지의 모서리의 위치를 조절하여 직사각형 형태로 보정이 가능하다[19].
그러나 키스톤 조절방법은 LCD패널 또는 DLP 거 울을 통한 디지털 방식으로 투사 이미지 사이즈를 조절하기 때문에 사용 가능한 픽셀 수가 점차 줄 어들면서 영상 자체의 해상도가 낮아져 화질이 낮 아지게 되는 단점이 있다. 마지막으로 컴퓨터 제어 를 통한 캘리브레이션 방법은 영상의 사이즈를 자 유롭게 조절하면서 해상도를 그대로 유지하기 위해 컴퓨터의 소프트웨어에 실제 투사 공간에 대한 정 보를 입력하여 프로젝션을 실시하는 방법이다[20].
프로젝션을 이용하여 평면을 이용한 가상현실 재현이 아닌 주변 환경, 공간, 작품 등을 하나로 연결하고 [Fig. 4]와 같이 사람들에게 새로운 시각 적 자극을 제공하기 위해 프로젝션 매핑(Mapping) 이 활발하게 사용되고 있다.
[Fig. 4] Projection Mapping of Sculptures
프로젝션 매핑은 매핑하려는 오브젝트를 스캔하 여 크기, 각도, 모양 등에 대한 정보를 분석하여 영상 제작을 실시하고, 오브젝트 표면에 이미지를 투사하여 착시 및 새로운 느낌을 제공하는 기법이 다[21]. 프로젝션 매핑은 단순한 사물에 이미지를 투사를 시작으로 최근에는 특수 건축물이나 구조물 의 외관에 이미지를 투사하여 색다른 경험을 제공 하고 입체감과 공간감을 표현하여 광고 및 홍보 방법으로 사용되고 있다. 또한 나무, 사람 등과 같 은 자연물, 전시장 및 스튜디오와 같은 공간에서 프로젝션 매핑을 이용한 혼합현실을 구현하면서 공 연 및 예술 분야에서 익숙한 경험을 색다른 경험 으로 탈바꿈하기 위한 방법으로 활용하고 있다[22].
이처럼 프로젝션 캘리브레이션과 매핑에 관하여 선행연구를 알아본 결과 체험자의 몰입감과 시각적 인 착각을 유도하기 위해서는 섬세한 캘리브레이션 이 필요하며, 해상도 및 이미지 보정을 위해 컴퓨터 제어를 통한 캘리브레이션 방법을 사용해야 한다.
그리고 투사 대상에 대한 정보 이외에 주변 환경 정보를 취득하여 정확한 이미지 분할을 실시하기 위 한 매핑은 체험자에게 착시를 일으키기 위한 필수 요소로 정리할 수 있다. 따라서 본 논문에서는 높은 실재감을 제공하는 채감형 스포츠 게임에 CAVE형 구조의 다면 스크린 적용을 위한 프로젝션 캘리브레 이션 매핑 기술을 개발한다. 해당 기술은 컴퓨터를 통한 제어를 진행하기 때문에 콘텐츠의 해상도 유지 와 스크린 간의 자연스러운 영상의 연결이 가능하 다. 그리고 누구나 쉽게 실제 프로젝션 공간 정보를 취득하여 적용할 수 있다는 장점을 가진다.
3. 체감형 스포츠 게임 캘리브레이션
3.1 체감형 스포츠 게임 공간
체감형 스포츠 게임 공간은 자유로운 움직임이 가능한 공간을 확보함과 동시에 해당 공간에 있는 체험자 시야범위 안에 가상환경을 제공해야 높은 몰입을 유도할 수 있다. 기존의 체감형 스포츠 게
임의 진행방식 중 모니터형 방식은 신체 움직임이 가능한 공간을 확보하지 못하고 작은 디스플레이로 인해 몰입하기 어려운 환경을 제공한다. 그리고 HMD기기를 착용하여 진행하는 방법은 두통과 멀 미 현상과 시야를 차단하기 때문에 부상의 위험과 같은 안전상의 부작용이 따르기 때문에 체감형 스 포츠 게임을 진행할 때에는 스크린을 이용한 진행 방식을 가장 많이 사용한다. 스크린을 이용한 진행 방식은 단일 스크린, 곡면 스크린, CAVE형 스크 린으로 구분할 수 있다. 단일 스크린은 투사되는 이미지의 연결을 가장 자연스럽게 보여주는 방법으 로 대형 스크린을 사용하기 때문에 충분한 수직시 야를 제공하지만, 하나의 스크린을 사용하기 때문 에 부족한 수평시야를 제공한다는 단점이 있다. 그 리고 곡면 스크린의 경우 단일 스크린의 부족한 수평시야를 해결하기 위한 방법으로 사용되고 있 다. 그러나 이 경우에도 체험자가 스크린의 곡률 중심에 위치하지 않으면 이미지에 왜곡이 생기고 왜곡된 이미지는 곡률 중심에서만 수정이 가능하다 는 단점이 있기 때문에 체감형 스포츠 게임에는 잘 사용하지 않는다. 따라서 본 논문에서는 CAVE 형 스크린을 이용하여 공간 설계를 진행하였다.
[Fig. 5] Physically Interactive Game Studio
[Fig. 5]는 CAVE형 스크린 공간은 전면, 좌측,
우측면에 스크린을 설치하여 동굴 형태의 공간을
구축하고 제작된 콘텐츠를 PC에서 프로젝터를 통
해 스크린에 투사하는 형식을 보여준다. 스크린이
체험자를 둘러싸고 있는 형태이기 때문에 체험자의
수평 및 수직시야 범위 안에 가상공간 환경 프로 젝션이 가능하다. 또한 특별한 장비 착용 없이 자 유롭게 신체 움직임 공간을 확보할 수 있어 가상 공간에 몰입할 수 있는 최적의 환경이 된다.
[Fig. 6] Concept of Studio Size & User Location
[Fig. 6]은 실험을 위한 CAVE형 스크린과 체험 자의 위치에 대한 콘셉트를 보여주는 사진이다. 본 논문에서 구성한 공간은 체험자의 키를 1.7m로 가 정하고 공간 안에서 충분한 시야 범위에 이미지를 투사할 수 있도록 하였다. 전면 스크린의 크기는 가로 1.5m, 세로 2.5m로 구성하였으며, 좌우측 스 크린의 크기는 각각 가로 1.2m, 세로 2.5m로 구성 하였다. 그리고 프로젝터 위치는 전면 스크린 및 좌우측 스크린의 높이에 이미지를 투사할 수 있는 위치인 최소 2m 거리를 확보하였다.
[Fig. 7] User Position Concept
그리고 스크린에서 체험자까지의 거리는 1m로 설정하였다. 이는 인간의 눈은 왼쪽과 오른쪽 각각
100° 이상의 시야각을 가지고 있고, 두 눈을 합쳤 을 때의 시야각은 200° 정도를 볼 수 있기 때문에 [Fig. 7]과 같이 공간 안에서 체험자의 시야각을 채울 수 있는 거리로 설정하였다.
3.2 캘리브레이션 방법
CAVE형 공간은 3개의 스크린을 사용하기 때문 에 캘리브레이션이 중요하다. 각 스크린의 위치와 크기에 맞는 이미지를 투사해야 왜곡 현상을 줄여 몰입도를 향상시킬 수 있기 때문에 투사하는 이미 지의 해상도를 유지하고, 캘리브레이션에 소비되는 시간을 줄임과 동시에 수정 및 변경이 쉽도록 PC 를 활용한 콘텐츠 속에서 적용 가능한 캘리브레이 션 방법이 필요하다. 본 논문에서 개발한 프로그램 은 [Fig. 8]과 같은 시스템 구조를 가진다.
[Fig. 8] Calibration System Structure
개발된 프로그램은 프로젝터를 통해 실제 스크
린에 투사되고 있는 이미지를 스크린의 크기에 맞
도록 조절할 수 있으며, 이를 통해 실제 공간의 정
보를 취득하게 된다. 그리고 취득된 공간 정보는
이동, 회전, 크기 데이터로 저장되고 게임 엔진 속
카메라 촬영 영역의 좌표 시스템에 적용되어 실시
간 이미지 보정을 가능하게 한다. 실제 공간 정보
취득을 위해 스크린에 대한 프로젝터 출력 영역은 좌측 상단(Left/Top), 우측 상단(Right/Top), 좌측 하단(Left/Bottom), 우측 하단(Right/Bottom), 중 심(Center)과 같이 5개로 나뉘어 각각 공간 정보를 취득하게 된다.
적용 순서는 캘리브레이션이 적용되지 않은 프 로젝터를 원하는 위치에 설치 후 세 개의 스크린 에 각각 투사한다. 이후 개발된 캘리브레이션 프로 그램을 실행시키면 각 스크린에 프로젝션 된 매트 릭스가 출력되며 키보드를 사용하여 앞서 설명한 매트릭스의 5개의 출력 영역을 각각 이동, 크기 및 회전을 시켜 실제 스크린에 맞게 조정하여 저장한 다. 이와 같은 단계를 거치면 설치된 세 개의 스크 린의 실제 공간 정보를 개발 프로그램에 변화된 매트릭스 좌표 값을 통해 취득하게 된다. 그리고 취득된 좌표 값은 영상 분할을 위해 자동으로 Unity3D에 적용이 된다.
[Fig. 9] Application Result of Calibration
[Fig. 9]는 캘리브레이션 프로그램을 사용하여 실제 스크린의 공간 정보를 취득한 모습이다. 취득 한 공간 정보는 ‘MATRIX.txt‘ 텍스트 파일로 저 장된다. 해당 데이터는 Umity3D에서 좌표를 지정 하는 데이터 분류 형태에 따라 Translate,
Rotation, Scale로 분류하여 저장하기 때문에 쉽게 적용이 가능하도록 하였다.
[Fig. 10] Projection Results After Calibration
[Fig. 10]은 캘리브레이션 프로그램이 적용된 실 제 스크린을 보여준다. 그림에 표시된 노란색 영역 은 본래 프로젝터의 프로젝션 범위이며, 캘리브레 이션 적용 후에는 전면 스크린의 매트릭스 영역에 만 영상이 투사되게 된다. 이처럼 본 논문에서 개 발한 캘리브레이션 프로그램은 취득된 데이터에 따 라 프로젝션 범위를 변화시키는 것이 아니라, 콘텐 츠 영상을 자체를 변형시켜 스크린 크기에 맞게 투사되는 방식이다. 이는 프로젝터의 투사 범위 안 에 스크린이 포함되어 있다면 별도의 보정을 거치 지 않고 기존 콘텐츠의 해상도를 유지하며 쉽게 캘리브레이션이 가능하다는 특징을 가진다. 이로 인해 다면 스크린을 위한 캘리브레이션을 적용한다 면 다양한 분야에서 목적에 맞는 콘텐츠를 쉽게 제공할 수 있을 것이다.
3.3 다면 스크린 매핑 방법
다면 스크린을 적용한 CAVE형 체감형 스포츠
게임 공간은 각 스크린에 투사된 영상을 자연스럽
게 연결하여 마치 하나의 스크린에 투사된 영상처
럼 보이게 하는 섬세한 매핑작업이 필요하다. 본
논문에서는 실험을 위해 필드아처리 종목을 주제로
한 체감형 스포츠 게임 콘텐츠를 구현하였다. 필드
아처리는 산골짜기 또는 광활한 들이나 고원에서
행하는 사냥형식의 양궁 종목 중 하나로 실제와
같은 자연의 광활함을 제공하는 것이 중요하며, 이 에 따라 다면 스크린 매핑 방법을 위한 영상 분할 방법은 파노라마를 사용하였다.
[Fig. 11] Camera Concept for Split Screen
[Fig. 11]은 실제 체험공간과 동일하게 구성된 Unity3D상 가상공간에 적용된 화면분할을 위한 카 메라 기법의 컨셉을 보여주며, 체험자의 위치에 따 른 카메라의 움직임을 보여준다. 다면 스크린 매핑 을 위해 Unity3D상에 실제 CAVE형 체험공간과 동일한 스케일의 가상공간을 만들었으며, 그 후 가 상 체험공간 안에서의 체험자의 위치를 설정하고 체험자 시점과 동일한 3대의 카메라를 설정하여 3 개의 스크린에 맞게 각도를 설정하였다.
[Fig. 12] Application of Camera Techniques
[Fig. 12]는 Unity3D상에서 체험자의 시점에 따 른 매핑을 위한 카메라 기법을 적용하기 전후를 비교하는 그림이다. 기본으로 제공되는 Unity 카메 라를 사용하여 영상 분할을 진행하면 카메라의 원 근법으로 인해 광각으로 촬영된 영상이 그대로 분 할되고, 영상 연결 부분에 왜곡이 발생하는 것을 볼 수 있다. 또한 카메라를 앞으로 이동하거나 뒤 로 이동하였을 때, 기본 카메라는 촬영 영역 그대 로 영상을 분할하기 때문에 원하는 영역을 계속 촬영하지 못하고 영상이 잘려서 출력되는 현상을 볼 수 있다. 따라서 기본으로 제공되는 카메라를 사용하지 않고, 실제 공간과 체험자 시점에 맞는 카메라 기법을 적용한다면 체험자가 어느 위치에 있더라도 원하는 영역을 촬영할 수 있으며, 화면에 나오는 환경이 스케일 변화 없이 체험자의 시야 안에 실제와 같은 환경 제공이 가능하다. 이처럼 적용된 카메라 기법은 체험자가 어느 위치로 이동 하더라도 해당 위치에서 바라보는 각 스크린의 크 기와 각도에 맞게 카메라의 시야각도가 자동으로 변화되어 촬영할 수 있도록 개발하였기 때문에 자 연스럽게 연결된 파노라마 영상을 만들 수 있다.
3.4 체감형 스포츠 게임 콘텐츠
실험을 위한 체감형 스포츠 게임 콘텐츠는 필드
아처리 종목으로 구현하였다. 필드아처리는 굴곡이
있는 산골짜기 또는 광활한 들이나 고원에 동물
모형의 표적이나 양궁 경기 표적을 설치하여 코스
를 정하고, 골프와 같이 코스를 돌며 화살을 슈팅
하고 획득한 점수의 총점을 기록하여 경쟁하는 스
포츠이다. 본 논문에서는 산골짜기를 배경으로 경
기장을 구현하였으며, 7개의 양궁 표적을 맞추며
경기를 진행할 수 있도록 콘텐츠를 기획하였다. 표
적의 위치는 물이나 오르막, 내리막길과 같이 환경
변화가 일어나는 부분에 설치하였다. 넓은 자연환
경 안에서 이루어지는 스포츠를 주제로 하였기 때
문에 넓은 시야에 콘텐츠 환경을 제공하고 표적과
의 거리를 가늠할 수 있도록 공간감을 제공하는
것에 집중하였다.
[Fig. 13] Concept of Field Archery Environment
[Fig. 13]은 체감형 필드아처리 콘텐츠의 가상 환경 콘셉트의 전체 환경을 보여준다. 실제로 진행 되는 필드아처리 경기장 환경과 유사하게 가상환경 구성을 하였으며, 제자리에 서서 슈팅하는 양궁 종 목의 특징에 따라 콘텐츠와 상호작용을 위한 체험 자의 거리를 설계하였다. 주로 주간에만 이루어지는 실제 경기와 다르게 야간 경기 모드도 추가하여 새 로운 경험을 제공할 수 있도록 하였다. 또한 기존의 양궁 관련 체감형 스포츠 게임 콘텐츠와 다르게 CAVE형 체험 공간 안에서 콘텐츠 진행이 이루어 지기 때문에 전면 스크린과의 상호작용뿐만 아니라 좌우측 측면 스크린과의 상호작용이 가능하기 때문 에 보다 넓고 다양한 각도에 양궁 타겟 설치가 가 능하여 단조롭게 느껴질 수 있는 부분을 체험자가 다이내믹하게 느낄 수 있는 특징을 가진다.
4. 다면 체감형 스포츠 게임 구현
4.1 체감형 필드아처리 게임 구현
체감형 필드아처리 게임은 크게 공간, 캘리브레 이션 매핑, 콘텐츠로 구성된다. 공간의 구성은 콘 텐츠 영상 출력을 위한 3면의 스크린과 3대의 프 로젝터로 구성된다. 체험자들의 다양한 신장을 고 려하여 CAVE형 공간을 이루는 스크린의 크기를 설정하였고, 양궁 장비를 들고 콘텐츠를 진행하는 종목의 특성으로 인해 체험자의 신체 움직임 범위 뿐 아니라 장비의 움직임 범위까지 고려하였다.
[Fig. 14] Studio of Interactive Field Archery
[Fig. 14]는 실제 구축한 체험 공간을 보여준다.
알루미늄 프로파일을 이용하여 공간 뼈대를 세운 후 전면 가로 1.5m, 세로 3m, 좌우측면 가로 1.2m, 세로 3m 크기의 3면 스크린을 부착하여 CAVE형 공간 구조를 구성하였다. 또한 프로젝터 는 스크린 전체에 프로젝션이 가능한 거리이며 체 험자로 인한 그림자가 생기지 않는 위치에 설치하 여 체험자는 그림자와 같은 방해요인 없이 콘텐츠 자체에 집중이 가능하도록 하였다.
[Fig. 15] Calibration Result
캘리브레이션 매핑은 PC를 이용하여 Unity3D
엔진을 이용하여 진행하였다. 프로젝터는 체험에
방해되지 않고 전체 벽면에 프로젝션이 가능하도록
설치하였다. 프로젝션 영역에 따른 캘리브레이션
결과는 [Fig. 15]와 같다. 전면, 좌측, 우측면 스크
린에 맞게 각각 프로젝션 이후 캘리브레이션 프로
그램을 실행하여 영상의 크기 조절을 진행하였다.
[Fig. 16] Concept of Interactive Field Archery
체감형 필드아처리 게임 콘텐츠는 Unity3D를 이용하여 구현하였다. 콘텐츠를 실행하면 [Fig. 16]
과 같이 산골짜기 초입에 위치한 첫 번째 표적에 서 시작하며, 각 표적 당 3발의 화살을 슈팅하면 다음 표적으로 자동으로 이동한다. 총 7개 표적에 총 21개의 화살을 슈팅하면 게임이 종료되며, 이동 간 가상으로 구현된 자연환경을 구경할 수 있도록 구현하였다. 높은 몰입도를 제공할 수 있는 콘텐츠 를 구현함에 있어 몰입도에 영향을 미칠 수 있는 두 가지 요인을 공간감과 시청 위치로 정하고 각 각 실험을 진행하였다.
4.2 공간감 실험
체감형 필드아처리 게임과 같이 대부분의 체감 형 스포츠 게임은 체험자 전체 시야에 영상을 제 공하여 스포츠에 몰입할 수 있는 공간감을 제공해 야 한다. [Fig. 17]은 Unity3D의 기본 카메라를 사 용한 화면과 사용자 시점에 따른 카메라 기법을 적용한 화면을 보여준다. 기본 카메라를 사용하여 3면 스크린에 투사했을 경우 전면 스크린의 경우 체험자의 위치에서 적합한 형태로 깊이감과 공간감 제공이 가능하지만 좌우측면에 투사된 화면은 가상 으로 구현된 환경이 설치된 스크린보다 넓기 때문 에 실제 공간에서 각 스크린의 경계 부분에 왜곡 현상이 일어나는 것을 볼 수 있다. 그러나 프로젝 션 매핑을 통해 개발된 카메라를 적용했을 경우 3 면의 스크린에 체험자 위치에 따른 적절한 시야각 의 영상을 분할하고 이로 인해 파노라마 영상을
제공할 수 있어 기존의 화면보다 더 넓은 시야에 가상환경을 보여준다.
[Fig. 17] Comparison of Camera Techniques Application Results
이처럼 필드아처리와 같이 광활한 자연 속에서 진행되는 콘텐츠의 경우 프로젝션 매핑을 통해 개 발된 카메라를 콘텐츠 상에 적용한다면 실제와 유 사한 공간감을 제공하여 몰입을 유도할 수 있다는 것을 확인할 수 있다.
4.3 시점에 따른 영상차이 실험
몰입에 영향을 미칠 수 있는 요인 중 하나인 시 청 위치에 따른 시각 차이에 대한 실험을 진행하 였다. 같은 사물을 보더라도 사람의 신장에 따라 시점의 높이 차이로 인해 사물이 보이는 형태에 차이가 생기는 것과 같이 여러 체험자를 수용해야 하는 콘텐츠는 시점의 높이가 몰입에 영향을 미치 는 중요한 요인이 된다.
실험은 CAVE형 공간 안에서 신장에 따라 보이
는 시점에 따른 콘텐츠 왜곡여부를 알아보았다. 체 감형 필드아처리 콘텐츠 체험자의 신장을 1.7m로 설정하여 프로젝션 캘리브레이션을 진행하고 신장 1.7m을 기준으로 신장이 큰 체험자의 시점과 작은 체험자의 시점으로 나누어 비교하였다.
[Fig. 18] Result of View Height Change Experiment
[Fig. 18]은 신장으로 인한 시점 높이 차이에 따 른 영상차이 실험의 결과를 보여준다. 중간 그림은 본 논문에서 기본 신장으로 가정한 1.7m의 시점에 서 바라본 투사된 영상을 보여준다. 정면 스크린과 좌우측의 스크린에 투사된 영상이 왜곡된 부분 없 이 자연스럽게 영상이 연결되어 제공되고 있음을 보여주며, 공간감을 제공하여 산골짜기에 있는 것 같은 몰입감을 느낄 수 있었다. 그림의 첫 번째 사 진은 신장 1.7m보다 작은 사람이 낮은 위치에서
콘텐츠 영상을 바라보았을 때의 모습이다. 낮은 시 점에서 투사된 영상을 바라보았을 때에는 좌우측 스크린이 위쪽으로 꺾여 보이면서 영상 간 자연스 러운 연결이 되지 않아 몰입감이 떨어지는 것을 확인할 수 있다. 그림의 마지막 사진은 1.7m의 신 장보다 큰 사람이 높은 위치의 시점에서 영상을 바라보았을 때의 모습을 보여준다. 낮은 시점에서 바라본 영상과 반대로 좌우측 스크린에 투사된 영 상이 아래로 꺾여 보이는 것을 확인할 수 있었다.
이처럼 체험자의 신장에 따른 시점 높이에 따라 왜곡된 영상이 나타날 수 있다는 것을 확인할 수 있었다. 영상의 왜곡현상을 없애고 자연스러운 영 상 제공을 위해서는 캘리브레이션 단계에서 체험자 의 신장을 고려하여 캘리브레이션을 적용하거나, 체험자의 헤드 트래킹 기술을 접목하여 체험자 별 실시간 영상 변화를 제공한다면 신장에 따른 영상 의 왜곡현상을 해결할 수 있을 것이다.
5. 결 론
본 논문은 체감형 스포츠 게임에 다면 스크린을 적용하기 위한 프로젝터 캘리브레이션 기술을 개발 하였다. PC기반 Unity3D 엔진을 이용하여 개발한 프로젝터 캘리브레이션 기술은 영상의 해상도를 유 지하고, 프로젝터 설치 위치와 상관없이 스크린 크 기에 맞게 캘리브레이션이 가능하다는 점과 실제 공간과 동일한 가상공간 환경에서 엣지가 포함된 콘텐츠로 개발한 후 캘리브레이션을 진행하였기 때 문에 기존 엣지 블렌딩 기술의 적용 단계가 줄어 들어 비교적 짧은 시간 안에 캘리브레이션이 가능 하다는 특징을 가진다.
프로젝터 캘리브레이션 기술은 Unity3D에서 제
공되는 카메라를 이용하여 실제 프로젝션 공간과
똑같은 스케일의 Unity3D 속 가상공간에 적용하
고, 이를 체험자 시점에 따라 화면 분할을 진행하
였기 때문에 실제 체감형 필드아처리 게임의 가상
경기장을 프로젝션 한 결과 이미지 왜곡현상 없이
자연스러운 화면 연출이 가능했다. 이로 인해 체감 형 스포츠 게임에서 HMD와 같은 부수적인 장비 의 착용 없이도 가상환경 안에 있는 것 같은 느낌 을 제공할 수 있다는 가능성을 볼 수 있었으나, 캘 리브레이션 이후 체험자 신장으로 인한 시점의 높 낮이에 따라 시야각 차이가 발생하여 이미지 왜곡 현상을 볼 수 있었다. 추후 연구에서는 체험자의 시점 높낮이를 트래킹하여 실시간으로 영상 분할에 반영할 수 있는 기술을 더한다면 체감형 스포츠 게임뿐만 아니라 높은 실재감과 몰입이 필요한 소 방대원의 훈련 콘텐츠와 같이 가상현실 또는 증강 현실 환경에서 진행되는 훈련 콘텐츠의 체험 공간 을 구성하는데 적용이 가능할 것으로 기대한다.
ACKNOWLEDGMENTS
This research was supported by the Research and Development to Enhance Firefighting Response Ability founded by National Fire Agency(“2018-NFA002-004-01010000-2019”).
REFERENCES
