게임 이용자
e 스포츠 웹 시청 연구를 위한 시선 분석도구 설계 및 개발
✀
고은지, 최선영
연세대학교 인지공학스퀘어, 서울디지털대학교 미디어영상학과 [email protected], [email protected]
A Study on eye-tracking software design and development for e-sports viewing on the web
Eunji Ko, SunYoung Choi
Cognitive Engineering Square, Yonsei University, Visual Media, Seoul Digital University 요 약
본 연구는 웹에서의 e 스포츠 시청 행위 측정도구 개발과 시선추적 장치를 이용한 멀티태스 킹 시청 분석 도구 및 방법을 설계하여 제안하였다. 이를 위해 하나의 스크린 안에서도 멀티태 스킹이 빈번하게 일어나는 시청 행위를 시각적으로 기록하고 측정할 수 있는 개별 창 관심영역 (WOI)을 설계하였고, 실시간으로 연구자가 연구참여자의 시청행위 패턴을 관찰할 수 있도록 실 시간 스트리밍 및 녹화 소프트웨어인 OBS(Opensource Broadcaster Software) 플러그인 (Plug-In)을 직접 개발하였다. 본 논문에서 제시한 방법론은 다음과 같은 의의가 있다. 첫째, 정 지화면과 같이 제한된 웹 인터페이스 측정이 아닌 동영상과 같은 다이내믹 신을 기록할 수 있 다. 둘째, 스크린에 여러 개의 창이 동시에 열려져 있어도 연구참여자가 어떠한 창을 주목하는 지 정확하게 좌표를 기록할 수 있을 뿐 아니라 시각화된 정보로 확인할 수 있다. 셋째, 매우 자 연스러운 일상적 상황에서 실험을 수행할 수 있어서 인위적인 실험실적 환경이나 실험 처치물 이 아닌 이용자의 실제 콘텐츠 이용 패턴과 행태를 추적하는데 용이해 실험 자료의 객관적 타 당도를 높일 수 있다.
ABSTRACT
This study suggests a design for an analytical software program and method for multitasking e-sports viewing through the web using an eye tracking device. To fulfill this task, we designed a Window of Interest (WOI) to measure and record visually on a screen wherever numerous multitasking activities occur. In addition, we developed an OBS (Opensource Broadcaster Software) plug-in that records and streams participant viewing behavior patterns in real time. The purpose of this study is as follows. First, unlike existing tools that limit web interface recording to still images, the developed tool can record dynamically via media such as videos. Second, when several windows are processed on a screen, the tool can accurately record the gaze positions of the participants. Lastly, the tool can enhance the objective validity of the data as it can be implemented in natural situations. Therefore, this study can trace natural viewing patterns and behavior as we do not create artificial experimental environments and stimuli.
Keywords : eye-tracking, e-sports, multitasking, Web viewing, League of Legends Received: Jun, 14, 2015 Revised: Aug, 10, 2015
Accepted: Aug, 17, 2015
Corresponding Author: SunYoung Choi*(Seoul Digital University) E-mail: [email protected]
ISSN: 1598-4540 / eISSN: 2287-8211
Ⓒ The Korea Game Society. All rights reserved. This is an open-access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.otg/licenses/by-nc/3.0), which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
1. 서 론
e스포츠는 콘솔이나 컴퓨터 게임 등을 통해 경 쟁하는 전자스포츠(Electronic Sports)를 뜻한다.
우리나라의 e스포츠(전자스포츠, 이하 e스포츠) 진 흥에 관한 법률 2조에 의하면 ‘게임물을 매개로 하 여 사람과 사람 간에 기록 또는 승부를 겨루는 경 기 및 부대활동’으로 정의된다. 이는 컴퓨터 및 네 트워크, 기타 영상 장비 등을 이용하여 승부를 겨 루는 스포츠로 지적 능력 및 신체적 능력이 필요 한 경기이며 대회 또는 리그와 같은 현장의 참여, 전파를 통해 전달되는 중계의 관전, 그리고 이와 관계되는 커뮤니티 활동 등의 사이버 문화 전반 또한 e스포츠 활동을 포함한다. 특히 ‘카트라이더’
‘스타크래프트2’ ‘리그오브레전드’ ‘피파3’ 등 4개 종목이 e스포츠 종목으로 처음 2014년 전국체전에 입성하면서 향후 정식 스포츠 게임으로 채택을 기 대할 수 있게 되었다는 점은 주목할 만 하다. 또한 2015년 6월에는 e스포츠 진흥에 관한 법률 제12조 및 동법 시행규칙 및 제6조(종목선정 결과 제출 및 공고)에 따라 ‘리그 오브 레전드’, ‘FIFA 온라인3’,
‘서든어택’ 등이 전문종목으로, ‘하스스톤’은 일반종 목으로, ‘스페셜 포스’는 시범종목으로 e스포츠 선 정됨에 따라 이 분야의 시청자 및 이용자 측정에 대한 연구가 필요한 시점이라고 할 수 있다.
e스포츠 중계 시청은 다양한 기기를 통해 이루 어진다. TV수상기가 아닌 PC를 이용한 웹 시청은 이차적 스크린(second screen)으로서 상호작용이 높은 린 포워드(lean forward)의 특성을 갖고 있 다. 우선 데스크 탑이나 노트북, 태블릿 PC 등의 이용은 기본적으로 텔레비전 수상기보다는 가까운 시청거리를 유지하는 특징이 있다. 텔레비전 수상 기를 통한 시청은 적어도 1m이상의 거리를 두는 것이 일반적이지만, 데스크탑이나 노트북을 통한 웹 시청의 경우 이용자와 기기간 거리는 이보다는 훨씬 거리가 좁다. 이는 시청기기 작동도구의 차이 에서 기인한다. 주지하다시피 키보드와 마우스, 태 블릿 PC는 기본적으로 화면과 가까운 거리에서 작
동해야 하지만, 텔레비전 리모컨은 원거리 조정의 특성이 강하다고 할 수 있다. 또한 보조기기의 기 능적 차이도 크다. 웹 시청의 경우 동영상 뿐 아니 라 채팅, SNS, 실시간 댓글 반응, 팟캐스트 등과 같은 다중 모드(multi modality) 시청이 용이하고, 멀티태스킹 시청이 가능한 인터페이스라는 점이다.
텔레비전 리모컨의 주된 기능은 채널 스위칭인 반 면, 키보드와 마우스 등은 시청행위와 관련된 상호 작용적 소통을 극대화할 수 있는 도구이기 때문이 다. 시청을 유지하면서 시청맥락과 밀접한 멀티태 스킹(multitasking) 시청을 병행할 수 있고, 반대로 의식의 흐름에 따라 동일 스크린 시청을 유지하면 서 시청맥락과 관계없는 멀티태스킹 시청을 할 수 도 있다. 따라서 웹에서의 시청행위는 기존 텔레비 전 시청과 근본적으로 차이가 날 수 밖에 없기 때 문에 이에 대한 정확한 추적과 측정이 필요하다.
따라서 복잡한 맥락의 시청 행위를 면밀히 분석 하기 위한 새로운 방법론적인 접근이 필요하다. 특 히 e스포츠 경기는 여타 스포츠 경기 중계와 다르 게 사람의 직접적 플레이 보다 선수들의 플레이 화면을 보여주는 특징이 있다. 여타 스포츠 중계와 다르기 때문에 나타나는 고유의 시청행태가 있을 것이다. 따라서 실시간 멀티태스킹을 하는 등의 시 청행위를 유도하는 인터페이스가 공존하는데, e스 포츠 중계는 실시간 댓글이나 반응과 같은 상호작 용적 시청이 여타 다른 스포츠 중계보다 활발하게 일어난다. 특히 게임 방법과 점수 결과가 실시간으 로 공개되기 때문에 시청의 상호작용적 반응행위가 매우 독특하게 나타날 것이라고 예측할 수 있다.
본 연구는 시선 추적 장치 분석도구 설계 및 개발 을 통해 웹상에서 e스포츠 생중계 시청패턴을 연 구하기 위한 파일럿 연구임을 밝힌다. e스포츠 중 계방송 시청은 동영상 및 멀티태스킹과 같은 유동 적인 다이내믹 신(dynamic scene) 그 자체라고 할 수 있다. 따라서 연구목적에 맞게 웹에서 초단위로 발생하는 미시적 시청 행태를 측정할 수 있는 시 선 추적 장치 분석 도구를 설계 및 개발하여 조사 의 엄밀성을 높이고자 한다. 나아가 e스포츠 생중
계 뿐 아니라 OTT서비스 등 다양한 동영상의 시 청패턴 연구에 응용할 수 있는 측정 가능한 방법 의 개발을 목적으로 한다.
2. 융합적 방법을 위한 연구설계
2.1 선행 연구 검토
그동안 e스포츠 시청 또는 이용행태에 대한 연 구는 이용 동기에 대한 것이 주를 이루고 있는데, 회상 또는 판단에 의한 설문조사가 주요한 방법이 었다[1,2,3].
그러나 웹상에서 초단위로 매우 기민하게 발생 하는 복잡한 시청의 맥락을 응답자의 회상을 통해 조사하고 분석하는 데에는 한계가 있다[4]. 이용자 스스로가 자신의 이용패턴을 정확히 기억하기 어려 울 뿐 아니라 구조화된 질문을 통해 조사했을 경 우 다양한 시청맥락을 알아내기 어렵다.
이는 최근 시청 기기의 다양화로 멀티태스킹 동 영상 시청이 증가하기 때문인데, 이러한 이용 행위 연구도 활발하게 이루어지고 있다[5,6,7,8,9]. 오락 적인 시청을 하는 동안의 멀티태스킹이 좀 더 활 발하게 이루어진다는 연구[5], 젊은 세대에서 많은 멀티태스킹이 이루어진다는 연구[6,8]는 멀티태스킹 이 콘텐츠의 내용과 선호, 관여도에 따라 달라짐을 보여주고 있다. 그러나 동시에 이러한 시청 행위를 정확하게 측정하기 위한 연구방법의 어려움도 있다 [7]. 최근 동시적으로 복수의 창을 열어놓고 태스 크를 수행 하는 연구(Dual-task interference rese arch)나 태스크 스위칭에 대한 연구(Task-switchi ng research)를 메타 분석한 논문[9]은 인지적 처 리과정을 측정할 과학적 방법론의 활용 및 필요성 에 대해 제언하고 있다.
시선 추적 장치를 이용한 방법은 인지적 처리가 이루어지는 것을 시각적 주의(visual attention)로 측정하는 심리생리학적(psychophysiological) 방법 이다. 그동안 게임 이용에 대한 시각적 주의에 대한 연구[10,11,12]는 장르 비교나 인구통계학적 차이에
대한 연구가 주를 이루었다. 실제 게임을 수행하는 화면에서 이용자의 시각적 주의가 어떻게 변화하는 지에 대한 연구[13]가 있었으나 단일창(single win dow)에서 이루어지는 시각적 주의를 연구한 것이 다. 따라서 e스포츠 시청과는 이용에 차이가 있다.
본 연구는 게임 플레이가 아닌 e스포츠 시청에 있어서 중계창 외에도 게임중계와 관련된 검색창, 채팅 등을 활용하는 멀티태스킹 시청이 동시에 일 어날 수 있다고 보고, 이에 적합한 분석도구를 개 발하여 융합적 연구 방법을 제안하고자 한다.
2.2 시선 추적 장치 분석도구 개발
본 연구에서 개발하고자 하는 시선 분석 도구는 시선 데이터를 시간의 변화에 따라 창 단위로 분 류하여 시선이 어느 창을 바라보고 있는지, 각 창 마다 주시한 시간은 어느 정도인지를 알고자 하는 데 그 목적이 있다. 이미지나 웹사이트와 같은 정 적인 장면에 대한 시선 데이터를 분석하는 히트맵 (heat map)이나 스캔패스(scan path)와 같이 기 존의 분석방식과는 달리, 본 연구에서는 시간에 따 라 변하는 창의 크기와 위치를 모두 고려하여 시선 데이터를 창 단위로 분류하기 때문에 여러 창에서 일어나는 멀티태스킹 행위를 분석하기에 적합하다.
본 연구에서는 tobii 사의 EyeX를 측정장치로 활용한다. EyeX는 2014년 출시된 소형 아이트래 커로, 크기가 작으면서도 시선각의 오류가 0.5도 이내로, 최근 몇몇 논문들에서 이를 활용하고자 하 는 시도들이 있다[14,15]. EyeX는 기존의 시선 추 적장치에 비해 눈에 띄지 않는 디자인일 뿐만 아니 라 소형이기 때문에 실험 자체를 크게 의식하지 않 고 자연스럽고 일상적인 관찰도구로 활용이 용이하 다. 또한, 원 자료(raw data)를 수집할 수 있는 S DK(Software Development Kit)를 제공하기 때 문에 연구 목적에 맞게 연구자가 어플리케이션을 개발하는데 활용 할 수 있다.
본 연구에서는 SDK에서 제공하는 시선의 시간 기록(time stamp) 및 시선 좌표와, 마이크로소프 트사에서 제공하는 윈도우즈 API(Windows API:
application programming interface)를 이용하 여 창(Window)의 상태를 기록하였다. 이와 동시 에, EyeX가 시선 추적한 장면을 실시간으로 관찰 하고, 이를 동영상으로 녹화하기 위해 오픈소스로 제공되는 실시간 스트리밍 및 녹화 소프트웨어인 O BS(Opensource Broadcaster Software) 플러그 인(Plug-In)을 직접 개발하였다[Fig. 1].
[Fig. 1] Structure of Analytical Software
본 연구가 기존의 시선 분석 소프트웨어를 활용 하지 않고 직접 개발한 이유는 다음과 같다. 대부 분의 시선분석 소프트웨어는 풀 스크린이라는 제한 적 조건에서 ‘관심영역(AOI: Area Of Interest, 이 하 AOI)’을 지정하여 히트맵이나 스캔패스로 시선 추적 결과를 시각화 하는 것이 대부분이었다. AOI 는 시선추적 후 연구자가 해당 처치물에 직접 지 정한다. 하지만 이러한 방식은 동영상이나 마우스 조작을 통해 창이 움직이는 등의 다이나믹 신(Dyn amic scene)을 분석하기에 적합하지 않다. 따라서 시간에 따라 변하는 유동적인 AOI를 지정해 줄 필 요가 있다. 기존의 풀 스크린 상태에서 이루어지는 제한된 시선 추적 방식과 시각화 방법으로는 PC 상에서 여러 개의 창을 중첩하여 열어놓고 사용하 는 이용 맥락을 분석하기 어렵기 때문이다. 최근에 는 기존의 AOI 지정에서 벗어나 다이나믹 신 분석 을 위한 시각화 도구 및 새로운 분석방법을 제안하 는 연구도 진행되고 있다[16].
본 연구는 시간에 따라 유동적(Dynamic)으로 움직이는 AOI를 시선 데이터와 함께 창 단위로 지 정하여 좌표를 수집하여 기록하고[Fig. 2], 이 데 이터를 실시간으로 시각화하기 위해 OBS 플러그인 에서 디스플레이 화면과 동기화(synchronization)
하도록 설계하였다.
[Fig. 2] AOI Dynamic Design
2.3 데이터 기록 및 활용
본 연구에서 개발한 분석도구는 두 가지의 실험 데이터를 기록한다. 첫 번째는 시선 및 창의 좌표 와 상태를 기록한 로그 데이터이고, 두 번째는 로 그 데이터를 실시간으로 분석한 다음 이를 시각화 한 화면을 녹화한 동영상 데이터다.
로그 데이터는 실험참여자의 방송 시청 행태를 초 단위로 분석할 때 사용된다. 시간 기록 데이터 와 시선 및 창의 좌표를 통해 어느 창을 몇 초 동 안 바라보았는지, 몇 회의 멀티태스킹이 발생했는 지를 계산할 수 있다. 이에 대한 자세한 설명과 분 석 결과는 4.2절에 기술하였다.
시선좌표가 표시된 화면을 동영상으로 기록하는 것은 시선 추적 분석 소프트웨어에서 일반적으로 지원하는 기능이지만, 본 연구에서 개발한 분석 도 구는 연구참여자가 바라보고 있는 창을 직관적으로 시각화해 주는 특징이 있다. 시선 좌표 분류 결과 인 동영상 화면 시각화를 통해 연구자가 따로 분석 할 필요 없이 실시간으로 실험 상황을 볼 수 있게 된다. 연구자는 실험 진행 상황을 연구참여자와 떨 어진 곳에서 볼 수 있기 때문에 자연스러운 상황에 서 실험이 가능하고, 실험 직후 결과에 대한 인터 뷰를 쉽게 할 수 있다. 이러한 시각화 결과는 4.1 에서 자세히 설명하였다.
2.4 디지털 민속지학적 접근
본 연구는 시선 추적 장치를 디지털 민속지학적 (digital ethnography) 관찰도구로 활용하여 연구 참여자의 일상적 환경에서 실험할 수 있는 방법에 적용하고자 한다[17,18,19]. 왜냐하면 e스포츠 게임 중계 시청자들은 일반적 텔레비전 시청과 다르게 자신만의 물리적 공간에서 최적화된 인터페이스를 만들어서 시청하기 때문이다. 특히 생중계 시청을 관찰해야하기 때문에 이러한 접근이 필요하다.
본 연구에서 개발한 시선 분석 도구는 연구자와 연구 참여자가 격리된 상태에서 관찰이 용이하도록 설계되었다. 실시간으로 연구 참여자가 어떠한 경 로를 통해 시청하는지, 몇 개의 창을 띄워 놓고 시 청하는지, 멀티태스킹의 양상은 어떠한지, 시선이 어느 창을 바라보고 있는지, 창의 어느 곳을 보는 지, 연구자가 원격으로 관찰할 수 있다[Fig. 3].
관찰도구로서 시선 추적 장치를 설치하기 전 연 구자는 연구 참여자에게 사전조사를 실시한다. [Fi g. 3]과 같이 연구 참여자의 실시간 관찰 장면을 녹화할 수 있게 세팅하여 연구자가 자연스럽게 관 찰을 하는 것이다. 연구 참여자가 시청을 하는 동 안 실시간 모니터링을 통해 궁금한 점이나 특이한 점을 메모하여 관찰 종료 후에 시청패턴에 대한 질문을 통해 궁금증을 풀어나간다.
[Fig. 3] Participant (left) and Observation Monitors (right)
3. 테스트 및 평가
3.1 연구 문제
본 연구는 e스포츠 생중계 시청 행태를 분석하기 위한 도구의 설계와 개발을 그 목적으로 한다. 따 라서 시선 추적 장치를 통해 다음과 같은 연구문제 에 대한 답을 얻고자 하였다.
1) e스포츠 생방송 시청과 같은 다이나믹 신 분 석 결과를 시각화 할 수 있는가?
2) 시선 추적 장치에 기록된 데이터로 볼 수 있 는 멀티태스킹 시청 특징은 무엇인가?
3.2 연구대상 및 연구절차
본 연구는 e스포츠의 웹 시청 행태를 알아보기 위한 시선 분석 소프트웨어를 개발하고 이를 테스 트하는데 그 목적이 있기 때문에 분석도구의 적합 성을 시험해보았다. 우선, e스포츠 종목 중 리그 오브 레전드(League of Legends) 중계를 시청하 는 사람 가운데, 평소 일주일에 한 번 이상 시청하 는 사람 5명을 파일럿 연구의 연구참여자로 선정하 였다. 리그 오브 레전드 의 국내 중계는 e스포츠 종목 가운데 가장 시청률이 높은 것으로 알려졌다.
e스포츠의 인기를 수치로 알 수 있는 척도는 인터 넷 중계 접속자 수로 티빙(tving)을 통해 중계되었 던 ‘롤 챔피언스 스프링 2013’의 결승전의 경우 당 시 온라인과 모바일 시청 수요가 몰려 홈페이지가 마비되기도 하였다. 이 때 기록한 동시 접속자수 2 0만 명은 포털사이트 네이버를 통해 중계되는 프로 야구 정규시즌 경기의 최대 접속자인 19만 명을 넘 어서는 것이다. 또한 ‘2014년 핫식스 리그 오브 레 전드 챔피언스 스프링’결승전의 경우 네이버, 티빙, 다음, 아프리카TV, 트위치TV 등에서의 생중계는 국내외 최고 동접자수가 합산 60만 명에 이르렀고, 순수방문자는 200만 명 이상 기록한 것으로 집계 된 바 있다. 따라서 이 게임이 본 연구에 적합한 e 스포츠 종목이라고 보고, 2015년 4월부터 일주일
에 3번 중계가 된 2015 스베누 롤챔스 코리아 스 프링’을 본 연구의 처치물로 활용하였다.
테스트는 [Fig. 3]과 같이 2015년 4월 4일과 5 월 2일 이틀간 연구 참여자의 집 데스크탑 환경에 서 이루어졌다. 연구자는 사전에 연구 참여자에게 시선 추적 장치 및 분석도구의 설치와 연구에 대한 동의를 구했고 [Fig. 4]처럼 자연스러운 실험환경 을 만들었다.
[Fig. 4] Eye-Tracking Device Setup and Calibration
구체적으로 4월 4일 오후 7시부터 진행된 CJ 엔투스 대 Jin Air 그린윙스의 2라운드 5주차 경 기와 5월 2일 GE 타이거즈와 SK텔레콤 TI의 결승 전 생중계 시청을 연구자가 고안한 시선 추적 장치 분석도구를 통해 관찰하고 기록하였다. 실험 전후 e스포츠 시청습관 및 멀티태스킹에 대해 인터뷰를 실시하였다.
4. 연구 결과
4.1 다이내믹 신 분석 결과의 시각화
본 연구에서 개발한 분석도구는 실험 참여자가 컴 퓨터를 사용하는 자연스러운 상황에서 시선이 어느 창에 머무르는지 관찰하기 위한 것으로, AOI는 연구 참여자가 실험 중에 띄워놓은 각각의 창이 된다.
윈도우즈 API 라이브러리는 운영체제에서 현재
작업 창과 실행 창의 상태 및 좌표를 제공하고 있 어서 이를 이용해 각 창의 좌표를 시선데이터와 동기화하여 기록할 수 있었다. 그리고 OBS 플러그 인 개발을 통해 시선 데이터가 속한 관심영역, 즉 연구참여자가 바라보는 창의 AOI를 ‘WOI(Windo w of Interest)’로 시각화하여 연구자가 이를 실시 간으로 관찰할 수 있었다. 이와 동시에, WOI가 표 시된 PC화면 전체를 녹화할 수 있었다[Fig. 5]. 이 는 시선 좌표 및 전체 창의 좌표가 기록된 로그 데이터와 동기화 되어 멀티테스킹 시청 습관에 대 한 분석에 사용 할 수 있다. 로그 데이터에 대한 분석 결과는 4.2절에 자세히 설명하였다.
[Fig. 5] 창 단위 시선 분석 및 데이터 기록 흐름도
분석도구를 통해 각 창으로 시선이 머무르는 창 의 좌표들을 WOI로 지정하여 동영상으로 시각화 한 결과는 [Fig. 6,7,8]과 같다. [Fig. 6]와 [Fig. 7]
은 연구참여자 B가 좌측에 e스포츠 중계창을 띄워 놓고 시청하면서 동시에 채팅창을 띄워놓은 것을 시각화 한 것이다.
[Fig. 6] Visualization of WOI – Participant B’s Gaze When Watching a Broadcasting Window
[Fig. 7] Visualization of WOI – Participant B’s Gaze When Watching a Chat Window
[Fig. 8] Visualization of WOI – Participant B’s Gaze When Watching a Soccer Broadcasting
Window
분석 도구는 시선 데이터의 분석 결과를 창 단 위 오버레이 효과로 표시하고 있는데, [Fig. 6]은 빨간 점으로 e스포츠 중계창을 주목하고 시선 좌 표까지 보여준다. [Fig. 7]은 WOI가 중계창에서 채팅창으로 스위칭된 순간을 시각화한 캡쳐 장면이 다. [Fig. 6]와 [Fig. 7] 사이의 WOI의 스위칭은 1
/30초라는 매우 짧은 순간에 발생하였는데, 분석 도구가 WOI 스위칭을 정확하게 시각화 할 뿐만 아니라, 이를 데이터로 기록함을 확인하였다. [Fig.
8]은 연구참여자 B가 [Fig. 6]와 [Fig. 7]과 같은 상태에서 축구 중계창을 추가로 띄워 놓은 상태이 다. 축구 중계창은 e스포츠 중계창과 채팅창과 모 두 겹쳐져있는 부분이 있어 시선 좌표가 3개의 모 든 창에 속해 있을 수 있지만, 당시 시선의 위치에 서 축구 중계창이 최상위에 있기 때문에 WOI를 축구 중계창으로 표시했다. 이처럼, 여러 창이 겹 쳐져 있을 때 분석도구는 최상위에 위치한 창이 무엇인지도 체크하여, 사용자가 바라본 창이 정확 히 어떤 창인지 구분할 수 있다.
이러한 시각화된 기록을 통해 연구자는 실험 및 관찰 결과를 매우 정밀하게 분석할 수 있을 뿐 아 니라 연구참여자와 관찰 결과 캡처 동영상 화면을 동시에 보면서 해당 시청 행위에 대한 설명을 들 을 수 있어서 풍부하게 분석할 수 있다.
4.2 멀티태스킹 시청
시각화된 동영상에서 볼 수 있는 창의 상태는 시선 데이터와 동기화 되어 그 좌표가 로그파일로 기록된다. 화면에 시각화된 동영상 기록 및 로그파 일을 통해 로그파일에 기록된 1/30초 단위의 시선 및 창의 이름과 좌표 데이터를 토대로 중계창 이 외에 어떤 작업을 멀티태스킹 했는지, 중계창을 포 함한 각 창을 바라본 시간 등을 분석할 수 있다.
연구참여자 5명중 3명은 중계화면을 단일 창으로 열어놓고 시청하여 멀티태스킹 시청이라는 본 연구 문제의 결과 분석에 적합하지 않아, 복수의 창을 열어놓고 시청한 참여자 A와 B의 결과를 분석하 였다. 로그 데이터 분석 결과는 [Table 1,2,3]과 같 이 나타났다.
연구 참여자 A는 전체 19분 16초의 시청 시간 중 중계 창(화면)을 본 시간은 13분 45초였고, 연 구 참여자 B는 총 44분 26초의 시청 시간 중 16분 39초 동안 중계화면을 본 것으로 나타났다. 이는 중계 창 이외의 창을 시선으로 멀티태스킹 한 결
과이다. 연구 참여자 A는 실험중간에 최대 4개의 창을, 연구 참여자 B는 최대 5개의 창을 띄워 놓 고 보았다[Table 1,2].
시선의 멀티태스킹 빈도를 분석한 결과, 연구 참 여자 A는 전체 시청시간 중에 총 222번 스위칭하 였는데, 분당 11.5회 즉 1.4초에 한 번 꼴로 창을 바꿔가면서 멀티태스킹 한 것으로 파악되었다. 연구 참여자 B는 총 1371회 스위칭 하여 분당 30회 꼴 로 창을 바꿔가면서 시청한 것으로 파악되었다.
[Table 1] Participant A's Multitasking Viewing 개별 창 상태(총 5개) 단위(duration : 초)
e스포츠 중계 836.602
커뮤니티 활동 85.78
게임관련 웹서핑 67.451
화면에 시선을 두지 않음 79.336
게임과 관련 없는 웹서핑 87.658
총 시간(Duration) 1156.827(약 19분 16초)
[Table 2] Participant B's Multitasking Viewing 개별 창 상태(총 12개) 단위(duration : 초)
e스포츠중계 999.353
커뮤니티 활동 74.364
예능프로-비정상회담 38.545
다음 팟 플레이어 16.868
다음 팟 채팅 191.029
롤 갤방송 채팅 224.196
리버풀 vs 아스날 222.17
Naver 메인 8.864
Naver 스포츠 6.913
Google 검색 2.205
크롬-새탭 16.263
탐색기 4.546
기타 274.804
창에 시선을 두지 않음 575.35
총 시간(Duration) 2655.47(약 44분 26초)
[Table 3]은 연구 참여자 B의 멀티태스킹을 시 간대 별로 나누어 살펴 본 결과로 중계 중일 때보 다 중계 전후에 멀티태스킹이 더 자주 일어나는 것으로 나타났다.
디지털 민속지학적 관찰 방법으로 실험한 후 두 연구 참여자에게 얼마나 시선의 멀티태스킹을 한 것 같은지 유추해서 응답해달라고 물어본 결과,
데이터 결과와 달리 연구 참여자 A는 1분에 3∼5 번이라고 답했고 B는 20번 정도라고 응답해 데이 터와 상이하게 나타났다. 또한 실험 전 스스로 인 지한 멀티태스킹 시청 행위와도 상이한 응답을 하 였다. 그러나 이를 조심스럽게 해석할 필요가 있는 데, 시선의 경로만으로 ‘보았다’고 할 수 없기 때문 이다. 실제로 시선이 배우 빈번하게 멀티태스킹을 했어도 우리가 인지하는 것은 그보다 훨씬 더 적 을 수 있다. 이는 테스트 연구 이후에 연구자들이 고민해야 하는 부분이다.
[Table 3] Participant B's Viewing Patterns of Broadcasting Time Flow
중계 전 (00:00∼
13:18)
중계 중 (13:19∼
39:45)
중계 후 (39:46∼
44:15) 스포츠중계 243.882 700.689 54.782
커뮤니티 활동 1.211 73.153 0
예능프로그램 0 38.545 0
다음팟플레이어 9.37 7.498 0
다음팟 채팅 174.377 16.652 0
롤갤방송 채팅 20.622 189.342 14.232
리버풀vs아스날 0 135.003 87.167
Naver 메인 0 8.864 0
Naver 스포츠 0 6.913 0
Google 검색 0.18 2.025 0
크롬-새탭 16.263 0 0
탐색기 0 4.546 0
기타 82.503 154.868 37.433
창에 시선을 두지
않음 249.601 249.809 75.94
총
시간(Duration) 798.009 1587.907 269.554
스위칭 회수 752 1179 223
1분당 스위칭
빈도 56.54 44.55 49.64
5. 결론 및 논의
본 연구는 e스포츠 생중계 시청의 특징으로 흔 히 나타나는 창 단위 멀티태스킹을 추적하기 위해 다이나믹 신에서의 시청 측정을 정교하게 할 수 있는 분석도구를 개발하여 디지털 민속지학적 방법 을 적용해 융합적 방법론으로 연구 설계하여 테스
트하였다.
동영상 시청이나 멀티태스킹의 경우는 창의 크 기와 위치가 다이나믹하게 변화하기 때문에 미시적 시청 행동 추적이 필요하다. 왜냐하면 마이크로 미 디어 행위가 우리 일상에서 빈번하게 발생하기 때 문이다.
흔히 웹은 VOD와 같이 맞춤형 영상서비스에 적합한 스크린으로 분류되지만 제로 티비(zero T V), 1인 가구의 증가로 웹에서의 생방송 또는 생 중계 시청이 주된 시청 수단이 되어가고 있다. 멀 티태스킹을 활용한 상호작용적 시청이 용이해 기존 텔레비전 시청과는 매우 다른 양상을 보인다는 것 은 익히 알려진 사실이다. 그러나 초단위의 미시적 시청 행위는 연구 참여자나 연구자 스스로 회상에 의해 가늠하기가 어려운 행동의 단위이다. 예컨대 5초 광고와 같은 초 단위 노출 효과나 회피는 본 연구의 분석도구를 응용해 측정할 수 있다.
또한 e스포츠와 같이 관여도가 높은 동영상 콘 텐츠를 시청할 경우 인지 욕구(Need for cognition )에 따른 멀티태스킹의 특징은 무엇인지 파악할 수 있는 관찰자료 기록이 중요하다[20]. 기존에 알려 진 대로 멀티태스킹이 인지적 처리 과정을 저해(li mited capacity model)하는지, 반대로 몰입을 강화 하는지 파악하는 방법론으로 활용할 수 있다[21].
특히 스포츠 경기는 생중계를 시청하지 않으면 결 과가 거의 실시간으로 웹상에 공개되기 때문에 ‘본 방사수’의 경향이 높다. 동영상 중계 화면이 아니 더라도 문자 중계, SNS 중계, 실시간 댓글 활동을 할 수 있는 다양한 맥락의 멀티태스킹 상호작용 시청도 일어날 수 있다.
본 연구의 의의는 다음과 같다. 첫째, 기존의 시 선 추적 장치는 히트맵이나 시선 경로를 분석하는 정도에 그쳐 실제 다이나믹한 웹에서의 멀티태스킹 이나 창의 움직임을 구분해서 처리하기 힘들었다.
일반적으로 정지화면에 대한 시선추적 장치 연구의 경우 풀 스크린에서의 고정된 시선추적이기 때문에 제한적 결과를 나타낼 수밖에 없었다. 그러나 본 연구에서 개발한 분석도구는 창 단위의 관심영역
을 WOI로 개념화하여 구체적으로 시각화하였을 뿐만 아니라, 이를 데이터로 활용하여 정교한 분석 을 가능하게 하였다. 복잡한 미디어 이용 연구를 데이터로 분석하고 미시적 차원을 시각화하는 하나 의 연구 틀을 제시하였다는 점에서 의의를 찾을 수 있다. 둘째, 이러한 연구 방법은 e스포츠 중계 뿐 아니라 개인의 웹 이용행위 전반에 대해 응용 할 수 있다는 점에서 복잡해져가는 미디어 이용행 위에 대한 직접적인 측정방법으로 활용할 수 있다 는 점이다. 특히 WOI 단위로 시선을 분석하기 위 해 모든 창의 상태를 기록하고 이를 시선데이터와 동기화할 수 있기 때문에 스크린에 여러 개의 창 이 동시에 열려져 있어도 어떠한 창을 주목하는지 정확하게 좌표를 기록할 수 있다. 셋째, 자연스러 운 일상적 상황에서 실험을 수행할 수 있어서 인 위적인 실험실적 환경이나 실험 처치물이 아닌 이 용자의 실제 콘텐츠 이용 패턴과 행태를 추적하는 데 용이해 실험 자료의 객관적 타당도를 높일 수 있다. 마지막으로 미시적 시청행위 연구와 관찰을 통한 디지털 민속지학에서의 방법론적 적용과 같은 학제간 연구의 학문적 · 실무적 의의를 논의하였 다.
본 연구는 멀티태스킹 시청 측정도구 개발이라 는 점에서 많은 수의 연구 참여자를 기록하지 못 한 한계가 있으나, 파일럿 연구로서 후속 연구를 통해 보다 정밀한 관찰과 실험이 가능할 것이다.
※ 본 연구는 한국여성커뮤니케이션학회 2015 봄철 정기학술대회 발표 원고를 수정·보완함.
REFERENCES
[1] Sung-min Lee, “The effect of the participation in PC sports games on sports involvement”, Graduate School of Busan National University of Education, Master's thesis, Busan National University of Education, 2004.
[2] Do-young Pyun, Jin-wook Han, & Tai-hyung
Kim, “An exploratory study of developing the motivation scale for e-sports consumption”, The Korean Journal of Physical Education, Vol. 18, No. 1, pp549-559, 2009
[3] Ji-Young Lee, Jae-Woong An, Sang-Woo Lee, “Factors Affecting eSports Audience Satisfaction - The case of League of Legends”, Journal of Korea Game Society, Jun; 14(3): 35-46, 2014
[4] Choi,SunYoung, “A Study on Viewing Patterns of Smartphone OTTService App Using Modified Log Analysis”, The Korean Society for Journalism & Communication Studies, 59(3), 125-156, 2015
[5] McDonald DG, Meng J., “The multitasking of entertainment” In Kleinman S, ed. The culture of efficiency: Technology in everyday life. New York: Peter Lang, pp. 142–
157.2009
[6] Rohm A, Sultan F, Bardhi F., “The multitasking paradox: Media consumption among young consumers”, Marketing Management, December, 20–25.2009
[7] Carrier LM, Cheever NA, Rosen LR, et al.,
“Multitasking across generations:
Multitasking choices and difficulty ratings in three generations of Americans”, Computers in Human Behavior,25:483–489,2009
[8] S. Adam Brasel and James Gips, “Media Multitasking Behavior:Concurrent Television and Computer Usage”, Cyberpsychology &
Behavior, and Social Networking, Volume 14, Number 9, 2011
[9] Mary L. Courage, Aishah Bakhtiar, Cheryll Fitzpatrick, Sophie Kenny, Katie Brandeau,
“Growing up multitasking: The costs and benefits for cognitive development”, Developmental Review, 35: 5–41,2015
[10] Okagaki, L., & Frensch, P. A., Effects of video gameplaying on measures of spatial performance: Gender effects in late adolescence. Journal of Applied Developmental Psychology, Vol. 15, pp. 33-58, 1994.
[11] Castel, A. D., Pratt, J., & Pratt, J., The effects of action video game experience on the time course of inhibition of return and the efficiency of visual search, Acta Psychologica, Vol. 119, pp. 217-230, 2005.
[12] Green, C. S., & Bavelier,D., Action - video - game experience alters the spatial resolution of vision, Psychological Science, Vol. 18, pp.
88-94, 2007.
[13] Sohye Lim, “Exploring the Game Player's Visual Attention to the Game Interface using Eye-Tracking Method”, Korean Society For Computer Game , Vol. 27, No. 2, 30 pp.
105-112, June 2014
[14] Kwok, T. C., Huang, M. X., Tam, W. C., &
Ngai, G., “Emotar: Communicating Feelings through Video Sharing”, In Proceedings of the 20th International Conference on Intelligent User Interfaces (pp. 374-378), ACM, March. 2015
[15] Sakai, D., Yamamoto, M., & Nagamatsu, T.
“Framework for Realizing a Free-Target Eye-tracking System”, In Proceedings of the 20th International Conference on Intelligent User Interfaces Companion (pp. 73-76), ACM, March, 2015
[16] Kurzhals, K., & Weiskopf, D., “Space-time visual analytics of eye-tracking data for dynamic stimuli”, Visualization and Computer Graphics, IEEE Transactions on, 19(12), 2129-2138, 2013
[17] Shrum, W., Duque, R., & Brown, T.,“Digital video as research practice: Methodology for the millennium”, Journal of research practice, 1(1), Article-M4, 2005
[18] Murthy, D., “Digital ethnography an exam- ination of the use of new technologies for social research”, Sociology, 42(5), 837-855, 2008
[19] Chee, F. M., “Online Games and Digital Ethnography”, The International Encyclopedia of Digital Communication and Society, 2015 [20] Petty, R., Cacioppo, J., & Kao, C., “Short
communication: integrating personality and intelligence: Typical intellectual engagement and need for cognition”, Personality and Individual Differences, 43(6), 1635∼639, 1984 [21] Lang, A., “The limited capacity model of
mediated message processing”, Journal of Communication, 50(1), 46-70, 2000
고 은 지(Eunji Ko)
약 력 : 2007.2 홍익대학교 전자전기공학사 2009.2 이화여자대학교 디지털미디어학 석사 2014.8 이화여자대학교 미디어공학 박사 2014.9-현재 연세대학교 인지공학스퀘어 박사후연구원
관심분야 : 피지컬 컴퓨팅, 아이트래킹
최 선 영(SunYoung Choi)
약 력 :1993.2 이화여자대학교 신문방송학과 학사 2011.2 이화여자대학교 디지털미디어학부 석사 2014.8 이화여자대학교 디지털미디어학부 문학박사 2008.2 - 현재
서울디지털대학교 미디어영상학부 초빙교수
관심분야 : 영상콘텐츠, 포맷, OTT, 비주얼커뮤니케이션
