http://dx.doi.org/10.7236/JIIBC.2014.14.1.265
JIIBC 2014-1-34
키넥트를 활용한 상황인지형 디지털 사이니지 연구
A Research on Context-aware Digital Signage using a Kinect
노광현*, 이석기**
Kwanghyun Ro
*, Seokkee Lee
**요 약 본 논문에서는 제4의 스크린 미디어로 불리며 급성장 중인 디지털 사이니지에 적용할 수 있는 키넥트 센서 기반의 상황인지기술을 연구하였다. 디지털 사이니지에 필요한 상황인지기능을 분류하고, 디지털 사이니지 제어를 위 한 비접촉 인터페이스를 제공하고, 상황에 맞는 콘텐츠를 능동적으로 제공할 수 있는 상황인지형 디지털 사이니지 플 랫폼을 개발하였다. 기본적인 상황인지기능으로는 사용자 인원수, 제스처, 음성, 소리방향 등이 연구되었고, 향후 고급 상황인지기능을 연구할 계획이다. 본 연구에서 개발된 플랫폼은 일반적인 상황인지형 디지털 사이니지 개발시 참고 모델이 될 수 있을 것이다.
Abstract In this paper, context-aware technologies using a Kinect sensor for a digital signage which is increasingly growing as the 4th screen media is presented. Generalized context-aware functions for a digital signage were studied and a context-aware digital signage platform was developed. It can support a natural user interface for controlling a digital signage and actively provide contents adapted to its context. As a basic context, user’s gesture and voice, the number of users, sound direction were considered. In the future, the advanced functions such as age, gender will be studied. The implemented platform could be a good reference model when developing a general context-aware digital signage.
Key Words : Digital Signage, Context-aware, Kinect
*정회원, 한성대학교 산업경영공학과 (교신저자)
**정회원, 한성대학교 산업경영공학과
접수일자 : 2014년 1월 26일 , 수정완료 : 2014년 2월 7일 게재확정일자 : 2014년 2월 7일
Received: 26 January, 2014 / Revised: 7 February, 2014 Accepted: 7 February, 2014
*Corresponding Author: [email protected] Dept. of Industrial & Management Engineering, Hansung University, Korea
Ⅰ. 서 론
인터넷과 이동통신기술의 급속한 발전으로 온라인 기 반의 정보제공 및 광고 서비스가 대세를 이루고 있는 상 황에서 2000년대 후반부터 오프라인에서 서비스되는 디 지털 사이니지(Digital Signage) 제품들이 등장하기 시작 하였다.
디지털 사이니지는 네트워크를 통해 원격 제어가 가 능한 디지털 디스플레이를 공공장소나 상업공간에 설치
하여 정보, 엔터테인먼트, 광고 등을 제공하는 디지털 미 디어이다. 최근에는 단순한 디지털 정보를 보여주는 디 지털 정보 디스플레이(DID, Digital Information Display) 의 수준을 넘어 소프트웨어, 하드웨어, 콘텐츠, 네트워크 기술 등 다양한 IT 기술과 융합되어 양방향 커뮤니케이 션이 가능한 새로운 정보 매체로 발전하고 있다[1].
이러한 디지털 사이니지는 TV, PC, 휴대폰에 이은 제 4의 미디어로 분류되고 있으며 기존의 상업용 디지털 미 디어에 주요 기능을 제어할 수 있는 소프트웨어나 관리
플랫폼까지 종합적으로 공급되고 있다. 이러한 디지털 미디어의 성장과 함께 광고시장 또한 급격하게 성장을 하고 있다. KT 경제경영 연구소에 따르면 국내 디지털 사이니지 시장은 2009년부터 지속적으로 고성장을 유지 하고 있으며 2015년에는 시장 규모가 3,000억원으로 예 측하고 있다. 미국 IHS 보고서에 따르면 2013년 전세계 디지털 사이니지 시장 규모를 139억불이었으며, 2017년 에는 170억불이 될 것으로 전망하고 있다.
국내에서는 2011년 6월 한국 디지털 사이니지 협회가 출범 하였고 2012년 5월 한국텔레스크린 협회가 창립되 어 디지털 사이니지 생태계 구축과 국내 디지털 사이니 지 시장의 발전을 위한 노력을 하고 있다. 최근 KT, LG 유플러스 등의 통신사업자와 다음, 네이버 등의 인터넷 포털 사업자는 사업 영역 확장을 위한 방안으로 디지털 사이니지 시장에 진출하고 있다.
독립적인 디지털 미디어 광고매체로 자리잡은 디지털 사이니지는 사용자와의 커뮤니케이션 방식에 따라 세대 별로 분류할 수 있다. 1세대는 단순노출형 디지털 사이니 지(One Way Digital Signage)로 기존의 아날로그 광고 판을 디지털 디스플레이 장치로 전환 시켜 단순히 영상 정보를 송출하는 단방향 영상 기기로서 LCD모니터로 변 환된 전광판 형태로 광고, 정보제공, 뮤직비디오, 뉴스, 안내영상을 주요 콘텐츠로 사용하고 있다. 2세대는 참여 형 디지털 사이니지 (Interactive Digital Signage)로 네트 워크 기반의 중앙관리 및 터치스크린을 통한 매체와 소 비자간 기초적인 양방향 소통이 가능한 방식으로 키오스 크를 이용하여 사용자 참여를 통해 정보를 제공하는 형 태로 인터넷을 통하여 소비자가 필요로 하는 정보를 실 시간 제공한다. 최근에 공공장소나 대형 쇼핑몰을 중심 으로 활발히 도입되고 있다. 3세대는 상황인지형 디지털 사이니지(Context-aware Digital Signage)로 미래형 하 드웨어 기술 및 통신 서비스와 모바일 및 클라우드 등의 다양한 핵심기술들이 융합되고 더욱 적극적인 소통과 공 유가 이뤄지는 컨버전스형 디지털 사이니지로 예상하고 있다. 상황인지 및 고실감 인터랙티브 인터페이스 기술 은 불특정 소비자 및 소비자 그룹 맞춤형 광고 콘텐츠를 추출하여 제공할 수 있다. 특히. 카메라, 마이크, 인체감 지센서 등의 여러 센서에 입력된 정보를 분석하여 사용 자 입력 없이도 상황을 인지하여 적절한 광고나 정보를 제공할 수 있는 특징을 가지게 될 것으로 예상하고 있다
[2]. 상황인지 기능을 통해 실시간 광고효과 분석이 가능
해 오프라인 타깃 마케팅 매체로 활용될 것으로 예상되 며 현재 관련 연구가 진행 중이다[3,4,5,6].
본 연구에서는 3세대형 디지털 사이니지에 필요한 상 황인지기능을 분류하고 키넥트를 활용하여 상황인지기 능 중 일부 기능을 개발하여 구현하였다. 이 과정에서 특 정 시장에 적용할 수 있는 디지털 사이니지를 연구하기 위해 디지털 사이니지의 새로운 시장으로 예상되는 대학 교를 타켓으로 하는 상황인지형 학과 디지털 사이니지를 개발하였다.
본 논문의 구성은 다음과 같다. 2장에서는 상황인지에 대한 정의 및 필요성을 설명하고, 디지털 사이니지에서 필요한 상황인지기능을 분류하며, 키넥트에 대해 설명한 다. 3장에서는 상황인지형 학과 디지털 사이니지의 콘텐 츠와 상황인지기능을 설계하고, 4장에서는 구현 결과를 설명한다. 5장에서는 상황인지기능의 실험결과를 설명한 다. 6장은 결론이다.
Ⅱ. 디지털 사이니지의 상황인지
1. 일반적인 상황인지 정의 및 서비스
상황인지 혹은 상황인식은 ‘상황의 변화를 감지하고 사용자에게 적합한 정보나 서비스를 제공하거나 시스템 스스로 상태를 변경하는 것’을 말한다. 이러한 상황 변화 를 컴퓨터가 이해하기 위해서는 우선 상황에 대한 정의 가 필요하다[7].
상황은 개체의 상태를 특정 짓는데 사용될 수 있는 정 보이다. 개체는 사용자나 응용 자체를 포함하여 사용자 와 응용간의 상호작용에 적절한 것으로 고려되는 사람, 장소, 객체 등이 해당된다. 상황은 응용의 운용 환경 일부 로 응용이 감지할 수 있는 정보를 포함한다. 일반적으로 사람, 그룹, 객체 위치, 식별, 활동 상태 등을 포함한다. 상 황은 위치나 컴퓨팅 환경과도 연관될 수 있다. 이를 위해, 건물, 방과 같은 장소에 기온 또는 밝기와 같은 물리적 변수의 측정을 제공하는 센서가 설비된다. 그리고 응용 은 가까운 자원의 능력을 탐지하기 위해 소프트웨어 및 하드웨어 환경을 감지할 수 있다.
위의 상황에 대한 정의를 기반으로 예를 들면, 다음과 같은 정보들이 상황정보에 해당될 수 있다.
식별 정보 : 객체를 식별할 수 있는 식별자 공간적 정보 : 장소, 좌표, 속도 및 가속도
시간적 정보 : 현재 시간, 요일, 계절 환경적 정보 : 기온, 습도, 밝기, 소음
사용자 생리학적 정보 : 혈압, 심박 수, 체온, 목소리 음색
상황에 대한 다양한 정의들을 기반으로 상황 인식 서 비스는 다음과 같이 정의될 수 있다.
사용자가 처한 위치나 환경 등의 특정 상황을 인지하 여 사용자의 요구에 부응하도록 제공되는 서비스
사용자가 입력한 정보나 상황 정보들이 결합되어 이 용자가 처한 상황에 맞게 사용자가 원하는 수준으로 조 정되어 제공되는 지능형 서비스
현재 사용자는 주로 사람과 사람간의 커뮤니케이션 패러다임에서 오감과 지성에 의존하여 상황정보를 수집 및 추론하고 판단한 뒤 적절한 서비스를 요청하여 제공 받고 있다. 하지만 미래 유비쿼터스 시대에서는 일상생 활 주변의 주요 사물 및 장치가 컴퓨팅 및 커뮤니케이션 능력과 주변 상황을 인식하는 능력을 가지게 될 것이다.
따라서 상황인지 서비스는 앞으로 의료, 교육, 재난 및 구 조, 쇼핑 등 사회 전 분야에 걸쳐 널리 응용될 것으로 예 상된다.
2. 디지털 사이니지의 상황인지 분류
디지털 사이니지의 보급 확대와 독립된 매체로서의 역할 증대에 따라 상황인지 서비스 적용에 대한 관심이 높아지고 있다. 기존의 디지털 사이니지는 불특정 다수 의 사람들이 이동하는 길목에 설치되어 짧은 시간에 원 하는 정보를 일방적으로 전달하거나 사용자의 능동적인 터치를 통해 원하는 정보를 제공하여왔다. 하지만 이동 중인 사람이 디지털 사이니지로 다가올 수 있도록 유도 하거나 디지털 사이니지가 사용자 특징을 파악하거나 제 스처나 음성을 인식하여 사용자가 필요로 하거나 관심을 보일만한 광고, 정보, 오락적인 콘텐츠를 능동적으로 제 공할 수 있다면 디지털 사이니지의 적용 분야가 크게 확 대될 것이다.
디지털 사이니지에 상황인지기능을 부여하기 위해서 는 디지털 사이니지가 인지해야 할 상황에 대한 분류가 필요하다. 디지털 사이니지에서 제공하는 서비스는 기본 적으로 오프라인상의 사람을 대상으로 하기 때문에 사람 의 행동이나 특성 인식이 중요하다.
본 연구에서는 디지털 사이니지에서 인지해야할 상황 을 목적에 따라 표 1과 같이 분류하였다. 상황 인지 목적
에 따라 크게 광고/정보 제공, 기기 제어, 정보 수집으로 분류하였고, 각 목적별로 필요한 상황을 세분화하였다.
제시된 분류표는 상황인지형 디지털 사이니지에 기본적 으로 인지해야 할 상황을 제시한다.
목적 상황
광고/
정보 제공
y 사람 존재함: 사람 인식되면 광고/정보 제공 y 성별 구분: 고객의 성별을 구분하면 남녀에 따라 적
절한 광고나 정보를 제공
y 연령대 구분: 고객의 연령대를 예측하면 연령대에 맞는 광고나 정보를 제공할 수 있음
y 사람 인원수: 사람 수에 따라 제공되는 콘텐츠를 변 화시킬 수 있음
y 주변 소리 및 방향: 사람 소리가 인식되면 광고/정 보 제공 및 소리 방향에 따라 콘텐츠 제어
디지털 사이니지
제어
y 제스처: 사용자 제스처를 통한 비접촉식 메뉴 제어 y 음성: 사욘자 음성으로 비접촉식 메뉴 제어 y 주변 소음: 사이니지 주변의 소음 정도에 따라 사이
니지의 음량 자동 조절 등의 기능 수행 y 사람 존재하지 않음: 에너지 절약을 위해 사이지니
주변에 사람이 존재하지 않으면 절전 모드로 전환
정보 수집
y 인식된 사람의 연령대 및 성별 등의 정보 수집 y 주변환경정보: 사이니지 주변의 환경 물리량(온도,
조도, 습도 등)을 측정하여 활용 표 1. 디지털 사이니지를 위한 상황인지 분류
Table 1. Context-aware classification for a digital signage
3. 디지털 사이니지에 키넥트 적용
3세대형 디지털 사이니지가 인지해야할 상황은 표 1 에서 분류된 바와 같이 디지털 사이니지 전방이나 주변 의 사람 존재 유무, 사람 인원수, 성별, 연령대, 제스처, 음 성 등으로 주로 사람의 행동이나 특성을 인식해야 하는 것이 주요 핵심이다. 이러한 상황을 인지하기 위해서는 일반 카메라, 적외선 카메라, 마이크, 온도 측정 센서, 조 도 측정 센서 등의 다양한 센서를 활용한 영상처리 기술, Depth 이미지 추출, 사람 인식, 음성인식 등 다양한 기술 이 필요하다. 이러한 기술들을 구현하는데 있어서 효과 적으로 적용할 수 있는 단일 장비로 키넥트 센서를 선정 하였다.
키넥트는 컨트롤러 없이 사용자의 신체를 이용한 자 연스러운 유저 인터페이스를 통해 게임과 엔터테인먼트
를 경험할 수 있는 XBOX 360용 주변기기이다. 장착된 카메라 모듈로 게임 플레이어의 동작을 인식하고, 마이 크 모듈로 음성을 인식할 수 있다. 게임이외에 다른 분야 에도 적용할 수 있는 Kinect for Windows와 SDK가 출 시되어 의료, 교육, 광고, 로봇 등 다양한 분야에서 활용 될 것으로 예상하고 있다.
키넥트는 그림 1과 같이 IR Emitter, IR Depth Sensor, Color Sensor, Microphone Array, Tilt Motor로 구성된 다. IR Emitter는 적외선빔을 방출하고, IR Depth Sensor 는 물체에 도달하고 돌아오는 적외선빔을 감지한다.
Color Sensor는 RGB 3개 채널 데이터를 저장한다.
Microphone Array는 음원를 캡처하고 소리가 나는 방향 을 감지하며, Tilt Motor는 키넥트 본체를 상하수직으로 조절한다[9].
그림 1. 키넥트 센서 구성 요소 Fig. 1. Kinect sensor components
키넥트의 시야각은 43.5±27°이며 Tilt Motor에 의한 각도 조절이 상하 최대 27°까지 가능하여 27°의 오차 범 위가 있다. 키넥트와 물체간 거리는 0.8∼2.5m사이일 때 인식 성공률이 가장 높다. Skeleton Tracking으로 최대 2 명의 골격을 인식할 수 있고, Stand Mode에서는 20개 골 격, Seat Mode에서는 10개 골격을 인식할 수 있다.
Depth Tracking으로 최대 6명까지 인원수를 인식할 수 있다. 소리의 경우에는 키넥트 중앙을 기준으로 좌우
±50°까지 소리의 방향을 감지할 수 있다.
Ⅲ. 상황인지형 디지털 사이니지 설계
상황인지형 디지털 사이니지를 연구하는 과정에서 시 연 시스템을 구축하고자 하였다. 디지털 사이니지 시장 이 확대되면서 많은 학생이 밀집해 있는 대학 캠퍼스가 새로운 시장으로 떠오르고 있는 추세여서 시연 시스템으
로 학과 맞춤형 디지털 사이니지를 선택하였다. 대학에 설치된 대부분의 디지털 사이니지는 불특정 다수의 학생 들에게 단방향 정보를 제공하고 있고 일부 대학에서 학 과 전용 디지털 사이니지 도입을 추진하고 있다. 미국의 주요 대학들은 터치스크린 기능이 포함된 2세대형 학과 디지털 사이니지를 이미 도입하고 있다.
이러한 추세를 반영하여 본 연구에서는 3세대형 학과 디지털 사이니지를 설계하였다. 본 장에서는 해당 디지 털 사이니지의 콘텐츠 및 상황인지기능의 구성을 설명한다.
1. 학과 맞춤형 디지털 사이니지 콘텐츠 구성 학과 디지털 사이니지에 필요한 콘텐츠를 결정하기 위해 사용자인 대학생들을 대상으로 설문 조사를 실시하 였다. 학과 디지털 사이니지의 콘텐츠는 기본적으로 온 라인상의 학과 홈페이지 내용과 유사할 수 있지만 오프 라인에서 학생들이 필요로 하는 정보가 무엇인지를 파악 하기 위해 실시하였다.
서울지역 대학생 100에 대한 주요 설문내용과 결과는 표 2와 같다. 87%의 학생들이 디지털 사이니지를 한번 이상 이용한 경험이 있었고, 주로 무료한 시간을 보내거 나 정보 검색을 위해 이용하였으며, 평균 이용 시간은 1
∼3분 미만이 대부분이었다. 학과 디지털 사이니지에 포 함되기를 희망하는 콘텐츠로 취업/인턴정보가 가장 많았 던 점이 특이했다.
설문 내용 설문 결과
이용 경험 87%
이용 이유 이벤트 응모 < 정보검색 < 무료 시간 평균 이용 시간 1분 미만 < 1∼3분
일반 관심사 뉴스 < 취업/인턴 < 영화/공연/음악 학과 콘텐츠 주변지역검색 < 학과정보 < 취업/인턴 표 2. 디지털 사이니지 관련 설문 조사 결과
Table 2. Result of question investigation for digital signage
설문 조사 결과를 기반으로 그림 2와 같이 학과 디지 털 사이니지의 사이트맵을 구성하였다. 학생들의 관심이 가장 큰 취업정보는 취업정보제공 전문업체인 인쿠르트 (http://www.incruit.com) 협조를 통해 학과 전공 관련 취업정보를 제공받을 수 있도록 하였다.
그림 2. 학과 디지털 사이니지의 사이트맵
Fig. 2. Site map of university department’s digital signage
2. 상황인지기능 구성
컬러, 뎁스, 스켈레톤, 오디오 등 크게 4가지의 스트림 을 제공하는 키넥트를 기반으로 상황인지기능을 제공할 수 있다. 키넥트 SDK에서 제공하는 API만을 가지고 구 현 가능한 기술들을 기본형 상황인지기능으로 구분하고, 키넥트 SDK에서 제공하는 API를 가지고 구현하는데 복 잡한 알고리즘이나 많은 시간의 소요가 예상되거나, 또 는 키넥트 SDK이외의 개발 툴이 필요한 경우를 고급형 상황인지기능으로 구분하였다.
기본형 상황인지기능은 사람 유무 파악 및 인원수 인 식, 사용자 음성 인식(한글, 영어), 제스처 인식, 소리 방 향 인식으로 구성하였다. 이 기능들을 활용해서 디지털 사이니지의 메뉴 제어, 상황에 적절한 콘텐츠 출력, 절전 모드 전환 등을 구현할 수 있다. 고급형 상황인지기능으 로는 성별, 연령대 인식 등이 있는데 본 연구에서는 제외 하였다.
Ⅳ. 상황인지형 디지털 사이니지 구현
1. 시스템 사양 및 개발 환경
상황인지형 학과 디지털 사이니지는 세로형 42인치 스탠드형으로 구현되었다. 하드웨어 사양은 본체, 화면, 키넥트, 웹캠으로 구성되며 표 3과 같다. 키넥트는 상황 인지기능, 웹캠은 디지털 사이니지 전방의 영상을 스트 리밍 서비스 용도로 탑재하였다. 키넥트 기반 상황인지 기능은 Windows 7에서 C#으로 개발하였다.
품목 사양
본체
OS : Windows 7
프로세서 : Intel(R) Celeron(R) CPU 847 설치된 메모리(RAM) : 4GB
하드디스크 : 30GB
화면
제품명 : LC420EUN-SFM1
회사 : LG Display
크기 : 42인치 / 1920×1080
명암비 : 1400:1
화면 : WIDE LED
휘도 : 350
강화유리 및 터치스크린 기능 포함 키넥트 Kinect for Windows
표 3. 하드웨어 사양
Table 3. Hardware specification
개발된 실제 모습은 그림 3과 같고, 실측 크기는 1482cm×600cm×12cm(높이×가로×두께)이다. 키넥트와 웹캠은 상단에 설치하였다.
그림 3. 키넥트가 탑재된 상황인지형 디지털 사이니지 Fig. 3. Context-aware digital signage with a Kinect
2. 메뉴 및 화면 구성
상황인지형 학과 디지털 사이니지 화면은 총 4개 영역 으로 구성하였다. 상단은 로고부분으로 이벤트 없는 고 정형이고, 그 하단은 공지 및 시간, 날씨, 온도 정보 등을 표시할 수 있다. 공지의 경우에는 시간에 따라 제목만 한 줄씩 보여주는 형태로 제작하였다. 나머지 두 영역은 메 뉴 선택에 따른 내용을 제공해주는 영역과 메뉴 영역으 로 구성하였다. 메뉴는 1depth로 학과소개, 공지사항, 취 업정보, 주요연락처 등 총 15개로 구성되었고, 주요 화면 모습은 그림 4와 같다.
대부분의 콘텐츠는 학교 및 학과 홈페이지에 포함되 어 있는 기존 콘텐츠를 세로형 디지털 사이니지에 맞도 록 수정하여 사용하였다. 기본적인 메뉴 제어는 터치스 크린으로 수행되도록 하였고, 상황인지 기능 중 제스처 와 음성인인으로도 메뉴 제어가 가능하도록 하였다.
그림 4. 학과 디지털 사이니지의 화면
Fig. 4. Sample screens of university department’s digital signage
3. 키넥트 설치에 따른 인식률 실험
디지털 사이니지에 키넥트를 탑재하는 경우 키넥트의 설치 높이에 따른 상황인지 가능 여부에 대한 확인이 필 요하다. 키넥트는 기본적으로 XBOX에 연결되어 게임시 사용되는 제품으로 사람 무릎 높이나 머리 위쪽에서도 인식이 된다. 하지만 본 연구에서 구현할 디지털 사이니 지의 경우 상단부 높이가 성인키 이상이 될 수 있기 때문
에 해당 높이에서 키넥트의 상황인지 기능 수행이 가능 한지에 대한 실험이 필요하였다.
키넥트 설치시 최고 높이인 210cm와 최저 높이인 무 릎높이 53cm에 각각 설치하고 키넥트와 사용자 거리를 200cm부터 50cm씩 이동하면서 사용자 골격 및 제스처 인식 정도를 실험하였다. 200cm에서의 키넥트 각도는 최 대로 낮출 수 있는 –27˚, 무릎 높이에서의 키넥트 각도 는 12˚로 설정하고 측정하였다.
키넥트를 210cm 높이, Tilt 각도 –27˚로 설정하고 실 험한 결과는 표 4와 같다. 사용자가 200cm, 150cm에서는 골격 전체와 제스처가 인식되지만, 100cm에서는 상반신 만 인식이 되어 골격인식은 완전하지 않지만 제스쳐 인 식에는 어려움이 없었다. 하지만 50cm에서는 골격과 제 스처 인식이 모두 불가능했다.
키넥트를 설치 높이 53cm 높이, Tilt 각도 12˚로 설정 하고 실험한 결과는 표 5와 같다. 사용자가 200cm에 있 는 경우에는 골격과 제스처 인식이 정상이지만 150cm에 서는 무릎 이하의 골격인식이 되지 않으며, 100cm에서는 골격과 제스처 모두 인식하기 어려웠다.
거리
항목 200cm 150cm 100cm 50cm
인식 결과 모습
제스처
인식 정상 정상 정상 인식 안됨
골격 인식 정상 정상 상반신만
포착 인식 안됨 표 4. 키넥트 설치 높이 210cm에서의 인식 결과 Table 4. Recognition by a Kinect at 210cm high
거리
항목 200cm 150cm 100cm
인식 결과 모습
제스처
인식 정상 정상 인식 안됨
골격 인식 정상 무릎이하
인식 안됨
골격의 뒤틀림 발생 표 5. 키넥트 설치 높이 53cm에서의 인식 결과 Table 5. Recognition by a Kinect at 53cm high
위 실험을 통해 디지털 사이니지에 키넥트를 탑재하 는 경우 설치 위치 및 각도에 따라 사용자의 골격과 제스 처 인식 가능 거리에 차이가 나타남을 알 수 있었다. 따 라서 디지털 사이니지의 설치 장소와 적용하고자 하는 상황인지기능에 따라 키넥트의 탑재 위치와 각도에 대한 검증이 필요할 것이다.
Ⅴ. 상황인지기능 구현 및 실험 결과
1. 상황인지기능 실험 결과
4가지 상황인지기능인 인원수 인식, 음성인식, 제스처 인식, 소리방향인식의 실험 결과는 다음과 같다.
인원수 인식은 인원수에 다른 콘텐츠를 제공하는 경 우나 디지털 사이니지를 절전모드 혹은 동작모드로 전환 하는데 사용할 수 있다. 그림 5는 2명의 사람이 인식된 결과로 최대 6명까지 인식이 가능하다.
그림 5. 인원 수 인식 결과
Fig. 5. Human recognition result
음성인식은 한글, 영어 모두 가능하도록 하였고, 디지 털 사이니지를 제어하는데 필요한 키워드를 정의하고 음 성과 비교하도록 하였다. 그림 6은 사용자가 ‘앞으로’라 고 말한 것을 인식한 결과이다.
그림 6. 음성 인식 결과
Fig. 6. Voice recognition result
음성인식기능은 남녀 각 10명씩을 대상으로 1∼3개 단어로 구성된 문구에 대하여 5번씩 발음하게 한 후, 인 식 성공률을 조사하였고, 실험 결과는 표 6과 같다. 음성 인식 성공률은 평균 76%로 나타났다. 성별에 따라서 큰 차이가 발생하지 않았지만, 조합된 단어의 개수가 증가 함에 따라 인식 성공률이 감소하였다. 2개 이하의 단어로 구성된 명령어를 사용하는 것이 적절하다는 결론을 내릴 수 있었다.
구분 인식성공횟수(인식성공률)
조합 단어 남 여 합계
1개 단어 45(90%) 42(84%) 87(87%) 2개 단어 37(74%) 36(72%) 73(73%) 3개 단어 32(64%) 35(70%) 67(67%) 표 6. 음성인식 성공률
Table 6. Success rate for voice recognition
제스처 인식은 사용자의 손동작을 인식하여 디지털 사이니지를 제어하는데 사용된다. 메뉴 전환, 클릭 등의 컨트롤 기능뿐만 아니라 게임이나 사용자의 흥미를 유발 하는 콘텐츠와의 인터페이스로도 활용이 가능하다[8]. 본 연구에서는 디지털 사이니지에 적용할 20개의 제스처를 표 7과 같이 규정하였고, 일부를 구현하였다. 그림 7은 제 스처 인식 결과이다.
구분 제스처 수행 작업
메뉴 제어
왼손을 왼쪽으로 이동 다음 페이지로
오른손을 왼쪽으로 이동 이동하기
왼손을 오른쪽으로 이동 이전 페이지로 오른손을 오른쪽으로 이동 돌아가기
왼손을 위로 이동
스크롤 올리기 오른손을 위로 이동
왼손을 아래로 이동
스크롤 내리기 오른손을 아래로 이동
왼손을 앞으로 폄 오른손을 앞으로 폄 클릭하기
두손을 사선 방향으로 벌림 페이지 확대하기 두손을 사선방향에서 중앙으로 모음 페이지 축소하기
인터 페이 스
무릎을 굽힘 화면에서 사라짐
왼손을 오른쪽 하단 사선방향 이동 오른손을 왼쪽 하단 사선방향 이동 자르기 왼쪽 발을 앞으로 내밈
앞으로 이동 오른쪽 발을 앞으로 내밈
왼손을 뒤로 젖혔다가 앞으로 내밈 오른손을 뒤로 젖혔다가 앞으로 내밈 던지기
두손을 앞으로 내밀어 움켜쥠 잡기
표 7. 디지털 사이니지 제어를 위한 제스처
Table 7. Gestures for digital signage control
그림 7. 제스처 인식 결과
Fig. 7. Gesture recognition result
제스처인식기능은 남녀 각 10명씩을 대상으로 3∼5개 포즈로 구성된 제스처를 5번씩 실행한 후, 인식 성공률을 조사하였고, 실험 결과는 표 8과 같다. 제스처의 평균 인 식 성공률은 67%로 나타났다. 제스처의 포즈가 많아질수 록 전체적인 인식률도 떨어지고 남녀에 따른 격차도 벌 어지는 결과를 볼 수 있다. 특히 여성의 경우 남성에 비 해 관절간 거리가 짧아 인식률이 낮아진 것으로 판단된 다. 인식 실패의 경우는 인식이 되지 않는 경우와 의도하 지 않은 제스처로 인식된 경우가 있다. 따라서 제스처는 직관적이면서 다른 제스처로 인식되지 않는 고유성을 띄 며, 신체적 특성에 상관없이 인식이 잘 될 수 있도록 선 정해야 할 것이다.
구분 인식성공횟수(인식성공률)
포즈 조합 수 남 여 합계
3개 포즈 40(80%) 39(78%) 79(79%) 4개 포즈 36(72%) 28(56%) 64(64%) 5개 포즈 35(70%) 24(48%) 59(59%) 표 8. 제스처인식 성공률
Table 8. Success rate for gesture recognition
소리 방향을 인식하는 기능은 인원수 인식 기능과 함 께 절전 및 방범 기능을 수행하는데 적용할 수 있다. 사 람이 다가오는 방향, 지나가는 시점 등의 정보를 알 수 있다. 키넥트에 탑재되어 있는 Microphone Array로 소리 의 발생 방향을 –50∼+50° 사이의 각도값으로 추출할 수 있다. 소리방향 인식기능을 실험하기 위해 남녀 각 10 명씩을 대상으로 음성, 박수, 걸음 소리를 –35°, 0°, 35°
위치에서 2번씩 내었을 때, 인식의 결과는 표 9와 같다.
음성은 73%로 높은 인식률을 보였지만 박수나 걸음 소
리의 방향 인식률은 상대적으로 낮았다. 음량의 크기에 따라 인식률에 차이가 있는 것으로 판단된다.
구분 인식성공횟수(인식성공률)
소리 남 여 합계
음성 45(75%) 43(72%) 88(73%) 박수 20(33%) 19(32%) 39(33%)
걸음 9(15%) 5(8%) 14(12%)
표 9. 소리방향인식 성공률
Table 9. Success rate for sound direction recognition
2. 상황인지형 학과 디지털 사이니지 구현 본 연구에서 구현된 상황인지형 학과 디지털 사이니 지는 학생들의 이동이 많은 학과사무실 앞에 설치되어 기존 아날로그 게시판을 대체하였다. 제스처 인식, 음성 인식, 절전모드 상황인지기능이 탑재되어 제스처와 음성 을 통한 메뉴 제어와 인원수 인식을 통한 절전모드 기능 이 수행되고 있다. 그림 8는 제스처로 메뉴를 제어하는 모습이다.
그림 8. 제스처 인식을 통한 메뉴 제어
Fig. 8. Menu control by using gesture recognition
구현된 상황인지형 학과 디지털 사이니지는 시범 운 영을 통해 문제점을 파악 중이며 상황인지기능의 인식 속도 및 인식률 향상을 위한 연구를 추가적으로 진행할 계획이다. 동시에 성별인식, 연령대 인식 등의 고급형 상 황인지기능도 개발할 계획이다.
※ 본 연구는 한성대학교 교내학술연구비 지원과제임
Ⅵ. 결 론
본 연구에서는 3세대형 디지털 사이니지의 주요 기능 인 상황인지에 대한 연구를 수행하였다. 상황인지를 위 해 키넥트 센서를 적용하였고, 대학교 학과용 디지털 사 이니지를 시제품으로 구현하였다. 디지털 사이니지에 적 용할 수 있는 기본적인 상황인지기능 정의하고 개발하여 탑재하였으며 현재 시범 운영 중에 있다.
상황인지 디지털 사이니지에 대한 관심이 높아지는 시점에서 실제 적용 가능한 시제품을 제시했다는 점에서 큰 의의가 있다고 생각된다. 향후에는 본 연구에서 개발 된 디지털 사이니지 플랫폼을 기반으로 기본적인 상황인 지기능의 인식률 향상 및 고급형 상황인지기능을 연구할 계획이다.
References
[1] Korea Association of Tele-Screen, http://
telescreen.or.kr.
[2] Changbok Chang, Manjae Kim, Euiin Choi, “OWL Modeling using Ontology for Context Aware Recommendation Service,” The Journal of The Institute of Internet, Broadcasting and Commu- nication, Vol. 12, No. 1, pp.265-273, 2012.
[3] Chang Hoon Kim and Kwang Seuk Park, “Future Directions on the Next Generation of Digital Signage,” Journal of the Korean Academic Society for Industrial Cluster, Vol. 4, No. 1, pp.51-61, 2010.
[4] Jung-Soo Lee, Jeong-Woo Lee, Ki-Song Yoon, “A Novel Digital Signage Content Propagation Method using a Smart-phone Application,” Journal of Advanced Information Technology and Convergence, Vol. 3, No. 2, pp.13-23, 2013.
[5] Ichiro Satoh, “A Framework for Context-Aware Digital Signage,” 7th International Conference of AMT 2011, pp.251-262, 2011.
[6] Robert Ravnik, Franc Solina, “Interactive and Audience Adaptive Digital Signage Using
Real-Time Computer Vision”, International Journal of Advanced Robotic Systems, Vol.10, 107, pp.1-7, 2013.
[7] Sungchan Park, Sangkeun Lee, Sanggoo Lee,
“Research on Issues in Practical Scenarios for Realizing Context Aware Services,” Symposium on Ubiquitous Computing and Web Information Technology, UCWIT 2008.
[8] Kwang-Chae Park, Ceol-Soo Bae, “Hand Movement Tracking and Recognizing Hand Gestures,” Journal of the Korea Academia- Industrial cooperation Society, Vol. 14, No. 8, pp.
3971-3975, 2013
[9] http://www.microsoft.com/en-us/kinectforwindows/
저자 소개
노 광 현(정회원)
∙1995년 : 고려대학교 산업공학 학사
∙1997년 : 고려대학교 산업공학 석사
∙2001년 : 고려대학교 산업공학 박사
∙2001년 ～ 2002년 : Ecole des Mines de Paris(Post-Doc)
∙2003년 ～ 2006년 : 한국전자통신연 구원 연구원
∙2006년 ～ 2007년 : 한국항공우주연구원 선임연구원
∙2007년 ～ 현재 :한성대학교 산업경영공학과 부교수 <주관심분야 : M2M/IoT, 상황인지, 이동통신>
이 석 기 (정회원)
∙2000년 : 고려대학교 컴퓨터학 학사
∙2002년 : KAIST 경영공학 석사
∙2009년 : KAIST 경영공학 박사
∙2011년 ～ 2012년 : 수원대학교 경영 학과 전임강사
∙2012년 ～ 현재 : 한성대학교 산업경 영공학과 조교수
<주관심분야 : 지능정보시스템, 비즈니스 인텔리전스, 빅데이 터 분석>
