Time-Slip Learning Platform to Enhance Learning Immersion through Devices that Work with Video

J. Pract. Eng. Educ. 13(1), 101-111, 2021

동영상과 연동하는 장치를 통해 학습 몰입도를 높이는 타임 슬립

학습 플랫폼

Time-Slip Learning Platform to Enhance Learning Immersion

through Devices that Work with Video

조성윤, 정기현, 김성빈, 채유라, 설순욱*

한국기술교육대학교 전기전자통신공학부

Seong-yun Cho, Gi-hyeon Jeong, Seong-bin Kim, You-ra Chae, Soonuk Seol*

School of Electrical, Electronics and Communication Engineering, Korea University of Technology and Education, Cheoan 31253, Korea [ 요 약 ] 코로나19(COVID-19) 사태가 장기화 됨에 많은 교육이 오프라인에서 온라인으로 전환되고 있으며 이러닝의 중요성이 비약 적으로 증가하는 만큼 이러닝의 단점들 또한 크게 부각되고 있다. 본 논문은 이러닝에서 가장 부족한 상호작용을 개선할 수 있 는 교육 플랫폼을 설계하고 프로토타입을 구현한다. 제안하는 타임슬립 학습 플랫폼은 교사와 학습자 사이에 상호작용에 활용 되는 장치를 도입한다. 과거에 만든 동영상 컨텐츠가 현재 학습자가 가지고 있는 기기와 연동하면서 학습에 몰입할 수 있도록 돕는다. 교육 매체를 제작하고 판매하는 응용 서비스 사업자들은 유튜브와 같은 기존 동영상 플랫폼에 있는 콘텐츠를 그대로 활용할 수 있으며 기기와 상호작용하는 방식을 정의한 메타데이터를 동영상의 URL과 함께 플랫폼에 등록하기만 하면 된다. 학 습자가 영상을 시청할 때 영상의 내용에 맞추어 학습 기기가 작동하고, 또 학습자의 기기 조작 상태나 결과에 따라서 영상이 제 어되는 형태로 상호작용이 가능하다. 본 논문에서 우리는 제안된 플랫폼을 통한 몰입형 온라인 학습 기능을 검증하기 위하여 스마트 기타와 스마트 저울을 개발하고 관련 유튜브 콘텐츠와 함께 플랫폼의 응용 서비스로 등록하여 시연한다. 제시한 플랫폼 을 통해 비대면 사회에서도 온라인 학습의 몰입도 높이는 상호작용 교육이 가능함을 보인다.

[ Abstract ]

Due to the prolonged COVID-19 outbreak, many educations are shifting from offline to online, and as the importance of e-learning is rapidly increasing, the shortcomings of e-e-learning are also being highlighted. This paper designs and implements a prototype of an educational platform that can improve the interaction that is most lacking in e-learning. The proposed Time-Slip Learning Platform (TSLP) introduces devices that are used for interaction between teachers and learners. The video content created in the past is linked to the current learner’s device to help them immerse themselves in learning. Application service providers that produce and sell educational devices can use the contents of existing video platforms such as YouTube as they are, and only need to register the metadata that defines how the device interacts with the URL of the video on the platform. When the learner watches the video, the learning device operates according to the content of the video, and the video is controlled according to the learner’s

http://dx.doi.org/10.14702/JPEE.2021.101

This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/ licenses/by-nc/3.0/) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work

Received 19 October 2020; Revised 3 November 2020 Accepted 4 November 2020

*Corresponding Author

E-mail: suseol@koreatech.ac.kr

할이 아닌 100% 이러닝만으로 교육이 진행되는 사례가 늘 고 있고, 이에 따라 교수-학생 상호작용의 개선이 가장 중요 한 문제로 대두되고 있다. 상호작용 개선을 위한 기존 연구 로 김순화 등(2009)은 다양한 생체 신호 센서를 통해 학습자 의 상태를 파악하여 그에 맞는 난이도로 교육 콘텐츠를 제공 하는 시스템을 개발하였다[10]. 이정화 등(2010)은 영어 회 화 수업의 학습 관리 시스템(Learning Management System, LMS)을 분석하고 활발한 상호작용을 위해 다양한 게시판 활 성화와 실시간 채팅 제공을 제안하였다[11]. 김은미 등(2019) 은 일대일 질문방을 생성하고 전자칠판과 양방향 음성 지원 기능을 결합하여 학습자와 교사가 실시간으로 질의응답을 할 수 있는 양방향 학습 플랫폼을 구축하였다[12]. 이처럼 기존의 상호작용 개선 방법은 주로 학습자의 수준 을 파악하여 수준별 콘텐츠를 제공하는 접근 방법과 학습 콘 텐츠와는 별도로 다른 채널을 이용하여 질의응답을 (실시간 혹은 비실시간으로) 제공하는 방식이다. 하지만, 비대면 상 황에서 대부분의 콘텐츠가 교수자가 녹화한 강의인 경우에 는 수준별 학습을 위한 콘텐츠 생성과 체계적 구성이 쉽지 않다. 또한, 질의응답 게시판이나 실시간 채팅은 학습 콘텐츠 가 제공되는 화면과는 다른 별도의 채널로 진행되고 강의 영 상을 시청하는 학습 시점에 일어나는 경우가 거의 없어 학습 에 몰입하는 데는 큰 도움이 되지 못한다. 또한, 실시간 음성 채팅을 위해서는 교수나 조교가 대기하고 있어야 하는 어려 움이 있다. 또 다른 중요한 문제는 이론 중심의 교육이 아니 라 하드웨어 기반의 실습이 병행되어야 하는 교육에서는 효 과가 미비하다는 것이다. 이러닝이 진행되면 하드웨어를 통 해 실습을 해야 하는 상황에서도 화면만 바라보아야 하며, 그 시간이 길어지면 학습 집중도가 떨어질 수밖에 없기 때문 이다. 본 논문에서는 이러닝에서 부족한 상호작용을 보완하고, 특히 하드웨어 기반의 실습 수업에서도 상호작용 및 수업 몰 입 효과를 얻을 수 있도록 학습 대상 기기가 과거에 만들어 진 영상과 연동하도록 하는 타임슬립 학습 플랫폼(Time-Slip Learning Platform, TSLP)을 제안하고 프로토타입을 구현한 다. 학습자가 영상을 보는 시점의 내용에 맞추어 장치가 동 작한다거나 반대로 사용자가 장치를 작동시키거나 장치에

I. 서 론

이러닝은 원하는 시간, 원하는 장소에서 수업을 들을 수 있는 학습의 유연성을 학습자에게 제공해주고, 교사에게는 다수 학습자에게 동일한 수업을 제공할 수 있는 일관성이라 는 장점을 가지고 있다. 특히 온라인을 통해 공간의 제약 없 이 학습을 진행할 수 있는 오프라인 교육의 한계점들을 보완 할 수 있는 다양한 장점을 가지고 있어 사회 전반적으로 많 은 수요를 보여왔다. 이러닝 수요 시장 규모는 2005년부터 꾸준히 증가하면서 2019년에는 작년 대비 2.2%의 증가를 보 였다. 특히 정규교육기관에서는 작년 대비 8.3%의 증가율을 기록했다[1]. 2019년 12월부터 코로나19(COVID-19) 바이러스가 전세 계로 퍼지기 시작하면서 사회 전반적으로 비대면으로 전환 되었고, 이러한 상황을 의미하는 언택트(Untact) 시대 라는 신조어도 나타났다. 교육 분야 또한 언택트 시대에 맞게 많 은 초중고 및 대학교의 수업이 온라인으로 전환되었다. 자연 스럽게 온라인 이러닝의 존재가 급부상함과 동시에 한계점 들도 부각되기 시작했다. 2019년 이러닝 산업 실태 조사 보고서에서 조사된 이러닝 불편사항 및 문제점에 따르면 가장 큰 문제점으로 “학습 집 중력이 떨어짐”이 뽑혔다. 그리고 “질문 등의 불편”, “교육 친화적이지 못함”, “오프라인 대체 교육 효과 낮음” 등이 그 뒤를 이었다[1]. 특히, 교수자가 녹화한 영상을 통한 이러닝 은 학습자가 일방적으로 보고 들으며 학습하는 방식이기 때 문에, 학습자는 교사와 즉각적인 소통을 할 수 없다[2,3]. 즉, 교사와 학습자 간에 상호작용이 미비하므로 학습자의 집중 력은 시간이 지날수록 떨어질 수 밖에 없다. 이러닝이 가지고 있는 단점들을 보완하기 위한 연구는 언 택트 시대 이전부터 꾸준히 진행되었다. 언택트 시대 이전에 이러닝은 오프라인 수업을 보조하는 기능으로 주로 사용되 었기 때문에 학습자 개인에게 맞는 학습과 평가를 제공하는 시스템이 주로 연구되었다[4-8]. 최근에는 빅데이터 기술을 접목하여 학습자의 데이터를 분석하여 적합한 학습 방향을 제시하는 사례들도 보고되었다[9]. 언택트 시대가 되면서 더 이상 오프라인 교육의 보조 역

device operation status or result. In this paper, we develop a smart guitar and a smart scale to verify the immersive online learning feature through the proposed platform, and demonstrate it by registering it as application services of the platform along with related YouTube contents. Through the proposed platform, we show that interactive education that increases immersion in online learning is possible even in a non-face-to-face society.

텐츠는 그림 1에 나타낸 것처럼 외부의 동영상 플랫폼을 그 대로 활용할 수 있다. 교사가 제작한 영상이나 기존 콘텐츠 제작자가 만든 동영 상 콘텐츠가 유튜브와 같은 플랫폼에 등록되어 있는 상태에 서, 디바이스 제작자는 해당 콘텐츠와 연동하여 작동할 기기 를 만들어 TSLP 플랫폼에 등록한다. 등록을 위해서는 콘텐 츠를 식별하기 위한 동영상 URL과 해당 동영상과 기기가 연 동하는데 필요한 메타데이터를 제공한다. 메타데이터는 마 치 동영상 자막 파일처럼 영상의 특정 시점에 기기와 어떤 상호작용을 해야 하는지에 대한 정보를 담고 있다. TSLP 서버는 등록된 동영상 URL의 유효성을 검증하고 데이터베이스에 저장하여 학습자가 검색할 수 있도록 한다. 콘텐츠 검색은 학습 카테고리나 키워드, 기기의 종류, 혹은 응용 서비스 사업자별로 가능하다. 이후 학습자는 자신의 스 마트폰이나 PC에 설치된 애플리케이션을 이용하여 TSLP 서 버에 접속하고 학습 콘텐츠를 검색한다. 콘텐츠를 선택하면 동영상 URL과 해당 동영상과 기기가 연동하는데 필요한 메 타데이터를 수신한다. 학습자가 영상을 재생하면 해당 동영 상 플랫폼으로부터 직접 스트리밍을 받게 되며 동시에 애플 리케이션은 메타데이터에 정의된 규칙에 따라 영상을 제 어하거나 학습자의 기기를 제어하여 상호작용 효과를 제 공한다. TSLP는 학습자의 학습 형태나 상호작용 결과(피드백)를 수집하고 분석하여 교사에게 제공함으로써 동영상 학습의 몰입 정도나 학생의 이해도 혹은 성취도를 파악할 수 있도록 확장될 수 있다. 본 논문에서는 다양한 응용에서 상호작용 기능을 제공할 수 있는지 검증하는데 초점을 둔다. TSLP를 통해서 서비스 가능한 기기의 유형은 무궁무진하다. 예를 들 서 발생하는 특정 이벤트, 혹은 센서 감지 결과에 따라 영상 이 제어되는 방식으로 상호작용할 수 있다. TSLP의 적용 대 상은 학교 교육뿐만 아니라 평생 교육을 대상으로 하며 학습 콘텐츠의 내용도 운동, 엔터테인먼트, 취미 생활에 이르는 폭 넓은 주제를 목표로 한다. 이를 위해 유튜브와 같은 동영상 플랫폼의 콘텐츠를 그대로 활용할 수 있도록 한다. 본 논문은 다음과 같이 구성되어 있다. 2장에서는 제안하 는 플랫폼의 설계 내용에 대해서 소개한다. 3장에서는 플랫 폼의 프로토타입 구현에 대한 내용으로 서버와 애플리케이 션의 세부 구현 내용을 소개한다. 그리고 4장에서는 플랫폼 을 검증하기 위하여 대표적인 서비스 제품 두 가지를 개발하 고 적용한 결과를 제시한다. 마지막으로 5장에서는 결론 및 향후 연구에 대해 논의한다.

II. 플랫폼 설계

본 장에서는 제안하는 플랫폼을 통해서 어떻게 동영상과 기기가 상호작용하는 학습이 가능한지 서비스 구조와 플랫 폼의 핵심 구성요소들에 대하여 기술한다. 또한, 구성요소 간 에 주고받는 메시지의 종류와 절차, 그리고 메시지 포맷을 설계한다. A. 서비스 구조 TSLP를 통한 학습 방법에서는 교사와 학생 사이에 학습 에 사용되는 기기가 존재하며 이 교육 매체를 제작하고 공급 하는 사람을 응용 서비스 사업자로 부른다. 동영상 학습 콘 그림 1. 타임슬립 학습 플랫폼의 서비스 구조

어떻게 동작해야 하는지를 정의하는 부분은 응용 서비스 사 업자가 직접 정의한 문법에 의해 기술되는 사용자 정의 데이 터로서 플랫폼에서는 내용을 보지않고 연동 기기로 그대로 전달해 준다. 클라이언트의 주요 기능은 서비스 및 동영상 조회 결과를 출력, 선택한 영상 정보 수신과 메타데이터 해석, 동영상 재 생과 제어, 디바이스 연동과 제어 등을 포함한다. 먼저, 클라 이언트는 동영상과 연동할 장치와 통신을 연결하고, 사용자 가 콘텐츠를 선택하면 서버로부터 동영상의 URL과 메타데 이터를 수신한다. 영상의 재생은 해당 동영상 플랫폼에서 직 접 스트리밍 받아서 제공되며, 메타데이터를 해석하여 약속 된 방식으로 동영상 재생을 제어한다. 영상이 재생됨과 동시 에 기기가 처리해야 하는 메타데이터의 요소(응용 서비스 사 업자가 정의한 기기 동작 규칙)를 장치로 전송해 준다. 이후 연동 장치로부터 수신한 동영상 제어 명령을 수행하여 상호 작용 효과를 제공한다. 클라이언트 프로그램은 스마트폰 애 플리케이션이나 PC의 전용 프로그램을 통해 구현된다. 태 블릿이나 스마트폰 애플리케이션의 경우에는 블루투스 혹 은 Wi-Fi를 통해서 연동 장치와 통신할 수 있으며 PC의 경우 USB 케이블, 유무선 인터넷으로 연결될 수 있다. 그림 2의 오른쪽에 나타낸 연동 디바이스는 응용 서비스 사업자에 따라 실습 장비, 교육 보조 매체, PC의 입출력 정차, 악기, 운동기구, 요리 도구, 가전, 게임기, 장난감 등 다양할 수 있으며 4장에서 직접 구현한 기기 2종을 통해 자세히 설 명한다. C. 메시지 흐름도 클라이언트와 기기간의 메시지 흐름은 크게 단방향 서비 면, 실습 장비, 교육 보조 매체, PC의 입출력 장치, 악기, 운동 기구, 요리 도구, 가전, 게임기, 장난감 등으로 다양할 수 있 으며 4장에서 직접 구현한 기기 2종을 통해 자세히 설명한다. 상호작용하는 기기를 제작하는 응용 서비스 사업자는 콘 텐츠 제작자 역할을 겸하여 직접 동영상을 제작할 수도 있 고 교사와 상호작용 방식을 논의하거나 매뉴얼을 제공하여 제3자에 의해 보다 다양한 콘텐츠가 만들어 지도록 할 수 있다. B. 플랫폼의 구성요소 TSLP의 핵심 구성요소인 서버와 클라이언트는 그림 2와 같이 구성된다. 서버는 신규 서비스 등록, 서비스 별 콘텐츠 등록, 서비스 및 동영상 조회, 선택한 영상 정보와 관련 메타데이터 전송 기능을 담당한다. 새로운 응용 서비스 사업자에 대하여 식별 자를 부여하고 응용 서비스 사업자가 새로운 콘텐츠를 등록 하는 경우 서비스 ID와 함께 해당 동영상의 URL과 메타데이 터를 매핑하여 데이터베이스에 저장한다. 메타데이터는 데 이터에 관한 구조화된 데이터로, 다른 데이터를 설명해주는 데이터이다. 예를 들면, 디자털 카메라에서 사진을 찍어 기 록할 때마다 카메라 자체의 정보와 시간, 노출, 플래시, 해상 도, 사진 크기, GPS 등의 사진 정보를 화상 데이터와 같이 저 장하여 검색이나 가공을 유용하게 하는 것이다. 제안된 플랫 폼에서 사용하는 메타데이터는 동영상 콘텐츠에 대한 데이 터로서 동영상의 재생 시점별로 관련 장비가 어떻게 동작해 야 하는지, 혹은 장비의 작동 상태에 따라서 동영상의 정지, 재생, 이동, 속도, 볼륨, 확대 등을 어떻게 제어해야 하는지에 대한 데이터로 정의된다. 메타데이터의 내용 중에서 장비가 그림 2. 플랫폼의 구성요소

추어야 하는 경우 그림 3의 단계⑨처럼 영상의 재생을 멈춘 다. 기기 제어를 위한 메타데이터는 그대로 기기로 전달한 다. 메타데이터를 받은 기기는 그에 맞는 기기 제어를 수행 하고 양방향 서비스의 경우 애플리케이션쪽으로 응답을 제 공한다. 그림3에서는 영상을 다시 재생하는 메시지를 보내주 는 경우이다. 기기가 보내주는 메시지는 학습자가 기기 작동 을 정확하게 하고 있는지에 대한 피드백이 될 수도 있고, 단 순히 기기 자체에서 발생한 이벤트나 (예, 타이머 완료) 센서 값에 의해 동영상을 제어하는 명령이 될 수도 있다. D. 메시지 포맷 플랫폼 내부에서 각 구성요소 간에 사용되는 메시지 포맷 은 크게 문자열 형식과 JSON 형식으로 나눠진다. 문자열 형 식의 메시지는 애플리케이션이 서버로 요청 메시지를 보낼 때 사용된다. JSON 형식의 메시지는 애플리케이션이 서버로 부터 메시지를 받을 때와 애플리케이션과 기기가 서로 통신 스와 양방향 서비스로 나뉜다. 단방향 서비스는 동영상 콘텐 츠의 재생 시점에 맞도록 연동 장치가 제어되는 서비스로서 애플리케이션이 연동 장치로 메타데이터를 보내는 단방향 메시지만 사용된다. 단방향 서비스의 예시로 4장에서 스마트 기타를 구현하고 소개한다. 기타 레슨 영상에서 코드 운지 방법을 설명할 때 해당 기타 코드를 메타데이터로 표현하여 연동 장치로 전달하고 LED에 표시하여 사용자가 직접 장치 를 보면서 레슨을 받을 수 있다. 양방향 서비스에서는 애플리케이션이 기기로부터 피드백 을 받는 서비스 형태이다. 4장에서 소개하는 또 다른 서비스 의 예로 타이머 기능을 갖춘 스마트 저울을 소개한다. 재료 를 계량해야 하거나 음식을 조리해야 하는 시간에 영상이 자 동으로 일시 정지하고 재료의 계량 정보 혹은 가열시간과 불 의 세기와 같은 메타데이터를 스마트 저울로 전송한다. 스마 트 저울을 통해 사용자가 재료의 정량을 측정 완료하거나 설 정된 타이머가 만료되면 기기가 애플리케이션으로 영상 제 어 메시지를 보내게 되고 애플리케이션은 해당 메시지를 수 신함과 동시에 영상을 다시 재생시킨다. 그림 3은 본 논문에서 구현한 양방향 서비스에서의 전체 적인 메시지 흐름도 보여준다. 먼저 애플리케이션은 플랫폼 서버에 접속하여 원하는 영상 목록을 수신한다. 기기와 블루 투스로 연결을 진행한 이후 목록에서 영상을 선택하면 서버 는 그와 관련된 메타데이터를 애플리케이션으로 보내준다. 애플리케이션은 영상을 재생함과 동시에 메타데이터를 해석 하여 재생 시점 별로 필요한 제어를 수행한다. 동영상을 멈 그림 3. 메시지 흐름도 예시

Fig. 3. An example of message flows.

그림 4. 요청 메시지 형식

III. 플랫폼 구현

본 장에서는 2장에서 기술한 플랫폼 설계를 기반으로 실 제로 구현한 서버와 애플리케이션에 관해 기술한다. 본 논문 은 온라인 교육 플랫폼의 새로운 모델을 제안하고 구현 가능 성을 검증하는 것이 목적이다. 따라서 대규모 서비스를 처리 하기 위한 플랫폼의 아키텍처나 하드웨어 사양은 고려하지 않는다. 또한 응용 사업자의 서비스 등록, 인증, 과금 등의 기 능 설계 및 구현은 다루지 않는다. 시연에서 사용된 서버는 TCP 소켓 통신 기반으로 동작하 는 Java 응용 프로그램으로 구현하였으며 하드웨어 사양으로 Intel Core(TM) i7-7700HQ 2.80GHz CPU와 8GB RAM을 탑 재한 PC를 사용하였다. 데이터베이스는 MySQL v8.0를 사용 하였으며 4장에서 설명할 시범 서비스 기기를 위한 데이터는 사전에 입력해 두었다. 클라이언트는 애플리케이션으로 구현하였으며 그림 6(a) 의 애플리케이션 화면에서 확인할 수 있듯이 사전에 등록 된 두가지 응용 서비스인 음악(music)과 요리(cooking) 서비 스를 보여준다. 이 서비스 목록의 구성은 응용 서비스 사업 자별로 구분되도록 구현될 수도 있지만 플랫폼 사업자가 학 습 분야별 자체 기준을 가지고 카테고리를 제시할 수도 있다. 한편 학습자는 자신이 보유하고 있는 장비와 연동이 가능한 동영상 콘텐츠 목록만을 조회한다거나 키워드 검색을 통해 관련 콘텐츠를 검색하는 것도 가능할 것이다. 서비스를 선택 하면 해당 서비스와 관련된 영상 목록이 그림 6(b)와 같이 나 타난다. 영상을 클릭하여 해당 영상을 바로 재생할 수 있지 만, 장비와 연동하려고 한다면 상단 우측에 블루투스 아이콘 을 클릭하여 현재 가지고 있는 기기와 연결하고 영상을 선택 할 때 사용된다. 요청 메시지의 포맷은 그림 4와 같다. 요청 메시지 이름 과 요청 파라미터를 콜론(:)을 통해 구분한다. 파라미터는 parameter=value 형태로 표현되며 여러 파라미터는 세미콜 론(;)으로 구분한다. 예를 들어, 선택한 동영상의 정보와 관 련 메타데이터를 서버에게 요청할 때는 ‘getMeta:url=https:// youtu.be/NWu6’와 같은 문자열을 구성하여 메시지를 전송 한다. 애플리케이션이 요청한 데이터를 서버가 응답할 때 사용 되는 JSON 형식은 그림 5과 같다. 메시지 전체가 JSON으로 구성되어 있으며, 선택한 영상에 대한 기본적인 정보가 최상 위에 존재한다. 애플리케이션이 서버로부터 받은 JSON 메시 지 중에서 메타데이터 부분의 JSON 값은 애플리케이션이 기 기로 보낼 데이터가 저장되어 있다. 기기로 보낼 메타데이터 는 시간에 따라 다수 존재할 수 있기 때문에 JSON-Array 형 식으로 구성한다. 메타데이터의 JSON 값에 대한 예시는 4장 에서 구현한 서비스 별로 상세히 소개한다. 그림 5. 응답 메시지 포맷

Fig. 5. Response message format.

그림 6. 애플리케이션 화면

할 위치를 LED를 통해 기타 전용 악보인 TAB악보 형태로 보여준다. 현재 스마트 기타는 플랫폼의 단방향 서비스를 검 증하기 위해 제작되었지만 추후 양방향 서비스를 제공하기 위하여 센서를 활용하는 제품으로 업그레이드 될 수 있다. 스마트 기타를 사용하기 위해서 애플리케이션에서 기타 레슨 동영상을 선택하고 스마트 기타 장치와 저전력 블루투 스 (BLE) 통신으로 연결한다. 연결이 성공적으로 이뤄지면 스마트 기타는 애플리케이션에서 재생되는 영상의 내용에 맞춰 메타데이터를 받게 된다. 그림 5에서 보여준 서버의 응 답 메시지 포맷 중에서 기기 제어용 메타데이터 부분만 스마 트 기타로 전달된다. 본 논문에서 구현한 스마트 기타용 메 타데이터의 형식과 실제 예시는 그림 8에 나타냈다. 스마트 기타의 메타데이터는 JSON-Array로 이루어져 있 으며, 각 JSON 객체는 time과 score라 명명된 key가 포함되어 있다. time은 기기 제어에 필요한 부분 메타데이터를 보낼 영 상 시각을 의미하는 String 타입의 값이며, score는 해당 시점 의 기타 악보에 해당하는 데이터로서 스마트 기타가 LED를 켜야 할 위치와 타이밍을 담은 String 값이다. score의 값은 기 기 제작자가 정의하는 자체적인 포맷으로 구성되는 것이다. 그림 8(b)의 score 데이터 값 예시에서 맨 앞에 ‘073’은 템포 하면 그림 6(c)처럼 영상이 재생된다. 그리고 영상의 재생 시 점별 메타데이터를 해석하여 동영상 재생을 제어하거나 연 동된 장치에 기기 제어에 필요한 메타데이터를 전달한다. 이 후 장비와 영상이 서로 연동하는 부분은 다음 4장에서 자세 히 기술한다.

IV. 플랫폼 검증

본 장에서는 구현된 플랫폼을 통해서 제공할 수 있는 두가 지 응용 서비스를 직접 만들어서 플랫폼의 기능을 검증하고 시연영상을 통한 사용자 평가를 진행한다. 이를 위해 동영상 콘텐츠와 연동되는 장치 2종을 개발하고 콘텐츠는 유튜브 동 영상 플랫폼에 등록되어 있는 영상을 선정하여 그대로 활용 할 수 있음을 보인다. 2장에서 애플리케이션과 장비 간에 단 방향 서비스와 양방향 서비스 방식이 있음을 언급하였는데, 단방향 서비스를 검증하기 위해서 기타의 운지 위치를 LED 로 보여주는 기타용 LED 보조 기기인 스마트 기타를 제작하 였다. 그리고 양방향 서비스를 검증하기 위하여 요리 동영상 콘텐츠를 위한 스마트 저울을 제작하였다. 조리 시간에 따라 타이머를 자동으로 설정해주고 영상이 멈추었다가 타이머가 만료되면 영상이 다시 재생 된다거나 사용자가 음식 재료 정 확히 계량하면 영상이 다시 재생되도록 하는 상호작용을 지 원한다. A. 스마트 기타 스마트 기타의 외형은 그림 7과 같다. 이 장치는 국내 어쿠 스틱 기타 업체와 협력하여 시제품 수준으로 제작하였다. 이 장치는 기타에 손쉽게 탈부착 할 수 있으며 사용자가 운지 그림 7. 스마트 기타

Fig. 7. Smart guitar.

그림 8. 스마트 기타의 메타데이터 형식과 예시

Fig. 8. Metadata format and example for smart guitar.

그림 9. 스마트 기타의 작동 모습

그림 11은 스마트 저울에 적용하기 위해 시범적으로 구현 한 기기 제어용 메타데이터의 예시이다. 스마트 기타와 마찬 가지로 메타데이터의 사용자 정의 key-value 값은 서비스 제 공자의 의도에 따라 자유롭게 구성할 수 있다. 이 예제에서 구현한 JSON-Array 형식의 메타데이터에서 각 JSON 객체 는 7가지의 키 값들로 이루어져 있다. 우선 time은 영상이 멈 추어야 할 시간을 의미하며 String 값이다. isstop은 영상의 일 시 정지 유무를 나타내는 Boolean 값이고, subtitle은 영상에 따로 띄울 안내 문구의 String 값이다. 그리고 target_weight, weight_error, heat_level, timer는 실질적으로 저울이 작동할 내용을 의미한다. target_weight과 weight_error는 필요한 재 료의 무게와 오차 범위를 의미하며, 사용자가 target_weight 값 ± weight_error 값 만큼 재료를 저울에 올려야 함을 뜻한 다. 정량이 측정되면 소리를 통해 사용자에게 알림을 제공하 고 애플리케이션으로 피드백을 제공한다. heat_level은 불 세 기를 의미하고, 그림 11(b)에 나타낸 것처럼 빨간색 LED가 불 세기만큼 켜진다. 마지막으로 timer는 타이머 설정 시간을 의미한다. timer의 값이 null이 아니면 자동으로 스마트 저울 에서 타이머가 해당 시간만큼 설정된다. 사용자는 설정된 타 이머를 확인하고 스마트 저울의 버튼을 눌러 타이머를 바로 시작할 수 있다. 그리고 타이머의 시간이 종료되면 알림음이 울리고 멈추었던 동영상이 재생된다. C. 사용자 평가 코로나19로 인한 사용자 평가단 구성의 어려움과 프로토 타입으로 제작한 시료의 부족으로 인하여 온라인 설문 방식 으로 사용자 평가를 약식으로 진행하였다. 설문의 구성은 시 연 영상 1분과 발표 영상 5분을 시청하도록 하고 (1) 비대면 교육에서 상호작용의 필요성, (2) 동영상과 기기가 연동하여 상호 제어되는 기능에 대한 편리성, 그리고 (3) 플랫폼을 통 (Tempo)를 의미하고, ‘!’는 구분자이다. ‘W’는 음 길이 중에 서 온음을 의미하고, 그 뒤로 문자열은 하이픈(‘-’)을 구분자 로 사용하여 사용자가 짚어야 할 위치를 ‘1,2’처럼 좌표 형태 로 표시한다. 즉, 그림 8(b)의 메타데이터를 해석하면, 영상이 1.3초 재생된 시점에 (0:0:1.30) 템포 73에서 온음의 길이로 (2,1), (4,2), (5,3)의 위치에 LED를 밝힌다는 뜻이다. 템포 73 에서 온음의 연주 시간은 약 0.822초이다. 좌표 (2,1)에서 2는 줄의 위치이고, 1은 프렛의 위치를 의미한다. 그림 9는 영상 에서 제시되는 E코드가 스마트 기타의 LED로 표시되는 모 습을 보여준다. B. 스마트 저울 플랫폼의 양방향 서비스를 검증하기 위해 요리 콘텐츠에 활용할 수 있는 스마트 저울을 제작하였다. 스마트 기타는 애플리케이션이 보낸 데이터를 통해 LED를 적절하게 켜주 기만 했다. 스마트 저울은 애플리케이션이 보내준 메타데이 터에 따라 작동을 하고, 사용자가 스마트 저울의 안내에 따 라 알맞은 동작을 수행하면 스마트 저울은 애플리케이션 쪽 으로 해당하는 제어 메시지를 전송한다. 스마트 저울의 외형 과 작동 모습은 그림 10과 같다. 스마트 저울은 영상에서 알려주는 재료의 무게, 음식의 조 리 시간 및 불 세기를 LCD와 LED를 통해 보여준다. 특히, 가 열 시간이 필요할 때는 스마트 저울에서 타이머가 자동으로 설정되고 사용자는 단순히 시작 버튼만 누르면 타이머가 시 작된다. 그리고 타이머가 만료되면 알림음이 울리고 동영상 이 다시 재생될 수 있도록 제어 메시지를 애플리케이션으로 보낸다. 재료의 무게를 측정해야 하는 부분에서는 LCD로 측 정되어야 할 무게의 값이 보이고, 해당 무게만큼 재료를 저 울에 올리면 완료 메시지를 애플리케이션에 보낸다. 그림 10. 스마트 저울

Fig. 10. Smart scale.

그림 11. 스마트 저울의 메타데이터 형식과 예시

매뉴얼 제공을 통해 새로운 제품 홍보 방식도 나타날 것으로 기대할 수 있다. 향후 연구로는 플랫폼의 완성도를 높이기 위하여 응용 서 비스 사업자를 위한 서비스 등록, 인증, 과금 기능의 개발과 교사를 위한 학습 피드백 분석 데이터 제공 기능을 개발을 고려할 수 있다. 또한, 운동기구, 게임, 장난감, PC용 학습 보 조 장치 등 시장 파급 효과가 높은 응용 서비스를 발굴하고 실제 사용자 평가를 진행하여 학습 효과를 확인하는 연구가 필요하다.

감사의 글

이 논문은 2020년도 한국기술교육대학교 교수 교육연구 진흥과제 지원에 의하여 연구되었음.

참고문헌

[1] National IT Industry Promotion Agency, 2019

Survey of Korean e-Learning Industry, pp. 113,

2019.

[2] W. J. Kang, C. W. Kim, and J. Lee, “A study on

the state and improvements of cyber university,” in

Proceeding of the 2010 Fall Conference on Korea

Multimedia Society, vol. 13, no. 2, pp. 304-306,

2010.

[3] C. H. Ahn, H. C. Kim, and Y. S. Kwak, “A study

on the ways to use distance education to activate

lifelong education,” Korea Institute of Information

Technology Magazine, vol. 10, no. 2, pp. 127-131,

2012.

[4] Y. S. Hong, C. P. Han, H. S. Lee, H. H. Park, S. M.

Choi, S. K. Yang, H. S. Park, and H. K. Cho, “Smart

E-learning system for lecture concentration,” in

Proceeding of the 2018 Fall Conference on The

Institute of Electronics and Information Engineers,

pp. 777-778, 2018.

[5] Y. S. Hong, J. H. Um, K. U. Kim, Y. H. Choi, S. H.

Park, B. J. Kang, and J. H. Choi, “Smart E-learning

system based on WEB,” in Proceeding of the 2019

Fall Conference on the Institute of Electronics and

Information Engineers, pp. 772-773, 2019.

한 학습효과(학습몰입)에 대해서 5점 척도로 응답하도록 하 였다. 2020년 11월 1일부터 3일간 진행된 설문에서 학생 26명, 교사 10명, 일반인 6명, 총 42명이 응답하였으며, 설문 결과 는 필요성 4.55, 편리성 4.57, 그리고 학습효과 4.38로 나타났 다. 세가지 영역 모두에서 2점이하의 부정 응답자는 0명이었 으며, 학습효과에 대해서는 21명(50%)의 응답자가 “학습효 과 매우 높음”으로 응답하여 학습효과 향상을 기대할 수 있 음을 보였다. 실제적이고 심층적인 학습효과 향상에 대한 검 증은 향후 연구를 통하여 추진할 계획이다.

V. 결론 및 향후 연구

최근 코로나로 인해서 온라인 동영상 강의 방식이 많이 적 용되고 있는 상황에서 가장 문제가 되는 것은 학습자와 교사 사이에 상호작용이 떨어지는 것이다. 이런 문제를 해결하기 위해 본 논문에서는 동영상과 상호연동되는 장치를 교육 매 체로 활용할 수 있도록 하는 타임슬립 학습 플랫폼(Time-Slip Learning Platform)을 설계하고 구현하였다. 학습자가 시청하 는 영상의 내용에 맞추어 학습 기기가 작동하고, 또 학습자 의 기기 조작 상태나 결과에 따라서 영상이 제어되는 형태로 상호작용이 가능하다. 플랫폼의 기능 검증을 위하여 LED로 기타 운지 위치를 보여주는 스마트 기타 튜터링 장치를 시제 품 수준으로 개발하였고, 요리 콘텐츠에 사용되는 스마트 저 울을 프로토타입으로 제작하였다. 두가지 기기를 제안된 플 랫폼의 서비스로 등록하고 시연하여 학습의 몰입도를 높이 는 교육이 가능함을 검증하였다. 양방향 서비스를 지원하는 스마트 저울의 경우 요리 영상을 보면서 필요할 때 자동으로 타이머가 설정 된다거나 재료의 양을 손쉽게 측정할 수 있도 록 하였다. 즉, 학습자의 요리 진행 상황을 인지하여 학습자 에게 필요한 시점에 해당 영상 내용을 재생해주는 상호작용 을 제공하여 학습의 효율성과 몰입도를 높인다. 온라인 시연 영상을 통한 설문 조사 결과에서도 학습 향상 효과에 대해 4.38점의 긍정적인 응답을 확인할 수 있었다. 제안된 플랫폼의 다른 장점 중의 하나는 기존의 동영상 플 랫폼의 콘텐츠들을 그대로 사용할 수 있다는 것이다. 즉, 보 조 교육 도구나 상호작용을 강화할 수 있는 방식을 생각하 지 않은 강의 영상에 대해서도 제안된 플랫폼을 이용하면 상 호작용을 강화해주는 강의로 업그레이드가 손쉽게 가능하기 때문에 시장에 적용된다면 상당히 저변성 있는 플랫폼이 될 수 있다. 또한, 기존의 가전, 운동기구, 취미, 엔터테인먼트 관련 제품들이 인터렉티브한 제품으로 업그레이드되어 새로 운 시장을 개척할 수 있으며 상호작용형 동영상 마케팅이나

Proceeding of the 2020 Spring General Conference

on The Korea Institute of Information and

Communication Engineering, vol. 24, no. 1, pp.

37-39, 2020.

[10] S. H. Kim and K. S. Song, “A study on the

physiological computing system for improving

interactions in e-learning,” in Proceeding of the

2009 Winter Conference on The Korean Association

Of Computer Education, vol. 13, no. 1, pp. 105-109,

2009.

[11] J. H. Lee, J. H. Kim, and S. K. Cho, “A study of a

learning management system in E-learning english

conversation classes,” Journal of Linguistics

Science, vol. 54, pp. 181-212, 2010.

[12] E. M. Kim and J. W. Choi, “Development of

e-learning support platform through real-time

two-way communication,” Journal of the Korea

Academia-Industrial Cooperation Society, vol. 20,

no. 7, pp. 249-254, 2019.

[6] Y. J. Lee and K. H. Ryu, “The development of

e-learning design strategies for vicarious interactions

to support passive E-learning learners,” Journal of

Educational Innovation Research, Pusan National

University Educational Development Institute, vol.

30, no. 2, pp. 1-30, 2020.

[7] Y. S. Hong, K. G. Seo, J. H. Um, K. W. Kim, T. H.

Shin, Y. H. Choi, and J. H. Choi, “Smart E-learning

system based on fuzzy rules,” in Proceeding of

the 2019 Summer Conference on The Institute of

Electronics and Information Engineers, pp.

1182-1183, 2019.

[8] K. H. Rim, J. M. Shin, and S. K. Lee, “A study on

development of customized education and training

model using online learning platform,” Journal of

Practical Engineering Education, vol. 11, no. 1, pp.

75-86, 2019.

[9] W. S. Che, Y. J. Go, and Y. S. Song, “Untact era,

smart learning strategies utilizing big data,” in

조 성 윤 (Seong-yun Cho)_학생회원 2014년 3월 ~ 현재：한국기술교육대학교 전기전자통신공학부 학사과정 재학 2020년 1월 ~ 2월 : 한국전자통신연구원 동계 연구 연수생 2020년 7월 ~ 8월 : 한국전자통신연구원 하계 연구 연수생 <관심분야> 정보통신공학, 소프트웨어공학, 모바일 프로그래밍 정 기 현 (Gi-hyeon Jeong)_학생회원 2014년 3월 ~ 현재：한국기술교육대학교 전기전자통신공학부 학사과정 재학 <관심분야> 자바, 아두이노 채 유 라 (You-ra Chae)_학생회원 2016년 2월 ~ 현재 : 한국기술교육대학교 전기전자통신공학부 학사과정 재학 <관심분야>: 웹, 모바일 프로그래밍 김 성 빈 (Seong-bin Kim)_학생회원 2014년 3월 ~ 현재：한국기술교육대학교 전기전자통신공학부 학사과정 재학 <관심분야> 정보통신공학, 무선통신공학 설 순 욱 (Soonuk Seol)_종신회원 2004년 2월：한국과학기술원 박사 (정보통신공학) 2004년 3월 ~ 2012년 2월：KT 종합기술원 차장 2012년 3월 ~ 현재：한국기술교육대학교 전기전자통신공학부 교수 <관심분야> 공학교육, 사물인터넷, 모바일 인터넷, 소프트웨어 테스트