게임 콘텐츠, 산업, 마케팅
Received: Aug. 20. 2019 Revised: Aug. 29. 2019 Accepted: Oct. 14. 2019
Corresponding Author: Kang Hyosoon(Yewon Arts University) E-mail: [email protected]
ISSN: 1598-4540 / eISSN: 2287-8211
Ⓒ The Korea Game Society. All rights reserved. This is an open-access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.otg/licenses/by-nc/3.0), which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
청각장애인의 게임 및 게임방송 시청을 위한 청각 장애보조 자막 시스템
BIT(Broadcasting Integration Tools)개발에 관한 연구※
강효순 예원예술대학교 {koms119}@naver.com
A Study on Development of BIT(Broadcasting Integration Tools) for Game and Game broadcasting Assistive Subtitling System for the Deaf person
Kang-Hyo Soon
Dept. of Office, Yewon Arts University 요 약
청각 장애보조 자막은 청각 장애우에게 TV프로그램의 시각적 요소와 해설이해 및 즐거움을 제공한다. 게임 플레이에 있어 자막은 일반 사용자뿐만 아니라 청각 장애우에게 게임을 플레이 에 있어 큰 도움을 준다. 청각 장애보조 폐쇄자막시스템 BIT는 자막 원고를 생성하며 방송 반 복송출, 수정 및 배포에 자유로운 자막생성 시스템이다.
본 논문은 청각 장애보조 자막 시스템 BIT에 관한 학술적 연구를 목적으로 하며 청각 장애 우의 게임 플레이 및 게임방송 시청에 도움을 주고자 한다.
ABSTRACT
Deaf subtitles provide the hearing impaired with visual elements, commentary, and enjoyment of TV programs. Subtitles in game play are a great help to the game play for the hearing impaired as well as the average user. This paper aims at the academic research on the BIT subtitle system BIT, and is intended to help game play and game broadcasting of the hearing impaired.
Keywords : Deaf person(청각장애우), Game subtitle(게임 자막), Create subtitles(자막생성),
Closed caption(폐쇄자막), Second subtitle( 보조자막)
1. 서 론
청각 장애보조 자막(폐쇄자막)이란 TV 프로그 램에서 등장인물이 하는 말이나 주고받는 대화 내 용 등 음성정보를 글로 바꾸어 화면에 보여주는 것을 말한다. 선진 외국들은 1980년대 초부터 청각 장애우들을 위한 자막방송을 대부분의 방송에서 실 시하고 있다[1]. 2017년 장애인방송(폐쇄자막, 화면 해설, 한국수어) 제공실적 평가결과, 장애인방송 제 공의무사업자 155개사 중 96.1%가 편성 목표를 달 성했다며, 장애인방송 의무화 제도가 양호하게 정 착하고 있다고 평가했다[2]. 청각 장애우는 다른 장애우들에 비해 게임 플레이에 대한 진입 장벽이 낮다. 게임의 중요 요소중 하나인 스토리를 명확하 게 파악하고 게임의 재미를 즐기기 위해 게임 플 레이 및 게임 방송 시청에 있어 자막은 청각 장애 우들에게 중요한 요소이다.
청각 장애우 자막방송은 우선 청각 의존도가 높 은 뉴스, 토크, 강의 등을 비롯하여 문화ㆍ교양프 로그램 등을 제공하고 폐쇄 자막방송 실시를 통해 더불어 사는 사회를 만들 수 있도록 방송통신위원 회에서 제안하였다[3][4]. 폐쇄 자막 방송은 화면위 에 글자를 넣어 누구나 볼 수 있는 개방 자막과는 달리 디코더를 통해 선택적으로 문자를 볼 수 있 어 캡션 기능을 갖춘 수신기를 통해 시청이 가능 하다.
본 논문은 2장의 관련 연구를 통해 기존의 청각 장애우를 위한 게임 관련과 영상 관련 연구를 알 아보고 3장에서 제안하는 Broadcasting Integration Tools 시스템의 구성을 알아본다. 4장 에서 제안하는 시스템의 자막 편집 시스템을 중점 적으로 확인하고 5장에서 자막제작 테스트를 한구 6장에서 결론을 맺는다.
2. 관련 연구
청각 장애우에 대한 게임 관련 연구로는 대부분 청능 훈련을 위한 기능성 게임 개발 연구로 진행 되었다. 이춘호는 재미와 상호작용을 기반의 청능 훈련 기능성 게임을 제안하였으며[5] 박화진은 개 인 평가에 따른 청능 및 언어 훈련 서비스 모델을 기반으로 한 기능성 게임을 제안하였다[6]. 청각 장애우들의 이스포츠 중계방송 및 게임 스트리밍 방송 시청의 편의성을 위해 신동환 등은 자막 보 정 자동 시스템을 제안하였고[7] 김민호 등은 청각 장애보조 폐쇄자막솔루션의 방송 형태로 3가지 방 법에 대하여 제안하였다[8]. [Fig. 1]은 녹화방송에 적용되는 방식이고, [Fig. 2]는 사전 제작 방식, [Fig. 3]은 생방송으로 속기사를 동시에 운영하는 방식이다.
[Fig. 1] Closed captioning of Scheduler-based
[Fig. 2] Previous work utilizing
[Fig. 3] Live utilizing stenographer
디지털TV 자막방송 규격은 Digital Television Closed Captioning(CEA-708-D)표준을 지칭한다 [9]. 디지털 TV 자막 방송 (DTVCC)은, NTSC의 VBI(Vertical Blanking Interval) Line 21에 싣는 자막(CEA-608)과는 달리, 논리 데이터 채널을 통 하여 자막 데이터를 전송한다. 프로그램당 9600bps 의 데이터량을 할당할 수 있고, 여러 언어의 자막 및 여러 단계 가독 레벨(reading level)의 자막을 동시에 전송할 수 있으며, ‘CEA-608’ 데이터 스트 림 전체를 전송할 수도 있다. 단, 본 표준에서는
‘CEA-608’ 데이터 스트림의 전송은 고려하지 않는 다[10][11].
3. 청각 장애보조 자막 시스템
3.1. BIT(Broadcasting Integration Tools) 구성
폐쇄자막 시스템 Broadcasting Integration Tools는 자막 편집, 자막 송출, 데이터 삽입으로 주요 장비가 구성된다[12]. 시스템의 전체 구조도 는 [Fig. 4]와 같다.
[Fig. 4] Overall of BIT system
Broadcasting Integration Tools-Inserter는 게 임 영상을 삽입하여 폐쇄자막 파일 생성하고 편집 하는 프로그램으로 [Fig. 5]와 같다.
[Fig. 5] BIT-Inserter(Edit subtitles)
방송용 원고를 바탕으로 즉각적인 폐쇄자막 생 성이 가능하며 기존 시스템은 EIA-708-D 폐쇄자 막 표준을 따라 패킷당 31Byte만을 전송 할 수 있 기 때문에 한글 10글자(3Byte)를 기준으로 편집이 가능하도록 되어 있으나, BIT시스템은 자동 절체 시스템을 이용하여 한글을 31Byte단위로 자동 계 산하여 송출함으로써 폐쇄자막의 제작 속도와 시간 절감이 가능하다. [Fig. 6]은 자동 절체 시스템을 통해 정리된 폐쇄자막의 예시이며 상단은 시스템이 적용되기 전의 자막 라인예시이며 하단은 시스템이 적용된 후의 자막 라인예시이다.
[Fig. 6] Per time code 22letter(66Byte) support
또한 실시간 타임코드 생성과 일반원고 자동정 렬, 워드/엑셀 완변호환, XML, SMI, SRT 익스포 트 지원, 손쉬운 타임코드 정렬 및 수정, 타임코드 오류시 체크, 오디오 타임라인 시각화 등 다양한 기능을 두루 갖추고 있으며 NTSC 디지털방송 폐 쇄자막 표준 프로토콜인 SMPTE 333M & 334M 을 동시 지원하며 각 채널별 333M과 334M을 별 도 지정하여 운용이 가능하고 최대 8채널까지 동 시 송출이 가능하다.
Broadcasting Integration Tools-Base는 APC 연동을 통한 자동 송출 및 사전제작을 위한 수동 송출까지 가능한 폐쇄자막 송출 프로그램으로 [Fig. 7]과 같다. 각 부분을 모듈화 하여 UI가 종 료되더라도 한 번 등록된 자막은 APC와 연동하여 자동으로 송출된다.
[Fig. 7] BIT-Base(Subtitling)
Vanc Inserter는 폐쇄자막을 Serial 통신으로 영상과 함께 Merge시켜주는 송신 장치로 [Fig. 8]
과 같다. Bypass relay 채택으로 비디오 신호 bypass 기능이 있어 좀 더 안전하게 방송을 운영 할 수 있다[13].
[Fig. 8] Vanc Inserter(Inserter)
4. BIT(Broadcasting Integration
Tools)-Inserter
본장에서는 청각 장애보조 자막 방송을 위한 폐 쇄자막 자동화 시스템 개발을 위해 이의 핵심 프 로그램으로서 청각장애우들의 시각적 요소와 해설 이해 및 즐거움을 위해 시스템의 설계와 구현에 관해 연구하였다.
4.1. BIT-Inserter의 구성
BIT-Inserter는 폐쇄자막 원고를 제작하기 위한 프로그램 툴로 제작의 편의성과 효율성을 고려하여 제작된 프로그램이다. [Fig. 9]는 BIT-Inserter를 보여주며 BIT- Inserter는 크게 파일, 자막, 보기 와 같은 메뉴 시스템과 영상 재생, 자막 편집, 음 성 형상화 등의 윈도우 시스템으로 구성된다.
[Fig. 9] BIT-Inserter
4.2. BIT-Inserter 파일 메뉴
파일 메뉴는 파일, 영상, 프레임 등의 카테고리
로 구성되어 있으며 BIT-Inserter 상단에 파일 버
튼을 선택했을 때 프로그램 상단에 위치한다. 파일
카테고리는 [Fig. 10]과 같이 구성되어 있으며 기 본 프로젝트를 새로 만들고 저장하며, 다른 형식으 로 내보내기 등의 기본적인 기능을 표시한다. 내보 내기의 경우, SMI, SRT, XML 등으로 추출을 지 원하며, XML은 편집툴인 Final-Cut pro, Adobe premiere에서 후반제작 작업용으로 활용할 수 있 다.
[Fig. 10] BIT-Inserter File menu
영상 카테고리는 영상의 재생, 일시정지, 동영상 정지 기능을 표시하며 프레임 카테고리는 [Fig.
11]과 같이 구성되어 있으며 Time-Code 제작과 관련된 기능을 표시하며 잡기 버튼을 누를 경우 영상 재생 윈도우에서 영상의 정해진 부분의 타임 코드가 영상에 기록된다.
[Fig. 11] BIT-Inserter frame menu
4.3. BIT-Inserter 자막 메뉴
자막 메뉴는 자막, 정렬, 편집 등의 카테고리로 구성되어 있으며 Broadcasting Integration Tools-Inserter 상단에 자막 버튼을 선택했을 때 프로그램 상단에 위치한다. 자막 메뉴는 [Fig. 12]
와 같이 자막의 편집과 밀접하게 관련이 있는 기 능 위주로 구성되어있다. 찾기 버튼은 자막 내에서 단어를 검색할 수 있도록 해주며, 검색된 단어의 변경도 지원한다. 보정 버튼은 선택된 셀의 타임코 드를 일괄적으로 변경할 수 있는 기능이며 자막 카테고리는 각 편집 셀을 삭제 하거나, 삽입, 병 합, 분리 등 간편하게 셀 단의 편집을 가능하게 해 준다. 정렬 카테고리는 Broadcasting Integration
Tools-Inserter 내 화면에 표시되는 자막의 위치를 컨트롤 하는 것으로 실제 TV에서 보이는 자막과 는 무관하며 언어 카테고리는 자막을 편집할 수 있는 추가 자막 편집 칸을 생성 및 삭제한다.
[Fig. 12] BIT-Inserter subtitle menu
4.4. BIT-Inserter 보기 메뉴
보기 메뉴는 구성, 창, 설정 등의 카테고리로 구 성되어 있으며 Broadcasting Integration Tools-Inserter 상단에 보기 버튼을 선택했을 때 프로그램 상단에 위치한다. 보기 메뉴는 [Fig. 12]
과 같이 구성되어 있으며 구성 카테고리에 위치한 번역자, 작가용, 제작자 버튼을 누르면 각각의 용 도에 따라 레이아웃이 변한다. 영상 및 음성 창 버 튼을 누루면 해당 창을 키고 끌 수 있다. 각각의 프로젝트에 대한 정보 확인 및 환경설정이 가능하 며 보기 메뉴는 프로젝트 생성시에 만 팝업되는 메뉴로 해당 프로젝트의 기본적인 속성이다.
[Fig. 13] BIT-Inserter view menu
그 밖에도 경고 자막 글자 수 조절, 자막 테두리
보기, 자막 기본 폰트 변경, 송출 설정, 속기 키보
드 소리포스 사용, 원고 기반 자막 송출모드, 재생
시 송출, Open Caption과 Closed Caption 형식
지정 등 환경을 다양하게 설정할 수 있다. 또한 자
막 편집창의 글꼴도 자유롭게 변경이 가능하다.
4.5. BIT-Inserter 영상 재생 창
영상 재생창은 창의 분리 및 합체가 자유로워 사용자 뜻대로 조절해 사용이 가능하며, 키고 끌 수 있다. [Fig. 14]는 영상재생창의 예시를 보여준 다. Broadcasting Integration Tools-Inserter에서 지원 가능한 영상 코덱으로는 MPEG2와 MPEG4 가 있고 컨테이너로는 mov, avi, mkv, mpeg, m2t 등이 있으며 1080i, 1080p, 720p 등의 해상도를 지 원하며 4K이상 해상도를 제외한 대부분의 해상도 를 지원한다.
[Fig. 14] BIT-Inserter execution window
4.6. BIT-Inserter 자막 편집 창
자막 편집 창은 폐쇄자막 원고 및 기타 번역 자 막을 제작하며, 제작용 파트로 기본적으로 자막을 편집할 수 있다. 자막 편집 창은 [Fig. 15]와 같이 구성되어 있으며 sheet 2개를 제공하고, 각 sheet 에 작성된 폐쇄자막은 별도로 영상 재생창에 표시 된다.
[Fig. 15] BIT-Inserter Edit subtitles window
4.7. BIT-Inserter 음성 형상화 창
음성 형상화 창은 오디오를 시각적으로 형상화 하여 정교한 자막 작업이 가능하도록 구성되어있 다. 음성 형상화 창은 해당 영상의 오디오를 분석 하여 [Fig. 16]과 같이 파형으로 나타내며 오디오 위에 자막의 시작점을 표시해 정교한 자막 작업이 가능하다. 특징으로는 자유롭게 온/오프 할 수 있 고, 분리 및 합체가 가능해 필요에 따라 조절하여 사용이 가능하다.
[Fig. 16] BIT-Inserter voice form window
5. 자막제작 테스트
새로운 프로젝트를 생성할 때 게임영상을 컨테
이너에 올리고 프로그램 창에서 재생하여 영상의
소리를 들으며 원고의 작성이 가능하다. Inserter에
서 쓰이는 동영상의 포맷은 mov, avi, mpeg,
wmv 등이며 코덱으로 mpeg 이다. [Fig. 17]과 같
이 Inserter program driving the screen에서 프
로젝트를 제작하면 다음의 재생으로 진행하여 영상
의 오디오를 들으며 자막 원고를 만들도록 한다.
[Fig. 17] Inserter program driving the screen
[Fig. 18]은 자막 관련 설정으로 경고자막 글자 수에 워드, 한글, TXT 등의 문서와 마침표, 띄어 쓰기 등을 자동으로 정렬해 준다.
[Fig. 18] Inserter program driving the screen
자막 원고 제작이 완료되었다면 [Fig. 19]와 같 이 텍스트로 자막 내보내기를 하여 Base에서 사용 할 수 있는 원고를 만든다. 폐쇄자막 송출로 폐쇄 자막 원고를 EIA-708-D 표준 신호로 전송하기 위 한 프로그램이다.SMPTE 333M/334M이 전송 양 식이며, RS-232C Bit-Serial 전송 규격 통신이다.
네트워크 환경은 장소에 구애받지 않고 어느 PC에 서든 자막 등록 및 송출이 된다.
[Fig. 19]Inserter program driving the screen
6. 결 론
청각 장애우에게 폐쇄자막은 필요한 시스템이 다.
방송사 저비용으로 고효율 다양한 프로그램이 제공 된다면 청각 장애우들에게 도움이 될 거라 생각한 다. Broadcasting Integration Tools 청각 장애보조 자막 시스템은 국내 방송제작환경을 고려한 방안이 다. Time-Code 기반으로 영상 검색과 시스템 구축 및 방송용 내레이션 원고 텍스트 등 통합 문서를 지향한다. 폐쇄자막은 한글이 지원되며, 별도로 폐쇄 자막을 보관하여 활용 및 관리가 편리하다.
게임에서 필요요소 중 하나인 게임사운드는 청
각장애인에게는 포기해야만 한다. EA게임즈는 청
각장애인은 비장애인에겐 당연한 게임 속의 소리들
을 제대로 듣고 느낄 수 없다는 발표를 하며 청각
장애인 게이머를 고려하는 법을 주제로 청각장애인
개발자가 설명하는 게임 사운드 시각화에 대해
GDC에서 발표했다[14]. 청각장애인학생들이 비장
애인 학생보다 인터넷사용 시간이이 많은 것으로
나타나 있다[15]. 향후 본 논문을 기반으로 다양한
청각장애우를 위한 게임 개발관련 연구가 진행되었
으면 한다.
REFERENCES
