Ⅰ. 서론
1. 연구 목적
디지털 방송의 본격 실시에 따라 다기능화, 지능화된 서비스를 제공하고, 효율적이고 생산성을 높일 수 있는 새로운 방송 프로그램 제작 환경에 대한 필요성이 증가하고 있다. 완전히 디지털화된 하드웨어 인프라가 구축되더라 도 이를 근간으로 콘텐츠를 제작, 활용하기 위한 편리한 도구와 시스템이 유 기적으로 결합되지 않는다면, 디지털화의 장점을 충분히 활용할 수 없게 된 다. 이에 따라 IT 기술을 이용하여 여러 제작 장비가 초고속 네트워크에 연 결되고, 콘텐츠가 디지털 아카이브에서 집중 관리되어 제작에서 송출, 저장 및 재활용에 이르기까지 온라인으로 제작되는 디지털 네트워크 방송 제작 환경을 구축하는 것이 당면한 과제로 등장하였다.
IT 기반 제작 연구에서는 이러한 방송 제작 환경 변화에 대비하여 네트워 크 기반 제작 환경과 콘텐츠 관리 및 검색 기술의 구현을 위한 연구를 진행 하고 있다. 금년에는 IT/네트워크 기반 제작 기술 동향을 분석하고, 차세대 제작환경에 대비한 ‘CORE(Common interface, Open architecture, Resource management, Enhanced network production) 프로젝트’를 진행 중이며, 관련 구축 사업인 ‘NPS(Network Production System) 구축팀’에 참여하고 있다.
이와 함께 MXF(Material eXchange Format)을 근간으로 콘텐츠와 메타데이 터의 표준적 교환을 위한 연구 개발을 수행 중이며, 방송 콘텐츠의 효율적 검색을 목적으로 등장인물 검색 시스템 ‘CARA(Character Appearance Retrieval and Analysis)’를 개발하여 그동안 추진되어온 내용기반 검색 연구 의 실제 활용에 초점을 맞추어 연구를 진행하였다.
IT 기반 제작 연구에서는 이와 같은 연구/개발을 수행함으로써 KBS에 적 합한 디지털 네트워크 제작 시스템 구축에 기여하고, 고효율 고품질 프로그 램 제작에 필요한 기반 기술과 대용량 방송 콘텐츠를 효율적으로 검색, 활용
할 수 있는 기술을 개발하여 제작 효율성을 높이고자 하며, 차세대 제작 시 스템 구현 기술을 확보하여 미래 방송 환경 변화에 대응하고자 한다.
2. 연구 내용
금년에 수행한 IT 기반 제작 연구의 주요 내용은 다음과 같다.
▣ IT/네트워크 기반 제작 기술 동향 연구 : IT/네트워크 기반 제작과 관 련한 기술 발전 및 표준화 동향, 장비 및 시스템, 방송 활용 사례를 조사 분 석하여 ‘IT/네트워크 기반 제작 기술 동향’ 보고서를 발간, 배포하였다.
▣ ‘CORE 프로젝트’ 진행 : 차세대 네트워크 기반 제작 환경에 대비하기 위한 미래지향적 테스트베드 시스템을 설계/구축하고, 콘텐츠 제작/관리/교 환과 관련한 핵심 기술을 연구 개발하기 위한 ‘CORE 프로젝트’를 공동연구 로 진행하고 있다. 금년에는 테스트베드 시스템을 설계하고 공유저장장치, 비디오서버, MAM(Media Asset Management) 시스템, 넌리니어편집기 (NLE) 등 기본 장비를 도입하여 시스템을 구축 중이며, 기술 개발에 대한 상세 설계를 진행하였다. 기술 개발 내용에는 개방형 제작 요소기술, MXF 엔진 및 운용 소프트웨어 개발, 콘텐츠/메타데이터의 표준적 교환 모델 개 발, MAM-NLE 연계 프레임워크 개발 등이 포함된다.
▣ NPS 구축 참여 : NPS는 TV제작본부의 네트워크 제작 시스템 구축사 업으로서 5월에 NPS 구축팀이 구성되어 구축을 위한 제반 준비 작업을 진 행하였다. IT 기반 제작 연구팀에서는 NPS 구축팀에 참여하여 핵심 설계작 업을 수행하였다. NPS 구축사업은 내년부터 본격적인 개발 구축에 들어갈 예정이다.
▣ 내용기반검색 실용화 연구 : 콘텐츠의 효율적 검색을 위한 일환으로 작 년에 얼굴 검출 및 인식을 통한 등장 인물 검색 기술 연구를 진행하여 등장 인물 검색 알고리듬과 프로토타입 소프트웨어를 개발한 바 있다. 금년에는 이를 기초로 얼굴 검출과 인식 알고리듬의 성능을 대폭 개선하였다. ‘CARA’
로 명명한 등장인물 검색 시스템은 독립적으로 활용될 수도 있고, 플러그인
형태로 다른 카탈로깅 소프트웨어와 함께 사용될 수 있게 개발되었고, CARA 플러그인은 KBS 방송 콘텐츠 통합 검색 시스템과 디지털 보도 영상 시스템에 적용하여 현재 활용 중에 있다. 본 연구와 관련하여 다수의 국제학 술대회에 논문을 발표하였고, 특히, CARA 시스템은 IBC 2004 전시회에 초 청 출품되어 호평을 받은 바 있다.
Ⅱ. IT/네트워크 기반 제작 기술 동향 연구
1. 서론
IT 기반 제작 연구의 일환으로 지난 8월에 방송사, 장비 제작사, 압축/파 일 포맷, 메타데이터, MAM 시스템 등을 포함하는 네트워크 기반의 제작 시 스템 전반에 대한 보고서를 발간하였다. 이는 기본 기술들과 현황에 대한 보 고서로서, 이를 근간으로 빠르게 변화하고 있는 제작 환경과 기술들을 NAB 와 IBC, SMPTE, InterBEE 등의 국제 학회 및 전시회를 통해 파악하여 요 약 정리하였다. 그 동안에는 편집과 저장 등에 중점이 맞춰져서 시스템 구축 이 이루어지고 있었는데, 최근에는 촬영 시스템에 대한 변화가 대폭적으로 이루어지고 있으며, 이에 대하여 편집 솔루션 회사와의 연계가 활발히 이루 어지고 있다.
2. 장비 업계 동향
2.1 촬영 시스템 동향
2004년에는 카메라 회사들의 급격한 행보가 주목을 끌었다. 많은 회사들이 디지털 네트워크 제작 환경을 구축하고 있지만, 카메라와 VCR은 변화없이 과거의 체계를 이용해왔었는데, 최근 발표되고 있는 IT 기술이 접목된 카메 라와 VCR들을 이용해서 테이프리스(tapeless) 제작 환경을 제대로 구성할 수 있게 된 것이다.
소니(Sony)의 XDCAM과 파나소닉(Panasonic)의 P2, 이케가미(Ikegami)의 EditCam3와 같은 테이프리스 카메라 시스템이 출시됨으로써, 촬영에서 NLE 편집, 비디오서버를 이용한 송출에 이르는 전 과정에서 장비의 IT화가 상당 히 진전되고 있다. 이케가미는 10여년 전부터 하드디스크를 이용한 카메라를 개발해 오고 있으며, 2000년대 들어서는 소니와 파나소닉도 광디스크와 메모
리카드의 IT 기술을 접목시킨 제품을 개발하여 제품을 출시하고 있다. 최근 이케가미는 하드디스크보다 좀 더 다루기 쉬운 메모리카드도 지원하기 시작 했다. XDCAM과 P2는 현장에서 저해상도 영상을 이용한 가편집이 가능하 고, 옵티컬데크나 메모리카드 드라이브, 하드디스크 베이를 사용하여 아비드 (Avid), 피나클(Pinnacle), 콴텔(Quantel), 톰슨GV(Thomson GV) 등의 NLE 편집기에서 파일로 직접 불러오는 것을 지원하고 있다. 따라서, 촬영 후 별 도의 인제스트 과정 없이도 바로 편집하여 저장하는 제작 워크플로우 개선 을 기대해 볼 수 있다. 아직까지는 SD급의 카메라만 출시되고 있는데, 2005 년에는 HD를 지원할 수 있는 카메라가 출시 될 예정이다. XDCAM과 P2, EditCam3를 비교하면 아래의 표와 같다.
<표 1> 소니, 파니소닉, 이케가미의 차세대 촬영 시스템 비교
소니 XDCAM 파나소닉 P2 이케가미
EditCam3 미디어
타입 옵디컬 디스크 메모리 카드 하드디스크
/메모리카드 미디어
용량 23.3G(<$30) 4G(약 $2,000)
(드라이브는 최대 5개) 80G 저장
시간
85분(DVCAM 25M) 45분(IMX 50)
18분(DVCPRO 25) 9분(DVCPRO 50) (5개 카드 : 90분, 45분)
6시간(DV25) 3시간(DV50,
IMX50) 프록시
영상
동시저장(MPEG4 1.5Mbps)
MPEG4 코덱카드(옵션)
별도 SD 메모리 지원 없음 판매 3,500대 이상 판매 800대 이상 판매 과거 제품 포함
수천대 이상 판매 HD
지원 미정 2005년
(DVCPRO HD)
2005년 (DNxHD) 소니의 XDCAM은 PDW-510/530 카메라와 PDW-V1/1500 옵티컬데크로 구성되어 있으며, 그 외에 기존의 VCR을 업그레이드 한 e-VTR이 있다.
e-VTR은 기존의 VCR에 MXF 기능과 기가비트 이더넷 기능, MPEG4 프록 시 기능을 접목시킨 것으로써, 향후 몇 년간 차세대 시스템이 정착하기 전까
지 유용하게 사용될 것으로 예상된다. 예로서 최근에 블루오더(Blue Order) 사의 미디어 아카이브 시스템과 함께 2004 아테네 올림픽에 활용이 되었으 며, 해외 지사에서의 영상 전송 등에 이더넷이라는 저렴한 망을 이용하여 고 해상도 및 저해상도 영상을 전송할 수 있다. 옵티컬데크는 실시간(IMX50)보 다 약 2.5배 빠른 전송이 가능하며, 미디어가 가장 저렴하여 장기간 보관에 용이하다. 그러나, HD로의 업그레이드는 미디어 자체의 저장 속도와 용량의 한계로 아직까지 구체적인 일정은 밝히지 않고 있다.
<그림 1> 소니, 파나소닉, 이케가미 시스템 사진
파나소닉의 P2(Professional Plug-in을 의미)는 AJ-SPX800 캠코더와 AJ-SPD850 데크로 구성되며, 메모리 카드를 사용하고 있기에 전송 속도에 서 실시간(DV50)의 12배에 이르는 성능을 보이고 있고, 미디어 호환성과 작 은 크기가 장점이다. 그러나, 장기간 보관용으로는 별도의 미디어를 이용해 야하고, 비싼 가격과 용량이 작다는 단점이 있다. 하지만, 가격은 계속 내려 가고 있으므로 큰 문제는 되지 않을 것으로 보인다. 현재 2GB(DV25 8분)와 4GB(DV2 16분) 두가지 모델이 출시되고 있는데, 5개까지 한 세트로 사용될 수 있다. HD로의 업그레이드는 저장/전송 속도가 충분하게 지원되기에 문제 는 없지만, 저장 용량에서는 아직까지 8GB 5장을 사용하여 40분간 기록할
수 있는 정도이다.
이케가미의 EditCam3는 DNS-33W 캠코더와 DNE-31 데크로 구성되어 있다. 80GB 대용량 하드디스크를 사용하여 DV25을 약 6시간 정도 장시간 저장할 수 있는 장점을 가지고 있으나, 사용 환경과 미디어 크기에는 상당히 취약하기에 메모리 카드를 동시에 지원할 수 있도록 하고 있다. 이케가미는 1995년부터 아비드사와 협력하여 SD 영상을 직접 아비드 편집기에서 편집 할 수 있었는데, NAB2004에서는 HD에서도 DNxHD라는 아비드의 코덱을 지원하는 시스템을 선보였으며, 2005년에 정식 제품으로 출시될 예정이다.
이케가미의 EditCam 시스템은 10여년동안 수천대가 미국 정부, 군사, 방송 등에 보급이 되었다.
최근에는 HD를 가정에서 쉽게 이용할 수 있도록 만들어진 HDV 캠코더가 이목을 집중시키고 있다. 일반 가정용뿐만 아니라 방송용으로도 충분한 가치 를 지니고 있기 때문이다. HDV는 MPEG2 Long-GOP 25Mbps로 압축을 하 며 가정용 일반 mini-DV 테이프를 그대로 사용할 수 있다. JVC에서 작년에 처음 선보인 GR-HD1KR 캠코더 제품이 있는데 1CCD 타입에 118만화소로 720p를 지원하므로, 떨림과 화질에 대한 근본적인 문제를 안고 있었지만, 최 초의 HDV 캠코더라는 것을 생각하면 가치는 충분하다고 보여진다. 최근에 소니에서 3CCD 타입에 112만 화소로 1080i를 지원하는 HDR-FX1 캠코더를 발표했고, 파나소닉도 여기에 동참할 준비를 하고 있다.
(1) JVC GR-HD1KR (2) 소니 HDR-FX1
<그림 2> JVC와 소니의 HDV 캠코더
2.2 넌리니어편집기(NLE) 동향
NLE는 아비드, 애플(Apple), 피나클, 콴텔, 톰슨GV, 리치(Leitch), 소니 등 여러 회사에서 다양한 용도의 여러 제품들을 출시하고 있다. IT 기술이 접 목된 XDCAM, P2, EditCAM 등의 영상 획득 장비들과 직접적인 연결을 지 원하는 것과 MXF 지원, HDV를 포함한 HD 지원이 2004년에 가장 큰 변화 라고 할 수 있다. 캠코더/데크와 NLE의 연결에는 IEEE-1394 포트가 일반적 으로 사용되고 있으며, 뉴스제작 등을 위한 소프트웨어 기반의 간이편집용 제품도 다양해지고 있으며, 플랫폼의 성능이 향상되면서 전용의 하드웨어가 점점 사라지는 추세이고, 앞으로 몇 년 이내에 소프트웨어 버전으로 바뀌게 될 것이다.
아비드는 2003년에 발표한 DNA(Digital Nonlinear Accelerator) 시리즈인 DS Nitris, Media Composer/NewsCutter Adrenaline/Mojo의 새로운 NLE 버전을 선보였고, DNxHD라는 독자적인 HD용 인코딩 포맷을 발표하였다.
DNxHD는 HD를 지원할 제품 라인업들에서 HDV, DVCPRO HD, Long GOP MPEG2 등 다른 표준 미디어 포맷들과 함께 제공될 예정이라 하며, 소스 코드를 공개하여 다른 개발자가 사용 가능하도록 하겠다고 한다. 아비 드 전용 편집 포맷인 OMF와 더불어 MXF를 직접 편집할 수 있도록 지원하 는데, 현재까지는 아비드의 MXF 포맷만 이용가능하고, 2005년 중순까지 파 나소닉의 P2 시스템과 소니의 XDCAM용 MXF 파일과 직접적인 연결을 지 원할 예정이라고 한다. 타임라인 상에 다양한 포맷을 올려서 편집하는 멀티 포맷을 지원하며, 마지막에 한번만 랜더링을 해주면 된다.
<그림 3> 아비드 Media Composer Adrenaline
피나클은 Liquid 시리즈의 편집 라인이 있는데, 최근에 버전 6.0이 출시가 되었다. 버전 6.0에서는 그동안 논란이 되었던 MPEG2 Long-GOP 편집을 지원하게 되었다. 이는 그동안 편집 포맷으로 I frame만을 사용하여 비트레 이트가 높아져서 저장공간을 많이 차지하게 되던 비효율적인 것을 획기적으 로 줄일 수 있는 계기가 될 것이다. 또한, MXF를 직접 지원하는데, 오디오 부분만을 별도로 분리하는 과정이 선행되어야 한다. 파나소닉의 P2 시스템 과 소니의 XDCAM과는 직접 연결하여 저장된 데이터를 받아올 수 있다.
Liquid Edition Broadcast 버전의 출시로 MPEG과 DV를 모두 지원하는 저 가형의 방송용 편집기를 보유하게 되었으며, IMX 포맷과 Long-GOP 또한 지원한다. 사운드 면에서도 5.1채널 편집을 지원하게되어 한단계 업그레이드 되었다. 멀티 포맷 편집도 지원한다. Liquid의 상위 모델인 실버와 블루는 아직까지 버전 6.0이 적용되지 않는데, 2005년 상반기에 적용된 제품이 출시 될 예정이다.
<그림 4> 피나클 버전 6.0 편집 화면
애플은 작년과 마찬가지로 Final Cut Pro HD를 대대적으로 지원하고 있 으며, 시스템 성능 향상에 의하여 DVCPRO HD에 대한 지원이 원활히 이루 어지고 있다. HD-SDI를 지원하는 애플용의 저렴한 입출력 보드로 AJA의 Kona2 보드와 Blackmagic의 Decklink HD 보드가 있으며, 고가의 Cinewave 가 있는데 피나클에서는 Cinewave를 곧 단종할 예정이라고 한다. 애플은 안
정적인 플랫폼과 다양한 기능, 저렴한 가격으로 시장을 공략하고 있으며, 사 용자들의 만족도도 높은 편이다. 애플 편집기는 퀵타임 포맷을 기본으로 사 용하고 있으며, MPEG2와 IMX, MXF를 지원할 계획을 가지고 있지만, 그 시기는 아직 밝히지 않고 있다.
그 외에 다양한 편집기들이 있는데, 콴텔에서는 소프트웨어 기반의 Qedit 을 선보였으며, 소니에서는 XPRI 7.0 버전을 출시했는데, IMX와 HDCAM을 기본 포맷으로 사용하며, 생방송을 겨냥한 9채널 동시 플레이 및 편집 기능 을 선보이고 있다. XPRI의 특징은 네트워크를 통한 랜더링 PC를 활용하여 외부 랜더링이 가능하다는 것이다. 아도브의 프리미어에서는 HDV를 지원하 는 플러그-인이 지원되고 있으며, 서버 성능 향상으로 전용의 하드웨어 없이 도 HD 편집이 원활히 이루어진다.
2.3 시스템 동향
소니, 아비드, 피나클, 콴텔, 톰슨GV, 리치 등은 뉴스제작과 같은 방송 제 작 워크플로우 개선을 위한 IT 기반의 네트워크 제작 솔루션을 보유하고 있 다. 최근의 경향은 좀 더 IT의 성향에 가까워지고 있다는 것이다. 즉, IT 기 반의 영상 촬영 장비와 IEEE-1394 포트를 이용한 연계, 소프트웨어 기반의 코덱 채용, 멀티 포맷 지원, 그리고 MXF 표준 포맷 지원 등이 이루어지고 있다. 하지만 아직까지도 독자적인 시스템을 고수하려는 경향이 강하지만, 표준 파일 포맷의 지원이 점점 확산되면서 점진적으로 시스템이 개방될 것 으로 예상된다.
소니는 Sonaps라는 솔루션을 가지고 있는데, XDCAM, XPRI NLE 시리즈 등과 연계하여 독자적인 시스템을 갖추었다. 아비드는 기존의 공유 미디어 네트워크인 Unity 시리즈에 새로운 AirSpeed 서버를 추가하였다. 피나클은 Vortex 뉴스룸 솔루션에 MediaStream 서버와 Palladium Store 저장장치 등 의 새로운 버전을 연계하려고 하는 중이며, 톰슨GV는 DNPS(Digital Nesroom Production Solution)에 새로운 서버와 함께 NewsEdit LT, 자동 플레이백 시스템인 NewQ Pro를 추가하였다. 리치도 새로운 Nexio 서버를
중심으로 Newsflash 등을 포함하여 뉴스 제작 워크플로우 솔루션을 구성하 고 있다. 전통적으로 뉴스룸 컴퓨터 시스템 솔루션 부분의 강자인 AP의 ENPS(Electronic News Production System)도 새로운 버전을 출시했다.
인제스트 장비에서의 큰 변화는 소프트웨어 코덱의 채용과 HD 지원이 확 산되고 있다는 것이다. 플랫폼의 성능이 향상되면서 전용 하드웨어를 꼭 이 용할 필요가 없어진 것과 급변하는 비디오 포맷에 유연하게 대처할 수 있어 야하기 때문이다. 그리고, HD 지원도 시장이 점점 성숙하면서 더 이상 미룰 수 없게 된 것이다.
아비드의 새로운 비디오 서버인 AirSpeed에서 소프트웨어 코덱을 사용하 여 DV와 MXF를 지원한다. HD 코덱으로는 전용의 DNxHD라는 소프트웨 어 코덱을 이용하여 HD를 지원하려고 하고 있다. 아비드 서버는 아직까지는 HD 지원 계획이 알려지지 않고 있지만, 2005년 NAB 때에는 발표가 될 것 으로 예상된다. 매트록스(Matrox)에서는 소프트웨어 코덱을 사용하여 SD/HD를 지원하는 DS.X 제품을 개발하는 중이다. 아직까지 많은 회사에서 기존의 플랫폼을 유지하고 있지만 곧 범용의 플랫폼과 소프트웨어 코덱을 사용하게 될 것이다. 피나클에서는 독립 환경과 공유 환경을 모두 지원할 수 있는 MediaStream 8000 서버를 출시했는데, MPEG2 SD/HD, MXF를 모두 지원할 수 있다. 톰슨GV에서는 Profile 6G SD/HD 서버를 출시하여 HD 시 장에 대비를 하고 있다. 6G 서버는 MPEG2를 지원하며, SD와 HD를 동일한 타임라인에서 송출할 수 있는 새로운 기능을 가지고 있고, 업/다운 컨버터를 내장할 수 있다. 콴텔(Quantel)에서는 이미 sQserver에서 SD/HD를 지원하 고 있으며, HD는 현재 DV100M 720p 포맷을 지원하나 HDCAM 1080i도 곧 지원할 계획이다.
저장장치는 큰 변화는 보이지 않고 있지만, 성능과 안정성에 대한 중요성 이 높아지므로 이러한 제품을 OEM으로 채택하는 경우가 많아지고 있다. 대 표적인 예가 DataDirect Networks사의 제품으로 스위치가 통합된 전용의 서 버에 의하여 독특한 구성을 갖으며, 그에 따라 고대역폭과 고성능을 장점으 로 가지므로 많은 회사에서 채택하고 있다. 대용량 저장 매체로는 아직까지
도 가격적인 측면에서 데이터 테이프를 많이 사용하고 있다. 소니에서는 S-AIT 디스크를 계속 확장하고 있는데, 하나의 디스크에 500GB를 담을 수 있는 최대 용량의 테이프를 지원하고 있다.
3. 콘텐츠 관리 시스템 동향
3.1 개요
콘텐츠 관리 시스템(CMS; Content Management System)은 디지털 제작 시스템 내에서 방송콘텐츠의 생성, 활용, 배포, 삭제에 이르는 콘텐츠 생명 주기(life cycle) 전체를 관리하는 시스템이며, 디지털 제작 시스템 내의 다양 한 하드웨어(인제스트 장치, 공유저장장치, 송출 장치, 비선형 편집기, 테이 프 라이브러리 등)를 유기적으로 통합하고 시스템 전체를 관리하는 시스템 이다.
3.2 국내외 CMS/MAMS 제품 현황
국내 CMS/MAMS 제품으로 우수한 국내 제품이 많으며, DINO(네오미디 어), Media360/UniDAMS(삼성SDS), Video Archive(코난테크놀로지) 등이 대표적이다. 각 제품은 진주 MBC 디지털 뉴스룸, KBS 국제 뉴스 아카이브, SBS 디지털 뉴스룸 등에 적용되어 운영 중이다.
해외 CMS/MAMS 제품으로는 Media Archive(블루오더), VS Archive(Virage), Media Library(Dalet), Colledia(BBC테크놀로지) 등이 대표 적이며, 이 가운데 Colledia 시스템은 주목할 만하다. 뉴스 제작용과 다큐멘 터리용 Colledia 제품군으로 나누어지며, 방송 프로그램 제작에 필요한 다양 한 장비를 터치 스크린을 통해 직접 제어하면서, 데스크탑 환경에서 효율적 인 프로그램 제작이 가능한 제품이다. 올해, Media Archive 제품은 2004년 아테네 올림픽 방송에 활용되어, 생방송 스포츠 방송에서의 대규모 MAMS 적용 사례를 보여주었다. 소니의 e-VTR과 통합된 이 시스템은 실시간 MPEG-4 프록시 영상 전송과 브라우징 기능을 제공함으로써 신속한 방송
제작이 가능하게 디자인되었다.
(a)Video Archive(SBS 디지털 뉴스룸) (b)Media Archive(’04 아테네 올림픽)
<그림 5> 상용 CMS/MAMS 제품
4. 표준 파일 포맷 동향
4.1 표준 콘텐츠 교환 포맷 MXF 동향
Pro-MPEG포럼과 AAF협회에 의해 개발된 콘텐츠 교환 포맷인 MXF 표 준화는 현재 기본포맷 문서를 포함하여 DV, D10, D11, A-law, CP 에센스 저장 문서 등의 SMPTE 표준화가 완료된 상태이고 MPEG, Uncompressed, Broadcast Wave Format 등의 에센스 저장 문서와 운용패턴 OP3a/b, 1/2/3c 등은 표준화 진행중이다.
MXF를 지원하는 시스템은 올해 상당히 다양해졌다. 소니의 XDCAM 및 파나소닉의 P2 시스템은 촬영단계에서 MXF 파일을 저장 포맷으로 사용하 고, 저해상도 프록시 영상도 MXF 파일에 담아 저장한다. 아비드, 피나클 등 에서 만든 넌리니어 편집기는 MXF 파일 편집을 지원하는 제품을 내놓았다.
SGI 및 옴네온(Omneon)은 MXF가 지원되는 비디오 서버를 내놓고 있어, 제작 단계의 거의 모든 장비에서 MXF가 지원되고 있다. 하지만 이종 장비
간의 상호운용성 면에서는 아직 충분치 못한 상태이다.
MXF 구현과 관련하여 MXFIG(MXF Implementation Group) 홈페이지가 생겨, 개발자들간의 아이디어 교환 및 이슈논의가 이루어지고 있다. MXF SDK를 상용화한 MOG Solutions사는 다양한 애플리케이션을 선보여 기술 의 성숙도를 보여주었다. Snell&Wilcox사는 MXF SDK인 MXF Express와 PC기반의 MXF 유틸리티인 MXF Desktop을 홈페이지를 통해 무료로 제공 하고 있다. KBS 방송기술연구팀은 CORE프로젝트에서 MXF SDK를 개발 중에 있으며, 개발된 MXF 엔진을 기반으로 MXF 기반의 제작 테스트베드 를 구현할 것이다.
4.2 표준 저작 포맷 AAF 동향
업계 주도로 AAF협회에서 표준화하고 있는 AAF(Advanced Authoring Format)는 멀티미디어 저작 도구간 교환을 위한 파일 포맷이다. AAF협회는 에센스와 메타데이터를 저장하는 AAF 객체 스펙 뿐 아니라 소프트웨어 개 발을 위한 AAF API 스펙 및 SDK도 같이 제공하고 있다. 현재 AAF 스펙 및 SDK v1.1의 구현이 거의 완성단계이다. AAF는 super EDL의 구조를 8 종류의 Mob(Material Objects)을 통해 표현하며, 편집과정의 데이터를 담은 프로젝트 파일과 에센스 파일을 분리할 수 있다. AAF 편집 프로토콜은 AAF 스펙과 개발 툴킷의 지침서로서 정리된 것으로, AAF 스펙에 비해 훨 씬 구체적이고 구현 요구사항을 상세 기술했다. AAF 편집 프로토콜은 AAF 를 처음으로 구현했던 개발자들의 경험을 바탕으로, 복잡한 편집정보 교환을 보다 안정적으로 지원한다.
5. 메타데이터 기술 동향
메타데이터란 에센스에 관한 부가 데이터를 말하는 것으로 에센스의 활용 도를 높이는 기능을 한다. 메타데이터는 과거에는 에센스와는 별도로 데이터 베이스에 저장하여 사용하였으나, 최근에는 네트워크 기술의 발달로 에센스 와 관련 메타데이터를 하나의 파일에 저장하거나, 메타데이터를 표현하는 방
법을 표준화하여 이종 환경에서도 공통으로 사용할 수 있는 방법에 대한 연 구가 활발하다.
메타데이터를 표현하는 방법을 표준화하는 연구는 에센스의 물리적인 형 태나 사용 목적에 따라 각기 다른 표준화 단체가 설립되어 활동중이다. 이런 현상은 서로 중복되는 도메인에 대해서 각기 다른 규격의 메타데이터를 어 떻게 일치시키는가 하는 문제를 발생시킨다.
메타데이터는 저장 내용과 방법에 따라 에센스의 활용성을 좌우하기 때문 에, 최근 그 중요성이 높이 인식되고 있으며, 과거의 수작업에 의존한 메타 데이터 입력과 달리 자동으로 메타데이터를 생성, 검색이 가능하게 하는 연 구가 진행되고 있다. 예를 들면, IBM사에서는 코드명 ‘마블(Marvel)’이라는 검색 엔진을 개발하고 있는데, 이는 구글이나 야후에서 사용하는 주석에 의 존한 검색과는 달리 MPEG-7에 기초한 내용 기반 메타데이터를 자동으로 생성하고, 이를 이용하여 검색해 주는 새로운 방식을 취하고 있다.
Ⅲ. CORE 프로젝트
1. 개요
최근 방송 분야의 급속한 디지털화가 진행 중인 가운데, 방송 제작 분야에 서도 네트워크 기능을 갖춘 디지털 장비의 도입과 표준 기술 및 첨단 기술 채택이 가속화되고 있다. KBS 내에서도 뉴스 제작 컴퓨터 시스템, 방송 콘 텐츠 통합 시스템, NPS 시스템 등 다수의 네트워크 기반 제작 시스템 구축 사업이 진행 중 이다.
그러나 이러한 현업 사용을 목표로 한 구축 사업의 경우에는 단시일 내의 구축을 목적으로 진행되는 바, 검증된 시스템만을 활용하므로 급속한 기술 발전 변화를 고려한 최신 기술/표준화 기술/호환성 등에 대한 대비가 미흡한 실정이다. 또한, 시스템 구축 시에 특정장비나 시스템 업체에 종속될 우려가 있고 기술 축적이 어려워, 구축 요구사항 도출 및 사전 실험을 수행할 환경 의 필요성이 절실하게 되었다.
이러한 필요성에 의해 차세대 네트워크 기반 제작 환경에 대비하기 위한 미래지향적 테스트베드 시스템을 설계/구축하고, 콘텐츠 제작/관리/교환과 관련한 핵심 기술을 연구 개발하기 위한 CORE 프로젝트를 진행하고 있다.
1.1 CORE 프로젝트 목표
▣ KBS에 적합한 미래지향적 시스템 아키텍처 설계 및 비전 제시
▣ 아카이브/제작/송출 간 콘텐츠 교환 표준 모델 제시 및 핵심 모듈 개발
▣ 차세대 기능 연구 개발 및 NPS 등 사내 구축 사업 연계
1.2 CORE 프로젝트 연구개발 주요 내용
방송 제작 시스템은 인제스트 시스템/송출 시스템/공유 저장시스템/편집 시스템 등으로 구성되며 아비드, 피나클, 콴텔, 톰슨GV, 리치, 소니, SGI 등 의 회사에서 다양한 솔루션이 제공되고 있다. CORE 프로젝트에서는 기본적 인 제작 시스템 구축에 필요한 제작 장비를 구매하여 네트워크로 통합하고, 콘텐츠 흐름을 관리할 수 있는 MAM 시스템을 도입하여 소규모 제작 시스 템을 방송기술연구팀에 실험적으로 구축하고자 한다. 구축된 테스트베드 시 스템을 통해 다양한 기술 실험을 시행하고, 콘텐츠/메타데이터의 표준적 교 환 기술, 콘텐츠 관리 및 검색 기술 등 관련 핵심 기술 개발한다. (<그림 6>)
▣ 표준 기술과 개방형 구조의 테스트베드 설계/구축 o 인제스트/송출 연계 모듈 개발
o 저장 및 편집 연계 모듈 개발 o HD 입출력 실험 서버 개발 o 표준 포맷 비교 실험
▣ 콘텐츠 교환 및 관리 기술 개발
o MXF 엔진 개발, 메타데이터 스키마 개발 o 이종 CMS간 콘텐츠 교환 설계
o MAM-NLE 연계 프레임워크 설계 o 얼굴 인식 플러그인 통합
<그림 6> 시스템 개념도 및 개발 내용
2. 테스트베드 구축 및 실험
기본적인 방송 제작 장비(인제스트, 편집, 송출, 공유 저장 장치 등)를 네 트워크로 통합하고, 콘텐츠 흐름을 관리할 수 있는 콘텐츠 관리 시스템을 도 입하여 소규모 제작 시스템을 연구소에 실험적으로 구축하고 있다. 테스트 베드를 바탕으로 콘텐츠 교환 기술, 콘텐츠 관리 기술을 개발하고 적용하는 실험을 한다.
2.１ 시스템 설계
CORE 프로젝트에서 필요로 하는 테스트베드의 요구사항은 다음과 같이 요약된다.
▣ 콘텐츠 표준 포맷(MXF) 지원
▣ 메타데이타 표준 지원
▣ 다양한 하드웨어 장비 호환
▣ 업그레이드/확장 용이
▣ HD급 스트림 지원 가능
▣ 제작 워크플로우 개선을 통한 효율성 증진
▣ 다양한 구축 사업 대비 사전 실험 수행
<그림 7> 차세대 제작 환경을 위한 테스트베드의 역할
위의 요구사항을 만족하기 위하여 장비를 구성하였으며, 구성된 전체 시스 템과 미디어 흐름도는 <그림 8>과 같다.
<그림 8> 테스트베드 구성 및 미디어 흐름도
테스트베드의 미디어 포맷은 MXF(OP1a, D10)을 기본으로 하고, MXF(OP1a, DV)도 지원 가능한 구조로 설계했다. 검색용 영상으로 MXF를 MPEG-1/4 포맷으로 트랜스코딩하여 사용한다. 또한 HD 인제스트의 경우, MATROX 서버를 이용하여 MPEG-2 HD를 MXF 포맷으로 Wrapping하여 실험한다. NPS 시스템과의 연계를 고려하여 인제스트 및 공유 저장장치로의 저장을 MXF(DV)도 가능하게 설계했고, 공유 저장 장치에 저장된 영상 포
맷과 NLE에서 사용할 영상 포맷이 상이한 경우에는 트랜스코딩 서버에서 변환하여 사용한다. 편집이 완료된 경우에는 반대로 NLE의 결과를 공유 저 장 장치의 영상 포맷으로 변환하여 저장한다. 송출 서버에서는 공유 저장 장 치에 저장된 MXF 영상을 재생하여 송출한다. 공유 저장 장치의 MXF 영상 을 장기 보관하기 위해 아카이브에 저장하고, 테이프 라이브러리에 저장된 영상의 전체 또는 부분을 꺼내서 NLE나 송출 서버에서 사용할 수 있도록 MXF 영상을 공유 저장 장치에 저장하게 되는데, 테스트베드에서는 아카이 브 서버를 이용하여 시뮬레이션 환경에서 실험한다.
2.２ 입ㆍ출력 연계 모듈 개발
입출력 연계 모듈은 크게 인제스트 연계 모듈과 송출 연계 모듈로 구성된 다.
<그림 9> 인제스트 시스템 흐름도
인제스트는 인제스트 관리 시스템, 인제스트 장치, 트랜스코더, 카탈로거로 구성되며 방송 콘텐츠 관리 시스템에 있어 콘텐츠를 생성하는 부분이다. 테 스트베드에서 사용할 인제스트 장치로는 SGI 인제스트 서버, HD 실험 입출 력 서버, e-VTR, 옵티컬데크, 일반 VCR이 있다. HD 실험 입출력 서버와
SGI 인제스트 서버는 VDCP로 제어되며 인제스트와 송출 실험에 사용한다.
소니의 e-VTR과 옵티컬데크는 FTP로 제어되며 MXF 파일 인제스트에 사 용된다. 소니 VCR의 경우, RS-422로 연결되고 소니 프로토콜로 제어된다.
HD 입출력 서버는 매트록스 Xmio 보드를 이용하여 HD(MPEG-2) 포맷을 실험하고, SD 입출력 서버는 DTV/D10 보드를 이용하여 MXF(OP1a, D10) 을 실험한다. 두가지 모두 RS-422 시리얼 통신으로 VDCP 프로토콜을 통해 제어할 수 있는 모듈을 개발한다. CMS와 SGI 등의 상용 인제스트와 소니 e-VTR, 옵티컬데크 등의 장비를 이용하여 MXF 파일을 인제스트하는 환경 을 구축한다. 이 경우, 인제스트 관리 시스템은 내부적으로 MXF Unwrapper 기능을 갖고 있어 MXF 파일 내의 메타데이터를 자동으로 추출 하고 CMS에 자동 등록하는 기능을 제공한다.
<그림 10> 송출 시스템 흐름도
CMS와 출력부의 연계 실험을 위해서는 간단한 송출 제어 시스템을 구현 한다. 송출 제어 시스템에서는 공유 저장 장치의 MXF 파일을 선택하여 정 해진 시간에 송출 서버를 제어하여 영상을 송출하는 것을 실험한다. 송출 서 버로는 인제스트 실험에 사용한 SGI 서버와 HD/SD 실험 입출력 서버를 사 용한다. 송출 서버가 MXF 파일을 그대로 송출하지 못할 경우에는 트랜스코
딩 서버(TeleStream사의 FlipFactory)를 이용하여 적절한 포맷으로 변환한 후 송출한다.
2.３ 저장 연계 모듈
저장 모듈에서는 공유저장 장치에서의 콘텐츠 저장 및 관리 연구와 DIVArchive 시뮬레이션 소프트웨어를 이용하여 CMS-아카이브 연계 실험 및 공유 저장장치와 아카이간의 콘텐츠 교환과 관리에 관한 연구를 한다. 또 한 아카이브 정책, 복원 정책, 그룹 설정, 테이프 리패킹 정책을 수립하고, 아카이브내의 콘텐츠 부분 복원 등의 실험을 한다.
<그림 11> 저장 연계 모듈 흐름도
3. 콘텐츠 교환 및 관리 기술
3.1 MXF 엔진 개발
CORE 프로젝트의 테스트베드는 인제스트에서 편집, 송출까지 MXF 파일 기반의 워크플로우로 구축된다. 그렇기 때문에 MXF 파일내의 메타데이터와
에센스를 추출하는 것 이외에도 MXF에 대한 다양한 요구사항이 나오게 되 었다. 이러한 요구사항을 충족시키기 위해 상용 MXF SDK를 이용하는 대 신, MXF SDK를 자체 개발하고 이를 사용하여 MXF 운용 소프트웨어 개발 및 이종 CMS간의 콘텐츠 교환 등에 활용한다. CORE 프로젝트의 일정에 따라, 2004년까지는 MXF 엔진 개발 중 unwrapper 모듈 및 메타데이터 추 출모듈이 개발되고, 나머지 MXF 엔진 개발 및 운용소프트웨어의 개발은 2005년에 계속 진행이 될 예정이다.
MXF 상용 SDK를 분석하고 CORE 프로젝트의 요구사항을 고려한 결과 다음과 같은 MXF 엔진 요구사항이 도출되었다.
▣ MXF 엔진 요구사항
o MXF 표준 문서에 따라서 구현
o 다양한 운용 모듈 및 소프트웨어를 개발하기 위해 라이브러리로 구성 o 에센스는 D-10, DV, MPEG-2, HD를 지원
o MXF 파일내의 에센스를 쉽게 추가 가능한 구조 o XML 형식의 메타데이터 입/출력
o DMS-1 및 CORE프로젝트에서 개발중인 DMS-KBS(Descriptive Metadata Schema-KBS)를 지원
o 서술적 메타데이터 스키마는 추가 및 확장 가능한 구조
위와 같은 MXF 엔진의 요구를 만족시키기 위해 다음과 같이 MXF 엔진 의 구조를 설계하였다. <그림 12>는 MXF 엔진 구조를 블록도로 그린 것이 다. 그림에서 보는 바와 같이 MXF 표준에 정의된 데이터 타입이나 구조적 메타데이터는 MXF Core에 포함되고 에센스와 메타데이터가 확장 가능한 형태로 구성된다.
<그림 12> MXF 엔진 구조도
▣ MXF 엔진 모듈
o UMID 생성 및 분석 API 개발
MXF 엔진은 표준 식별자인 UMID 생성 및 분석 API를 포함하여, 새로운 에센스에 유일한 식별자를 제공하고 MXF내의 UMID를 분석하는 모듈을 제 공한다.
o MXF Unwrapper API 개발
MXF Unwrapper API는 MXF 파일 구조를 파싱하여 전체 구조를 파악하 고, 구조적 메타데이터와 서술적 메타데이터 및 에센스 임의접근을 위한 Index Table을 분석하여, MXF 파일내의 메타데이터와 에센스를 사용하는 기능을 제공하기 위한 API이다. 이를 위해 MXF 파일 내의 IMX, DV, MPEG2, HD 에센스 정보를 분석하고, 각 에센스의 저장 상태를 파악하는 API가 개발되었다. 이것은 인제스트 단에서 입력된 MXF 파일의 Metadata 를 추출하여 CMS에 전달하고, MXF 내의 에센스를 추출하여 가편집 영상 으로 변환하는 트랜스코더 및 MXF 파일재생기의 기본 모듈로 활용될 것이 다.
<그림 13> MXF 인제스트 워크플로우
o MXF 메타데이터 추출기 개발
MXF 메타데이터 추출기는 MXF unwrapper API를 이용하여 계층구조로 분석된 메타데이터를 XML파일 출력을 제공한다. XML 파일 출력을 위해서, 아파치에서 개발한 Xerces 2.6 XML 라이브러리를 이용하였다. 결과로 나온 XML파일은 <그림 14>와 같다.
<그림 14> MXF 메타데이터 XML형식으로 추출 결과
3.2 메타데이터 스키마 개발
CORE CMS 메타데이터는 CORE 프로젝트의 콘텐츠 관리 서버가 저장/활 용/관리하는 메타데이터를 의미한다. 메타데이터 정의를 위해, 기존에 구축 되어 사용 중인 KBS 내의 방송 시스템에서 사용중인 메타데이터를 조사, 재검토하여 <그림 15>와 같이 CORE CMS 메타데이터에 반영하였다. 그리 고 CORE CMS 메타데이터는 코난테크놀로지사의 CMS에서 사용하는 메타 데이터를 포함하고, MXF의 서술적 메타데이터로서 KBS 환경에 알맞게 설 계한 DMS-KBS를 포함한다.
<그림 15> CORE CMS 메타데이터
코난테크놀로지사에서 개발한 CMS에서 사용중인 메타데이터를 <그림 16>과 같이 조사하여 CORE 프로젝트에서 사용할 메타데이터를 선정하였다.
코난테크놀로지 CMS에서 사용하는 메타데이터는 인제스트 단말에서 입력되 거나, 카탈로거에서 자동으로 생성된다. 이렇게 생성된 메타데이터는 콘텐츠 관리 서버와 검색 서버에 의해 관리되며, 검색단말을 통해 메타데이터는 검 색이 가능하다.
<그림 16> 코난테크놀로지 CMS의 주요 메타데이터
CORE CMS 메타데이터 스키마에 대한 연구를 바탕으로 콘텐츠 관리 및 교환에 적합한 DMS-KBS를 정의하였다. DMS-KBS는 KBS 제작 환경 내 에센스/메타데이터 교환을 위한 메타데이터 스키마로서, 이종 CMS간 콘텐 츠 교환시 MXF 파일에 포함되어 에센스와 함께 이용된다. DMS-KBS는 SMPTE 표준인 DMS-1 스키마를 바탕으로 정의되었다. DMS-1의 제작/클 립/씬 프레임워크의 메타데이터 셋을 조사하고, 그 중에서 CORE 프로젝트 의 필요성에 적합한 메타데이터를 선택하였다. DMS-KBS는 하나의 소스 클 립을 기초로 하기 때문에, MXF 운용패턴 모델은 OP-1a와 OP-atom만을 고 려하였다. DMS-KBS는 MXF 구조적 메타데이터의 에센스 정보 중 필요한 셋을 포함하였다. 예를 들어 해상도, 오디오 샘플링, 압축 비트율 등의 에센 스 정보는 DMS-KBS에 포함된다. DMS-1의 메타데이터 중에서, DMS-KBS에서 사용할 필수/확장 메타데이터 셋은 다음과 같다.
▣ 필수 메타데이터 셋
o 제작 프레임워크 : 제목, 신원정보, 그룹정보, 방영채널, 이벤트, 주석, 방영일시, 계약 및 권리, 프로젝트, 출연자 정보
o 클립 프레임워크 : 제목, 캡션, 이미지포맷, 디바이스 정보, 프로세싱, 주석, 스크립트, 샷(키 포인트)
o 씬 프레임워크 : 제목, 출연자, 주석, 샷(키 포인트)
▣ 확장 메타데이터 셋
o 제작 프레임워크 : 이미지포맷, 캡션, 시상
o 클립 프레임워크 : 프로젝트, 계약 및 권리, 출연자 정보, 연락처 o 씬 프레임워크 : 시간/기간정보, 연락처
3.3 이종 CMS간 콘텐츠 교환 설계
비디오/오디오 아카이브, 네트워크 제작 시스템(NPS, 뉴스제작 시스템 등), 자동 송출 시스템 등 콘텐츠가 대규모로 관리되어야 하는 시스템이 향 후 지속적으로 구축될 것이며, 이러한 제작 시스템 단위로 콘텐츠의 흐름과 장비 제어를 위한 콘텐츠 관리 시스템 또한 동시에 도입될 것이다.
그러나, 사업 주체의 차이, 콘텐츠 관리 목적, 시스템 규모, 운영 특성 등 다양한 이유 때문에 동일한 종류의 CMS가 구축되기는 힘들 전망이다. 이런 추세 속에서 향후 몇 년 이내에 방송국내에는 다양한 이종 CMS가 존재하는 환경이 도래할 것이다. 설령, 동종의 CMS라 하더라도, 다른 제작 단위에서 사용 중인 미디어 자산을 활용하고 싶은 경우, 미디어 관리 담당자로부터 테 이프를 대출하는 형식보다는, 데이터베이스를 통해 미디어를 검색하고 네트 워크를 통한 미디어 교환 방안이 수립되어야 할 것이다.
지금까지 설명한 것처럼, 이러한 이종 CMS 간 콘텐츠 교환은 네트워크 기반의 제작 환경에서는 필수적으로 야기될 수 있는 문제이므로 CORE 프로 젝트에서 이의 해결을 위한 모델 및 시스템 설계를 진행 중에 있다. 이종 CMS는 제조사가 다른 것으로 간단하게 구별될 수 있으나, 기술적으로는 서
로 다른 물리적 위치에 존재하며, 사용되는 명령어 체계, 데이터베이스가 다 른 시스템으로 정의할 수 있다.
<그림 17> 이종 CMS간 콘텐츠 교환 모델
이종 CMS 간의 콘텐츠 교환을 고려함에 있어서는 우선, 교환될 콘텐츠와 콘텐츠 교환 방식을 규정해야 한다. CMS 간 교환될 콘텐츠는 미디어 에센 스와 에센스를 기술하는 메타데이터가 대표적이다. 에센스는 다양한 포맷으 로 존재할 수 있으므로, 다양한 포맷이 수용가능하며 표준적인 파일 포맷인 MXF로 래핑한 다음 에센스 교환을 수행하는 것이 바람직할 것이다. 메타데 이터는 CMS마다 그 체계가 다를 수 있으므로, 모든 CMS에 공통으로 적용 될 수 있는 DMS-KBS 체계로 각 CMS의 메타데이터를 변환한 다음, 메타 데이터 교환을 수행하게끔 설계하였다. (<그림 17>)
이종 CMS 간의 콘텐츠 교환 방식은 이종 CMS 서버간 교환(①), 클라이 언트와 동종 CMS와의 교환(②), 클라이언트와 이종 CMS 서버와의 교환 (③)으로 나누어 설계를 진행 중이다. (<그림 18>) <표 2>는 각각의 교환 방식의 기능을 설명하고 요청 메시지의 예를 보여준다.
<그림 18> 이종 CMS간 콘텐츠 교환 방식
<표 2> 이종 CMS간 콘텐츠 교환 방식 설명
분류 이종 CMS 서버간 교환(①)
클라이언트와 동종 CMS와의 교환(②)
클라이언트와 이종 CMS 서버와의
교환(③)
기능
‧ 통신 설정
‧ 타 CMS로의 검색 요청 전송
‧ 타 CMS로부터 검색 결과 수신
‧ 상태 메시지 전송/수신
‧ 권한 확인
‧ 검색 요청 전송
‧ 검색 결과 수신
‧ 상태 메시지 전송/수신
‧ 통신 설정
‧ 타 CMS로부터 검색 결과 직접 수신
‧ 상태 메시지 수신
메시지 예
메타데이터 요청 (CMS_ID, Status, DMS_KBS 리스트)
메타데이터 요청 (Status, 자체 CMS
메타데이터)
에센스 수신 (CMS_ID, Status,
에센스 파일, DMS_KBS리스트)
3.4 MAM-NLE 연계 프레임워크 설계
그동안 비선형 편집기는 편집 위주의 독립 장비로 많이 사용되었으나, 최 근, 영상 소재의 촬영, 취재, 전송, 분배, 저장, 편집, 송출에 이르는 모든 과 정이 온라인 화되는 추세 속에서 네트워크 기반 제작 시스템의 핵심 장비로 인식되고 있다. 특히, 디지털 뉴스 룸에서는 취재, 전송, 편집, 송출에 고도의
신속성이 요구되어, 기사 작성과 동시에 컷 위주의 가편집을 수행하는 방식 을 채택함으로써 비선형 편집의 진가를 확인할 수 있게 되었다. 점차, 이러 한 비선형 편집기의 사용은 다큐멘터리, 드라마 등의 방송 프로그램 제작 전 반으로 그 응용분야가 확대되고 있는 추세이다.
비선형 편집기는 자체적으로 인제스트 수행 능력을 갖추고 있어, 인제스트 된 로컬 미디어만을 편집에 활용할 수도 있으나, 방송 제작 시스템 전반을 관장하는 MAM 시스템에 연동됨으로써 공유저장장치의 미디어 재활용, 클 립 및 편집물 검색, 온라인 동시 편집, 자동 백업 등 자동화된 멀티 소스/멀 티 유즈 환경의 이점을 극대화할 수 있게 된다. 따라서, CORE 프로젝트에서 독립적으로 운용되던 비선형 편집기와 MAM과의 연동을 위한 표준 프레임 워크를 설계하고 이의 유용성을 구현을 통해 검증하고 실험하고자 한다. 특 히, 현재 방송기술연구팀에서 개발 중인 차세대 NLE Edi-K와의 연동에 중 점을 맞추어 기본 설계를 진행하고, 도출된 설계안을 토대로 상용 NLE와의 효과적인 연동 방안에 대한 연구도 수행할 것이다.
<그림 19> Edi-K의 클립 검색 윈도우 통합 방안
MAM과 NLE간의 연계 프레임워크는 크게 세 가지 측면에서 설계되어야 한다.
첫째, MAM에서 제공하는 클립 검색 기능을 NLE와 통합하는 측면이다.
이러한 통합을 통해 NLE는 공유저장장치의 풍부한 자원을 네트워크를 통해 활용하고 다른 NLE의 편집 결과를 검색하는 것이 가능하게 된다. 현재, Edi-K의 경우는 MAM과 DLL 레벨에서의 완전한 통합이 가능할 것으로 확 인되어, Edi-K 편집기내에 클립 검색 윈도우를 통합할 수 있을 것으로 판단 된다.(<그림 19>) 아비드, 애플, 피나클 등에서 만든 상용 편집기의 경우에 는 각 업체에서 제공하는 프로그램 인터페이스를 활용하여 별도의 클립 검 색 윈도우에서 드래그 앤 드롭 방식의 통합이 가능한 구조로 설계를 진행하 고 있다.
둘째, NLE의 편집 결과는 콘텐츠의 관리와 송출을 위해서 MAM에 등록 되어야 하며 이를 위한 프레임워크가 고려되어야 한다. Edi-K의 경우에는 편집 결과를 XML(eXtensible Markup Language) 형태의 공통 포맷으로 정 의한 후, MAM에서 XML 파일을 관리하게 설계하여 호환성을 증대할 수 있 는 방안으로 설계되었다. XML에는 프로젝트, 빈, 시퀀스 등의 정보가 포함 되어 MAM에서 통합 관리가 가능한 장점이 있다. 상용 편집기의 경우에는 XML과 같은 공통 포맷을 적용하기 어려우며, 2차 등록 작업을 통해 MAM 에 등록하게 된다. 2차 등록 작업은 인제스트를 수행하여 저해상도 포맷 영 상을 생성하고 스트리밍 서버 및 콘텐츠 관리 서버에 등록하며, 관련 메타데 이터(제목, 등록자, 등록일 등)를 MAM에 등록하는 과정이다. 이렇게 등록된 편집 결과물은 검색이 가능하여 재편집에 활용될 수 있을 것이다.
셋째, 프레임워크는 다양한 편집기 각각에 적합한 가편집 EDL 포맷을 생 성할 수 있는 구조로 설계되어야 한다. 이를 위해서 MAM에서는 가편집 결 과를 별도로 저장하고 있고, 가편집기의 요청에 의해 다양한 편집기에 대응 하는 EDL로 포맷 변환을 수행하는 방법으로 설계하였다. 이를 위해서 우선 상용 편집기 고유의 EDL 포맷을 분석하는 작업과 Edi-K EDL 포맷 규격을 선정하는 작업이 선행되어야 할 것이다.
Ⅳ. 내용기반 검색 실용화 연구
1. 개요
방송 자산의 디지털 아카이브화가 본격적으로 진행됨에 따라, 소유하고 있 는 자산의 활용도를 높이기 위해 사용자가 필요한 자산을 쉽고 빠르게 검색 하고, 응용하고자 하는 상태로 가공하여 받아볼 수 있게 하는 기술에 대한 요구가 증가하고 있다. 특히, 자산을 쉽고 빠르게 검색하는 기술은 자산 고 유의 특성을 고려하여 검색에 필요한 메타데이터 생성 작업을 최대한 자동 화하는 연구들이 활발히 진행되고 있다.
본 연구팀에서는 얼굴 인식 기술을 이용하여 등장인물 메타데이터 자동 생성 기술을 개발한 바 있다. 등장인물 메타데이터란 해당 비디오의 어느 부 분에 어떤 인물이 등장하는지에 대한 정보로써, 등장인물의 이름, 해당 비디 오에서의 위치, 등장 시간 정보 등을 포함한다. 방송 영상에 활용 가능한 얼 굴 인식 기술은 방송 비디오가 다수의 인물이 빈번하게 등장, 퇴장하는 등 변화가 다양하기 때문에, 한 화면에서 여러 얼굴을 동시에 검출할 수 있어야 하고 검출한 얼굴은 정확하게 인식할 수 있어야 한다. 또한 하루에 수십 개 의 비디오가 생성되는 방송국 환경에서는 신속성도 중요한 요소이다.
본 연구에서는 기 개발된 방송 영상에 활용 가능한 얼굴 검출 및 인식 알 고리듬을 실제 미디어 아카이브에서 적용할 수 있도록 더욱 성능을 향상시 켰다. 더불어, 적용 편의를 위해, 기 개발한 프로그램을 미디어 아카이브의 인제스트 단계에 사용하는 카탈로깅 시스템의 플러그인으로 개발하였다. 본 연구에서는 얼굴 인식 기술을 이용한 등장인물 메타데이터 생성 프로그램을
‘CARA’라 명명하고, 전년도에 개발한 독립 프로그램을 ‘CARA Standalone’, 이번 연도에 개발한 플러그인을 ‘CARA Plug-in’으로 구분한다. CARA 시스 템에는 얼굴 인식 기술에서의 오류 발생 가능성을 고려하여, 사용자가 오류 를 쉽게 수정할 수 있도록 하는 편의 기능이 함께 제공된다.
CARA Plug-in은 KBS 방송 콘텐츠 통합 검색 시스템과 디지털 보도 영 상 시스템 내 카탈로깅 시스템에 적용하여 현재 활용 중에 있으며, 향후 CORE 프로젝트에서의 활용을 위해 코난테크놀로지사의 카탈로깅 시스템에 플러그인 작업을 완료하였다. 인물 검색 기능은 독립적으로 사용 가능할 뿐 만 아니라, 다른 검색 기능과 동시에 사용하여 사용자가 찾고자 하는 비디오 특정 부분을 정확히 검색하는데 상당한 도움을 줄 수 있다.
2. 향상된 얼굴 검출/인식 알고리듬
동영상에 적용 가능한 얼굴 인식 기술은 얼굴 검출 단계, 검출된 얼굴의 정규화 단계, 얼굴 인식 단계를 거친다. 동영상에서 향상된 얼굴 인식 성능 을 위해서는 세 단계의 알고리듬 모두 정확성, 신속성을 보장하여야 한다.
본 연구에서는 전 년도에 개발한 검출 알고리듬보다 빠르고, 검출률이 높은 검출 알고리듬을 개발하였다. 얼굴 정규화에서는 얼굴 구성 요소 중 눈에 중 점을 두어 검출된 눈 위치를 정확히 보정하고, 인식을 위한 특징점을 찾아내 는 알고리듬을 개발하였다. 정확한 얼굴 정규화는 인식률을 높이는 근간이 되며, 실제로 개선된 얼굴 정규화 방법으로 인식률이 향상됨을 알 수 있었 다. 마지막으로 얼굴 인식 알고리듬은 새로운 알고리듬을 개발하지는 않았으 나, 기 개발한 얼굴 구성 요소 기반의 DCT/LDA(Discrete Cosine Transform/Linear Discriminant Analysis) 방법이 방송 영상에서 다른 인식 방법보다 성능이 우수함을 실험을 통해 입증하였다.
2.1 얼굴 검출 성능 향상
동영상에서는 얼굴 인식을 위해 정확한 얼굴 위치를 찾는 것이 우선적으 로 필요하다. 한 장의 이미지에서 어느 부분이 얼굴 영역인지 아닌지를 판별 해 내는 방법으로는 SVM(Support Vector Machine) 방법과 boosting 방법 이 많이 사용된다. 이 중 boosting 방법은 간단하고 성능이 낮은 약한 판별
기(weak classifier)들을 모아서 하나의 강한 판별기(strong classifier)를 생 성하는 방법으로 약한 판별기의 성능과 이들을 서로 연결하는 구조에 따라 그 성능이 달라진다. 반면, SVM 방법은 데이터 특성을 두 가지 부류 혹은 여러 부류로 구분할 수 있는 하나의 평면을 생성해 내는 방식으로, 데이터의 특성에 따라 속도가 많이 좌우된다. 방송 영상에 포함된 얼굴은 조명, 회전 등 변화가 다양하기 때문에 다양한 특성의 데이터에서도 성능을 어느 정도 유지할 수 있는 boosting 방법을 이용한 얼굴 검출 방법이 적합하다.
<그림 20> AdaBoost 알고리듬의 계단식 구조
Boosting 방법 중에서도 AdaBoost기반 얼굴 검출 방법은 원래 Freund가 제안한 AdaBoost 알고리듬을 Viola가 얼굴 검출에 적용한 방법으로 간단한 얼굴 특성값으로 구성된 약한 판별기를 <그림 20>과 같은 계단식(cascade) 구조로 연결하여 빠르면서도 높은 검출률을 보인다. 본 연구에서는 AdaBoost기반 얼굴 검출 방법을 얼굴의 어두운 부분과 밝은 부분이 나타내 는 특성값으로 약한 판별기를 생성하여 구현하였다.
구현된 AdaBoost기반 얼굴 검출 방법은 CNN 뉴스 비디오에서 선택한 144개의 정면 얼굴을 포함하는 100 장의 이미지를 대상으로 Pentium-III 800MHz PC에서 실험했을 때, SVM보다 20% 정도 향상된 검출률과 3배 정 도의 빠른 속도를 보였다. <표 3>은 각 얼굴 검출 방법의 상세한 검출률과 속도를 표시한다. <그림 21>은 얼굴 검출 결과 화면이다.
<표 3> 얼굴 검출 성능
SVM AdaBoost
평균 검출률 62.0 % 83.3 %
평균 검출 속도 331 120
<그림 21> 얼굴 검출 결과
2.2 얼굴 정규화 성능 향상
얼굴 정규화란 얼굴 인식 알고리듬에 적합하도록 일정한 크기와 동일한 위치로 검출된 얼굴 영역을 변형하는 과정이다. 따라서 얼굴 정규화의 정확 도가 얼굴 인식 성능에 상당한 영향을 준다. 본 연구에서는 얼굴 정규화의 기준으로 눈 위치를 선정하였다. 이를 위해 검출된 얼굴 영역에서 눈 영역 검출하고, 눈 위치를 보정하여 정확한 눈 위치를 찾아낸다. 찾아낸 눈 위치 를 기준으로 인식 알고리듬에 사용할 얼굴 특징점(landmark)을 추출한다.
먼저, 눈 영역을 검출하는 방법은 얼굴 영역과 마찬가지로 AdaBoost 방법 을 사용하였다. 즉, 눈 영역을 지칭할 수 있는 특징값으로 약한 판별기를 구 성하고, 이들을 계단식 구조로 연결하여 눈 영역을 판별해 낸다.
다음, 찾아낸 눈 영역에 대해서 정확한 눈 위치를 찾기 위해 영역 확장 (region growing) 방법을 사용하였다. 영역 확장 방법은 <그림 22>와 같이 잘못 찾아진 눈 영역에 대해서도 특정 방향으로 영역을 확장해 나가면서 가 장 어두운 부분 즉, 눈의 위치를 찾아내어 초기에 검출한 눈 위치를 보정하
는 기능을 한다. <그림 22>의 예에서는 얼굴의 오른쪽 부분에 눈 영역이 검 출되었으나, 정확한 위치를 찾기 위해 오른쪽으로 계속 얼굴 영역을 확장해 가며, 정확한 눈 위치를 찾아냄을 보인다.
<그림 22> 영역 확장 방법을 이용한 눈 위치 보정
이렇게 찾아진 눈 위치를 일정한 위치로 고정함으로써, 얼굴 인식에 사용 할 특징점이 동일한 조건에서 선택되게 된다. 실제로 얼굴 인식에 사용한 특 징점은 <그림 23>과 같이 총 76개이다. 변화가 많은 눈과 입 구성 요소에 상대적으로 많은 특징점을 배치함으로써 구성 요소의 변화에 따른 오인식을 줄일 수 있도록 하였다. <그림 24>는 정규화 과정 이후 특징점을 찾은 결과 를 보인다.
<그림 23> 인식에 사용할 특징점 위치, 개수
<그림 24> 정규화를 거친 특징점 검출 결과
2.3 얼굴 인식 성능 비교
본 연구에서는 조명, 각도 등 다양한 변화를 갖는 방송 영상에 포함된 얼 굴 인식을 위해 구성 요소 기반의 DCT/LDA 방법을 제안한 바 있다. 제안 한 DCT/LDA의 성능 향상에 대한 검증을 위해 기존에 주로 사용하던 얼굴 인식 방법인 PCA(Principal Component Analysis), 2DPCA, PCA/LDA 등과 제안한 구성요소 기반의 DCT/LDA를 다양한 변화에 따라 그 성능을 비교하 였다. 즉, <그림 25(a)>는 얼굴의 회전 정도에 따른 각 방법의 인식률 변화 를, <그림 25(b)>, <그림 25(c)>는 얼굴의 상하 이동과 좌우 이동에 따른 각 방법의 인식률 변화를, 마지막으로 <그림 25(d)>는 얼굴의 스케일링 정 도에 따른 각 방법의 인식률 변화를 보여준다. 이 실험은 MPEG-7에서 제 공하는 Altkom 얼굴 데이터 셋을 사용하여 수행하였으며, 750장의 이미지를 먼저 학습하여 기준 벡터를 만들고, 390장의 이미지를 등록해 놓은 상태에서 인식 결과를 테스트하였다. 테스트한 얼굴 이미지는 총 80장이다. 실험 결과 에서 불 수 있듯이, 구성 요소 기반의 DCT/LDA 방법이 모든 변화에 대해 좋은 성능을 보임을 알 수 있다.
<그림 25> 얼굴 인식 방법의 성능 비교
3. CARA Plug-in 개발
CARA 시스템은 동영상을 활용하는 다른 시스템에서 간편하게 플러그인 하여 기능을 사용할 수 있도록 플러그인 버전으로도 개발하였다. 전 년도에 개발한 CARA Standalone은 독립적인 인터페이스를 사용하여, 전체 동영상 에서 등장하는 각 인물의 등장 위치나 빈도를 쉽게 파악할 수 있는 등장 인 물 분석 기능을 위주로 하였다. 그러나 CARA Plug-in은 특정 기능이 있는 응용 프로그램에 하나의 모듈로 플러그인 하는 것이 목적이기 때문에 인터 페이스 보다 CARA 시스템이 제공하는 정보를 쉽게 전달할 수 있는 기능에 중점을 두었다. 개발된 CARA Plug-in은 특히, 모든 영상을 디지털화하여 다양한 인덱싱 기능을 제공하는 Virage사의 'VideoLogger' 카탈로깅 시스템 과 플러그인하여 유용성을 입증하였다.
3.1 CARA Plug-in 기능
개발된 CARA Plug-in은 CARA Standalone과 마찬가지로 인물 등록기와 인물 인식기로 나뉜다. 인물 등록기는 인식할 인물 DB(DataBase) - 인물 이름과 해당 인물 이미지의 특징 값들의 모음 - 을 만드는 기능을 하는 것 으로, 플러그인 시에도 별도의 프로그램으로 존재한다. 생성된 인물 DB는 플러그인 되어있는 인물 인식기에서 사용할 수 있도록 XML 파일로 저장된 다. 인물 인식기는 인물 DB를 사용하여 입력 비디오에서 인물을 인식하고, 플러그인 되어 있는 응용 프로그램에서 결과를 활용할 수 있도록 전달하는 기능을 한다. <그림 26>은 인물 등록기와 인물 인식기의 기능을 나타낸다.
<그림 26> CARA Plug-in의 구조 및 기능
인물 등록기는 <그림 27>의 인터페이스에서와 같이 입력 비디오 혹은 이 미지에서 인식한 얼굴을 리스트로 표시하고, 오인식된 인물 이름을 수정하는 기능과 인식된 각 인물에 대하여 인물 DB에 등록된 동일 인물의 얼굴 이미 지를 확인할 수 있는 기능을 제공한다. 또한 등록될 얼굴 이미지는 XML 파 일에 필요시 추가할 수 있다. CARA Plug-in의 인물 등록기는 입력된 각 이
미지에 대하여 다수의 얼굴이 검출 가능하며, 다수의 얼굴 이미지를 동시에 수정할 수 있는 등 편리성이 제공된다.
<그림 27> 인물 등록기 인터페이스
<그림 28> 인물 인식기의 결과
인물 인식기의 결과는 <그림 28>과 같이 VideoLogger의 기본 인터페이스
에서 입력된 시간 순서에 따라 프레임 이미지에 얼굴 영역을 표시하거나 리 스트에 인물 이름 및 등장 시간을 표시한다.
3.2 CARA Plug-in과 FaceIt의 성능 비교
이미 상용화되어 있는 얼굴 인식 플러그인으로는 Visionics사의 FaceIt이 있다. FaceIt은 ‘Smart Faces'라는 인물 등록기와 인물 인식기로 구성된다.
FaceIt은 현재까지는 가장 널리 사용되고 있는 얼굴 인식 플러그인이나, 하 나의 이미지에서 다수의 얼굴 검출이 불가능하고, 인식된 결과의 일괄적인 수정 기능이 제공되지 않는다. 또한 <표 4>, <표 5>와 같이 얼굴 검출률과 인식률 측면에서 CARA Plug-in보다 낮은 성능을 보였다. 얼굴 인식 성능 평가를 위한 실험에서는 가을 동화 3회에 등장하는 6명의 인물에 대해 총 4 장씩의 이미지를 등록한 상태에서 가을 동화 6회를 입력하여 수행하였다.
<표 4> 얼굴 검출률 비교
실험 영상 CARA Plug-in FaceIt 가을 동화 6회 88.7 % 53.8 %
KBS 뉴스 9 78.2 % 44.2 %
<표 5> 얼굴 인식률 비교
실험 영상 CARA Plug-in FaceIt 가을 동화 6회 76.1 % 48.2 %
4. CARA Plug-in의 실용화
본 연구에서는 CARA Plug-in을 실제 사용하고 있는 디지털 아카이브 시 스템에 적용하여 실용화하였다. 즉, 적용된 시스템은 외신 뉴스를 저장, 편집 하는 ‘디지털 보도 영상 시스템’ 과 KBS 방송 콘텐츠를 통합, 관리하는 ‘방 송 콘텐츠 통합 검색 시스템’ 그리고 'CORE 프로젝트' 시스템이다.
디지털 보도 영상 시스템에서는 CARA Plug-in에서 생성한 인물 인식 결 과를 자체 아카이브에 다른 메타데이터와 함께 저장하여, 인물 검색 및 다른 검색의 보조 수단으로 활용하고 있다. 통합 검색 시스템에서는 인물 인식 결 과를 자체 관리하는 KBS 인물 DB의 인물 ID로 변환하여 저장하며, 이의 결과를 최종 사용자가 검색에 사용할 수 있도록 하는 인터페이스 작업을 2005 년도에 진행할 예정이다. 마지막으로 CORE 프로젝트 시스템에서는 프 로젝트가 완료되는 시점까지 인물 검색 결과를 활용하는 인터페이스를 새로 추가할 예정에 있다.
4.1 디지털 보도 영상 시스템에의 적용
디지털 보도 영상 시스템은 자체 스케쥴러를 통해 외신 뉴스가 방송되는 시간에 자동으로 영상 저장을 수행하며, 이 때 VideoLogger는 영상 저장과 함께 메타데이터를 생성한다. VideoLogger는 배치 모드로 작동하고 있기 때 문에 메타데이터 생성과 저장에 사람이 개입하지 않는다. 따라서 생성된 메 타데이터는 디지털 보도 영상 시스템의 데이터베이스인 media360에 자동으 로 저장되며 자산 관리자가 후에 주기적으로 media360에 접속하여, 저장된 메타데이터 중 필요 없는 부분을 삭제하거나 오류 부분을 수정하는 작업을 한다. <그림 29>는 디지털 보도 영상 시스템에서 CARA Plug-in의 동작 과 정을 보여준다.
<그림 29> 디지털 보도 영상 시스템에서의 CARA Plug-in 동작 과정 디지털 보도 영상 시스템에 저장된 얼굴 인식 결과는 키프레임과 인물 명 으로 저장되어 디지털 보도 영상 시스템의 검색 클라이언트에 표시된다. <
그림 30>의 인터페이스에서 키프레임 위에 표시된 빨간 네모 영역이 얼굴인 인식된 부분이며, 얼굴 영역에 마우스를 위치시키면 인물 이름을 확인할 수 있다. 또한 각 키프레임 아래에 ‘EDIT' 버튼이 있어 인식 오류가 발생했을 때, 자산관리자가 인식 결과를 수정할 수 있다.
디지털 보도 영상 시스템에서 사용하는 VideoLogger는 다른 유관 시스템 들과 함께 KBS 국제 뉴스 아카이브 실에 설치되어 있으며, 현재 CNN, Reuter, APTN, 북한 중앙 TV, CCTV 등의 6 채널을 6개의 VideoLogger(3 개의 시스템, 시스템 당 2개)가 저장 및 카탈로깅하고 있다. 이 중 CARA Plug-in은 세 번째 시스템에 적용되어, CNN과 북한 중앙 TV에 대한 인물 정보를 생성하고 있다. 향후 일반 사용자들의 사용 실적에 따라 적용 채널을 점차 확대해 나갈 예정이다. <그림 31>은 국제 뉴스 아카이브 실에 위치한 CARA Plug-in이 설치되어 있는 VideoLogger 시스템 사진이다.
