정보통신 방송 연구개발 사업·
개방형 미디어 생태계 구축을 위한 시맨틱 클러스터 기반 시청상황 적응형 스마트방송 기술 개발
(Development of Smart Broadcast Service Platform
based on Semantic Cluster to Build an Open-media Ecosystem)
2016. 01. 29.
한국전자통신연구원 미래창조과학부
일반과제( ) B0126-15-1002○
제 출 문
미래창조과학부 장관 귀하
이 보고서를 개방형 미디어 생태계 구축을 위한 시맨틱 클러스터 기반 시청상황 적응 형 스마트방송 기술 개발 과제의 보고서로 제출합니다
2016. 01.
주관연구기관 한국전자통신연구원 총괄 책임자 김선중
참여연구기관 헬로비전 참여 책임자 이종한
참여연구기관 마크애니 참여 책임자 신동환
참여연구기관 다이퀘스트 참여 책임자 장효준
참여연구기관 디에스플러스텍 참여 책임자 전남중
해당 연도 추진 현황 기술개발 추진 일정
계획 실적
일련
번호 개발 내용 추진 일정 개월 달성도
1 방송 콘텐츠 분석을 통한 Shot 추출 기술 sequence
2 Shot 간 연계성 분석을 통한 타임라인 생성 기술 3 타임라인 메타데이터 생성 및
반자동 결합 기술 4 크라우드 소싱 기술 5 콘텐츠 토픽 추출을 위한 학습
기술
6 반자동 토픽 레이블링 기술 7 비정형 데이터 구조화 기술 8 비정형 데이터 키워드 추출
기술
9 시청자 사회관계망 분석 기반 시청자 프로파일링 기술 10 실시간 방송 콘텐츠 인지 기술
알고리즘 상세설계 11 실시간 방송 콘텐츠 인지 기술
알고리즘 개발
12 개방형스마트미디어기반 시스템 프로토타입 개발 13 비정형 데이터 저장소 구축 14 콘텐츠 시청자 특화 정보 수집/
및 관리 기술
15 타임라인 메타데이터 규격 정의 16 MSO 방송플랫폼 정합 모듈
개발
17 MSO 방송플랫폼 스트리밍 서버 연동 개발
18 타임라인 메타데이터기반 미디어커머스 서비스 개발
해당 연도 추진 실적
계획 추진실적
시맨틱 클러스터링 .
Ⅰ
기술 개발
방송 콘텐츠 분석을 통한 추출 기술 1. Shot sequence
다차원 특징 기반의 다중 의미 표현을 위한 샷 단위 다중 특징 추출 모듈 개발 o
방송 콘텐츠를 구성하는 의미적 최소 단위인 샷 추출 -
추출된 샷에 대해 영상 음성 텍스트 특징을 추출
- , ,
영상 특징
· : HS histogram, RGB histogram, intensity, motion flow
· 음성 특징: Spectrum flux, Noise frame ratio, Band periodicity, HZCRR(High Zero Crossing Rate Ratio), LSTER(Low Short Time Energy Ratio)
샷 단위 자막 파일 및 스트림 기반 자막 추출
· : (smi) (mpeg2-TS)
그림 1. 방송콘텐츠 샷 분할
그림 2. 샷 추출 결과
그림 3. 추출된 샷에 대응하는 특징의 예 o 연구결과물
기술분석서 종 방송 콘텐츠 샷 분할 및 특성 추출 기술 분석
- 1 , “ ”2015.12.
상세설계서 시맨틱 클러스터 블록 상세설계서 내 내용 포함
- ( “ ” , 2015.09.)
특허 -
국내특허 출원 건
· ( 1 )
콘텐츠 적응형 임계치 적용을 통한 샷 분할 방법 및 절차 출원번호
+“ ”
(10-2016-0008226), 2016.01.
방송콘텐츠 샷 분할 및 특징 추출
- S/W
간 연계성 분석을 통한 타임라인 생성 기술 2. Shot
장면 생성을 위한 다중 특징 기반 기술
o AMSC(Adaptive Multiview Spectral Clustering) 개발
영상 음성 텍스트 등 특징에 따라 장면 생성에 대한 서로 다른 정보를 표현하고 - , ,
있음을 감안하여 이들 간 자동 결합을 위한 Co-training approach 적용
그림 4. 특징에 따라 다르게 표현되는 shot 간 연계성 다중 특징 간 독립성 학습을 통해 특징 결합에서 발생하는 오류를 최소화 -
특징의 종류 수에 관계없이 고성능의 데이터 클러스터링 수행
- ,
를 이용한 성능 측정 결과
- Benchmark data (Reuters Multilingual dataset)
다중 특징을 가지는 문서 데이터로 이루어져 있으며
· Reuters Multilingual dataset: , 의 성능 검증을 위해 널리 사용되는 데이터 셋
multiview clustering
그림 5. 클러스터링 성능
그림 6. 학습에 따른 기존 기술 대비 성능 향상
· 기존 기술 대비 평균 4.2%의 ARI(Adjusted Rand Index) 성능 향상 확인
선형장면 생성을 위한 샷 클러스터 기반의 기술 개발
- (linear scene) soft-link merge
· 시간 근접성(temporal proximity)를 기반으로 클러스터 간 거리를 측정하고 측정된, 거리를 이용하여 유사도를 재계산하여 시간축에서 연속적인 샷들로 장면 구성
그림 7. 자동 생성된 장면 종의 방송 콘텐츠 편의 회별 프로그램에 대해 성능 측정
- 3 10
대상 콘텐츠 미스코리아 편 편 풍문으로 들었소 편 편 비밀 편
· : (4 , 1~4 ), (3 , 1~3 ), (3 , 편
1~3 )
표 1. 3종의 방송 콘텐츠 10편의 회별 프로그램에 대해 성능 측정 콘텐츠명 회차 샷의 수 장면 수 장면 당 평균 샷의 수
미스코리아
1 362 13 27.8
2 247 14 17.6
3 247 15 16.4
4 288 12 24.0
풍문으로 들었소
1 136 18 7.5
2 116 15 7.7
3 108 20 5.4
비밀
1 349 15 23.2
2 481 19 25.3
3 376 16 23.5
장면 분할 성능 달성 기존 기술 대비 향상 목표대비 초
· 81.3 % (AIR) , 3% , 6.3%
과 달성 목표( 75%)
그림 8. 기존 기술 대비 개발 기술의 성능
샷의 다중 특징 추가에 따른 성능 향상 정도 확인에서 기존 기술과 비교해 특
·
징 추가 시 일관된 성능 향상 확인,
그림 9. 특징 추가에 따른 성능 향상 폭 비교 o 연구결과물
상세설계서 종 시맨틱 클러스터 블록
- 1 , “ ”, 2015.09.
기술분석서 종 비디오 장면 분할 기술 분석
- 1 , “ ”, 2015.05.
특허 -
국내특허 출원 건
· ( 2 )
방송콘텐츠 및 방송 연관 데이터를 이용한 클러스터 방법 및 상기 방법을 +“
수행하는 사용자 단말 출원번호” (10-2016-0009764), 2016.01.
방송콘텐츠의 다중 특징을 활용한 장면 경계 검출 방법 및 상기 방법을 수 +“
행하는 사용자 단말 출원번호” (10-2016-0009768), 2016.01.
논문 -
· 국제학술대회 게재 건( 2 )
+“Using External Information on Contents for Broadcasting Services”, ICTC 2015, 2015.10.
+“Knowledge construction for the broadcasting content by using audience oriented data”, IEEE/WIC/ACM WI 2015, 2015.12.
국내학술대회 게재 건
· ( 2 )
다중 뷰 데이터에 대한 적응형 분광 군집화 정보처리학회
+“ ”, , 2015.10.
적응형 분광 군집 방법 기반 다중 언어 문서 군집화 정보과학회
+“ ”, , 2015.
우수논문상 12. ( ) 기술이전
-
방송 콘텐츠의 장면 단위 토픽 생성 기술 주 두두원 만원
· “ ” (( ) , 3,000 )
방송 콘텐츠의 장면 단위 토픽 생성 기술 주 센소프트 만원
· “ ” (( ) , 3,000 )
방송 콘텐츠 장면 생성기
- S/W
융합형 메타데이터
. -
Ⅱ
자동 생성 기술 개발
타임라인 메타데이터 생성 및 반자동 결합 기술 3.
정보와 메타데이터 속성 매칭 시스템 구축 o EPG
방송 메타데이터를 이용한 서비스를 정보와 결합하
- EPG(Electronic Program Guide) 여 실시간성 서비스로 전환
사업자별 정보 및 채널관리 데이터를 일괄 통합하여 로 구현
- EPG one source
시청자 환경 분석을 위한 기반의 정보 관리 시스템 구축
- EPG
데이터 인제스트 서버 -
데이터 오류 검사 속성 처리 후 메타데이터를 로 전달
· , DB
데이터 태깅 시스템 -
모바일 서비스 리퀘스트 중
·
리퀘스트에 따른 데이터 태깅 처리
·
그림 10. EPG 정보와 메타데이터 속성 매칭 시스템 연구결과물
o
시스템요구사항정의서 종 방송 연동형 스마트 플랫폼
- 1 , “ ”, 2015.07.
구조기능설계서 종 방송 연동형 스마트 플랫폼
- 1 , “ ”, 2015.08.
상세설계서 종 방송 연동형 스마트 플랫폼
- 1 , “ ”, 2015.09.
시스템 구축 양천방송 국사 내 시스템실
- (H/W) (CJHV )
그림 11. 데이터 인제스트 서버 및 태깅 시스템 모니터링 시스템
-
고객 시청 이력 정보 관리
· /
데이터 애널리틱 서버 -
콘텐츠 속성 시청 정보 이용 정보 등을 취합 및 분석
· , ,
클라이언트 - STB
간 연동 지원
· STB-Mobile
그림 12. 모니터링 시스템 애널리틱 서버 및, STB 클라이언트 시스템
크라우드 소싱 기술 4.
실시간 방송 콘텍스트에 해당하는 방송 메타데이터 수집 시스템 o
방송 메타데이터 수급 개발
- API
방송 메타데이터 관리 시스템 및 데이터베이스 구축 -
프로그램 에피소드별 상품 인물 장소 음원 데이터 관리
- PPL(Product Placement) , , , 표 2. 방송 메타데이터 체계
표 3. EPG 데이터
그림 13. 메타데이터 시스템
o 연구결과물
솔루션 설치 양천국사 내 시스템실
- (CJHV )
상용 방송 메타데이터 관리 시스템 -
방송 메타데이터 시스템
·
정보 수급 관리
· EPG / 시청 정보 저장 관리
· /
콘텐츠 토픽 추출을 위한 학습 기술 5.
대본 자막의 토픽 학습을 위한 토픽 모
o / GHDP(Guided Hierarchical Dirichlet Process) 델 기술 개발
시간 흐름 짧은 텍스트의 특성을 반영한 기반
- , PMI(Point-wise Mutual Information) 종자 어휘 선택 기술 개발
기반 종자 어휘 적용 수행
- PMI nonparametric sampling
단일 어휘가 아닌 어휘간의 관계를 포함한 종자 어휘 선택을 통해 관측하기 힘든 -
단어 간 공기(co-occurrence) 관계를 사전에 적용함으로써 토픽 학습의 정확도를 높임
그림 14. PMI 기반의 어휘 간 토픽 연관성 계산 결과
드라마 대본 대상 토픽 모델 성능 측정 결과 풍문으로 들었소 화
- ( 6 )
그림 15. 학습에 따른 모델 성능
기존 기술 대비 평균 약 성능 향상 확인
- 8.2% MLL(Model Log-Likelihood)
대본 자막 장면 간 토픽 유사도 및 시적 연관 관계와 기반 종자 어휘의 상호
- / PMI
연계 토픽 추론 학습 기술 개발
콘텐츠 토픽 강건화를 위한 토픽 확장 학습 기술 개발 o
이종 도메인 간 어휘 차이를 반영하는 무한 어휘 온라인 학습 기술 개발 -
외부 지식 학습을 통한 단어 간 전역적 의미 상관관계 획득 기술 개발
·
이종 도메인의 토픽과 단어 간 의미 상관관계를 통한 어휘 갱신 기술 개발
·
그림 16. 의미 상관관계를 반영한 무한 사전 온라인 토픽 모델 기존 학습 모델 대비 향상 확인
· Topic coherence
기반 토픽 모델 확장 시 대비 향상
· PMI , LDA (Latent Dirichlet Process) 6.8%
적용시 대비 향상
· Word2Vec , LDA 41.0%
그림 17. 기존 모델과 제안한 모델 간의 Topic coherence
o 연구결과물
기술분석서 종 토픽 모델 기술 분석
- 1 , “ ”. 2015.07.
상세설계서 종 융합형 메타데이터 자동 생성 블록
- 1 , “ - ”, 2015.09.
특허 -
국내특허 출원 건
· ( 2 )
콘텐츠에 토픽을 태깅하는 장치 및 방법 출원번호
+“ ”, (10-2016-0009774),
2016.01.
+“자율적 IoT 환경에서의 사물 기반 소셜 네트워크 서비스 및 저널리즘 활동을 위한 시스템”, 출원번호(10-2016-0008247), 2016.01.
- 논문
국제학술대회 게재 건
· ( 3 )
+“Detecting Multiple User ids on Korean Social Media for Mining TV Audience Response”, IEEE TENCON, 2015.11.
+“Online Topic Model for Broadcasting Contents Using Semantic Correlation Information”, WASET, 2016.01.
+ “Improving Topic Quality of Scripts by using Scene Similarity based Word Co-occurrence”, WASET, 2016.01.
국내학술대회 게재 건
· ( 2 )
토픽 모델을 이용한 방송 대본 분석 사례 연구 한글 및 한국어 정보처리
+“ ”,
학술대회, 2015.10.
무한 사전 온라인 토픽 모델을 이용한 토픽 확장 정보과학회 동계학
+ LDA ”,
술대회, 2015.12.
방송콘텐츠 토픽 생성기
- S/W
반자동 토픽 레이블링 기술 6.
반자동 토픽 레이블링 기법 설계 및 개발 o
토픽 레이블링을 위한 입력요소로서 및 시적 연관관계를 고려하여 생성된
- , PMI
종자 어휘의 적용 방법 설계 및 개발
· 토픽 레이블 후보 생성을 위한 bigram language model 개발
· 토픽 레이블 후보와 각 토픽 간 상호 연관도 측정 기술 기반 토픽 레이블링 기 술 개발
기반 각 워드 어휘 간의 관계성 적용 기술 개발 - Corpus / (ordering)
· 장면과 각 토픽 간 상관관계 측정을 통한 context-sensitive 토픽 레이블링 기술 개발
그림 18. 토픽 레이블링 구조
그림 19. 토픽 생성 후 레이블링 결과 연구결과물
o
상세설계서 융합형 메타데이터 자동 생성 블록 상세설계서 내 내용 포함
- ( , “ - ” ,
2015.09.)
비정형 데이터 구조화 기술 7.
비정형 데이터 구조화 기술 개발 o
분석 대상 데이터 -
방송 콘텐츠 관련 비정형 데이터인 대본 자막
· /
방송 비정형 데이터 중 구조를 가지는 대본 데이터의 특성을 반영하기 위한 구조 -
분석 기술 개발
· 대본이 가지는 지문 대사 장면 이름 구조 분석 후 각 필드의 특성을 반영한 처리/ / , 대본 상 장면 분할 후 각 장면의 대사 지문을 인식 후 대본 상 장면의 정보
· , / ,
추출
그림 20. 대본의 예와 구조
샷 단위 자막에 대한 형태소 분석 개체명 인식 기술 적용
· ,
불용어 제거 후 정제된 형태의 단어 추출 결과 제공
· ,
대본 자막의 중간단계 저장은 비정형 데이터 키워드 추출에서 활용됨 - /
연구결과물 o
시스템요구사항정의서 종 비정형 데이터 분석 및 시청자 프로파일링 기술 개
- 1 , “
발 시스템 요구사항정의서”, 2015.07.
구조기능설계서 종 비정형 데이터 분석 및 시청자 프로파일링 기술 개발 구
- 1 , “
조기능설계서”, 2015.08.
상세설계서 종 비정형 데이터 분석기 블록 상세설계서
- 1 , “ ”, 2015.08.
비정형 데이터 키워드 추출 기술 8.
비정형 데이터 키워드 추출 기술 개발 o
그림 21. 방송 비정형 데이터 분석
방송 비정형 데이터의 자연어 처리를 위한 형태소 분석과 개체명 추출 모듈 개발 -
콘텐츠에 따라 상이한 어휘를 고려한 불용어 사전 구축 여편의 방송 콘텐
· (100
츠에 대해 500여 단어 사전 구축)
· 비정형 데이터 내 중요 단어 추출을 위한 형태소 분석기 및 개체명 분석기 구축 타임라인에 비연속적으로 등장하는 중요 단어에 대한 연속성 확보를 위한 시적 중 -
요도 (temporal weight) 추정 기술 개발
기반의 가중치 조정을 위한 개발
· Forgetting curve exponential model
장면 내 의미 있는 단어들이 하게 출현하는 특징을 장면 간 의미 연결이
· sparse
되도록 보완
가중치 부여 방법 현재 장면
· : t의 단어 v의 가중치 w(v, t) = wcur(v, t) + wnbr(v, t)로 표현되며, wcur(v, t)는 현재 장면에서의 빈도수(Term Frequency) 나 TF-IDF (Inverse Document Frequency)를 적용
인접 장면을 고려한 추가 가중치인 는 아래와 같음
· wnbr(v,t)
로 정의된 반감기 기반 지수 가중치 이동 평균으로 인접
· Exponential model k
장면들에 단어의 가중치 평활화를 통해 비연속적으로 관측되는 단어에 대한 연 속적인 가중치 부여 가능
아래 그림들에서 평활화를 통해 를 이용하여 계산한 장면 유사
· temporal weight
도가 시간축에 대해 연속적으로 계산됨을 알 수 있음
그림 22. Temporal weight 기반 샷 간 히트맵
그림 23. Temporal weight를 이용한 샷 간 유사도 흐름
그림 24. 가중치 추정 결과 및 전달 형태 (JSON) 방송 비정형 데이터 수집
o
자체 웹 로그 데이터 수집 모듈 확보 -
방송 콘텐츠 관련 웹 로그 데이터 수집 -
블로그 카페 뉴스 수집
· , ,
연구결과물 o
시스템요구사항정의서 종 비정형 데이터 분석 및 시청자 프로파일링 기술 개
- 1 , “
발 시스템 요구사항정의서”, 2015.07.
구조기능설계서 종 비정형 데이터 분석 및 시청자 프로파일링 기술 개발 구
- 1 , “
조기능설계서”, 2015.08.
상세설계서 종 비정형 데이터 분석기 블록 상세설계서
- 1 , “ ”, 2015.08.
시청자 사회관계망 분석 기반 시청자 프로파일링 기술 9.
시청자의 콘텐츠 관심 정보를 활용한 시청자 그룹 생성이 개발 목적 -
시청자 방송 콘텐츠 관심 데이터를 가정하고 사용자 그룹 분석을 위한
- community
모듈 개발 detection
인메모리 클러스터 컴퓨팅 기반 모듈 프로
- modularity-based community detection 토타입 개발
그림 25. 시청자 프로파일링 를 이용한 커뮤니티 디텍션 구현 - Modularity-Maximization
개념을 이용한 간선 기대값 계산
·Configuration Model
그룹 내 간선의 비율에서 랜덤하게 선택한 간선의 비율을 뺀 비율을 최대화함
·
두 노드 동일한 그룹에 속하는 간선 수 에 대해 두 노드 와 의 간선 수
·' (2m)' ' v w
에서 두 노드 와 가 각 그룹에 속하는 경우의 수 (A_vw; adjacency matrix) v w
를 뺀 (k_v * k_w / 2m; probability a random edge would go between v and w) 편차 에 대한 기대값'
동일한 노드 의 랜덤 분포를 갖는 랜덤 그래프에서 + (k_v * k_w / 2m): degree
두 노드에 속하는 간선 수의 비율
두 노드 와 사이의 간선 수 본 최대화 방법에서는 혹
+ A_vw: v w . Modulartiy 0
은 로 제한함1
그룹 내 간선 수가 랜덤 기반 간선 수보다 많은 경우에 대해 점수
+ (Modularity
를 높게 계산하여 커뮤니티 검출 Q)
실제 시청 데이터를 바탕으로 시청자 그룹 구축
·
그림 26. 시청자의 시청 데이터
그림 27. 시청자 그룹 추정의 예 연구결과물
o
상세설계서 종 시청자 프로파일러 블록 상세설계서
- 1 , “ ”, 2015.08.
실시간 방송콘텐츠 .
Ⅲ
인지 기술 개발
실시간 방송 콘텐츠 인지 기술 알고리즘 상세설계 10.
실시간 방송콘텐츠 인지기술 구조 기능 설계
o /
방송 콘텐츠 인지기술은 워터마크 삽입 기능과 검출 기능으로 구성됨 -
그림 28. 워터마크 삽입 기능 그림 29. 워터마크 검출 기능 인지 기술 삽입 알고리즘 설계
o SDK
삽입 알고리즘 는 개의 로 구성됨 이 를
- SDK(Software Development Kit) 6 API . SDK 이용하여 워터마크 삽입 응용프로그램을 생성함
그림 30. 삽입 알고리즘SDK 구성 그림 31. 검출 알고리즘 SDK 구성 인지 기술 검출 알고리즘 설계
o SDK
검출 알고리즘 는 개의 로 구성되며 이 를 이용하여 워터마크 검출
- SDK 6 API , SDK
응용프로그램을 생성함 o 연구결과물
시
- 스템요구사항정의서 종1 , “실시간 방송콘텐츠 인지 기술 개발 시스템요구사항정 의서”, 2015.07.
구조기능설계서 종
- 1 , “실시간 방송콘텐츠 인지 기술 개발 구조기능설계서”, 2015.08.
- 상세설계서 종1 , “실시간 방송콘텐츠 인지 기술 개발 상세설계서”, 2015.09.
실시간 방송 콘텐츠 인지 기술 알고리즘 개발 11.
을 이용한 알고리즘 구현 o Matlab
환경에서 방송콘텐츠를 실시간으로 인지하기 위한 오디오 워터마크 알고 - Ambient
리즘 개발
특성을 이용한 에 강인한 알고리즘 개발 - HAS(Human Auditory System) Ambient
그림 32. HAS 주파수 특성 인지 기술 삽입 알고리즘 성능 테스트용 프로그램 개발 o
파일기반의 오디오 데이터에 워터마크 삽입용 프로그램 개발 -
그림 33. 파일기반의 오디오 데이터에의 워터마크 삽입 프로그램 인지 기술 검출 알고리즘 성능 테스트용 프로그램 개발
o
워터마크가 삽입된 파일로부터 워터마크 정보를 검출하기 위한 프로그램 개발 -
그림 34. 워터마크 정보 검출 프로그램
알고리즘 성능 테스트 환경 구축 o
와 스마트단말을 이용한 검출 성능 테스트 환경 구축 - TV
그림 35. TV와 스마트단말을 이용한 검출 성능 테스트 환경 을 이용한 구현
o C/C++ SDK
방송콘텐츠 인지 시스템에 쉽게 적용할 수 있도록 형태로 개발
- SDK
방송콘텐츠 실시간 인지 기술 삽입 시스템에 적용하기 위한 워터마크 삽입용 모듈 -
개발
스마트단말에서 실시간 인지 기술 검출 시스템에 적용하기 위한 워터마크 검출용 모 -
듈 개발
그림 36. 워터마크 삽입 및 검출 알고리즘 내부 구성 세컨드스크린 서비스를 위한 오디오 워터마크 검출 성능 테스트 ㅇ
의 소프트웨어 인증 연구소에서 인증 받음 - TTA
에서 시험 환경을 구성하고 성능 평가 진행 - TTA
종류의 콘텐츠 드라마 음악 뉴스 토론 스포츠 에 대해서 개의 단말기를 이
· 5 ( , , , , ) 3
용하여 검출율 테스트 진행. 60dB로 재생했을 때를 기준으로 설정 평균 검출율 획득 목표 단말에 따른 편차가 심한 편임
· 78% ( 60%).
콘텐츠에 따른 검출율도 최대 로 편차가 심함
· 92% ~ 65%
검출율 검출횟수 삽입횟수
· (%) = / * 100
워터마크 삽입시간은 재생시간의 이내로 삽입가능 실시간성 입증
· 0.25% .
워터마크 검출시간은 재생시간의 으로 실시간성 입증
· 3.53%
그림 37. 워터마크 시험 환경 구성 구체적인 인증시험 항목 및 목표치 대비 측정치
-
ID 시험 항목 시험 목표 목표치 측정치
TC1
세컨드스크 린 서비스를 위한 오디오 워터마크
검출율
- 오디오 워터마크를 삽입한 콘텐츠를 60dB 로 재생하고 재생되는 콘텐츠를 스마트, 단말기에서 녹음한 후 해당 녹음파일에, 대해 오디오 워터마크 검출을 시도하여 평균 검출율이 60% 이상인지 확인 검출율 검출횟수 삽입횟수
- = / *100
평균 검출율
60%
이상
78.00%
TC2
오디오 워터마크 삽입시간
콘텐츠 재생시간을 기준으로 오디오 워 -
터마크 삽입 소요시간 비율이 100% 이 내인지 확인
- 비율(%)=삽입소요시간 콘텐츠재생시간/ * 100
삽입시 간비율 100%
이내
0.25%
TC3
오디오 워터마크 검출시간
콘텐츠 재생시간을 기준으로 오디오 워 -
터마크 검출 소요시간 비율이 100%이 내인지 확인
- 비율(%)=검출소요시간 콘텐츠재생시간/ * 100
검출시 간비율 100%
이내
3.53%
각 음량 에서의 콘텐츠 및 단말기별 평균 검출율
- (dB) (%)
60 dB
콘텐츠별 평균검출율(%) 단말기별 평균검출율(%) 샘플 드라마1( ) 92.22 GalaxyNote2 40.67
샘플 음악2( ) 67.22
iPhone5C 94.67 샘플 스포츠3( ) 72.22
샘플 대담및토의4( ) 92.78
iPad2 98.67 샘플 뉴스5( ) 65.56
50 dB
콘텐츠별 평균검출율(%) 단말기별 평균검출율(%) 샘플 드라마1( ) 64.44 GalaxyNote2 8.00
샘플 음악2( ) 47.78
iPhone5C 63.67 샘플 스포츠3( ) 51.67
샘플 대담및토의4( ) 70.00
iPad2 97.00 샘플 뉴스5( ) 47.22
70 dB
콘텐츠별 평균검출율(%) 단말기별 평균검출율(%) 샘플 드라마1( ) 91.11 GalaxyNote2 63.00
샘플 음악2( ) 65.00
iPhone5C 96.00 샘플 스포츠3( ) 99.44
샘플 대담및토의4( ) 96.67
iPad2 99.33 샘플 뉴스5( ) 78.33
그림38. TTA 시험 결과 o 연구결과물
- 논문
국제학술대회 게재 건
· ( 1 )
+“An Efficient Audio Watermark by Autocorrelation Methods”, ICEEI 2015, 2015.08.
특허 -
국내특허 출원 건
· ( 1 )
방송 신호 인식 시스템 및 그의 동작 방법 출원번호
+“ ”, (10-2016-0010108),
2016.01.
오디오 워터마크 메뉴얼
- SDK
오디오 워터마크 샘플 응용프로그램 메뉴얼 -
- S/W
오디오 워터마크 삽입용
· SDK
오디오 워터마크 삽입용 샘플 응용프로그램
·
오디오 워터마크 검출용
· SDK
오디오 워터마크 검출용 샘플 응용프로그램
·
개방형 .
Ⅳ
스마트미디어 기반 기술 개발
개방형 스마트미디어 기반 시스템 프로토타입 개발 12.
개방형 스마트미디어 기반 플랫폼 고유 기능 구현 o
방송 관련 웹데이터 수집 기능 설계 및 개발
- /SNS(Social Network Service)
네이버 뉴스 지상파 사 스포츠 신문 사 등 뉴스 데이터 수집
· , 3 , 3
미디어 관련 데이터 수집
·
그림 39. 비정형 데이터 수집기 구조 방송 프로그램 및 관련 메타데이터 구축 및 관리 -
영상 샷 오디오 자막 등 특징 정보 추출 기능
- / /
소켓 및 소켓 서버 지원 - TCP/IP Web
그림 40. SNS 수집기 메인 화면
그림 41. SNS 수집기 동작 화면
서비스 제공 o Open API
미디어 기반 서버는 로서 를 제공함
- Open API RESTful API
를 통해 클립 검색 및 융합형 메타데이터 검색이 가능함
- Open API VOD -
그림 42. 개방형 스마트 미디어 기반 서버 서비스 구조
그림 43. 미디어 커머스 앱과 서버 간의 연동 시나리오 호출을 이용한 융합형 메타데이터 검색 예제
o Open API -
호출로 개방형 미디어기반 서버 내에 구축된 방송콘텐츠 획득 - getAllProgramList() ,
- getMeta()호출로 특정 방송 콘텐츠의 특정 에피소드에 대한 융합협 메타데이터 획득, -
그림 44. getAllProgramList 호출 결과
그림 45. getMeta 함수 호출 예 클립 검색 및 제공
o VOD
특정 방송 콘텐츠에 대한 장면 검색 및 재생
- VOD
토픽을 기반으로 관련된 타 클립 검색
- VOD
키워드 입력으로 관련된 타 클립 검색
- VOD
그림 46. VOD 클립 서비스 메인 화면
그림 47. VOD 클립 서비스의 토픽 연관 VOD 검색 결과
그림 48. VOD 클립 서비스의 키워드 입력에 의한 장면 검색 결과 o 연구결과물
사용자요구사항분석서 종 개방형 미디어 생태계 구축을 위한 시맨틱 클러스터
- 1 , “
기반 시청 상황 적응형 스마트방송 기술 개발”, 2015.07.
사용자요구사항정의서 종 개방형 미디어 생태계 구축을 위한 시맨틱 클러스터
- 1 , “
기반 시청 상황 적응형 스마트방송 기술 개발”, 2015.07.
시스템요구사항정의서 종 개방형 미디어 생태계 구축을 위한 시맨틱 클러스터
- 1 , “
기반 시청 상황 적응형 스마트방송 기술 개발”, 2015.07.
구조기능설계서 종 개방형 미디어 생태계 구축을 위한 시맨틱 클러스터 기반
- 1 , “
시청 상황 적응형 스마트방송 기술 개발”, 2015.08.
상세설계서 종 개방형 스마트 미디어 기반 서버 블록
- 1 , “ ”, 2015.09.
시험절차 및 결과서 종 개방형 스마트 미디어 기반 서버 블록
- 1 , “ ”, 2015.12.
특허 -
국내특허 출원 건
· ( 1 )
+“표제어 기반의 상품 자동 결합 장치 및 방법”, 가출원번호(10-2016-0006025), 2016.01.
논문 -
국제학술대회 게재 건
· ( 3 )
+“Design of Smart Broadcasting Scenario for Media Commerce Services”, ICTC 2015, 2015.10.
+ “Design and Implementation of Media Commerce Service based on Topic”, ICCC 2015, 2015.12.
+ “Design and Implementation of VOD Clip Search Server based on Scene”, ICCC 2015, 2015.12.
- SW
주문형 비디오 클립 서비스 사용자 인터페이스
·“ ”
블로그 데이터 수집기 엔진
·“ ”
블로그 데이터 수집기 사용자 인터페이스
·“ ”
브오디클립 데이터베이스 관리
·“ ”
방송 콘텐츠 메타메이터를 활용한 주문형비디오 클립 서비스 제공 방법
·“ ”
비정형 데이터 저장소 구축 13.
비정형 데이터 저장소 구축 o
- DBMS(DataBase Management System)로 MySQL(정형 데이터 처리 및) MongoDB (비 정형 데이터 처리 사용)
스키마 설계는 방송 유통 메타데이터 표준 기반으로 장면 및
- DB (TTAK.KO-10.0730)
샷 확장
그림 49. 방송 프로그램 메타데이터 DB 스키마
장면 및 회차별 방송 프로그램 단위의 토픽 메타데이터 스키마 정의
·
그림 50. 융합형 메타데이터 DB 스키마 연구결과물
o
상세설계서 종 비정형 데이터 분석기 블록
- 1 , “ ”, 2015.09.
시험 절차 및 결과서 종 비정형 데이터 분석기 블록
- 1 , “ ”, 2015.12.
종 비정형 데이터 저장 방송 콘텐츠
- DB 2 , “ DB”, “ DB”
건의 방송 콘텐츠를 대상으로 표준을 따르는 구축 및 융합형 메타데이
- 100 TTA DB -
터를 생성하여 DB로 구축
콘텐츠 시청자 특화 정보 수집 및 관리 기술 14. /
시청자 시청 행태 정보 수집 및 구축 완료
o DB
닐슨 제공 콘텐츠 시청자 행태 수집 데이터 활용 - (Nielsen) /
약 가구 명을 대상으로 개월 동안 시간의 시청 이력 정보 추적 - 1,000 4,000 6 24
등 지상파 방송사 개사를 대상으로 함 - MBC, KBS, SBS, EBS 4
시청 이력 정보를 활용한 시청자 행태 분석 완료 -
시청 이력 정보를 이용한 각 방송사별 시청률 분석 완료 -
시청자 시청 행태 정보 적용 개발 o
시청자 시청 행태 정보의 실데이터 모듈 적
- (modularity-based community detection ) 용 개발
그림 51. 시청자 시청 행태 정보 수집 DB
연구결과물 o
시청자 시청 행태 정보 수집
- DB
- 논문
· 국제학술대회 게재 건( 1 )
+“Audience’s Viewing Behavior Analysis for Inferencing Consumer Preferences”, ICTC 2015, 2015.10.
개방형 스마트방송 .
Ⅴ
플랫폼 기술 규격화
타임라인 메타데이터 규격 정의 15.
개방형 스마트방송 플랫폼 기술 표준화 o
방송 콘텐츠 관련 메타데이터 기술 동향 및 스마트방송 관점에서의 융합형 메타데
- -
이터 표준화 이슈 분석
스마트방송 표준화 관련 신규과제 제안 자료 건 작성 및 에서 발표
- 2 TTA PG804
에서 융합형 메타데이터 및 스마트방송 플랫폼 표준화 과제
- TTA PG606 - Open API
제안 발표 및 기술 규격화를 추진 중
스마트방송 플랫폼 관련 신규 기고 발표 및 요구사항 분석 정의 기능적
- Work Item / / ,
아키텍처 설계, Gap 분석 진행 중 (ITU-T SG16/Q13)
그림 52. 스마트방송 기술 표준화 이슈 연구결과물
o
국내 표준화 활동 -
스마트방송 기반 서비스 인터페이스 표준화 제안 자료 작성 및 에
·“ ” TTA PG804
서 논의 (2015.08.17, 2015PG804-030)
스마트방송 기술 표준화 제안 자료 작성 및 에서 논의
·“ ” TTA PG804
(2015.09.23, 2015PG804-034)
스마트방송을 위한 방송 콘텐츠 메타데이터의 구성 요소 및 형식 표준화 신
·“ ”
규 과제 제안 관련 자료 작성 및 TTA PG606에서 논의 (2015.11.06, 2015PG606-030)
개방형 스마트방송 플랫폼 응용 프로그래밍 인터페이스 표준화 신규 과
·“ (API)”
제 제안 관련 자료 작성 및 TTA PG606에서 논의 (2015.11.06, 2015PG606-031) 국제 표준 기고서 기고 건
- ( 1 )
·“Study on scene-based metadata framework for TV media platform”Work Item (2015,10.15, ITU-T SG16/Q13)
Ⅵ 성과 확산을 위한. 시범서비스
방송플랫폼 정합 모듈 개발 16. MSO
채널 통합 모듈 설계 및 개발 o MSO
별 상이한 채널 정보를 분석하여 공통의 채널 정보를 매핑할 수 있게 하여 - MSO
방송사업자 간 공통 플랫폼을 사용할 수 있는 기틀을 마련 채널 입수 및 분석 공통 채널 정보 도출 - MSO Line up /
채널 정보가 상이한 개 간 공통 분석 결과
· 4 MSO(CJHV, HCN, C&M, T-Broad)
추출을 용이하게 하기 위하여 공통 채널 정보 위한 Master Key 생성 후 적용 표 4. MSO 채널 Line-Up
채널 변환 설계
- DB
채널 통합 시스템 내 구현
· DB Scheme
표 5. 채널 통합 시스템 내 DB Scheme
Key Attribute
(MSO)SourceID Integer(master key) CommonSourceID integer
ChannelNumber: integer ChannelName: Char[20]
통합 채널 검색 설계
- API
통합 채널 검색 종
· API 1 (Get Channel Query API) 연구결과물
o
시스템요구사항정의서 종 방송사업자 플랫폼 정합 및 시범서비스 개발
- 1 ,“ ”,
2015.07.
구조기능설계서 종 방송사업자 플랫폼 정합 및 시범서비스 개발
- 1 , “ ”, 2015.08.
상세설계서 종 채널 정보 통합 시스템
- 1 , “MSO ”, 2015.09.
방송플랫폼 스트리밍 서버 연동 개발 17. MSO
시범 서비스를 위한 설계 및 개발
o MSO(HCN, C&M, T-Broad) Mobile App
기존 별 은 서버와 연동하여 자체 기능을 지원하
- MSO Mobile APP streaming play 는 기능이 존재함
의 서비스와 연동된 상품 정보를 미디어 플랫폼을 통한 메타 - Mobile App Streaming
데이터를 이용하여 사용자에게 노출 가능하여 사용자의 이용 빈도와 사업성을 높 임
실시간 방송 중인 프로그램과 연동한 상품 정보 노출 기능 설계 -
기 방송된 프로그램에 연동된 상품 정보를 미디어 플랫폼을 통한 메타데이터를 이 -
용하여 노출하는 기능 설계
시범서비스를 위한 수정 개발
- HCN, T-Broad, C&M Mobile App
그림 53. HCN Mobile App 상품 정보 노출 기능 구성
그림 54. T-Broad Mobile App 채널 정보 및 상품 정보 노출 기능 구성 표 6. C&M Mobile App 주요 기능 및 구성
항 목 설 명
채널가이드 편성표 채널 정보 프로그램 정보 제공( , ) 프로그램 선호 등록 기능 예약 알림 기능/
커머스 정보 프로그램 별 상품 정보 제공
상품 별 별도 구매 페이지 전환 기능 VOD
콘텐츠 정보 제공 VOD
로 시청하기 기능 TV
선호 VOD등록 기능
간편 리모콘 TV 연동 기능
전원 음량 제어,
녹화 설정 PVR STB녹화 설정
기타 설정/ 지역 상품 설정/
셋탑박스 등록 성인인증 이용안내/ ,
공통 앱 연동 연결
- Commerce (app to app )
그림 55. HCN Mobile APP 구현
그림 56. T-Broad Mobile App 구현
그림 57. C&M Mobile App 구현 연구결과물
o
상세설계서 종
- 3 , “C&M App”, 2015.09., “HCN App”, 2015.09., “T-Broad App”, 2015.09.
단위시험절차 결과서 종 향 시범서비스 향 시범서비스
- 3 C&M App. 2016.1.15., HCN 향 시범서비스
App. 2016.1.15., T-Broad App. 2016.01.
시범서비스용 종
- Application 3 APK , C&M App, HCN App, T-Broad App 2016.01.
타임라인 메타데이터기반 미디어커머스 서비스 개발 18.
안드로이드 기반의 모바일 어플리케이션 개발 o
융합형 메타데이터를 키워드 형태로 표현하여 포털 및 커머스 서비스와 연동
- -
서비스 페이지 종 외 미디어커머스 서비스와 연동
- 1
컴패니언 앱 연동 연결
- MSO (app to app )
지상파 방송 프로그램 중 드라마 장르의 콘텐츠를 대상으로 시범 서비스 진행 -
그림 58. 어플리케이션 Java Object Hierarchy 구조
그림 59. 미디어커머스 서비스 이미지 장면 단위 키워드 기반 상품정보 매핑 기술 개발
o
방송 콘텐츠별 상품정보 수집 기능 개발 및 상품정보 구축
- DB
스키마는 표준 방송 콘텐츠 유통 메타데이터 구성
· DB TTA (TTAK.KO-10.0730,
요소 및 형식 준수 및 확장 스키마는 향후 표준화 예정) 장면 단위 키워드 기반 상품정보 매핑 기능 개발
-
장면 단위 키워드 기반 상품정보 웹 검색 및 정렬 기능 개발 -
그림 60. 장면 단위 키워드 기반 상품정보 매핑 구조 연구결과물
o
스마트 미디어 어플리케이션
- APK(Android Application Package) 상세설계서 종 스마트 미디어 어플리케이션
- 1 , “ ”, 2015.09.
방송 콘텐츠 상품정보 수집기
- S/W
장면 단위 키워드 기반 상품정보 매핑
- S/W
방송 콘텐츠 상품정보
- DB
장면 단위 키워드 및 상품정보 매핑
- DB
사업 품질 관리 및 .
Ⅶ
실적 관리
사업 품질 관리 및 실적 관리 19.
(1) S/W 자산뱅크 품질 관리
자산뱅크 품질관리 기반 스마트방송 과제 품질관리 체계 구축 o S/W
스마트방송 과제 품질관리 체계 정립 -
스마트방송 사업 프로세스 정의
·
스마트방송 프로젝트관리 계획 수립
·
스마트방송 정의
· WBS(Work Breakdown Structure) 스마트방송 이슈 및 위험 관리 수립
·
스마트방송 형상관리 체계 정립 -
형상관리대장 관리
·
스마트방송 소스 관리 -
활용한 패키지 버전 관리
· SVN(SubVersioN)
그림 61. ETRI R&D 표준 프로세스 기반 품질관리 체계 o 연구결과물
사업프로세스 종 개방형 미디어 생태계 구축을 위한 시맨틱 클러스터 기반 시
- 1 , “
청 상황 적응형 스마트방송 기술 개발”, 2015.06.
프로젝트관리계획서 종 개방형 미디어 생태계 구축을 위한 시맨틱 클러스터
- 1 , “
기반 시청 상황 적응형 스마트방송 기술 개발”, 2015.07.
종 개방형 미디어 생태계 구축을 위한 시맨틱 클러스터 기반 시청 상황 - WBS 1 , “
적응형 스마트방송 기술 개발”, 2015.07.
이슈관리대장 종 개방형 미디어 생태계 구축을 위한 시맨틱 클러스터 기반 시
- 1 , “
청 상황 적응형 스마트방송 기술 개발”, 2015.07.
위험관리대장 종 개방형 미디어 생태계 구축을 위한 시맨틱 클러스터 기반 시
- 1 , “
청 상황 적응형 스마트방송 기술 개발”, 2015.07.
형상관리대장 종 개방형 미디어 생태계 구축을 위한 시맨틱 클러스터 기반 시
- 1 , “
청 상황 적응형 스마트방송 기술 개발”, 2015.09.
요구사항추적표 종 개방형 미디어 생태계 구축을 위한 시맨틱 클러스터 기반
- 1 ,“
시청 상황 적응형 스마트방송 기술 개발”, 2015.12.
동료검토서 종 요구사항정의 구조기능설계 상세설계 시험계획 등 개방형 미디
- 8 , / / / , “
