R&D연구결과보고서

주관기관 ㈜판도라티비 참여기관 전자부품연구원

미래창조과학부

글로벌 라이프로그 미디어 클라우드 개발 및 구축 Global lifelog media cloud development

and deployment

*******

*******

*******

1) 공고번호 02015-0412 2) 과제번호 R0190-15-1115

정보통신·방송 연구개발 (1차년도 연차) 보고서

3) 보안 등급 보안과제( ), 일반과제( √ )

4) 과제 성격 기초( ), 응용( √ ), 개발( √ )

5) 총괄과제명 총괄/세부과제로 이루어진 병렬형 과제인 경우 기재 6) 과제명 국 문 글로벌 라이프로그 미디어 클라우드 개발 및 구축

영 문 Global lifelog media cloud development and deployment 7) 주관기관 기관명 ㈜판도라티비 사업자등록번호 220-81-57969

주 소 (13493)경기도 성남시 분당구 대왕판교로 644번길 49 DTC타워 11층

8) 총괄책임자

성 명 김경익 직위/직급 대표이사

전화번호 070-4484-7100 부서 -

휴대전화번호 팩스번호 031-776-7680

과학기술인등록번호 1102-7072 전자우편

peter.kim@pandora.tv

10) 협약기간 2016. 9. 1 ~ 2017. 8. 31. ( 12개월 /2단계 ) 11)사업비현황

(천원) 연도 정부

출연금

민간부담금 정부외

출연금 합 계

현금 현물 소계

재원 해당여부

1차년도(2015년) 1,300,000 500,000 0 500,000 0 1,800,000

정진기금 √

2차년도(2016년) 1,300,000 500,000 0 500,000 0 1,800,000

방발기금

합 계 2,600,000 1,000,000 0 1,000,000 0 3,600,000

일반회계

12) 참여기관

기관명 책임자성명 직위/직급 휴대전화 전자우편 과학기술인등록번호 유형 전자부품연구원 송혁 책임 hsong@keti.re.kr 1085-0219 연구소

13) 참여기업 주관기관과 참여기관 중 중소기업( )개, 중견기업( )개, 대기업( )개 14)주관기관

실무담당자

성 명 황준동 부서/직위 기술연구소/CTO

전화번호 070-4484-7100 전자우편 eric.hwang@pandora.tv

휴대전화번호

15) 과제특성

(해당사항 모두체크)

기술료비징수

사업화비적용 표준연계 경쟁과제 SW자산뱅크

공개SW 정책지정 일반형

^{병렬형 총괄 병렬형 세부}

16) TRL등급

17) 성격구분 창의( ), 전략( ), 혁신(

)

2016 년 7 월 28 일

총괄책임자 : 김 경 익 (서명) 주관기관장 : 김 경 익 (인감)/(직인) 미래창조과학부 장관 귀하

*******

*******

*******

<목 차>

<요약문>...1

1. 연구개발목표...6

2. 연구범위 및 연구 수행 방법...8

3. 연구개발 목표의 달성도 및 자체평가 ...51

4. 연구개발성과(해당되는 성과만 기재)...65

5. 구매 금액이 3천만원 이상인 연구시설ㆍ장비 구축 현황...67

6. 연구개발비 집행 실적...67

7. 연구 수행에 따른 문제점 및 개선 방향...68

8. 중요 연구변경 사항...68

9. 기타 건의 사항...70

붙임1. 자체 보안관리 진단표...74

붙임2. 연구실 안전조치 이행표...75

<국문요약문>

연구개발 목표

ㅇ 개개인의 특별한 순간들과 일상의 기록을 담은 영상들을 어렵고 지루한 편집 없이도 자동으로 분석하고 추출하여 지능적으로 하이라이팅 해주 며, 사용자의 관심사별로 분류, 재가공 된 비디오 로그들을 퍼스널 빅데 이터와 융합하여 시각화 및 아카이빙 해주는 글로벌 미디어 클라우드 서비스

연구개발 내용

[멀티미디어 지능 분석 하이라이팅 엔진과

콘텐츠 인식 시스템] [글로벌 라이프로그 미디어 클라우드]

ㅇ 글로벌 미디어 라이프로그 네트워크 플랫폼

­대용량 메타데이터 실시간 관계분석 기술 개발

­멀티미디어 지능형 태깅 처리 및 UI/UX 개발 ㅇ 멀티미디어 APP과 영상처리 라이브러리 프레임웍

­상황 인지 기반의 영상 전처리 개발

­테마 기반 멀티미디어 편집, 보정 모듈 개발

­위치기반 메타데이터 관계 기반 시각화 도구 프레임웍 ㅇ 미디어 기반의 퍼스널 클라우드 컴퓨팅 시스템

­Media Contents Streaming을 위한 Delivery Server 개발

­하이브리드 미디어 고속 인코딩 기술 개발

­콘텐츠 허브 미디어 드라이브의 클라우드 동기화 모듈 개발

­클라우드 서버 기반 미디어 병렬처리 및 오토스케일링 기술 개발 ㅇ 멀티미디어 지능 분석 하이라이팅 엔진과 콘텐츠 인식 시스템

­Content aware 기술 기반 PC용 영상 분석 기술 개발 및 서버용 모 듈 개발

­클라우드 서버 기반 비디오 라이프로그 미디어 처리 기술 개발

­멀티미디어 분석을 통한 테마기반 영상 생성 모듈 개발

­오디오 파일 분석 기술 개발

< 미디어 라이프로그 콘텐츠 LifeCycle >

연구개발성과

ㅇ 글로벌 미디어 라이프로그 네트워크 플랫폼

­사용자 행동 패턴 중 사용자 행동을 근거로 어떤 기능이 많이 사용 되는지를 분석

­MongoDB Map&Reduce 처리 (Map-콘텐츠 전체의 타입 / Reduce-비 디오, 이미지 카운트 처리)

­CEP(complex event processiong) 방식을 응용한 스트리밍 분석 처리 기술 개발

­Graph Database를 응용한 관계 처리 기술 개발

Ÿ node, relationship, property로 구성 관계 처리

Ÿ relationship을 이용한 양방향 관계 구성 관계 처리

Ÿ relationship property의 강도, 가중치 설정 기술 개발

ㅇ 멀티미디어 APP과 영상처리 라이브러리 프레임웍

­사용자가 선택한 멀티미디어 소스를 태깅 정보 추출 기능 개발

­촬영날짜, 위치정보, 표정, 풍경, 음악, 동물 정보를 자동 추출하는 기능 개발

<동기화알림> <메인 시각화> <타이틀입력> <테마선택>

­입력 태깅정보 빅데이터 분석 및 멀티미디어 소스 연관 관계 맵핑 처리

­멀티미디어 콘텐츠 DIY 라이브러리를 적용한 테마 편집 기능 개발

Ÿ 필터 적용 효과(세피아, 흑백, 비네팅, 필름, 모자이크 등)

Ÿ 텍스트(자막) 입력/편집 기능 개발

Ÿ 오디오 삽입/편집 기능 개발

Ÿ 슬로우 모션 적용 기능 개발

Ÿ 화면 전환 효과 기능 개발

Ÿ 화면 타이틀 입력 기능 개발

­클라우드 동기화 처리 기술 개발

­테마별 사용자 태깅 카테고리 분류 기술 개발

ㅇ 미디어 기반의 퍼스널 클라우드 컴퓨팅 시스템

­콘텐츠의 인기도 분류 및 미디어 서버 수를 유연하게 처리하는 기술 개발

Ÿ 동일한 콘텐츠의 요청이 특정 미디어 서버로 51초과(설정가능) 시 해당 미디어 서버로 할당하지 않도록 처리

Ÿ 해당 미디어 서버의 동일한 콘텐츠의 세션이 40미만(설정가능)일 경우 다시 요청을 받아들일 수 있도록 처리

­영상의 비트레이트에 따라서 유연한 네트워크 활용 및 캐싱 삭제정책

­Global Targeting 기술을 기반으로 최적 서버 Targeting 기술 개발

­두 대의 Encoder 서버를 세팅하여 유휴장비의 자동 배분 처리

Ÿ 인코딩 요청이 많아져도 각 인코딩 서버에서 Job을 효과적으로 분배 처리

Ÿ 영상 생성 요청이 많이 들어와도 인코딩 센터 에서 Job을 효과적 을 분배하여 사용자의 대기 시간을 효과적으로 줄임

­미디어 관제 시스템의 동기화 서버를 연동하여 모바일-PC 어플리케 이션의 데이터 동기화 개발

­Memory 기반의 Redis DB를 사용하여 고속 응답 데이터 캐쉬 및 메 모리 기반의 데이터 관리 기술 개발

­영상 및 이미지를 지정한 조건(코덱, 해상도, 비트레이트)으로 변환

기술 개발

ㅇ 멀티미디어 지능 분석 하이라이팅 엔진과 콘텐츠 인식 시스템

­총 10개의 카테고리를 정의하여 이에 대한 이미지 카테고리 분류

Ÿ Face, beach, book, coffee, grass, red maple, snow, car, dog, sky

­Cut/Scene 추출 / Key frame 추출

Ÿ 영상 histogram의 dissimilarity 계산 기반 scene 추출 기술

Ÿ Scene 및 key frame 추출 기술

Ÿ 해상도별 5종, 길이별 5종 테스트 동작 확인

­모션 분석

Ÿ Duality 기반 TV-L1 optical flow 기술

Ÿ 해상도별 5종, 길이별 5종 테스트 동작 확인

­Saliency map 구성

Ÿ Maximizing information sample기반 saliency map 추출 기술

Ÿ 영상 Labelling 기법 기반 saliency region 추출 기술

Ÿ 해상도별 5종, 화질별 3종 테스트 동작 확인

글로벌 사업화 성과

ㅇ주요성과

국가 사업화 현황 매출

(목표년도)

미국 , 일본

ㅇ

­VOD 영상 송출 및 관제서비스

­VOD 트랜스코딩 서비스

ㅇ

­빅데이터 기술 적용된 새로운 AD Network 플랫폼

ㅇ

­하이브리드 미디어 인코딩 기술을 판도라TV 일본 플랫폼에 해상도별 맞춤 인코딩 기술 적용

737,200 (2015년)

일본

ㅇ

­사용자 성향 패턴 분석 기술을 적용한 맞춤형 서비스

ㅇ

­딜리버리 기술은 콘텐츠 전송방식에 응용

ㅇ

­빅데이터 관계분석 기술을 응용한 day, month, year 별 트래픽 통계 분석

­미디어 편집 및 보정기술은 KMP Studio APP에 비디오/오디오 병합 처리로직 적용

­하이브리드 미디어 인코딩 기술은 디코딩, 트랜스코딩 필터에 적용

­미디어 드라이브 클라우드 동기화 기술은 PC-모바일 간 영동 방식에 적용

­오토스케일링 기술을 스트리밍 방식에 응용 적용

900,600 (2016년)

활용계획 및 기대효과

ㅇ 활용계획

­글로벌 라이프로그 미디어 클라우드의 서비스 오픈 5년 내 1억명 사 용자 확보 추진

­당사가 보유한 KMP 플레이어(전세계 누적 다운로드 3.5억)와 연계하 여 조기 확산 및 상용화

­서비스 파트너사인 KT의 미디어 클라우드와 국내 공동 사업을 추진 하며 기존 협력사인 AWS(아마존), KDDI, SoftBank의 글로벌 클라우 드 컴퓨팅 자원과 안정적인 CDN 전용망, 글로벌 거점 네트워크를 효과적으로 활용하며 ETRI의 미디어 온톨로지 기술지원 및 사업화 협약으로 세계 최고 수준의 서비스 품질과 성능, 글로벌 마케팅을 신속히 전개

­고속 분산 인코딩 처리 기술을 통하여 $1.5억 규모의 글로벌 M&E 인코딩/트랜스코딩 시장으로 진출

­퍼스널 빅데이터는 향후 웨어러블, IOT 시장에서의 개인의 라이프로 그 데이터를 기반으로 한 헬스, 의료, 교육산업 등의 주요한 핵심 데 이터로 활용

ㅇ 기대효과

­전세계 모바일 트래픽의 72%를 차지하는 동영상 관련 핵심기술을 지속적으로 확보하여 관련 라이센싱 시장에서 향후 5년간 80억불 중 최소 1%인 8천불 차지

­국내 클라우드 기반 멀티미디어 기술의 독보적 지위로 글로벌 모바 일 앱스토어 생태계의 멀티미디어 분야 선두업체로 포지셔닝

핵심어(5개 이내) 국문

^{라이프로그 하이라이팅 미디어 편집 빅 데이터 클라우드}

Lifelog Highlighting Media editing Big data Cloud

구분(연도) 세부

과제명 세부 연구 목표 연구개발 수행 내용 연구 결과

1차 연도 (2015)

글로벌 라 이 프 로 그 미디어 클 라우드 개 발 및 구 축

글로벌 미디어 라 이프로그 네트워 크 플랫폼

대용량 메타데이터 실시 간 관계분석 기술 개발

­빅데이터 처리기술인 MongoDB을 활용한 대용량 메타데이터 저장 및 분석 기술 개발 완료

­CEP(complex event processing) 방식을 응용한 스트리밍 분석 처리 기술 개발 완료

­Graph Database를 응용한 관계 처리 기술 개발 완료 멀티미디어 지능형 태깅

처리 및 UI/UX 개발

­미디어 데이터 태깅 처리 및 분류 처리 기술 개발 완료

­API 규격 정의 및 주요 태깅 데이터 관리 시스템 개발 완료

멀티미디어 APP과 영상처리 라이브 러리 프레임웍

상황 인지 기반의 영상 전처리 개발

­Device의 촬영 기능 및 앨범기능 연동과 사용자 태킹 정보 자동/수동 생성 및 관리기능 개발 완료

­멀티미디어 콘텐츠 DIY 라이브러리를 적용한 테마 편집 기능 개발 완료

­테마 기반의 멀티미디어 소스 정합 및 가공 처리 기술 개발 완료

­클라우드 동기화 처리 기술 개발 완료

­테마별 사용자 태깅 카테고리 분류 기술 개발 완료

테마기반 멀티미디어 편 집, 보정 모듈 개발

­라이프로그 메타데이터를 기반으로 영상, 오디오 및 기타 메타정보를 자동으로 처리하는 Effect 템플릿 기술을 개발 완료

­라이프로그 영상, 오디오 및 메타데이터 먹싱/믹싱등 합성 기술 개발 완료

­영상 썸네일 추출 및 미리보기 및 태킹 정보 매핑 기술 개발 완료

위치기반 메타데이터 관 계 기반 시각화 도구 프 레임웍

­타임과 이미지 메타 데이터를 이용한 시각화 표현기술 개발 완료

­관계 메타 데이터를 이용한 인맥 시각화 표현기술 개발 완료

<기술개발사업 주요 연구 성과>

1. 연구개발 목표 가. 최종 목표

○ 개개인의 특별한 순간들과 일상의 기록을 담은 영상들을 어렵고 지루한 편집 없이도 자동으로 분석하고 추출하여 지능적으로 하이라이팅 해주며, 사용자의 관심사별로 분류, 재가공 된 비디오 로그들을 퍼스널 빅데이터와 융합하여 시각화 및 아카이빙 해주는 글로벌 미디어 클라우드 서비스 제공

나. 당해(연도) 연구개발 목표 및 결과

­영상 메타 데이터를 이용한 시각화 표현 기술 개발 완료

미디어 기반의 퍼 스널 클라우드 컴 퓨팅 시스템

Media Contents Streaming을 위한 Delivery Server 개발

­효율적 리소스 관리 위한 지능형 Media Load Balance 기술 개발 완료

­안정적이고 신속한 전송을 위한 최적 서버 Targeting 기술 개발 완료

하이브리드 미디어 고속 인코딩 기술 개발

­지능적 유휴 장비 활용 관리 시스템 개발 완료

­영상 키프레임 기준의 분할 처리 기술 개발 완료

­SMT (Simutaneous Multi-threading) 처리 기술 개발 완료 콘텐츠 허브 미디어 드

라이브의 클라우드 동기 화 모듈 개발

­콘텐츠 자동 인지 및 푸쉬 신호 기반의 동기화 처리 기술 개발 완료

­데이터 동기화 관리 및 푸쉬 서버 기술 개발 완료 클라우드 서버 기반 미

디어 병렬처리 및 오토 스케일링 기술 개발

­영상 및 이미지를 지정한 조건(코덱, 해상도, 비트레이트)으로 변환 기술 개발 완료

­미디어의 양에 따라 가동 노드의 수를 증가 혹은 감소 처리 스케일링 기술 개발 완료

멀티미디어 지능 분석 하이라이팅 엔진과 콘텐츠 인 식 시스템

Content aware 기술 기 반 PC용 영상 분석 기술 개발 및 서버용 모듈 개 발

­저장된 영상에서의 영상 콘텐츠 분석을 통한 영상 분류 기술 개발 완료

­압축 포맷의 EXIF 데이터를 활용한 콘텐츠 분석 완료

­사용자 UI를 통한 Tag 정보 활용 콘텐츠 분석 완료

­영상 데이터의 GPS정보 등 부가 정보를 활용한 분류 완 료

­분류 영상의 카테고리를 통한 영상 생성 기술 및 테마 적 용 기술 개발 완료

­비디오 영상 분석을 통한 주요 카테고리 분류 및 활용 모 듈 개발 완료

­Global motion 및 Local motion 분석을 통한 동영상 콘텐 츠 분석 완료

­얼굴 검출 및 객체 검출 모듈 개발을 통한 Scene 분석 완 료

­표정 추출 기반 메타 데이터 생성 및 저장 개발 완료 클라우드 서버 기반 비

디오 라이프로그 미디어 처리 기술 개발

­비디오 콘텐츠 Scene detection 기술 개발 완료

­Frame differencing을 통한 Scene 분석 기법 적용 완료

­Key frame 추출을 통한 영상 편집 자료 메타데이터 추출 완료

­Scene/Key frame 기반 영상 편집 기술 개발 완료

멀티미디어 분석을 통한 테마기반 영상 생성 모 듈 개발

­Image resizing 기법을 적용한 영상 변환 기술 개발 완료

­테마별 시나리오 및 기법 정의 완료

­테마에 적용되는 다양한 이미지/동영상 효과 적용 기술 개발 완료

­PC용 소프트웨어 고속 GPU기반 영상 변환 기술 개발완 료

오디오 파일 분석 기술

개발 ­오디오 파일의 key frame 추출 기술 개발 완료

2. 연구 범위 및 연구 수행 방법 가. 범위 및 수행 방법

연구 범위 연구 수행 방법

(이론적ㆍ실험적 접근방법) 구체적인 내용

Content aware 기술 기반 PC용 영상 분석 기술 개발 및 서버용 모듈 개발

­저장된 영상에서의 영상 콘텐 츠 분석을 통한 영상 분류 기 술 개발

­비디오 영상 분석을 통한 주 요 카테고리 분류 및 활용

① 모듈 기능 개발

­이미지 카테고리 분류기

② 요구사항 개발

­해상도별 테스트

­압축 품질별 테스트

­표정 검출 모듈 개발

③ 모듈 기능 개발

­비디오 카테고리 분류기

­모션 분석 기술 개발

클라우드 서버 기반 비디오 라이프로그 미디어 처리 기 술 개발

­동영상에서의 장면전환 및 동 영상 콘텐츠의 내용 분석 기 술 개발

­Scene detection, key frame 추출에 기반한 동영상 편집용 메타데이터 추출 기술 개발

① 모듈 기능 개발

­영상 histogram의 dissimilarity 계산 기반 scene 추출 기술

­Scene 대 key frame 추출 기술

­Duality 기반 TV-L1 optical flow 기술

­HOG detector 기반 얼굴 검출 기술

­Haar feature 기반 얼굴 검출 기술

­해상도별 5종, 길이별 5종 테스트 동작 확인

② 모듈 기능 개발

­비디오 카테고리 분류기

­모션 분석 기술 개발

멀티미디어 분석을 통한 테 마기반 영상 생성 모듈 개발

­다양한 해상도의 이미지 및 동영상을 활용하기 위하여 영 상 데이터의 자율 변환 기술 개발

­최적화를 위하여 GPU를 활용 한 고속 최적화 기술 개발

① 모듈 기능 개발

­GPU 기반 고속 이미지 리사이징 기술

­해상도별 5종, 길이별 5종 테스트 동작 확인

② 모듈 기능 개발

­GPU 인터페이스 모듈 개발

­GPGPU최적화 기술 개발

오디오 파일 분석 기술 개발 ­오디오 파일 key frame 추출 기술 개발

① 모듈 기능 개발

­음성 및 오디오 feature 추출

­Simularity matrix 생성

­Audio segmentation 정보 추출

② 요구사항 개발

­다양한 길이의 오디오 음원 처리

Ÿ 5종 이상의 길이에 대한

­출력 포맷 정합성 확인

Ÿ JSON 생성 테스트

나. 연구개발 결과

1) 글로벌 미디어 라이프로그 네트워크 플랫폼 가) 대용량 메타데이터 실시간 관계분석 기술 개발

① 사용자 행동 패턴 중 사용자 행동을 근거로 어떤 기능이 많이 사용되는지를 분석

② MongoDB Map&Reduce 처리

㉮ Map : 콘테츠 전체의 타입

㉯ Reduce : 비디오, 이미지 카운트 처리

<Map & Reduce를 활용한 MongoDB 처리>

③ Spark RDD 배치 작업 수행

㉮ 지정한 일자의 사용자 로그메세지별 카운트 처리

<Spark RDD Batch 처리>

<Spark RDD 실행 화면>

④ 해당 결과를 MongoDB 에 저장

<MongoDB 저장 처리>

⑤ CEP(complex event processiong) 방식을 응용한 스트리밍 분석 처리 기술 개발 : 사용자가 실행하는 페이지 뷰의 이벤트와 KR 접속 사용자의 30초 동안의 이

벤트를 복합 분석하여 카운트 수를 처리

<CEP Rule 처리 화면>

<CEP 이벤트 처리 결과 화면>

⑥ Graph Database를 응용한 관계 처리 기술 개발

: OrientDB를 사용하여 각 항목에 대한 기술 개발 처리

㉮ node, relationship, property로 구성 관계 처리

㉯ relationship을 이용한 양방향 관계 구성 관계 처리

㉰ relationship property의 강도, 가중치 설정 기술 개발

<GraphDatabase의 관계 처리, 강도 및 가중치 조회 화면>

나) 멀티미디어 지능형 태깅 처리 및 UI/UX 개발

① 미디어 데이터 태깅 처리 및 분류 처리 기술 개발

㉮ 태깅 UI App 태깅 UI 및 서버연동 처리 기술 개발

㉯ 태깅 목록 정보 처리 및 미디어 태그 통계동기화 처리 기술 개발 l 모바일 어플리케이션과 서버의 연동 처리

l 태깅 목록을 저장하여 태그 처리

<모바일 어플리케이션과 연동되는 서비스 화면의 태깅 처리 로그>

㉰ 사용자 설정 정보 기준으로 태깅 데이터 저장 및 서버 동기화 l 모바일에서 입력한 태그를 기준으로 OrientDB에 저장 및 검색 처리

㉱ 태그저장 관리 및 검색을 위해서 별도의 메터데이터 저장 처리

<별도의 메터데이터 저장 처리를 위해 GraphDatabase 활용>

㉲ 사용자 설정 정보 기준으로 태깅 데이터 저장 및 서버 동기화 개발

l 사용자가 선택한 콘텐츠에 해시태그, 색상태그를 저장하면, 해당 기록을 서버에 연동/

저장

<해시태그 작성> <색상태그 작성>

<서버에 태그 내용 저장요청 및 성공 >

㉳ 지정된 색상을 이용한 UI상에서 색상을 표시하거나, 색상으로 미디어를 검색 l 사용자가 콘텐츠에 색상 태그를 표시 하거나, 검색 화면에서 색상태그를 이용해 검색

<색상 태그 검색> <콘텐츠 색상태그 저장>

② API 규격 정의 및 주요 태깅 데이터 관리 시스템 개발

㉮ OAuth2.0 기반의 인증(or SNS연동 인증) 처리 적용

㉯ 단말 서비스 제공을 위한 Restful API 서버 개발 l https기반의 Restful API 연동

<https 형식의 Restful API 요청 응답>

㉰ 태깅 데이터 관리(메타데이터) NoSql 기반 시스템 개발

l Database

: NoSql기반의 MongoDB, OrientDB를 사용

<MongoDB 처리>

<GraphDatabase인 OrientDB 처리>

2) 멀티미디어 APP과 영상처리 라이브러리 프레임웍 가) 상황 인지 기반의 영상 전처리 개발

① Device의 촬영 기능 및 앨범기능 연동

㉮ 사용자가 선택한 멀티미디어 소스를 태깅 정보 추출 기능 개발

: 사용자 디바이스의 갤러리에 콘텐츠 데이터를 가져와 메인 화면에 표시

<디바이스 갤러리 화면> <갤러리 연동 앱 메인 화면>

㉯ 촬영날짜, 위치정보, 표정, 풍경, 음악, 동물 정보를 자동 추출하는 기능 개발 l 메타데이터 수집기는 촬영날짜, 위치 정보, 표정, 풍경, 음악, 동물 정보와 날씨 정보

제공 API를 기반으로 여러 메타데이터를 자동 추출 및 저장

<MetaData수집기에서 메타데이터 관리>

㉰ 입력 태깅정보 빅데이터 분석 및 멀티미디어 소스 연관 관계 맵핑 처리

l OrientDB의 Edge 관계를 기반으로 해당 콘텐츠의 관련된 태그를 관계 분석 처리하여 매핑 처리

<특정 콘텐츠의 태깅 데이터를 활용한 관련 태그 관계 분석 처리>

㉱ 멀티미디어 콘텐츠 DIY 라이브러리를 적용한 테마 편집 기능 개발.

l 명암 및 색상 자동 보정 기능 개발

­필터 적용 효과(세피아, 흑백, 비네팅, 필름, 모자이크 등)

­텍스트(자막) 입력/편집 기능 개발

­오디오 삽입/편집 기능 개발

­슬로우 모션 적용 기능 개발

­화면 전환 효과 기능 개발

­화면 타이틀 입력 기능 개발

<텍스트 표현 및 화면 전환 효과>

<화면 색상 보정 및 필터 효과>

<오디오 삽입 처리 및 시간에 따른 볼륨 조절>

l 렌더링 전처리 프로세스 과정에서 이미지 보정을 하고 렌더링 시에 전환효과 및 필터 효과 처리.

② 멀티미디어 콘텐츠 DIY 라이브러리를 적용한 테마 편집 기능 개발 l 사용자 콘텐츠 메모 삽입 기능 및 소중한 순간 타이틀 입력 기능

㉮ 텍스트(자막) 입력/편집 기능 개발

<텍스트 입력 전> <텍스트 입력 후>

㉯ 화면 타이틀 입력 기능 개발

<타이틀 입력 전> <타이틀 입력 후>

㉰ 콘텐츠 이미지 크랍 기능 개발

<IOS Image Crop> <Android Image Crop>

③ 클라우드 동기화 처리 기술 개발

㉮ 신규 콘텐츠 자동 인지 업로드 기능 개발

l 사용자 디바이스에 새로운 콘텐츠가 생성 되면, 업로드 및 PC에서 동기화 완료시 동 기화 완료 메시지 표시

<사용자 디바이스 신규 콘텐츠 인지 >

㉯ 기간 동기화 신호기반의 콘텐츠 자동 푸쉬 및 다운로드 기능 개발

l 모바일과 PC 어플리케이션의 콘텐츠를 미디어라이프로그 시스템 중 미디어관제 시스 템에서 동기화처리하여 모바일과 PC어플리케이션 간의 콘텐츠 동기화

<모바일 어플리케이션과 연동되는 콘텐츠 업로드 처리>

㉰ Push notify 동기화 처리기술 개발

<사용자 디바이스 동기화 알림> <콘텐츠 다운로드>

④ 테마별 사용자 태깅 카테고리 분류 기술 개발

㉮ 테마 영상 처리 라이브러리 템플릿

<테마 템플릿> <테마 템플릿>

나) 테마기반 멀티미디어 편집, 보정 모듈 개발

① 라이프로그 메타데이터를 기반으로 영상, 오디오 및 기타 메타정보를 자동으로 처리하는 Effect 템플릿 기술을 개발

㉮ 공간영역 기반 및 주파수영역 기반 영상 보정 및 처리 기술 개발

l 전처리 프로세싱 과정 그리고 렌더링 시에 콘텐츠의 레이어 처리 및 이미지 프로세싱 과정을 거쳐 영상 보정 및 effects 처리를 효과적으로 삽입한다.

< 영상 보정 처리(색상,블러효과) >

㉯ 라이프로그 메타 정보기반 데이터 로드 및 핸들링 기술 개발

l 아래<그림-1>인물사진의 얼굴이 전체 이미지 크기에 비해 너무 작게 표현됐을 경우 전처리 프로세싱 과정에서 보정하여 아래<그림-2>과 같이 처리하여 영상 생성.

< 그림-1 분석된 이미지의 원본 >

< 그림-2 분석된 메타데이터 기준으로 얼굴이 크게 보일 수 있게 처리 >

㉰ 오디오데이터 선별 적용 및 가공 처리 기술 개발

l 영상 길이에 맞춰 사운드 재생 시간을 조절하고 영상의 끝 부분은 볼륨을 점점 낮춰 서 영상과 잘 어우러져 표현될수 있게 조절.

< 배경음악 삽입 및 영상 길이에 맞춰 사운드 볼륨 조절 >

다) 위치기반 메타데이터 관계 기반 시각화 도구 프레임웍

① 타임과 이미지 메타 데이터를 이용한 시각화 표현기술 개발

<날짜 조회 - 최신순> <날짜 조회 - 최신순>

② 관계 메타데이터를 이용한 인맥 시각화 표현기술 개발

l 사용자와 콘텐츠, 콘텐츠와 태그, 콘텐츠와 카테고리의 관계를 시각화 표현

<GraphDatabase인 OrientDB를 활용한 관계 시각화 처리>

3) 미디어 기반의 퍼스널 클라우드 컴퓨팅 시스템

가) Media Contents Streaming을 위한 Delivery Server 개발

① 효율적 리소스 관리 위한 지능형 Media Load Balance 기술 개발

㉮ 콘텐츠의 인기도 분류 및 미디어 서버 수를 유연하게 처리하는 기술 개발 l 동일한 콘텐츠의 요청이 특정 미디어 서버로 51초과(설정가능) 시 해당 미디어 서버로

할당하지 않도록 처리

l 해당 미디어 서버의 동일한 콘텐츠의 세션이 40미만(설정가능)일 경우 다시 요청을 받 아들일 수 있도록 처리

<세션카운트가 설정된 값의 조건에 부합했을 시 Load Balancer 서버로 보고된 로그>

㉯ 미디어 서버의 장애 발생 시 다른 정상적인 미디어 서비스 전환 지능형 Media Load Balance 기술 개발

l 미디어 서버에서 Load Balancer 서버로 COMINFO Command 5초이상 보고하지않을 시 DisConnect 처리

<미디어 서버의 리소스현황 보고 로그>

<Load Balancer 서버에 연결된 미디어서버의 정보를 보여주는 화면>

<5초이상 보고되지않았을 시 해당 IP DisConnect 로그>

㉰ Cache 서버의 제한된 저장 공간과 네트워크를 효율적 활용 l 영상의 비트레이트에 따라서 유연한 네트워크 활용 및 캐싱 삭제정책

<미디어서버로 요청된 영상 비트레이트별로 네트워크활용>

② 안정적이고 신속한 전송을 위한 최적 서버 Targeting 기술 개발

㉮ Global Targeting 기술을 기반으로 최적 서버 Targeting 기술 개발

<해외에서 국내 Load Balancer 로 요청이 온 경우 해외 Load Balancer 서버로 Redirect처리>

<Load Balancer 서버 미디어 서버별 국가설정>

나) 하이브리드 미디어 고속 인코딩 기술 개발

① 지능적 유휴 장비 활용 관리 시스템 개발

㉮ 두 대의 Encoder 서버를 세팅하여 유휴장비의 자동 배분 처리 되는지 확인 l 인코딩 요청이 많아져도 각 인코딩 서버에서 Job을 효과적으로 분배 처리

l 영상 생성 요청이 많이 들어와도 인코딩 센터에서 Job을 효과적을 분배하여 사용자의 대기 시간을 효과적으로 줄임

<인코딩 Ingest(인코딩 센터에서 영상 분배하여 인코딩 처리 할 수 있게 명령 전송)>

< 1번 Encoder 장비에서 Job을 가져와 Encoding 처리 화면 및 로그 >

<2번 Encoder 장비에서 Job을 가져와 Encoding 처리 화면 및 로그>

㉯ 영상 키프레임 기준의 분할 처리 기술 개발

l 소스 영상의 Keyframe 판별 하여 디코딩시에 분할 하여 처리.

///////////////// 영상 Decoder 소스 발췌...

HRESULT CVideoDecoderFilter::Transform(IMediaSample * pIn, IMediaSample *pOut) {

uint8_t* inBuf = NULL;

uint8_t* outBuf = NULL;

AVPacket inPkt, outPkt;

av_init_packet(&inPkt);

av_init_packet(&outPkt);

REFERENCE_TIME start, end;

if(pIn != NULL) {

pIn->GetPointer(&inBuf);

//Key frame 판별 위치

if(pIn->IsSyncPoint() == S_OK)

inPkt.flags = AV_PKT_FLAG_KEY;

inPkt.data = inBuf;

inPkt.size = pIn->GetActualDataLength();

if(SUCCEEDED(pIn->GetTime(&start, &end))) inPkt.pts = start;

if(SUCCEEDED(pIn->GetMediaTime(&start, &end))) inPkt.dts = start;

inPkt.duration = end – start;

} }

㉰ SMT (Simultaneous Multi-threading) 처리 기술 개발 l 동시에 여러 스레드의 인코딩 처리 기술 개발

l 키프레임 위치 판별 및 멀티 쓰레드 사용으로 영상의 분할 및 Job분배를 효과적으로 처리

Encoding할 쓰레드를 조절하여 각 Thread에서 Encoding하여 먹싱 처리.

///////////////// 영상 Encoder 소스 발췌...

bool CVideoProfile::SetProfile(AVCodecContext* codecContext) {

if(!IsValidProfile(m_Profile)) return false;

SYSTEM_INFO sysInfo;

GetSystemInfo(&sysInfo);

int threadCount = min(max(sysInfo.dwNumberOfProcessors, 1), 12);

// Encoding Thread Count 조절.

codecContext->thread_count = threadCount;

}

다) 콘텐츠 미디어 드라이브의 클라우드 동기화 모듈 개발

① 콘텐츠 자동 인지 및 푸쉬 신호 기반의 동기화 처리 기술 개발

㉮ 콘텐츠 자동 인지 업로드 및 푸쉬 신호 기반의 콘텐츠 다운로드 기술

㉯ 서버측에서 전송되는 신호(push notify)를 수신하여 서버쪽의 명령(데이터 다 운로드, 메타정보 다운로드 등) 동기화 신호 처리기술

<동기화 알림 app foreground> <동기화 알림 app background>

㉰ PC와 같은 단말에서 웹상으로 접속을 하고 필요한 미디어를 조회/검색하거 나, 파일을 등록, 삭제

<해시태그 콘텐츠 검색> <해시태그 콘텐츠 검색 결과>

㉱ 사용자가 데이터가 차지하고 있는 용량 및 미디어별 용량, 과금 정보 처리

<용량 과금 알림창> <미디어별 과금 알림창> <과금 완료창>

② 데이터 동기화 및 푸쉬 서버 기술 개발

㉮ 단말서비스 제공을 위한 API서버 개발

㉯ SNS연동인증 OAuth방식의 처리 기능 활용

l 단말 서비스 제공을 위한 API 제공

l 미디어관제 시스템 중 인증 서버를 통한 OAuth 방식 적용

<인증 서버를 활용한 OAuth 방식 처리>

㉰ 단말-서버간 데이터 동기화 정보관리 기술 개발

l 미디어 관제 시스템의 동기화 서버를 연동하여 모바일-PC 어플리케이션의 데이터 동 기화 개발

<모바일 어플리케이션과 동기화 서버의 콘텐츠 업로드 처리 로그>

㉱ 고속 응답 데이터 캐쉬서버 및 메모리 기반의 데이터 관리 기술 개발

l Memory 기반의 Redis DB를 사용하여 고속 응답 데이터 캐쉬 및 메모리 기반의 데이 터 관리 기술 개발

<Redis DB 처리 화면>

라) 클라우드 서버 기반 미디어 병렬처리 및 오토스케일링 기술 개발

① 영상 및 이미지를 지정한 조건(코덱, 해상도, 비트레이트)으로 변환 기술 개발 l 멀티 인코딩, 해상도 조절, 코덱선택,자막 설정,로고 삽입,썸네일 추출

<Ingest 명령 항목(멀티 인코딩 선택,코덱 선택,자막삽입,로고 삽입,썸네일 처리 등)>

② 미디어의 양에 따라 가동 노드의 수를 증가 혹은 감소 처리 스케일링 기술 개발 l 사용자가 인스턴스 수를 통제 상황 모니터링 관리 시스템 개발

l 자동으로 인스턴스를 증가 및 지정된 수준의 속도 스케일링 기술 개발

­인코딩 상황을 상시 자동 모니터링 하여 인코딩 Job의 과부하시에 클라우드(AWS)시스 템을 활용하여 인코딩 서버 인스탄스를 자동으로 생성하여 인코딩 Job의 과부하를 줄 이고 과부하가 해소되는 시점에는 인스탄스 수를 자동으로 줄여서 관리한다.

<인코딩 모니터링 시스템에서 인스턴스(오토스케일링)를 생성하는 로그 화면>

<인코딩 모니터링 시스템에서 인스턴스(오토스케일링)를 삭제하는 로그 화면>

< AWS 클라우드 시스템에서 인코딩 인스턴스 생성 확인 >

< AWS 클라우드 시스템에서 인코딩 인스턴스 삭제 확인 >

< AWS 클라우드 시스템에 새로 생성된 인코더 서버 원격 접속하여 정상 동작 >

4) 멀티미디어 지능 분석 하이라이팅 엔진과 콘텐츠 인식 시스템

가) Content aware 기술 기반 PC용 영상 분석 기술 개발 및 서버용 모듈 개발

① 저장된 영상에서의 영상 콘텐츠 분석을 통한 영상 분류 기술 개발

㉮ 모듈 기능 개발

l 이미지 카테고리 분류기

­Convolutional neural network (CNN) 기반의 구조 활용 : Googlenet 기반의 이미지 분류기 개발

­총 10개의 카테고리를 정의하여 이에 대한 이미지 카테고리 분류기 구성 : Face, beach, book, coffee, grass, red maple, snow, car, dog, sky

< 이미지 카테고리 분류기 훈련에 사용한 사진 예 >

< 이미지 카테고리 분류기 구조 >

㉯ 요구사항 개발

l KETI_REQ_005: 이미지 분류

­5종 이상의 해상도별 테스트

: 1024x768, 1280x720, 1152x1024, 1920x1080, 3840x2160의 해상도의 이미지 테스트

­3종 이상의 화질별 테스트

: JPG 압축 품질, 100, 70, 50의 이미지 테스트

< 이미지 카테고리 요구사항 테스트 결과 >

② 비디오 영상 분석을 통한 주요 카테고리 분류 및 활용

㉮ 모듈 기능 개발

l 비디오 카테고리 분류기

­비디오 key frame 영상을 추출하여 이미지 카테고리 분류기를 통해 분류

나) 클라우드 서버 기반 비디오 라이프로그 미디어 처리 기술 개발

① Cut/Scene 추출 / Key frame 추출

㉮ 영상 histogram의 dissimilarity 계산 기반 scene 추출 기술

㉯ Scene 및 key frame 추출 기술

㉰ 해상도별 5종, 길이별 5종 테스트 동작 확인

< 동작 테스트 결과 >

< scene 추출 및 key frame 추출 결과 >

② 얼굴 검출

㉮ HOG detector 기반 얼굴 검출 기술

㉯ Haar feature 기반 얼굴 검출 기술

㉰ 해상도별 5종, 길이별 5종 테스트 동작 확인

< 동작 테스트 결과 >

<학습된 얼굴 검출을 위한 HOG detector>

< 얼굴 검출 결과 >

③ 모션 분석

㉮ Duality 기반 TV-L1 optical flow 기술

㉯ 해상도별 5종, 길이별 5종 테스트 동작 확인

< 모션 추출 결과 >

< 동작 테스트 결과 >

다) 멀티미디어 분석을 통한 테마기반 영상 생성 모듈 개발

① Saliency map 구성

㉮ Maximizing information sample기반 saliency map 추출 기술

㉯ 영상 Labelling 기법 기반 saliency region 추출 기술

㉰ 해상도별 5종, 화질별 3종 테스트 동작 확인

< Saliency map(좌), labelling map(중간), saliency region(우) >

< 동작 테스트 결과 >

< Saliency region 추출 결과 >

② 이미지 리사이징

㉮ GPU 기반 고속 이미지 리사이징 기술

㉯ 해상도별 5종, 비율 5종 테스트 동작 확인

< 동작 테스트 결과 >

③ EXIF 분석

㉮ JPEG marker 중 Exif marker 분리 기능

㉯ Exif 정보 중 메타데이터 추출 기능 l DateTimeOriginal

l GPSLatitudeRef l GPSLatitude l GPSLongitudeRef

l GPSLongitude l PSAltitudeRef l GPSAltitude

l GPSImgDirectionRef l GPSImgDirection

㉰ 100종의 사진에서 테스트 동작 확인

< 동작 테스트 결과 >

④ 라이프로그 영상, 오디오 및 메타데이터 먹싱/믹싱등 합성 기술 개발

㉮ 입력 라이프로그 데이터 정지영상, 동영상, 음성정보, 메타정보 시간흐름 처리 l 동영상과 정지 영상을 시간흐름으로 순서로 영상을 생성처리

­라이프 로그 영상 생성 시 영상 및 사진을 연결하여 아래 그림과 같이 자연스럽게 처 리 될 수 있게 처리

<영상과 이미지 합성하여 렌더링 처리>

­라이프 로그 생성 시 아래 그림과 같이 재생 시작 시 영상 제목을 삽입하여 처리하고 시간 순서대로 영상을 생성하여 자연스러운 영상을 생성

<타이틀(자막)과 이미지 합성하여 렌더링 결과>

라) 오디오 파일 분석 기술 개발

① 오디오 파일의 key frame 추출 기술 개발

㉮ 모듈 기능 개발

l 음성 및 오디오 feature 추출

­음성 인식에 활용하는 MFCC (Mel-Frequency Cepstral Coefficient), HPCP, 등의 : 음성 및 오디오 feature를 추출 frame당 feature vector로 사용

­Feature vector * time 의 2D 데이터를 기준으로 오디오 segmentation을 진행 l Self-simularity matrix 생성

­Matrix multiplication을 통해 feature vector set에 대한 self-simularity matrix를 획득

­각 feature별 weight 처리가 가능하도록 설계 l Audio segmentation 정보 추출

- Self-simulariry matrix를 근간으로 feature smoothing 및 normalization 처리 후 정보추출 - Threshold value를 기준으로 오디오 segmentation 검출 (boundary detection)

<Self-simularity matrix 예>

<오디오 segmentation 결과>

㉯ 요구사항 개발

l KETI_REQ_013: 오디오 segmentation

­다양한 길이의 오디오 음원에 대해 오디오 segmentation을 지원하는 기능 확인

­5 종 이상의 길이에 대한 동작 테스트 l KETI_REQ_014: JSON 생성

­오디오 segmentation 의 결과를 JSON 형태의 string으로 전달

­인터페이스 정의서에 명시되어 있는 JSON format에 맞춰 개발

< 오디오 segmentation 요구사항 테스트 화면>

1) 연구개발성과 달성도

평가 항목 (주요성능 Spec

)

단위

전체 항목 에서 차지하는

비중

(%)

세계최고 수준 보유국/

보유기업 ( / )

연구개발 전 국내수준

개발 목표치 및 달성도

성능수준 성능수준

1차 년도 (2015년)

1차 년도 결과

score 10%

미국/Univ of Central florida

0.77

- 0.7 0.7

2. Scene detection 성능 F1

score 10%

canada/Caleton Univ.

0.908

0.8 0.8 0.8

3. APP 지원 단말기 건 - - - 20 20

4. 관계 분석 처리 속도 second - - - 0.5 이내 0.235

5.인코딩 처리 속도 fps -

일본 / NTT Network Innovation

Lab

- 30 48.4

이상 달성 6. KDM 기반 암호화

패키져 적용 코덱 파일

개 - 1

(미국, Cinecert)

1 (ETRI)

1 (DCP)

1 (DCP)

7. 테마 기반 간편한 멀티미디어 편집 및 보정

개 -

(이스라엘/

Magistro) (편집스타일, 오디오

지원)

영상편집 앱이

전부 3 3

8. 오디오분할 FPC-F

score 10%

미국 / New York University

0.518

- 0.500 0.500

이상 달성

9. 지적 재산권 확보 건 5% - -

4 (주관사 : 2 참여사 : 2)

4 (주관사 : 2 참여사 : 2) 10. 사업화를 위한 제품

확보 건 10% -

4 (주관사 : 2 참여사 : 2)

4 (주관사 : 2 참여사 : 2) 11. 피시드라이브

파일동기화 속도 초 - - - 2 2

12. 시스템의 사용자

만족도 평가 % - - - 60 84

13. 하이라이팅 이미지

분류 % - 캐나다/

Toronto Univ. 85 80 83

3. 연구개발 목표의 달성도 및 자체 평가 가. 연구개발성과 및 평가 방법

평가 항목 평가 방법

1. saliency 영역 추출

- 기존 여러 논문에서 공통적으로 사용하고 있는 Ground truth 데이터를 이용하여 연 구개발 결과물의 데이터와 비교하여 Recall-precision 연산을 통한 F1 Score 추출 - 영역의 Square box를 이용하여 성능 검증

- 자체 연산 데이터 및 동영상 제출

- 사용자 만족도를 측정하기 위하여 다양한 연령 및 분야별 다수 사용자 기반 테스트

2. Scene detection 성능

- 콘텐츠 분석 기술을 통한 기준 동영상을 활용하여 Scene cut detection 소프트웨어 를 제작하고 다양한 콘텐츠를 이용하여 통계 작성

- 작성된 소프트웨어를 공인시험기관인 KTL에 제출하여 시험성적서를 수령 (2차년도)

- 결과 데이터 및 시험성적서 제출

3. App 지원 단말기 - OS제조사 및 OS 버전별 Application 기능 이상 유무확인 - Device 화면 inch별 반응형 UI 적용여부 확인

4. 관계 분석 처리 수

- 분석된 메타데이터를 기반으로 관계 형성 처리 - 관계 형성된 결과 추출

- 10만건 메타데이터 중 1Depth 관계 처리 속도 : 0.5 Sec - 10만건 메타데이터 중 3Depth 관계 처리 속도 : 0.3 Sec

5. 인코딩 처리 속도

- 영상 가공 및 파일 분산 인코딩 기술 : Full HD 영상 처리 속도 : 30 fps

- 메타데이터 기반 영상 분할 및 분산 인코딩 기술 : Full HD 영상 처리 속도 : 90 fps

8. 오디오 분할 - MIREX의 테스트 데이터를 활용하여 Frame pair clustering F score를 추출 - KTL, TTA 등 공인인증 기관의 인증서 결과 데이터 제출(2차년도)

11.피시드라이브 파일동기화 속도

- 동기화에서 핵심은 얼마나 짧은 시간내에 단말간 동기화가 되는냐 하는 것임 - 소스 단말에서 파일을 생성된뒤 타겟 단말에서 얼마나 짧은 시간내에 동기화되는지

를 초단위로 측정

- 미디어 크기에 따라서 업로드 속도가 다르므로, 측정시간은 소스 단말에서 업로드 완료표시후, 타켓 단말에서 push노티를 받는 시간을 측정.

12.시스템의 사용자 만족도 평가

사용자 만족도(매우만족~매우불만족)

10 9 8 7 6 5 4 3 2 1

- 참여 사용자를 대상으로 서비스 만족도 설문 평가

: 베타서비스를 실시하는 기간 동안 참여한 사용자를 대상으로 설문 평가 : 사용자의 평가점수를 합산하여 평균 통계 테이터 제출(2차년도)

13. 하이라이팅 이미지 분류

- 데이터베이스를 10종 이상의 카테고리를 구분하여 구축

- 구축된 데이터베이스를 활용하여 10 카테고리 Top 1 인식 성공률로 정량적 수치 표 현

- KTL, TTA 등 공인인증 기관의 인증서 결과 데이터 제출(2차년도)

2) 연구개발성과 평가방법 및 결과 가) 정량적 목표 평가방법

나) 정량적 목표 평가결과

① saliency 영역 추출

㉮ Saliency map 구성

l “Bruce, N.D.B., Tsotsos, J.K., Saliency Based on Information Maximization. Advances in Neural Information Processing Systems, 18, pp. 155-162, June 2006.” 논문에서 사 용한 120장의 다양한 장소에서의 색상영상과 함께 제공되는 ground_truth 데이터를 이 용하여 F1-score 측정. 모든 실험영상의 해상도는 동일함

<원본영상(위) ground_truth(아래)>

㉯ Saliency map 검출 결과.

l F1 score 0.70이상 달성

< F1 score 0.70이상 달성 >

② Scene detection 성능

㉮ Scene detection 성능 평가

l “Whitehead A., Bose J., Laganière R., "Feature based cut detection with automatic threshold selection," Int. Conf. on Image and Video Retrieval, Dublin, Ireland, pp.410-418, July 2004” 논문의 실험에서 사용된 10개의 동영상을 이용하여 동일한 실험방법을 통해 실험. 테스트 데이터는 다양한 해상도와 장르로 이루어져 있으며, cut frame 검출에 대한 F1-Score를 계산하여 성능평가를 진행함.

㉯ Scene detection 성능 결과 l 평균 F1 score : 0.80이상 달성

<평균 F1 score : 0.80이상 달성>

③ APP 지원 단말기

㉮ 1차년도 20종 달성

l 각 20종 단말기에 개발된 소프트웨어를 탑재하여 테스트 진행 l 20종 단말별 화면 UI 및 기능 테스트 진행

④ 관계 분석 처리 속도

㉮ 콘텐츠와 태그의 관계를 처리하였으며 10만건 메타데이터 중 특정 사용자의 해당 콘텐 츠와 관련된 태그를 관계 분석 처리하여 1Depth 관계 처리 속도를 측정하는 별도의 프 로그램을 작성하여 성능 결과를 테스트 함.

< second : 0.235 달성 >

⑤ 인코딩 처리 속도

< 인코딩 테스트 프로그램 >

⑥ KDM 기반 암호화 패키져 적용 코덱 파일

<암호화된 영상 재생을 위해 암호화 키 입력>

< KDM 암호화(AES)된 영상 재생 화면 >

⑦ 테마 기반 간편한 멀티미디어 편집 및 보정

㉮ 템플릿 3개 달성

l Thme 1. 여행 (카테고리 해변, 하늘을 활용) 여행에서의 사진을 모아 추억하며 보여줄 수 있도록 앨범에 사진을 한 장씩 넘겨주는 느낌의 효과를 적용

<테마 1 여행>

l Thme 2. 계절 (카테고리 단풍, 눈을 활용) 계절이 천천히 바뀌는 모습을 보여주기 위 해 사진의 전환을 부드러운 블러 효과를 적용

<테마 2 계절>

l Thme 3. 애완동물 (카테고리 개를 활용) 귀여운 애완동물의 사진을 더욱 다양하게 보 여줄 수 있도록 다양한 형태를 이용하여 사진을 전환

<테마 3 애완동물>

⑧ 오디오분할

㉮ 오디오 분할 알고리즘 성능 평가

l 오디오 분야에서 가장 권위있는 MIREX Database 211 파일 활용

㉯ 오디오 분할 성능 결과 l FPC-F 0.532 달성

< FPC-F 0.532 달성 >

⑨ 지적 재산권 확보 : 달성

⑩ 사업화를 위한 제품 확보 : 달성

⑪ 피시드라이브 파일동기화 속도

㉮ PC에서 업로드 완료 표시 후, 타켓 단말에서 push노티를 받는 시간을 측정 l PC에서 파일 업로드 및 완료 표시

<PC앱 신규 콘텐츠 업로드> <PC앱 신규 콘텐츠 업로드 완료 표시 >

l 타겟 단말에서 동기화 알림 메시지 표시

No Task 성공 점수

Task 별

사용성 평균 Task 수행 &사용성 평가 내용 1 로그인 &회원가입 10.0 9.3 ­로그인 /회원가입 방식은 쉽고 만족스러운 성공률

­가시성 측면에서 낮은 사용성 평가

2 Layout&Menu 살펴보기 N/A 7.8 ­사용자의 디자인 & 레이아웃에 대한 의견 수집

­간결성 (메뉴 아이콘 의미 )측면에서 특히 낮은 평가 3 콘텐츠 검색 (감성적 ) 9.5 7.9 ­UI/기능의 제공방식 (클라우드 형태 -해시태그 )은 좋은 평가

­실수방지 측면에서 낮은 평가 4 콘텐츠 상세보기

및 메모하기 6.2 8.0 ­색상필터 입력에서 혼동을 많이 함(버튼 찾기,개념이해 힘듦)

­일관성 , 가시성 측면이 낮음

5 즐겨찾기 10.0 8.8 ­즐겨 찾기 메뉴는 쉽게 인식하고 찾음

­효율성은 높으나 가시성 , 간결성은 측면에서 아쉬움 6 콘텐츠 검색 (이성적 )

– 카테고리 , 필터 활용 9.5 8.7 ­검색 버튼 / 선택 창은 잘 보였으나 , 기능의 이해가 미흡  

­접근성은 높았으나 기능성 측면에서 낮은 평가를 받음 7 콘텐츠 검색 (이성적 )

- 검색 활용 8.0 8.8 ­검색 내용 입력 후 확인 버튼 없음

­일관성 , 접근성 , 기능성 측면에서 아쉬운 사용성 평가 8 소중한 순간 만들기 9.0 9.0 ­Task 수행 자체는 나쁘지 않은 성공률

­기능성 ,실수방지 측면에서 아쉬운 평가 9 소중한 순간들 영상 확인

하고 , 다운로드 및 결재 9.5 9.5 ­List 에서 상세보기와 다운로드 버튼 혼동

­정확도 ,FUN 을 비롯한 사용성은 무난한 평가

10 설정 확인 및 용량추가 10.0 9.2 ­간결성은 좋으나 , 실수방지 ,FUN 측면에서 상대적으로 낮은 평가

평균 87%

<파일 동기화 속도 2초 이내 달성 >

⑫ 시스템의 사용자 만족도 평가

㉮ 사용자 검증 대상 영역

㉯ 사용성 평가 속성 검증 결과

l 용자는 주관적인 입장에서 특히 가시성측면에 낮은 평가 (메뉴 , 버튼 등의 구분 등 ) l 전문가는 여러 솔루션을 비교 경험한 객관적인 입장에서 접근성 , 정확성 측면에 낮

은 평가 (메뉴 /아이콘의 혼란, 도움말 미비 )

간결성 일관성 실수방지 접근성 유연성 정확성 가시성 기능성 효율성 FUN 8.7 9.2 8.2 8.0 8.0 8.5 7.3 8.3 8.7 9.0

⑬ 하이라이팅 이미지 분류

㉮ 카테고리 데이터 확보

l 테스트 데이터: large Scale Visual Recognition Challenge (LSVRC)에서 사용하는 imagenet[4] 데이터 중 관련 10개 카테고리에 대한 데이터를 확보

l 10개의 카테고리에 대해 훈련에 사용하지 않은 데이터 700 테스트 이미지 파일 활용

㉯ 이미지 카테고리 분류 결과 l 이미지 분류 83 % 달성

<이미지 분류 83% 달성 >