• 검색 결과가 없습니다.

8.2 특징 추출과 색인 8.3 텍스트 색인과 검색

N/A
N/A
Protected

Academic year: 2022

Share "8.2 특징 추출과 색인 8.3 텍스트 색인과 검색 "

Copied!
77
0
0

로드 중.... (전체 텍스트 보기)

전체 글

(1)

2013. 08. 10

가천대학교 IT대학 컴퓨터미디어융합학과

Information Retrieval

제8장 다매체 검색

(2)

8.1 개요

8.2 특징 추출과 색인 8.3 텍스트 색인과 검색

8.4 소리 색인과 검색 8.5 영상 색인과 검색 8.6 동영상 색인과 검색

8.7 통합 색인과 검색

(3)

3

Why Multimedia Retrieval?

현대사회: 소통의 시대

Multimedia is a power of communication.

단일 미디어만으로는 의사소통 부족.

(4)

정보를 전달하거나 표현하는 형태

멀티미디어/다매체

여러 가지 형식의 자료를 전달하는 환경 여러 가지 매체가 동시에 제공되는 환경

여러 가지 형태의 자료를 조합하고 (동기화하여)함께 사용 하는 기술

멀티미디어/다매체 구성 요소

(5)

5

8.1 개요

멀티미디어/다매체 구성 요소

문자열, 소리, 영상, 동영상, 시간

문자열 영 상 동영상

멀티미디어

소 리

동기화 요소

종류

소 리 영 상

문자열 시 간

(6)

다매체 자료의 3가지 특징

특 징 내 역

동시성 두 가지 이상의 매체를 동기화하면서 사용 시간성 매체를 시간 간격을 두고 연속으로 표현

용 량 문자, 소리, 영상, 동영상 순으로 용량이 방대

(7)

7

8.1 개요

새로운 정보검색의 필요성

특 징 내 역 비 고

대용량 장비 기술

대용량 매체를 저장, 처리, 전송

하는 기술 CD, USB, DVD 새로운

표준 기술 매체별로 새로운 표준 제정 JPEG, MPEG 새로운

검색 기술

멀티미디어 색인, 유사도 검색 기 술 등

특징 추출, 고차원 색인

(8)

다매체 검색의 특징

검색 특징 내 역

특징 색인 멀티미디어 자료 자체에서 특징을 추출하여 색인 구성

다차원 색인 정확성 향상을 위해 여러 특징들로 색인 구성 유사도 검색 정확한 일치 검색이 아니라 비슷한 자료를 검색

통합 검색 매체별로 개별적으로 검색한 결과를 최종적으로 선택

(9)

9

8.2 특징 벡터와 다차원 색인

다매체에서는 특징으로 색인을 구성. Why?

DBMS: 동질적 구조화 레코드의 집합. 레코드= 속성들의 집 합.

속성 값으로 레코드를 고유하게 식별.

IRS: 비구조화 자료.

8.2.1 특징

- 수용할 수 있는 응답 시간, 품질(질의 결과)

질의 요건: 간단하고, 객체와 유사해야,,  특징의 필요성 색인: 특징으로 구성.

질의와 객체의 색인(특징)이 유사하면 유사한 객체.

특징 feature: 작고, 매체 식별하고, 대표성, 매체의 일부분.

원본 객체를 압축하면 특징과 색인으로 공동 사용 가능.

(10)

멀티미디어 특징feature의 요건

멀티미디어 특징 정의

1) 자료를 대표할 수 있도록 자료에서 추출된 자료

2) 자료의 일부분으로서 그 자료를 식별할 수 있는 자료 3) 자료의 한 부분이면서 검색을 위한 색인으로 사용할 수

구분 요 건 내 역

1 크 기 멀티미디어를 대표하고 DBMS의 키처럼 작아야 2 식별 능력 특징으로 매체를 식별

3 대표성 특징이 매체 자체를 대표

4 특징의 소재 특징의 소재가 매체의 일부분

(11)

11

8.2 특징과 색인

특징 벡터 feature vector:

정확성을 위하여 여러 개의 특징들을 대표 값으로..

ex. 색 분포 특징: 다수의 색상 분포 비율로 구분

Def.

1) 자료를 대표할 수 있는 특징들의 벡터

2) 자료를 대표할 수 있는 자료 부분들의 집합에 방향을 부 여

3) 자료의 한 부분이면서 검색을 위한 색인으로 사용될 수 있는 자료들의 벡터

(12)

특징 추출 feature extraction

원본 자료에서 특징을 만드는 기술

특징 비교

원본과 유사성을 특징으로 비교

유사도 similarity

유사한 특징을 갖는 자료를 찾는 것.

유사도 측정

(13)

13

8.2 특징과 색인

특징의 종류

멀티미디어 특징 벡터의 구성 요소

텍스트 용어

소리 주파수, 음량

영상 색, 모양, 질감

동영상 텍스트, 소리, 영상의 모든 구성 요소

(14)

8.2.2 검색 기법

원본 자료에서 특징을 만드는 기술 키(속성, 문자) 기반 검색

키 값으로 자료의 내용을 검색.

키 값 = 색인: 숫자 또는 키워드 같은 문자. Ex. DBMS 내용기반 검색 content-based retrieval: 1992 Kato 키 값을 모르면 이미 알고 있는 내용으로 검색.

이미 알고 있는 내용이 멀티미디어면 더욱 편리,,, =특징

(15)

15

8.2 특징과 색인

특징의 특성

매체 자체, 소용량, 저장 및 표현 가능, 미디어 대표.

내용기반 검색을 위한 키 값(색인)으로 활용.

특징

문자: 특정 문서를 대표하는 용어

소리: 음성, 음악의 일부분. 주파수, 음량, 음색,, 영상: 영상을 구성하는 색, 모양, 질감,,,,

(16)

특징 추출 기법 수동 추출

사용자가 수집 자동추출

간단한 계산으로 특징과 용어를 알고리즘으로 색인화 혼합 추출

시스템이 추출하고 사람이 재 확인

(17)

17

8.2.2 다차원/고차원 색인

다차원 특징 벡터의 구성

다차원 색인의 필요성

다차원 특징 벡터를 저장하기 위한 색인.

* 선형 색인으로는 시간이 많이 소요하기 때문 문자 문서: sv = (용어1, 용어1, ..., 용어n)

소리 문서: sv = (주파수1, 주파수2, ..., 주파수n) 소리 문서: sv = (진폭1, 진폭2, ..., 진폭n)

영상 문서: sv = (색1, 색2, ..., 색n)

영상 문서: sv = (모양1, 모양2, ..., 모양n) 동영상 문서: sv = (질감1, 질감2, ..., 질감n)

(18)

실례: MB+ 트리

2차원(주파수, 진폭)의 특징 벡터를 검색하기 위한 색인 구 조.

검색하려는 영역이 그림과 같이 7개라면 영역을 분할한다.

(19)

19

8.2.2 다차원/고차원 색인

3차원 K-d트리의 실례

(10,13,7), (9,14,8), (20,9,17), (7,13,6), (8,12,7), (6,10,9), (11,8,14), (15,13,11), (10,6,17), (16,12,21), (17,3,15)

(10,13,7)

(9,14,8) (20,9,17)

(7,13,6) (11,8,14)

(8,12,7)

(6,10,9)

(10,6,17)

(17,3,15) (15,13,11)

(16,12,21) 수준 1

수준 2

수준 3

수준 4

수준 5

(20)

ASCII, EBCDIC code

pattern matching algorithm full-text search algorithm

문서 검색의 주요 주제

1) 문서와 질의를 어떻게 표현할 것인가?

2) 문서와 질의의 유사도를 어떻게 비교할 것인가?

3) 모호한 자연어를 어떻게 처리할 것인가?

(21)

21

8.3 텍스트 색인과 검색 DBMS와 문서 검색

질의식

키 검색

동일?

문서

No

종료

색인

Yes

특징추출

환류 질의식

특징 추출

유사도 계산

유사?

문서

No

종료 관련성 평가

색인

문서 검색 Yes

(a) DBMS 검색 (b) 문자 문서 검색 문서 검색

질의식 변환

질 의 질 의

사용자 사용자

(22)

용어의 역파일

용어1: 레코드1, 레코드3 용어2: 레코드1, 레코드2

용어3: 레코드2, 레코드3, 레코드4

용어4: 레코드1, 레코드2, 레코드3, 레코드4 (용어1 AND 용어3)

(용어1 OR 용어3)

(용어4 AND NOT 용어1)

(23)

23

8.3 텍스트 색인과 검색

역파일 연산의 확장

‘computer’ WITHIN sentence ‘multimedia’

‘computer’ BEFORE(or AFTER) 1 sentence ‘multimedia’

‘computer’ WITHIN paragraph ‘multimedia’

‘computer’ ADJACENT ‘multimedia’

용어i: 레코드 번호, 문단번호, 문장번호, 단어번호;

실례: database: R89,10,8,3; R119,11,7,6; R155,8,4,13; R187,3,2,11;

media: R67,14,12,6; R89,10,17,16; R125,15,14,9; R167,131,2,21;

(24)

가중치를 이용한 검색

용어1: R1,0.3; R3,0.5; R6,0.8; R7,0.2; R11,1;

용어2: R2,0.7; R3,0.6; R7,0.5; R9,0.5;

용어3: R1,0.8; R2,0.4; R9,0.7;

이 자료를 대상으로 다음과 같이 질의를 불리언 질의로 수행 할 수 있다.

(25)

25

8.3 텍스트 색인과 검색 가중치를 이용한 검색

>>> 예제 8.1:

(용어2 OR 용어3)

R1=0.8, R2=0.7, R3=0.6, R7=0.5, R9=0.7 결과: R1, R2, R9, R3, R7

>>> 예제 8.2:

(용어2 AND 용어3)

R2=0.4, R9=0.5 결과: R9, R2

>>> 예제 8.3:

(용어2 AND NOT 용어3)

R2=0.3, R3=0.6, R7=0.5, R9=-0.2 결과: R2, R3, R7

(26)

(4) 벡터 공간 모델

Di = [Ti1, Ti2,…,Tik,…, TiN] Qj = [Qj1, Qj2,…,Qjk,…, QjN]

Tik: 문서 i의 용어 k,

Qjk: 질의 j에서 용어 k의 가중치,

N: 문서와 질의에서 사용된 용어들의 전체 수.

S(D

i

, Q

j

) = Σ

k=1,N

T

ik

· Q

jk ...

(식 8-1)

(27)

27

8.3 텍스트 색인과 검색

(4) 벡터 공간 모델

D1 = [0.2, 0.1, 0.4, 0.5]

D2 = [0.5, 0.6, 0.3, 0] Q = [0.5, 0.5, 0, 0]

D3 = [0.4, 0.5, 0.8, 0.3]

D4 = [0.1, 0,1, 0.7, 0.8]

S(D1,Q) = 0.15

S(D2,Q) = 0.55

S(D3,Q) = 0.45

S(D4,Q) = 0.1

(28)

8.3.3 텍스트 압축

(1) Huffman Coding

빈도수를 이용한 코딩 (2) 반복길이 코딩

반복 횟수를 이용한 코딩 (3) LZW Coding

구절을 이용한 코딩

1 0

0 1

1 0

a

b

c d

(29)

29

8.4 소리 색인과 검색

소리:

Def.

1) 물질의 진동에 의하여 공기가 변화하는 현상.

2) 공기의 진동에 의하여 전달되는 힘.

3) 청각에 의하여 인식되는 매체.

공기의 진동에 의하여 귀로 전달되는 자극.

가청 주파수 : 20Hz ~ 20KHz.

(30)

디지털 오디오

아날로그 파형을 디지털 부호로 변환한 것

기본 요소

주파수 : 초당 소리 파형의 반복횟수, 소리의 높낮이, 진폭 : 소리 파형의 기준선에서 최고점까지의 거리, 소리의 크기, 단위: dB decibel

음색 : 고유한 소리의 특징

내용기반 소리 검색 기준

(31)

31

8.4 소리 색인과 검색

소리의 속성

영 역 속 성 내 역

시 간 평균 에너지 시간대별로 나눈 소리 조각들을 조각의 수로 나눈 값

묵음 비율 공기 압력이 특정 값 이하일 때

주 파

스펙트럼 주파수 변화에 따른 진폭 변화

대역폭 소리의 최고 주파수와 최저 주파수의 차이

에너지 분포 소리 에너지 분포의 중간점(centroid)으로 소리를 분류

화음 모든 음들의 가장 낮은 음의 배수인 소리로 구성된 소리

음조 pitch 음의 고저

(32)

소리의 분류 과정

높은 Centroid ?

높은 묵음 비율 ?

높은 ZCR ?

Yes

Yes

No

No

음악

음악

단일 음악 음성+음악

음성+단일 음악 No

(33)

33

8.4 소리 색인과 검색

소리 분류절차의 중요성

- 상이한 소리형태는 상이한 처리와 검색 기술 필요 - 상이한 소리는 상이한 응용에 따라 상이한 의미

- 가장 중요한 소리는 음성으로 성공적인 음성인식 기술 - 소리 형태와 클래스는 그 자체로 응용에 매우 유용.

- 분류 후 탐색공간은 검색처리 동안 소리 클래스로 감소.

(34)

비디오 트랙과 소리 트랙의 실례

Frame 1 Frame 7 Frame 19 Frame 26

Sound track Video track

Segment 1:

음성

Segment 2:

음악

Segment 3:

음성

Time

(35)

35

8.4 소리 색인과 검색

내용기반 소리 색인 및 검색 방법 - 음성, 음악, 잡음 등으로 분류

- 상이한 소리는 상이하게 처리: 음성 인식된 단어들을 색 인화

- 질의 소리도 유사하게 분류, 처리, 색인화

- 질의 색인과 DB 색인의 유사성을 기반으로 검색

(36)

8.4.2 음악 색인과 검색 (1) 특징 추출

특징: 크기, 음조, 밝기, 대역폭, 화음 표현 방식: 중간값, 분산, 자기상관관계 (2) 다른 매체와의 관계

영상, 텍스트와의 동기화

(37)

37

8.4 소리 색인과 검색

8.4.3 소리 압축 (1) 예측 코딩

인접한 소리는 비슷할 것으로 예측하고 코딩.

소리 변화에 따라 코드를 나누는 간격을 조정 (2) MPEG Audio

차폐 전략 이용.

일반적인 소리 압축 표준.

사람이 들을 수 없는 소리는 제거하고 압축.

(38)

영상image, video, 映像:

2차원이나 3차원으로 표시된 시각 정보.

Def.

1) 가시광선이 물체에 반사되어 전달되는 에너지

2) 2차원이나 3차원 공간에 그려지는 시각적 표현물

ex. 사진, 슬라이드, X-ray, 초음파, MRI,,, 화상: 지속성, 영상: 일과성??

(39)

39

8.5 영상 색인과 검색

8.5.1 영상 검색 기법의 종류 영상의 주요 자료

- 영상 자체: 비트맵 이미지

- 등록자료: 영상의 소스, 카메라 규격,, - 특징 자료: 색, 모양, 질감,,

- 속성 자료: 일자, 저자, 제목, 파일이름, 범주, 주석,,

(40)

영상 검색 기법

검색 기법 내 역

속성 기반 DBMS를 이용하여 속성 자료를 검색 자동 객체 인식 특징 추출과 객체 인식을 자동으로 수행 주석 기반 영상에 대한 주석을 기반으로 검색

저수준 영상 특징 색, 모양, 질감 등의 특징을 저수준에서 검색

(41)

41

8.5 영상 색인과 검색

8.5.1 영상 검색 기법의 종류 1) 속성 기반 검색 기법

문자 주석으로 고급 영상 이해 곤란 도메인 지식이나 시소러스 필요

장점

영상에 포함된 고급 추상화 개념 포함.

단점

영상 원본이나 스케치로 검색 곤란

(42)

8.5.2 내용기반 영상 검색

색상, 모양, 질감 등 저급 특징들을 색인화

목적: 질의 영상과 유사한 영상을 DB에서 검색 DBMS와 차이점

- DBMS: 정확성 중요, CBIR: 유사성 중요.

- 다양한 검색 가능성 제시

- 유사도에 따르는 후보 영상을 최종 사용자가 선택 장점: 색인과 검색처리 자동화 가능, 구현 용이.

(43)

43

8.5 영상 색인과 검색

8.5.2 내용기반 영상 검색 (1) 색기반 영상검색 기법

가정: 색이 같으면 같은 영상이다.

색의 특성:

직관적으로 인식 가능.

다른 영상과 쉽게 식별 가능.

확대/축소, 회전시에도 변함없이 비교 가능

(44)

8.5.2 내용기반 영상 검색

다차원 색인 영상 자료

가시적

특성 문자 주석

특징 추출

질의 인터페이스 원시

이미지 CBIR 지원용

질의 질의 처리

(특징추출, 특징 비교)

(45)

45

8.5 영상 색인과 검색

8.5.2 내용기반 영상 검색 (1) 색기반 영상 특징 벡터

blue

q = r + 2g + 4b 5

2 3

8

2 4

d1 = 2r + 4g + 5b

d2 = 3r + 8g + 2b 1

4

green

2 red

(46)

46

8.5.2 내용기반 영상 검색 (1) 색기반 영상 특징 벡터

전제: 영상에서 색의 분포가 같으면 영상도 같다.

색 color:

빛의 자극으로 눈이 인식하는 전자파의 에너지 분포.

직관적으로 인식 가능, 차이를 쉽게 식별

색상 hue, 명도luminosity, 채도saturation 등으로 구성.

Histogram

색상을 여러 값으로 나누어 각 픽셀을 그 값으로 표현.

영상의 전체 성질 표현에 적합, 객체들의 위치 정보가 부족.

(47)

47

8.5 영상 색인과 검색

Histogram

색 공간에서 색을 일정한 간격으로 나눈 분포도.

h(M) = (h1, h2, … ,hn)

hj: 빈 j에 속하는 영상 M에 있는 픽셀의 수.

H1 = (8,8,8,8,8,8,8,8) H2 = (7,7,7,7,9,9,9,9)

H3 = (2,2,10,10,10,10,10,10)

세 영상 사이의 거리는

d(H1,H2) = 1+1+1+1+1+1+1+1 = 8 d(H1,H3) = 6+6+2+2+2+2+2+2 = 24 d(H2,H3) = 5+5+3+2+1+1+1+1 = 19

(48)

다음 그림들 중에서 유사한 것들을 찾으시오.

모양을 선택할 것인가 색을 선택할 것인가?

(49)

49

8.5 영상 색인과 검색

8.5.2 내용기반 영상 검색

(2) 모양기반 영상 검색 절차

순서 작업 명 작업 내역

1 기준 설정 주축, 보조축, 편심 측정

2 정규화 주축을 X축에 정렬하고 축적 조정 3 그리드 배치 모양 위에 그리드 공간 배치

4 색인 생성 1과 0을 할당하여 이진 값 생성 5 색인 구축 이진 값과 보조축의 길이를 저장

(50)

8.5.2 내용기반 영상 검색

모양기반 영상 특징 벡터

색상이나 질감보다 정보 추출이 어렵다.

2차원공간에서는 영역, 경계선, 폐곡선 등으로 표현.

패턴인식이 중요 역할.

모양검색의 주요 특성

- 모양 표현: 이동, 회전, 확대 시 모양이 불변,, 상이한 크기, 위치, 방향의 객체 인식 필요

- 유사한 모양은 유사한 표현: 모양 표현 사이의 거리로 검색

(51)

51

8.5 영상 색인과 검색

모양 측정 용어

1) 주축 major axis: 가장 거리가 먼 두 점 사이의 직선

2) 보조축 minor axis: 사각형을 만들면서 주축에 수직인 직선

3) 기본 사각형 basic rectangle:

주축과 보조축이 만드는 사각형

4) 편심 eccentricity:

영역을 이루는 주축과 보조축의 비율.

(52)

52

영역기반 모양 표현과 유사도 측정

앞 절에서 기술한 모양 표현 기법은 인간의 지각 능력과 부조 화.

영역기반 모양 표현이 검색에 적합.

- 높은 검색 성능

- 특징 표현, 정규화, 거리 측정 등의 완벽한 처리 기본 아이디어

모양 위에 그리드 공간을 덮고 고정 길이의 사각형 셀로 표현.

그리드 공간: 모양에 점유되는 픽셀의 15% 이상이면 1, 아 니면 0

셀의 크기가 작을수록 정확

(53)

53

8.5.2 영상 색인과 검색

8.5.2 영역기반 모양 표현과 유사도 측정

모양이 각 셀의 15%를 초과하면 ‘1’을 아니면 ‘0’을 기억.

<그림 8.12>의 2진값은 11000000 11110000 01001100 01111111.

<그림 8.12> 모양 색인을 표현하기 위한 그림의 좌표

(54)

8.5.2 영역기반 모양 1111.

X축 기준

Y축 기준

(55)

55

8.5 영상 색인과 검색

8.5.2 모양기반: 회전 정규화

모양을 고유한 공통 오리엔테이션에 놓은 것.

모양의 주축을 x축에 평행하게 하고, 가장 긴 점들을 왼쪽과 오른쪽에.

두 개의 모양이 가능.

2진값을 색인으로

<그림 8.14> 그리드 설정

(56)

[그림 8.15] [그림 8.14]의 모양을 Y축으로 회전시킨 모 양

(57)

57

8.5 영상 색인과 검색

(3) 질감 기반 영상 검색

구분 검색 요

내 역

1 굵기 영상을 구성하는 요소들의 크기 2 대비 요소들의 빛의 강도 차이

3 방향성 요소들의 모양과 배치

4 선 모양 요소들의 모양: 선과 방울 형태 5 규칙성 요소들의 배치 규칙

6 거칠기 요소들의 굵기와 매끄러운 정도

(58)

8.5.3 영상 압축

(1) 공간 일부 표본화 중복을 이용

(2) 예측 코딩

인접한 그림 요소들은 유사하다.

(3) 변환 코딩

공간 도메인과 주파수 도메인을 변환하여 압축

(59)

59

8.6 동영상 색인과 검색

동영상 video

- 움직이는 물체에 의한 시각적 표현물

- 가시광선에 의하여 전달되는 움직이는 물체의 에너지 영상 + 시간 차원

완전 동영상

부제, 소리, 영상,, 동영상 구성 요소

문자, 소리, 영상, 속성 자료

Frame: 동영상 스트림에서 하나의 영상

Shot: 같은 주제를 가진 프레임들의 연속된 짧은 집합

(60)

8.6.1 동영상 색인과 검색 기법

동영상의 구성도

Sound track Video track

.. .. ..

Shot S1 Shot S2 Shot S3

Frame 1 Frame 70 Frame 190

Time

(61)

61

8.6 동영상 색인과 검색

8.6.1 동영상 색인과 검색 기법

구분 검색 기법 내 역

1 메타자료 기반 동영상의 속성 자료로 검색

2 문자 기반 주석 등의 문자 기록이나 자막에서 문자 검색 3 소리 기반 음성 인식을 이용하여 단어들을 색인화

4 영상 기반 독립된 프레임을 기반으로 검색

프레임들을 그룹핑하여 샷을 기반으로 검색

5 통합 기법 메타자료, 문자, 소리, 영상 등의 모든 기법을 통합

(62)

(1) Shot 기반 색인과 검색

동영상 순서: 일정 비율의 영상들의 순서.

프레임을 개별적으로 다루는 것은 비효율적.

shot: 다음 특징들을 하나 이상 갖춘 연속된 프레임들의 짧은 묶음.

샷의 구성 요건

구분 내 역

1 동일한 장면을 대상으로 한다.

2 프레임들이 한 번의 카메라 동작으로 구성된다.

(63)

63

8.6 동영상 색인과 검색

Shot기반 색인 및 검색 기법의 주요 절차 - 동영상을 shot으로 분할.

동영상 segmentation, partition, shot detection - 각 shot을 색인화.

Shot마다 r frame(key frame)을 결정하고

제8장의 영상 색인 기법으로 r frame을 색인화 - 유사도 측정.

질의와 동영상 사이의 유사도 비교.

(64)

R frame 선발 규칙 -

구분 내 역

1 첫째 프레임을 r frame으로 선발한다.

2 평균적인 특성을 가지는 프레임을 r frame으로 선발한다.

3 프레임들의 히스토그램 평균값을 구하여 r frame 설정.

4 카메라 panning으로 구한다.

(65)

65

8.6 동영상 색인과 검색

Shot기반 동영상 검색 기법

- Video track

.. .. ..

r frame r frame r frame

다차원 특징 색인 특징

추출

Frame 1 Frame n

Shot S1 Shot S2 Shot S3

(66)

8.6.2 동영상 압축

시간 중복: 동영상은 인접한 영상과 유사하다.

영상 압축 기법을 동일하게 적용.

대부분의 동영상들은 압축 형태로 저장  압축 자료를 기반으로 색인 구성 MPEG: 가장 보편적 기술

(67)

67

8.7 통합 색인과 검색

지금까지 문자, 소리, 영상, 도영상 검색을 별개로 논의 통합 검색 목적: 검색 효과 향상

기존 기술의 3가지 접근법

종류 내 역 비 고

저급 특징 방식 미디어의 저급한 특징을 이용하여 검색 내용기반 검색

구조적 속성 방식 제목, 일자 등의 속성으로 검색 DBMS

주석 방식 미디어를 설명하는 내용으로 검색

(68)

여러 방식을 통합하는 이유 ,

구 분 내 역

미디어의 조화 미디어들은 함께 제공

검색 방식의 특성 검색 방식마다 장점과 단점이 존재 검색 난이도 검색 방식이 다르면 난이도 상이

(69)

69

8.7 통합 색인과 검색

멀티미디어 객체의 종류

, 구분 구성 미디어 비 고

형태1

구조적 속성

속성 자료와 설명서와 아나운서의 해설이 있는 음악, 강의 자 자유 문자열 료 등

소리

형태2

구조적 속성

속성 자료와 설명서와 해설이 있는 여행 안내 슬라이드 등 자유 문자열

소리 영상

형태3

구조적 속성

속성 자료와 설명서가 있는 영화 등 자유 문자열

소리 동영상

(70)

멀티미디어 객체들의 통합 특징

소리특징(A:0.8, G:0.6, B:0.4, J:0.4, M:0.3) 색상특징(A:0.7, B:0.6, J:0.5, M:0.4, N:0.3)

통합특징(A:0.75, B:0.5, J:0.45, M:0.35, G:0.3, N:0.15) 가중치 반영시

소리: 70%, 색상: 30%

(71)

71

8.7 통합 색인과 검색

8.7.2 멀티미디어 정보관리의 일반적인 구조

(72)

72

멀티미디어

다른 형식의 자료들을 함께 제공하는 기술(환경).

멀티미디어의 특징

용량, 동시성, 시간성 멀티미디어 검색의 특징

특징 색인, 다차원 색인, 유사도 검색, 통합 검색 특징 feature

대표성, 매체 일부분, 식별 가능, 크기가 작아야,,

특징 벡터 정확성을 위하여 여러 개의 특징들을 모은 값.

(73)

73

8.8 요점 정리

특징의 종류

용어, 주파수, 진폭, 색, 모양, 질감,,, MB+ 트리

다차원의 특징 공간을 효과적으로 분할하여 검색하기 위한 B+ 트리.

텍스트 검색

문서와 질의를 용어들의 특징 벡터로 표현하고 유사성으로 검 색.

벡터공간모델 텍스트 압축

Huffman 코드, 반복 길이 코드, LZW 코드

(74)

소리 공기의 진동에 의하여 귀로 전달되는 자극.

소리 검색

소리를 주파수, 진폭 등의 특징 벡터 공간에서 검색 소리의 분류

음성, 음악, 음향 소리 압축

예측 코딩: 인접한 소리는 비슷할 것이라는 가정.

소리 변화에 따라 소리의 간격을 가변적으로 저장.

영상 검색

영상을 색, 모양, 질감 등의 특징 벡터로 표현하고 검색.

(75)

75

8.8 요점

정리

영상 검색 기법

속성 기반, 주석 기반, 특징 기반, 자동 객체 인식 영상 압축

공간 일부 표본화, 예측 코딩, 변환 코딩 동영상 검색

동영상을 텍스트, 소리, 영상 등의 특징 벡터로 표현하고 검 색.

동영상 검색 기법

속성, 문자, 소리, 영상, 통합 검색 샷 기반 검색

동영상을 샷으로 구분하고 샷 단위로 검색 R frame 검색

샷의 대표적인 프레임을 기준으로 검색

(76)

동영상 압축

시간 중복, 영상 압축 기법 이용, MPEG 통합 검색

속성, 특징, 주석 기반 통합 기법의 장점?

(77)

77

8.8 익힘 문제

두 문제를 골라서 답안을 제출하시오.

참조

관련 문서

 이 두 가지 과제를 해결하기 위해서는 현재의 의학적 손상 중심의 사정을 통해 장애 등록 여부와 장애 등급을 결정하고 있는 방식에서 탈피하여 , 의학적

자신에 대한 갈등과 고민의 결과 자신이 다른 사람과 다르다는 것을 인지하고 자신의 진로와 삶의 철학을 발견한 상태. 자신의 역할에 대한 규정이 안정적으로

책자 연표의 유형으로 왼편 페이지에 연표, 오른쪽 페이지에 는 중요 사항에 해설을 붙이거나, 또는 상란에 연표, 하란에 해설을 붙이는 식 으로 꾸민 연표이다..

♥ Posting to social

한국은 미래에 사용될 대체에너지로 석유, 석탄, 원자력, 천연가스가 아닌 에너지로 11개 분야 를 지정 (대체에너지개발 및 이용·보급촉진법 제

역사적 사실과 정보의 이해, 역사적 시간성의 이해 맥락과 상황의 이해 , 감정이입적ㆍ상상적 이해, 영상자료에 대한

 국내 과학기술 분야의 학술지를 대상으로, 학술지들이 얼마나 많은 논문들을 발간하 며 각 논문이 어느 정도 인용되는지에 대한 정보를 제공하는 인용색인 DB.  국내

종이에 습기를 주어 잉킹을 쉽게 핛