저작자표시

(1)

저작자표시-비영리-동일조건변경허락 2.0 대한민국 이용자는 아래의 조건을 따르는 경우에 한하여 자유롭게

l 이 저작물을 복제, 배포, 전송, 전시, 공연 및 방송할 수 있습니다. l 이차적 저작물을 작성할 수 있습니다.

다음과 같은 조건을 따라야 합니다:

l 귀하는, 이 저작물의 재이용이나 배포의 경우, 이 저작물에 적용된 이용허락조건 을 명확하게 나타내어야 합니다.

저작권법에 따른 이용자의 권리는 위의 내용에 의하여 영향을 받지 않습니다.

이것은 이용허락규약(Legal Code)을 이해하기 쉽게 요약한 것입니다.

Disclaimer

저작자표시. 귀하는 원저작자를 표시하여야 합니다.

비영리. 귀하는 이 저작물을 영리 목적으로 이용할 수 없습니다.

동일조건변경허락. 귀하가 이 저작물을 개작, 변형 또는 가공했을 경우 에는, 이 저작물과 동일한 이용허락조건하에서만 배포할 수 있습니다.

(2)

2 2 20 0 00 0 09 9 9년 년 년 2 2 2월 월 월 석 석 석사 사 사학 학 학위 위 위논 논 논문 문 문

의 의

의미 미 미적 적 적 움 움 움직 직 직임 임 임 모 모 모델 델 델링 링 링 기 기 기반 반 반 비 비 비디 디 디오 오 오 내 내 내 이 이 이동 동 동 객 객 객체 체 체 그 그 그룹 룹 룹화 화 화

조

조 조선 선 선대 대 대학 학 학교 교 교 대 대 대학 학 학원 원 원

컴 컴 컴퓨 퓨 퓨터 터 터공 공 공학 학 학과 과 과

(3)

의 의

의미 미 미적 적 적 움 움 움직 직 직임 임 임 모 모 모델 델 델링 링 링 기 기 기반 반 반 비 비 비디 디 디오 오 오 내 내 내 이 이 이동 동 동 객 객 객체 체 체 그 그 그룹 룹 룹화 화 화

Moving Moving Moving

Moving Object Object Object Grouping Object Grouping Grouping Grouping in in in Video in Video Video Video based based based based on on on on Semantic

Semantic Semantic

Semantic Motion Motion Motion Motion Modeling Modeling Modeling Modeling

2 2 20 0 00 0 08 8 8년 년 년 1 1 10 0 0월 월 월

조

조 조선 선 선대 대 대학 학 학교 교 교 대 대 대학 학 학원 원 원

컴 컴 컴퓨 퓨 퓨터 터 터공 공 공학 학 학과 과 과

이 이 이홍 홍 홍렬 렬 렬

(4)

의 의

의미 미 미적 적 적 움 움 움직 직 직임 임 임 모 모 모델 델 델링 링 링 기 기 기반 반 반 비 비 비디 디 디오 오 오 내 내 내 이 이 이동 동 동 객 객 객체 체 체 그 그 그룹 룹 룹화 화 화

지 지

지도 도 도교 교 교수 수 수 김 김 김 판 판 판 구 구 구

이 이 이 논 논 논문 문 문을 을 을 공 공 공학 학 학석 석 석사 사 사학 학 학위 위 위신 신 신청 청 청 논 논 논문 문 문으 으 으로 로 로 제 제 제출 출 출함 함 함. . .

2 2 20 0 00 0 08 8 8년 년 년 1 1 10 0 0월 월 월

조

조 조선 선 선대 대 대학 학 학교 교 교 대 대 대학 학 학원 원 원

컴 컴

컴퓨 퓨 퓨터 터 터공 공 공학 학 학과 과 과

이 이 이홍 홍 홍렬 렬 렬

(5)

(6)

목 목 목 차 차 차

Ⅰ.서론 ···1

A.연구배경 및 목적 ···1

B.연구내용 및 구성 ···2

Ⅱ.의미적 움직임 모델링 ···3

A.비디오 내 객체 모델링 ···3

B.시․공간 관계에 의한 움직임 모델링 ···7

C.모션 동사와 의미적 움직임 모델링 매핑 ···9

Ⅲ.비디오 내 이동 객체 그룹화 ···12

A.비디오 내 객체 움직임 인식 ···12

1.비디오 내 이동 객체 추출 ···12

2.객체의 움직임 트랙킹(tracking)···15

3.객체의 움직임 저장 ···17

B.DTW(DynamicTimeWarping)을 이용한 이동 객체 그룹화 ···18

DTW(DynamicTimeWarping)알고리즘 ···18

C.비디오 내 의미적 객체 움직임 정보 분류 ···24

1.객체의 정적 상태 움직임 인식 ···24

2.객체의 동적 상태 움직임 인식 ···26

Ⅳ.실험 및 응용 ···27

A.실험 및 응용 방법 ···27

B. PrecisionRate와 RecallRate를 통한 평가 ···27

(7)

Ⅴ.결론 및 제언 ···34 참고문헌 ···35

(8)

표

표 표 목 목 목 차 차 차

[표 2-1]Levin의 동사의 분류 중 51번 클래스의 일부--- 9

[표 2-3]Lisa Pearl의 'GO primitive and a particle'--- 10

[표 2-4]제안한 모델에 대한 모션 동사의 매핑--- 10

[표 3-1]궤적추출 알고리즘--- 14

[표 3-2]라벨링 부여 로직--- 16

[표 3-3]시퀀스 넘버에 따른 변화--- 20

[표 3-4]Distance Matrix Table--- 20

[표 3-5]Monotonicity제약사항 로직--- 22

[표 3-6]가중치를 이용한 시퀀스 값--- 23

[표 3-7]두 시퀀스의 유사도--- 23

[표 3-8]객체의 정적상태 파악 로직--- 25

[표 3-9]객체의 동적상태 파악 로직--- 26

[표 4-1]기준 커브 함수--- 28

[표 4-2]Precision Rate와 RecallRate--- 31

[표 4-3]모션별 평가--- 31

[표 4-4]Precision과 RecallRate에 대한 평가 결과--- 31

(9)

그

그 그 림 림 림 목 목 목 차 차 차

[그림 2-1]Egenhofer의 위상관계--- 3

[그림 2-2]비디오 상에서 움직이는 객체의 추출과 고정된 객체 정의---4

[그림 2-3]좌표에 따른 객체의 위상관계--- 5

[그림 2-4]방향성이 없는 확장된 움직임 정의---5

[그림 2-5]방향성을 갖는 확장된 움직임 정의--- 6

[그림 2-6]객체 움직임에 대한 모델링--- 7

[그림 2-7]제안한 모델과 움직임 동사 매핑 결과--- 11

[그림 3-1]비디오 내 이동 객체의 그룹화 단계--- 12

[그림 3-2]비디오 내 객체 움직임 인식 단계--- 13

[그림 3-3]CCTV를 이용한 예제 영상--- 14

[그림 3-4][그림 3-3]에 대한 Grayscale영상--- 14

[그림 3-5][그림 3-4]에 대한 차(Difference)영상--- 15

[그림 3-6]움직임 객체의 이동경로 추출---15

[그림 3-7]고정 객체와 이동 객체--- 16

[그림 3-8]움직임 객체에 대한 정보 저장---18

[그림 3-9]일반적인 커브의 비교와 DTW를 이용한 비교의 매칭 포인트---- 19

[그림 3-10]궤적의 연속과 불연속---21

[그림 3-11]Warping Condition--- 21

[그림 3-12]Boundary Condition--- 22

[그림 3-13]Monotonicity--- 23

[그림 3-14]Continuity제약사항--- 24

[그림 3-15]객체의 정적상태 파악--- 27

[그림 4-1]객체의 트랙킹과 궤적 추출--- 28

[그림 4-2]객체의 정적/동적 상태 분석---29

(10)

[그림 4-3]CCTV영상 분석 결과(1)---29

[그림 4-4]CCTV영상 분석 결과(2)---30

[그림 4-5]비정상적인 떨림 현상이 발생한 궤적---32

[그림 4-6]TSR 평면[17]---33

(11)

A A AB B BS S ST T TR R RA A AC C CT T T

M M

Mo o ov v vi i in n ng g gO O Ob b bj j je e ec c ct t tG G Gr r ro o ou u up p pi i i n n ng g gi i in n nV V Vi i id d de e eo o o b b ba a as s se e ed d do o on n nS S Se e em m ma a an n nt t ti i i c c cM M Mo o ot t ti i i o o on n nM M Mo o od d de e el l l i i in n ng g g

HongryoulYi

Advisor:Prof.PankooKim,Ph.D DepartmentofComputerScience GraduateSchoolofChosunUniversity

Due to the rapid spread ofthe web,Ithas increased interestin multimedia content. until now, study of video retrieval was based on the low-level elementslikecolor,texture,shape.However,usersprefersemantic-basedvideo retrievalto others.because,semantic-retrievalmeansunderstanding ofrelation aboutInstancesinvideoandanalysis.

Thispaperwasfocused on "How tounderstand eventin video." Onemajor goalof this research is to accomplish the automatic extraction of feature semantics from a motion and to provide supportfor semantic-based motion indexing/retrieval/management.So,Iproposed modelused forspatio-temporal relations.and Igota moving objectinformation using low-levelinformation.

Analysis process consists of Static analysis, Dynamic analysis and DTW analysis.first,static analysis is understanding only one frame attime.and dynamic analysis means understanding two or more frames in movies.for example,moving objectisoutterfrom otherobject.Inthiscase,staticanalysis result is "OUT".but considering two or more frames,we willcan know relation between two instance.like "approach","depart","go away".butthese process only can know relation about approach,enter,depart...etc.we need

(12)

understanding"wheretogo."aswell.So,IusedDTW(DynamicTimeWarping) algorithm.This algorithm provide more directive comparing method between twocurves.ofcourse,from now on,wecan know relation aboutInstanceand movingdirectionalso.

Thispaperendswiththepresentationofexperimentsandresultsshowingboth processesareindeedcapableofrecognizing simpleeventsoutofvideostreams.

Applying The proposed system, I evaluate right_result, wrong_result, right_miss_resultSo,theRecallRatehasa0.78.andPrecisionRatehasa0.74.

Inaddition,theanalysisshows88% accuracy.

(13)

Ⅰ

Ⅰ Ⅰ. . .서 서 서론 론 론

A

A A. . .연 연 연구 구 구배 배 배경 경 경 및 및 및 목 목 목적 적 적

대용량의 비디오 데이터는 구조가 매우 복잡하여,그에 대한 분석 및 처리 방법 에 있어서 현재까지의 기술은 주로 색상,질감,형태,궤적 등 저차원 레벨의 성분 에 기반을 둔 것이 일반적이다.그러나 사용자의 요구는 단순한 저차원의 인식이 아니라 비디오 데이터 내에 포함된 의미를 이해하는 것으로 고차원 레벨의 의미 분석 방법론이 대두되고 있다.특히,움직임 기반의 비디오 검색에 있어서 객체 움 직임 분석과 이에 대한 효율적인 인덱싱 방법이 요구된다.

따라서,본 논문에서는 비디오 내 객체의 시공간적 움직임의 의미적인 이해를 위 해 객체 간 시공간적 관계를 모델링하고,이를 이용하여 움직임 객체의 그룹화 방 안을 제시한다.이를 위해 의미적 움직임 인식을 위해 객체의 궤적,방향 등의 요 소를 모델링하였고,이를 기반으로 특정 움직임을 Wordnet동사 어휘와 매칭 시켰 다.움직임 객체의 속성 정보를 기반으로 새로운 객체가 나타났을 때,기존 객체 정보를 기반으로 DynamicTimeWarping을 이용하여 객체 간 그룹핑 방법을 제안 하였다.

제안한 방법은 의미적 움직임 모델링을 이용한 그룹화를 통해 비디오 내 움직임 기반 검색 시 의미적인 움직임 검색이 가능하고,기존 저차원 기반 인덱싱 방법에 비해 향상된 데이터 모델링을 제시함으로 검색 성능을 높일 수 있다.

본 논문에서 제안한 방법의 실험을 위해 기존의 비디오 내 움직임을 기반으로 하여 모션동사를 매칭하며,객체의 움직임을 정의한 모델을 사용하여 데이터 셋을 구성하였다.축척된 데이터 셋을 통하여,의미적 움직임 각각의 특징 모델을 정의 하였으며,이를 기반으로 DynamicTimeWarp을 적용하여 특징 모델과의 유사성 을 비교한 새로운 영상의 분류와 그룹화를 시도하였다.또한 Precision Rate와 RecallRate를 구하여,제안된 방법의 신뢰성을 평가하였다.

(14)

B

B B. . .연 연 연구 구 구내 내 내용 용 용 및 및 및 구 구 구성 성 성

본 논문에서 다루고자 하는 주요 내용은 객체 간 시공간적 관계를 모델링하고, 이를 이용하여 움직임 객체의 그룹화 방안을 제시한다.의미적 움직임 인식을 위해 객체의 궤적,방향등의 요소를 모델링 하고,이를 기반으로 특정 움직임을 Wordnet 동사 어휘와 매칭 시켰으며,움직임 객체의 그룹별 특징 모델을 기반으로 새로운 객체가 나타나게 되면,특징모델과 새로운 영상내 객체의 정보를 Dynamic Time Warping과의 유사도 측정을 이용하여 객체간 그룹핑을 실시하였다.

제안한 방법은 의미적 움직임 모델링을 이용한 그룹화를 통해 비디오 내 움직임 기반 검색 시 의미적인 움직임 검색이 가능하게 하였으며,기존 저차원 기반 인덱 싱 방법에 비해 향상된 데이터 모델링을 제시함으로 검색 성능을 높일 수 있다.본 논문의 구성은 다음과 같다.2장 관련 연구에서는 비디오 내의 움직임을 의미적으 로 인식하기 위해 기존의 계층적 모델링 방법과 이동객체의 그룹화 방법에 대해 살펴본다.3장에서는 움직임 객체의 효율적인 그룹화를 위한 모델 제안으로 고정객 체와 이동객체 사이의 위치 관계 연산자를 이용하여 기본 움직임을 정의한다.4장 에서는 DynamicTimeWarping알고리즘에 대해 살펴보며,3장에서 정의한 모델을 바탕으로 이동 객체의 그룹화 방법을 제안한다.5장에서는 시스템 내의 평가를 통 해 제안된 그룹화 방법의 신뢰성을 보였다.

(15)

Ⅱ Ⅱ Ⅱ. . .의 의 의미 미 미적 적 적 움 움 움직 직 직임 임 임 모 모 모델 델 델링 링 링

본 장에서는 비디오에서 객체 움직임의 의미적 움직임 인식을 위해 고려되어야 할 색상,형태,움직임 위치 정보의 저차원 정보로부터 시·공간적 특징에 의한 고차 원 정보인식을 고려해보며,계층적 모델링을 제안한다.

A

A A. . .비 비 비디 디 디오 오 오 내 내 내 객 객 객체 체 체 모 모 모델 델 델링 링 링

비디오에서 의미를 가지는 최소의 단위가 신(Scene)이며,여기서 가장 중요한 요 소 중 하나가 객체(Object)이다.이 객체는 시간의 흐름에 따라 객체의 위상관계와 방향관계로 객체를 표현할 수 있는데,비디오 상에서는 각 객체가 독립적으로 존재 하고 각각에 대한 색상,형태,움직임 위치 정보의 저차원 정보를 추출해야하므로 비록 다른 시간에 발생한 이벤트라 할지라도 이를 동 시간에 움직이는 객체로 생 각해볼 수 있다.

위상관계는 공간관계의 일부로 객체를 영역으로 표현하고 이들 간의 관계를 표 현한 것으로 이에 대한 많은 연구가 있었다.이 중 Egenhofer[1]에 의해 제시된 위 상 관계 표현은 점의 집합을 이용한 위상 관계 표현으로 두 개의 영역 공간 객체 들의 교집합이 공집합인지 아닌지의 여부에 따라 관계를 정의한다.이는 다음과 같 이 [그림 2-1]과 같이 ‘equal’, ‘inside’, ‘cover’, ‘overlap’, ‘touch’, ‘disjoint’,

‘covered-by’,‘contains’8가지의 위상관계이다.

q p

disjoint (p , q) meet (p , q) overlap (p , q)

covered by (p , q) covers (q , p)

inside (p , q)

contains (q , p) equal (p , q)

q p q p

q p q p q p

[그림 2-1]Egenhofer의 위상관계

(16)

이외에도 S.Y.Lee과 F.J.Hsu[2]는 2차원 상에서의 표현을 다양하게 확장하기 위하여 2D C-string을 제안하였으며,W.Ren[3]은 특별한 6가지의 위상관계 -

‘Left’,‘Right’,‘Up’,‘Down’,‘Touch’,‘Front’-를 통하여 공간관계와 결합하였다.

위와 같은 위상관계는 정지된 객체간의 관계를 나타내고 있다.그러나 비디오에 서는 시간의 흐름에 따른 움직이는 객체의 위상관계가 필요하며,이를 시간에 따라 나누어 보면 한 객체가 움직이고 있을 때,한 객체는 멈추어 있다고 말할 수 있다.

따라서 본 논문에서는 가장 기본이 되는 고정 객체와 이동 객체 사이의 관계에 대 해 표현하고,이를 확장하도록 하겠다.이동 객체는 고정 객체에 비해 객체 영역이 아주 작다고 가정하고 움직임을 선으로 표현하였다.[그림 2-2]고정 객체로는 교차 로,건널목 등이라고 가정하며 이 또한 MBR로 표현하여 정의한다.여기서 고정 객 체의 정의로 고정 객체는 파란색 사각형으로 이동 객체는 빨간색 사각형으로 표현 하고 있다.

[그림 2-2]비디오 상에서 움직이는 객체의 추출과 고정된 객체 정의 이는 [그림 2-3]과 같은 위상관계로 나타내 볼 수 있다.

(17)

움직이는움직이는

움직이는움직이는 객체의객체의객체의 위상관계객체의위상관계위상관계위상관계

T = +x Non-moving

object

Object A

Object B

Object D

Object E

+

Object C

T = +x

T = -x

Object NM

Minus Coordinates Plus Coordinates

T = 움직임움직임움직임움직임 객체의객체의객체의 거리객체의거리거리거리 x = 변화량변화량변화량변화량

-

before

after

[그림 2-3]좌표에 따른 객체의 위상관계

[그림 3-8]에서 좌표는 음의 좌표(Minus Coordinates)와 양의 좌표(Plus Coord inates)로 분류하여 움직이는 객체를 표현하고 있으며,각각의 움직이는 객체 사이 의 거리(T)가 일정하다고 가정했을 때 ,이를 통해서 좌표의 변화와 거리를 수치적 으로 표현할 수 있다.또한 5가지의 기본 움직임을 결합하여 새로운 관계를 생성할 수 있고,좀 더 다양한 의미적 관계를 표현할 수 있다.[그림 2-4]에서 기본 움직임 의 결합을 통한 확장된 움직임 요소의 위상관계 표현을 보여주고 있다.

F

G

I

E D C

C B A

E D C B A

part of able to part of

[그림 2-4]방향성이 없는 확장된 움직임 정의

(18)

예를 들면 [그림 2-2]에서 60번 객체는 [그림 2-4]에서 E로 표현되며 67번 객체는 F와 C가 결합된 형태로 표현될 수 있다.

위의 위상관계는 방향성을 갖지 않는 위상 관계이다.이에 방향관계를 이용한 기 본 움직임으로 확장할 수 있는데 [그림 2-5]는 4가지 방향에 따른 움직임 변화 즉, H,I,J,K에 대한 변화를 나타내고 있다.

I K

H

J

H

[그림 2-5]방향성을 갖는 확장된 움직임 정의

(19)

B

B B. . .시 시 시․ ․ ․공 공 공간 간 간 관 관 관계 계 계에 에 에 의 의 의한 한 한 움 움 움직 직 직임 임 임 모 모 모델 델 델링 링 링

앞장에서 고정 객체와 이동 객체에 대한 위상관계와 방향관계를 이용하여 객체 움직임을 정의하여 보았다.본 장에서는 의미 불일치 문제 해소를 위한 중간 차원 (mid-level)로써 기본 움직임과 확장된 움직임을 구조적으로 모델링한다.[그림 2-6]

는 정의한 새로운 위상관계와 방향관계를 바탕으로 의미적 표현을 위한 시공간 관 계 모델링이다.

F G

E D C B A

K J I H

Part of Antonym able to Part of

Level 1 Level 2 Level 3 Level 4

[그림 2-6]객체 움직임에 대한 모델링

[그림 2-6]에서 움직임을 크게 3가지 단계로 구분하였다.첫 번째 단계(Level1) 는 움직임의 기본 요소의 표현이고,두 번째 단계(Level2)는 움직임의 확장된 요

(20)

소의 표현이다.여기서 고정 객체와 이동 객체사이의 위상관계만을 고려하므로 2가 지 외에 다른 경우는 성립이 되지 않는다.마지막으로 세 번째 단계(Level3)는 두 번째 단계 움직임들의 결합으로 표현되는 확장된 움직임의 표현이다.이보다 상위 단계(Level4)에서는 세 번째 단계의 움직임들의 결합으로 표현이 가능하나 의미부 여에 어려움이 있으므로 본 논문에서는 세 번째 단계까지만 다루기로 한다.

[그림 2-6]에서 각 관계에 대해 살펴보면 F와 G는 I의 하위 클래스가 된다.그리 고 이는 ‘Partof'관계를 가지고 있다.또한 E는 F를 구성하는데 꼭 필요한 요소 는 아니지만,부분 요소가 될 수 있는 자질을 가지고 있다.따라서 이는 ‘able to partof'로 표현하였다.또한 F와 G는 서로 반대의 의미를 가지고 있기 때문에 반 의어(antonym)관계로 나타낼 수 있다.이와 같이,비록 각 모션 동사는 공간적 관 계는 다르다고 할지라도,의미적 관계는 같기 때문에 계층적 의미 관계로 표현 가 능하다.

(21)

C

C C. . .모 모 모션 션 션 동 동 동사 사 사와 와 와 의 의 의미 미 미적 적 적 움 움 움직 직 직임 임 임 모 모 모델 델 델링 링 링 매 매 매핑 핑 핑

저차원에서 추출된 정보인 객체의 궤적에 따른 관계 표현은 완전한 내용 인식까 지는 그 범위가 미치지 못하고 있다.즉,의미적 내용 인식까지는 상당한 차이가 있으며 움직임의 의미를 인식하기 위해 자연어 질의를 통한 의미적 정보 인식이 필요하다.이에 본 논문에서는 움직임 동사의 의미 및 개념과 움직임 객체 간 시공 간적 관계 표현의 매핑을 위해 인지적인 측면이 필요했으며,이를 위해 본 논문에 서는 Levin[4]의 움직임 동사들을 이용하여 제안한 모델의 움직임들과 매핑하였다.

Levin의 동사 분류는 정확하게 각 클래스에 대한 구문을 기술하고 있을 뿐만 아 니라 각 클래스에 할당된 의미적 성분의 요점만을 표현하고 있다.클래스는 몇몇 의미를 포함하고 있는 구문적 프레임쌍이 발생할 동사의 가능성에 기반하고 있다.

즉,특별한 상황에서 발생하는 동사의 가능성에 기반을 두어 분류하고 있다.

Levin에 의해 정의된 클래스 중 51번 클래스는 움직임 동사에 관한 클래스로 verbsofInherentlydirected motion,leave,verb ofmotion using vehicle등 총 7개의 하위 클래스를 가지고 있다.[표 2-1]의 동사들은 본 논문에서 사용하고자 클 래스의 멤버로 위상변화에 의해 표현될 수 있는 동사 클래스이다.

[표 2-1]Levin의 동사의 분류 중 51번 클래스의 일부 1

1

1)))vvveeerrrbbbsssooofffIIInnnhhheeerrreeennntttlllyyydddiiirrreeecccttteeedddmmmoootttiiiooonnn C

C

Clllaaassssss mmmeeemmmbbbeeerrrsss:advance,arrive,ascend,climb,come,cross,depart,descend,enter, escape,exit,fall,flee,go.leave,plunge,recede,return,rise,tumble

2 2 2)))llleeeaaavvveee C C

Clllaaassssssmmmeeemmmbbbeeerrrsss:abandon,desert,leave

‘verbsofInherentlydirectedmotion’클래스 내 동사들은 정확한 방향은 아니더 라도 움직임의 방향 표현을 포함한 의미를 가지고 있다.그리고 이 동사들 중 움직 임의 방법을 표현한 동사는 없으나 이 클래스 내 동사들은 어떤 면에서든 동일한 움직임은 아니다.또한 이들은 움직임의 동사에 따라 전치사구가 경로를 나타내거 나 방향을 나타내기도 하고,혹은 둘 다 표현하기도 한다.즉,시작,끝,경로를 어 떻게 표현할 수 있느냐에 따라 다르다.'leave'클래스내 이 동사들은 움직임의 방

(22)

법은 표현하고 있지 않다.이들은 단순히 정해진 장소로부터 멀리 떨어지는 움직임 만을 표현하므로 방향에 의해 위치를 이해할 수 있으며 위치는 전치사구로 표현될 수 없다.

LisaPearl[5]은 Levin이 분류한 방향성이 있는 모션 동사를 이용하여 [표 2-3]와 같이 “Go+전치사”형태로 변환하였으며,ToniaBleam[6]은 문장에서 Levin이 분 류한 방향성이 있는 모션 동사를 이용하여 의미적인 분석을 시도하였다.

[표 2-2]LisaPearl의 'GO primitiveandaparticle' Levin

Levin Levin

Levin 51.1.a: 51.1.a: 51.1.a: 51.1.a: Verbs Verbs Verbs Verbs of of of inherently of inherently inherently directed inherently directed directed motiondirected motionmotionmotion GO GO GO GO primitive primitive primitive primitive and and and and a a a a particleparticleparticleparticle

ascend, climb, rise go up

come go to

cross go over

depart, escape, flee, leave go away

descend, fall, plunge go down

go go

recede, return go back

tumble, walk, run go manner of motion

이와 같이 Levin의 동사 분류를 이용한 움직임에 대한 많은 연구가 진행되고 있 으며,WordNet과 더불어 어휘 분류에 관한 대표적인 연구라고 할 수 있다.본 논 문에서는 이를 이용하여 각 움직임별로 가장 적합한 동사를 사용하였으나 움직임 객체의 고저에 대한 의미가 포함된 동사들(clime,rise등)은 제외하였다.

[표 2-3]제안한 모델에 대한 모션 동사의 매핑 제안한

제안한 제안한

제안한 모델모델모델모델 제안한 제안한 제안한 제안한 모델에 모델에 모델에 모델에 대한 대한 대한 대한 움직임 움직임 움직임 움직임 동사의 동사의 동사의 동사의 정의정의정의정의

A depart

B leave

C go_into

D arrive

E go_to

F enter

G exit

H turn right

I go through

(23)

[그림 2-7]은 제안한 모델과 움직임 동사의 매핑 결과로 저차원 특징인 위상관계 와 방향관계를 이용한 고차원적인 모델이다.위상관계 및 방향관계만으로는 표현할 수 없었던 계층적 관계,반의어 관계를 표현한 것으로 이는 기존의 저차원 특징만 을 이용한 모델과는 달리 의미적 모델링이라 할 수 있다.이 모델은 중간차원으로 써 저차원과 고차원의 특징들을 이어주는 중개자로 위 모델을 이용한다면 의미적 불일치 문제를 해소할 수 있을 것이다.

enter exit

go to arrive go into leave depart

turn left return go through turn right

Part of Antonym able to Part of

Level 1 Level 2 Level 3

[그림 2-7]제안한 모델과 움직임 동사 매핑 결과

(24)

Ⅲ

Ⅲ. . .비 비 비디 디 디오 오 오 내 내 내 이 이 이동 동 동 객 객 객체 체 체 그 그 그룹 룹 룹화 화 화

본 장에서는 비디오에서 저차원적인 특징인 움직임 객체를 추출하고 이 객체가 움직이는 궤적을 추적하고 DTW(DynamicTimeWarping)을 이용한 이동 객체 그 룹화를 하고자한다.이는 움직임 객체의 위상 변화뿐만 아니라 움직임에 대한 시간 적 정보도 함께 표현할 수 있도록 하여,향후 움직임 객체의 모델링과 질의를 가능 하게 해준다.

비디오 비디오 비디오

비디오 내내내내 이동이동이동이동 객체객체객체 그룹화객체그룹화그룹화그룹화

비디오 내 객체 움직임 인식

Dynamic Time Dynamic Time Dynamic Time Dynamic Time

Warping WarpingWarping Warping

의미적 객체 움직임 정보 분류

이동 객체의 추출 및 궤적 트레킹

방향성을 갖는 모델 분류 (turn left , turn right, go through, return)

방향성을 갖지 않는 모델 분류 (go to, arrive , go into, leave, depart, enter, exit)

[그림 3-1]비디오 내 이동 객체의 그룹화 단계

A

A A. . .비 비 비디 디 디오 오 오 내 내 내 객 객 객체 체 체 움 움 움직 직 직임 임 임 인 인 인식 식 식

움직임을 인식하고 궤적 검색에 응용하기 위해서는 움직임 정보를 추출하는 전 처리 단계가 필요하다.움직임 정보를 추출하기 위해 장면 분석 단계에서 카메라로 부터 들어온 영상에 대해 프레임 간 배경연산 처리를 행한 후 각 이미지에서 움직 임 객체에 대한 영역을 추출한다.장면 분석을 거친 후 각 장면별로 객체를 추출하 고 움직임이 없는 고정 객체와 이동 객체를 정의하였다.이때 주로 교차로 등을 고

(25)

추출이 가능해진다.마지막 단계는 학습 등의 알고리즘을 통해 움직임을 이해하는 과정이다.

비디오 비디오비디오

비디오 내내내내 객체객체객체 움직임객체움직임움직임움직임 인식인식인식 단계인식단계단계단계

비디오 내 이동객체의 추출

추출된 객체의 궤적에 대한 트래킹

객체의 움직임 정보 저장

[그림 3-2]비디오 내 객체 움직임 인식 단계

1 1 1. . .비 비 비디 디 디오 오 오 내 내 내 이 이 이동 동 동 객 객 객체 체 체 추 추 추출 출 출

비디오 내 움직임 객체들은 (x,y,t)공간상에 나타내어지며,이는 이동 객체의 위치 좌표와 시간의 집합으로 표현된다.여기서 시간에 따른 위치좌표를 추출함으 로써 객체의 이동경로를 표시할 수 있으며,프레임 간 배경연산의 차를 이용하여 객체의 궤적을 구할 수 있다.이동객체를 추출하기 위한 로직은 [표 3-1]과 같다.

//현재 프레임이 시작프레임이 아닐 경우(전 프레임이 Null이 아닐 경우)

//프레임 이미지의 그레이 스케일화 //전프레임과의 차연산 계산

//이미지의 Threshold조정 및 메디안 필터 적용

//difference연산을 통한 초기 객체 추출 //이웃 객체와 통합 과정을 거친 객체 추출

//현재 이미지를 다음 프레임과의 연산을 위해 저장

(26)

[표 3-1]궤적추출 알고리즘

이와 같은 과정을 통해 영상에서 추출한 프레임 이미지의 색상은 RGB색상으로 각각 0∼255의 색상을 갖기 때문에 영상처리를 용이하게 하기 위해 이미지를 그레 일 스케일화 하여 색상차이를 256단계로 변화시킨다.

(a) Frame No. 17 (b) Frame No. 22

[그림 3-3]CCTV를 이용한 예제 영상

[그림 3-3]은 CCTV를 이용하여 얻은 예제 영상이고 이에 대한 Grayscale로 변 화한 영상은 [그림 3-4]와 같다.

(a) Grayscale of Frame No . 17 (a) Grayscale of Frame No . 22

[그림 3-4][그림 3-3]에 대한 Grayscale영상

이렇게 얻은 영상을 이용하여 차 영상을 구해보면 와 같이 배경을 제거한 움직

(27)

[그림 3-5][그림 3-4]에 대한 차(Difference)영상

이렇게 얻은 차(difference)영상을 median filter와 Threshold연산을 통하여,노이 즈를 제거하고,이미지를 보정한다.이렇게 보정한 이미지를 이용하여 인접 영역과 의 병합과정을 거쳐 객체를 추출하는데 [그림 3-6]은 [표 3-1]의 로직을 적용하여 객체의 이동경로를 나타내고 있다.

[그림 3-6]움직임 객체의 이동경로 추출

2 2 2. . .객 객 객체 체 체의 의 의 움 움 움직 직 직임 임 임 트 트 트랙 랙 랙킹 킹 킹( ( (t t tr r ra a ac c ck k ki i in n ng g g) ) )

비디오 내에서 시간에 따른 움직임 객체의 개수는 일정치 않기 때문에 모든 움 직임 객체를 라벨링을 하여 리스트로 관리하는 것이 필요하다.이를 위해 초기 인 식되어진 객체를 저장하며,이전 프레임과의 차(difference)이미지에 대하여 객체

(28)

영역과의 포함정도를 통해 움직임 객체의 라벨을 결정한다.현재 영역이 인식되어 진 객체 라벨번호와 비교하여 포함관계가 있다면 동일한 라벨넘버를 부여하며,그 렇지 못한 경우에는 새로운 라벨 넘버를 부여한다.이에 대한 알고리즘은 [표 3-2]

와 같다.

//라벨링할 새로운 넘버를 할당한다.

newnumber newnumber newnumber newnumber = = = = activearea.First.number;activearea.First.number;activearea.First.number;activearea.First.number;

//현재 영역을 할당한다.

activearea.First activearea.First activearea.First activearea.First = = = = area;area;area;area;

//현재 영역이 기존영역에 할당된 넘버와 동일하다면, for for for for (i=0; (i=0; (i=0; (i=0; i<moving_objects.number-1; i<moving_objects.number-1; i<moving_objects.number-1; i<moving_objects.number-1; i++)i++)i++)i++) {{{{

if if if containwith(moving_objects.area, if containwith(moving_objects.area, containwith(moving_objects.area, containwith(moving_objects.area, activearea)>0 activearea)>0 activearea)>0 thenactivearea)>0 thenthenthen

{{{{

//현재 영역이 기존 객체 영역과의 포함관계가 있다면 인식된 객체도 동일한 라벨넘버를 부여한다.

activearea.Id activearea.Id activearea.Id activearea.Id = = = id; = id; id; id; }}}}

elseelseelseelse

//현재 영역이 기존 객체 영역과의 포함관계가 없다면 인식된 객체에 새로운 라벨넘버를 부여한다.

activearea.Id activearea.Id activearea.Id activearea.Id = = = new_id; = new_id; new_id; new_id; }}}}

[표 3-2]라벨링 부여 로직

[그림 3-6]에서 보듯이 실험하고자 하는 도로 CCTV영상에서 고정 객체로는 교 차로,건널목 등이라고 가정하며 이 또한 MBR로 표현하여 정의한다.이를 통해

“교차로로 들어간다(enter)",“교차로를 통과하다(go through)","왼쪽 방향으로 이 동하려한다(turn left)”,"오른쪽 방향으로 이동하려한다(turn right)" 등의 의미적 정보를 추출할 수 있다.여기서 고정 객체의 정의로 고정 객체는 파란색 사각형으

(29)

의 x,y좌표 위치 값을 이용한다.[그림 3-7]은 특정 시간에 추출된 객체의 MBR 을 보여준다.정적 객체와 동적 객체는 각각 두 점(A와 B)에 의해 표현된다.

[그림 3-7]고정 객체와 이동 객체

이를 통해 이동 객체의 시간별 위치좌표에 의해 궤적을 구할 수 있으며 이를 통 해 고정 객체와 이동 객체사이 위상관계 및 거리 등을 알 수 있다.

3 3 3. . .객 객 객체 체 체의 의 의 움 움 움직 직 직임 임 임 저 저 저장 장 장

고정 객체와 이동 객체에 대한 움직임 정보는 특정 시간(t)에 대한 MBR의 좌표 쌍으로 다음과 같이 표현한다.[그림 3-8]에서 왼쪽 상단의 주황색 사각형은 고정 객체의 영역을 MBR로 표현한 것으로 고정 객체의 좌표와 이동 객체의 변화 값을 저장한다.오른쪽 상단은 시간의 흐름에 따른 이동 객체들의 좌표이다.이때 입력 영상은 여러 움직임들이 있으므로 각각 라벨링하여 이동 객체를 따로 인식하였다.

하단은 특정 객체(ID:28)에 대한 움직임 정보를 추출된 MBR 영역의 두 점 x,y좌 표와 중앙값의 x,y 좌표를 이용하여 표현한 것이다.왼쪽 상단은 특정 움직임에 대한 궤적으로 MBR의 중앙값을 연결하여 그림과 같이 궤적으로 나타내었다.위의 좌표값 비교를 통하여 의미적 움직임을 인식하고 해석하여 의미기반 궤적 검색에 응용한다.

(30)

[그림 3-8]움직임 객체에 대한 정보 저장

B B B. . .D D DT T TW W W( ( (D D Dy y yn n na a am m mi i i c c cT T Ti i im m me e eW W Wa a ar r rp p pi i i n n ng g g) ) )을 을 을 이 이 이용 용 용한 한 한 이 이 이동 동 동 객 객 객체 체 체 그 그 그룹 룹 룹화 화 화

위의 과정에서 궤적 추출과 저장하는 과정을 수행하였다.이를 통하여 DTW 알 고리즘을 수행함으로써 방향성을 갖는 궤적의 유사도를 측정하는 부분을 수행하도 록 한다.이를 통하여 고정객체를 기준으로 4방위로 나눈다면 일직선으로 통과하는 경우(go through)와 오른쪽(Turn right)으로 통과하는 경우 왼쪽으로(Turn left)통 과하는 경우로 나눌 수 있다.

1 1 1. . .D D DT T TW W W( ( (D D Dy y yn n na a am m mi i ic c cT T Ti i im m me e eW W Wa a ar r rp p pi i in n ng g g) ) )알 알 알고 고 고리 리 리즘 즘 즘

DynamicTimeWarping은 서로 상이한 두 개의 커브를 비교하는데 많이 쓰이는 알고리즘으로 유사한 정도를 파악할 수 있는 알고리즘이다.이는 시간이 변화하면 서 각 t시간에 가장 가까운 거리의 커브상의 점을 매칭하여 비교함으로써 일반적인

(31)

Time(t) (a) One to one comparison

Trajectory #1 Trajectory #2 Mapping Point

(b) DTW comparison

Time(t)

[그림 3-9]일반적인 커브의 비교와 DTW를 이용한 비교의 매칭 포인트

[그림 3-9]의 커브를 컴퓨터상의 연산에서는 픽셀단위로 나타나기 때문에 직선으 로 보일지라도 이는 [그림 3-10]과 같이 점들의 집합으로 나타나게 된다.

[그림 3-10]궤적의 연속과 불연속

궤적집합의 첫 번째 시퀀스가 비교되어질 좌표쌍이 (1,2)(2,3)(3,4)(4,5)라고 가정 하면 x값은 (1)(2)(3)(4)로 증가할 때,y값은 (2)(3)(4)(5)로 변화하게 된다.두 번째 시퀀스는 비교할 좌표쌍으로 (1,3)(3,4)(5,6),라고 한다면 이때 x값이 (1)(3)(5)로 변 하는 동안 y값은 (3)(4)(6)으로 변하게 된다.이는 2차원 평면상에 어떤 한 시점에 서의 기준이 필요하다.이는 x값이 (1)(2)(3)(4)로 변화할 때 두 좌표쌍이 어떻게 변 화하는가를 나타낼 수 있어야 한다.이는 기준이 되는 커브 곡선과의 유사도를 구 함으로써 파악할 수 있다.

(32)

정규화 과정을 통해 차원을 줄여서 나타낸 좌표쌍을 다음과 같이 나타낼 수 있 다.아래 [표 3-3]시퀀스 넘버가 1부터 4로 변화한다는 것은 전체 시간을 4등분 했을 때,첫 번째 시퀀스(i)가 (1,2,3,4)로 변화하는 동안 두 번째 시퀀스(j)는 (1,3,2,4)로 변화하였음을 나타낸다.

시퀀스넘버 첫 번째 시퀀스 변화(i) 두 번째 시퀀스 변화(j)

1 1 1

2 2 3

3 3 4

4 4 2

[표 3-3]시퀀스 넘버에 따른 변화

또한 이를 통해 DistanceMatrix Table로 나타낼 수 있는데,[표 3-4]에서 첫 번 째 시퀀스(A)의 흐름을 (1)(2)(3)(4)라고 하고, 두 번째 시퀀스(B)의 흐름이 (1)(3)(2)(4)라고 할 때,시퀀스 D(i,j)는 같은 흐름상의 두 시퀀스의 차로 계산한다.

A A A A B B B

B 1111 2222 3333 4444 1

1 1

1 0 2 3 Inf

3 3 3

3 1 0 1 Inf

22

22 2 0 1 Inf

44

44 Inf Inf Inf 2

[표 3-4]DistanceMatrixTable

[표 3-4]에서 Inf(Infinity)는 비교 대상의 거리가 너무 멀어서 비교 대상에서 제외 됨을 뜻한다.이는 DTW의 제약 조건중 [그림 3-11]Warping Condition[8]에 해당 한다.D(3,2)와 D(2,3)이 Inf(비교대상에서 제외된) 것은 [그림 3-12]Boundary Condition[8]에 의한다.이는 두 비교 시퀀스는 처음 시작점에서 시작하여 마지막

(33)

r

i j

[그림 3-11]WarpingCondition

i j

(1, 1) n

m

[그림 3-12]BoundaryCondition

또한 이는 Monotonicity[8][그림 3-13]을 만족해야하는데,시간의 흐름상 어느 시 퀀스든지 시간을 거슬러 올라가서는 안되는 조건을 말한다.또한 다음과 같은 로직 [표 3-5]로 구현할 수 있다.

(34)

i j

(1, 1) n

m

[그림 3-13]Monotonicity

while(xcount < x.Length-1 && ycount < y.Length-1){

if (distance[xcount, ycount + 1] <= distance[xcount + 1, ycount]

&& distance[xcount, ycount + 1] <= distance[xcount + 1, ycount + 1]){

ycount++;

}

else if (distance[xcount + 1, ycount + 1] <= distance[xcount, ycount + 1]

&& distance[xcount + 1, ycount + 1] <= distance[xcount + 1, ycount]) { xcount++;

ycount++;

}

else if (distance[xcount + 1, ycount] <= distance[xcount + 1, ycount + 1]

&& distance[xcount + 1, ycount] <= distance[xcount, ycount + 1]) { xcount++;

}

[표 3-5]Monotonicity제약사항 로직

마지막으로 Continuity[8]제약사항을 만족해야한다.이는 시간을 비약시켜서는 안

(35)

i j

(1, 1) n

m

[그림 3-14]Continuity제약사항

위와 같은 조건을 통하여 두 시퀀스간 가중치를 통한 값을 얻을 수 있다.

첫번째시퀀스 두번째시퀀스

0 0

1 1

2 1

2 2

3 3

[표 3-6]가중치를 이용한 시퀀스 값

이는 다음과 같은 매트릭스로도 나타낼 수 있는데, 경로를 따라간 총합인 0->0->1->1->2의 총합인 4가 두 시퀀스의 유사도 이다.

1 2 3 4

1 0 2 3 Inf

3 1 0 1 Inf

2 2 0 1 Inf

4 Inf Inf Inf 2

[표 3-7]두 시퀀스의 유사도

(36)

C C C. . .비 비 비디 디 디오 오 오 내 내 내 의 의 의미 미 미적 적 적 객 객 객체 체 체 움 움 움직 직 직임 임 임 정 정 정보 보 보 분 분 분류 류 류

위의 과정에서 궤 DTW 알고리즘을 수행함으로써 방향성을 갖는 궤적의 유사도 를 측정하는 부분을 수행하였다.그러나 DTW만으로 [그림 2-6]에서 Level1과 Level2와 같이 방향성을 갖지 않는 움직임 객체 모델은 판별할 수 없다.따라서 객체의 정적 및 동적 상태 움직임 인식을 통하여 이를 분류해보고자 한다.

1 1 1. . .객 객 객체 체 체의 의 의 정 정 정적 적 적 상 상 상태 태 태 움 움 움직 직 직임 임 임 인 인 인식 식 식

움직임 인식에는 정적 상태(한 프레임만 보고 파악할 수 있는 상태)와 두 프레임 간의 연관관계에서 파악할 수 있는 상태가 있다.한 프레임만 보고 파악할 수 있는 상태로는 [그림 2-6]의 Level1과 같이 'goto','arrive','gointo','leave','depart' 가 있으며,프레임의 연속적인 상태변화로 파악할 수 있는 상태로는 'enter'와

‘exit'가 있다.먼저 정적상태를 파악하는 로직은 다음과 같으며,후에 동적상태를 파악하기 위한 입력인자로 주어진다. 정적상태의 파악은 인식된 두 객체의 RectangleBoundary를 통하여 파악한다.인식객체의 가로변과 세로변의 길이로 파 악되어 진다.[그림 3-15]만약 width_a+width_b=add_width라면,두 객체는 x좌표 에서는 meet상태가 된다.하지만,height_a+height_b!=add_height라면,두 객체는 y 좌표에서는 서로 떨어져 있는 경우가 되므로 두 객체는 다른 상태임을 파악할 수 있으며,알고리즘은 [표 3-8]과 같다.

(37)

if(add_width()==this.Relation_GetMaxX()-this.Relation_GetMinX()){

if(add_height()<(this.Relation_GetMaxY()-this.Relation_GetMinY()))returnSTATE.OUT;

elsereturnSTATE.TOUCH;}

elseif(add_width()<this.Relation_GetMaxX()-this.Relation_GetMinX()) returnSTATE.OUT;

else

{ if Contain(RP1,RP2)=0then returnSTATE.CONTAIN;

else

if(add_height()==(this.Relation_GetMaxY()-this.Relation_GetMinY())) returnSTATE.TOUCH;

elseif(add_height()<(this.Relation_GetMaxY()-this.Relation_GetMinY())) returnSTATE.OUT;

else returnSTATE.OVERLAP;}+;

}

[표 3-8]객체의 정적상태 파악 로직

2 2 2. . .객 객 객체 체 체의 의 의 동 동 동적 적 적 상 상 상태 태 태 움 움 움직 직 직임 임 임 인 인 인식 식 식

정적인 상태에서 파악되지 못한 움직임 상태는 인식 객체의 상태 연속성을 고려 하여 ‘enter’와 ‘exit’의 상태로 인식 될 수 있다.즉 움직임 객체가 고정객체에서 음 의 방향으로 이동하려는 첫 번째 프레임 상태를 ‘goto’로 나타낼 수 있으며,고정 객체 방향에서 양의 방향으로 이동하려는 첫 번째 프레임 상태를 ‘leave’로 볼 수 있다. 또한 고정객체에서 음의 방향으로 이동하려는 연속적인 프레임 상태를

‘arrive’로 볼 수 있으며,고정 객체에서 양의 방향으로 이동하는 마지막 상태를

‘depart‘상태로 볼 수 있다.’enter’상태는 ’arrive’와 ’gointo’의 연속적인 상태로 볼 수 있으며,이때 ‘go to‘상태는 ableto partof관계가 성립한다.이에 대한 로직은 [표 3-9]와 같다.

(38)

if(STATE.Unknown==rC[Frame_num].state){

//LEVEL1->2단계 로직.

if(Frame_num ==INIT){

if(CURRENT[I].STATE =GOTO)AND (CURRENT[I+1]=ARRIVE)AND (CURRENT[I+2]=

GO_INTO){

RETURN STATE.ENTER}

IF(CURRENT[I].STATE =ARRIVE)AND (CURRENT[I+2]=GO INTO){ RETURN STATE.ENTER}

if(CURRENT[I].STATE =GO_INTO)AND (CURRENT[I+1]=LEAVE){ RETURN STATE.EXIT}

[표 3-9]객체의 동적상태 파악 로직

(39)

Ⅳ

Ⅳ. . .실 실 실험 험 험 및 및 및 평 평 평가 가 가

Ⅳ

Ⅳ Ⅳ. . .실 실 실험 험 험 및 및 및 응 응 응용 용 용

A A A. . .실 실 실험 험 험 및 및 및 응 응 응용 용 용 방 방 방법 법 법

실험은 PC상에서 C#을 이용하여 구현 하였다.입력영상으로는 교통 CCTV영상 을 이용하였으며,영상 크기는 300*240으로 처리하였다.PC에 저장한 교통영상을 입력받아 객체의 궤적을 추출하고 각 객체마다 라벨링을 부여하여 [그림 4-1]과 같 이 트래킹하였다.

[그림 4-1]객체의 트래킹과 궤적 추출

추출된 객체의 궤적과 라벨링 넘버를 입력 인자로 하여,고정객체와 이동 객체 사이의 관계(go to,arrive,go into,leave,depart,enter,exit)를 표현하기 위해 [그림 4-2]와 같이 2단계의 정적/동적 상태분석을 하였다.

(40)

[그림 4-2]객체의 정적/동적 상태 분석

정적/동적 상태 분석은 이동객체와 고정객체간의 방향성은 고려하지 못하므로 DTW(Dynamic Time Warping를 통해 객체의 방향성(turn left,turn right,go through)을 나타내었다.DTW는 상이한 두 커브의 유사성을 파악하는데 사용되어 지며,이를 위해 비교대상이 되는 기준 커브가 존재하여야 하며,[표 4-1]과 같이 정의 하였다.이는 화면 좌표계에 의존하여 작성되었다.

 ± ^ ≦  ≦  ㈀

 ± ^  ≦  ≦  _㈁

 ± ^ ^ ^ ^  ≦  ≦  ㈂

 ± ^ ^ ^ ^   ≦  ≦  ㈃

※a는 측정 영상의 화면 좌표계에 의존하는 상수이다.

[표 4-1]기준 커브 함수

(41)

기준 커브와 입력된 커브를 더욱 정확하게 비교하기 위하여 기준좌표로의 원점 이동이 필요하다.[그림 4-3]은 CCTV교통영상에서 이동객체에 한해 궤적을 추출 하여 정적분석,동적 분석,DynamicTimeWarping을 통해 분석한 결과이다.결과 에서 볼 수 있듯이 extractPath_Analysis부분에서 정적상태가 out상태에서 overlap 상태로 변화되어지는 것을 볼 수 있으며 동적 상태분석을 통하여 Approach상태로 나타내어질 수 있다.이렇게 분석되어진 결과는 고정 영역과 이동객체 사이의 관계 를 파악 할 수 있다.다음으로 방향성을 파악하기 위하여 DynamicTimeWarping 의 유사도 분석을 실시한다.이는 4방위를 기준으로 진행방향을 고려하여,[표 4-1]

의 기준커브와 유사도를 비교한다.고정객체가 이동객체의 오른쪽에 위치하며,전 체 이동 궤적에서 주된 흐름이 왼쪽에서 오른쪽으로 흐르는 경향이 더 강한 것을 알 수 있으며,이는 각 궤적의 표준편차를 통하여 구한다.기준커브가 8개이지만, 방향성을 고려하여,㈀과 ㈂의 4개의 유사도를 비교하여 방향성을 알아 낼 수 있 다.

(42)

[그림 4-3]CCTV영상 분석 결과(1)

그림[4-4]는 이동객체가 고정영역 방향으로 다가가고 있음을 나타낸다.정적영역 분석은 "extractPath_Analysis"부분에 나타나며 정적상태가 out에서 overlap상태로 변화하는 것을 볼 수 있다.이는 동적상태 분석을 통하여 다가가고 있음을 나타내 는 Approach상태가 추가 되어 나타나며 이는 고정 영역으로 다가가고 있음을 나타 낸다.주된 흐름은 오른쪽에서 왼쪽으로 흐르는 경향인 수평적인 성분이 강함을 알 수 있으며,이는 x,y축 성분의 표준편차를 구하여,비교해서 알 수 있다.방향성은 DynamicTimeWarping을 통하여 구할 수 있으며 각 성분중 가장 작은 유사도를 가진 성분의 분석과 진행 방향성을 통하여 Turn_Right인 것을 알 수 있다.

[그림 4-4]CCTV영상 분석 결과(2)

(43)

B. . . P P Pr r re e ec c ci i is s si i i o o on n nR R Ra a at t te e e와 와 와 R R Re e ec c ca a al l ll l lR R Ra a at t te e e를 를 를 통 통 통한 한 한 평 평 평가 가 가

Precision Rate는 “결과가 얼마나 정확한가?”를 평가하는 것이며,RecallRate는

“찾아야 할 결과 중 정확한 결과를 얼마나 찾았는가?”를 말하는 것이다.[표 4-2]의 'A'는 나올 수 있는 결과의 집합을 나타내며 R은 찾아야 할 결과의 집합을 나타낸 다.

  ∩

  ∩

[표 4-2]PrecisionRate와 RecallRate

영상에서 추출된 궤적 300개를 이용하여 평가하였으며,추출되어진 결과는 다음 과 같았다.

[표 4-3]모션별 평가

(44)

  

  

[표 4-4]Precision과 RecallRate에 대한 평가 결과

C C C. . . 실 실 실험 험 험 평 평 평가 가 가 분 분 분석 석 석

DynamicTimeWarping은 서로 다른 두 개의 커브가 존재할 때 유사한 정도를 파악하는데 사용되어 진다.CCTV영상물에서 객체를 Detecting할 경우 이동객체의 경로상 잡음은 여러 가지 문제로 발생 할 수 있다.객체 추출시 발생될 수 있는 음 영의 변화,영상 자체 화질에 따른 이동객체 추출 실패,이동 객체들 간의 중첩현 상으로 인한 비정상적인 트랙킹이 있다.본 논문에서는 이러한 오류에 비교적 유연 하게 대처할 수 있도록 보다 직관적인 유사도 평가방법을 제공하는 DTW와 룰 (rule)기반의 패턴 분석방법을 적용하였다.그 결과 88%의 정확률을 보였다.하지 만,이는 전체적인 진행방향에 대한 분석 결과만을 보고 판단한 결과이며,분석 과 정상의 오류를 감안한다면,74%의 정확률을 보였다.[표4-3]과 같이 depart는 가장 많은 비율의 오류를 보였으며,이는 이동객체를 tracking할때 고정객체와 분리되는 순간 두 영역이 겹치는 시점에서 실제 이동객체가 비정상적으로 tracking되어졌음 을 나타낸다.이는 이동 객체의 detecting 과정상의 오류이다.DTW를 이용한 방향 성중 go_through는 방향성 동사에서 가장 큰 오차를 나타내었으며,마찬가지로 detecting과정에서 궤적의 떨림 현상이[그림 4-5]심하게 발생하여 실제 경로와 다 르게 인식되었음을 나타낸다.

(45)

D D D. . . 접 접 접근 근 근 방 방 방법 법 법론 론 론적 적 적 고 고 고찰 찰 찰

비디오내 이동객체의 컬러,질감,패턴을 통해 의미 있는 정보를 추출하는 많은 연구가 룰기반과 확률기반의 HMM(Hidden Markov Model),2차원 평면상에 궤적 을 표현하여 비교하는 TSR[17]등을 사용하여 이루어지고 있다.룰(rule)기반은 객 체사이의 관계를 표현하는데 있어 가능한 상태에 대한 규칙을 설정하여,각 프레임 에서 추출된 움직임 객체에 대한 행위를 인식하는 방법이다.이는 비교적 간단하고 명확하게 개별 상태를 인식할 수 있지만,발생 가능한 모든 경우를 로직화 시켜야 하므로,설정되지 않은 상태에 대해서는 대처하기 힘들다는 단점이 있다.또한 HMM은 확률기반 모델을 사용하는 방식으로 시간이 경과함에 따라 좋은 결과를 내는 adaptiveHMM이 많이 사용되어 지고 있지만,각 상태의 확률을 정함에 있어 서 어려움이 있다.TSR[17]은 2차원좌표에 궤적을 매칭 시켜 기준영역과의 유사도 를 비교하는 방법이다.[그림 4-6]TSR 역시 이동 객체의 운동 방향을 알아내는데 유용하게 쓰이지만,커브나 잡음이 섞여 있을 경우 평가에 어려움이 발생한다.

-4 -3 -2 -1 0 1 2 3 4

0 20 40 60 80 100 120

Sample 5 return turn_left

go_through turn_right return

[그림 4-6]TSR 평면[17]

DTW(DynamicTimeWarping)역시 기준 커브를 통하여,이동 궤적과의 유사성을 이용하여 비교하지만 각 상태에서 가장 가깝게 대응하는 점과 매칭시킴으로써 보 다 직관적이고 유연한 평가 성능을 보인다.

비디오 내에서의 이동객체의 추출은 Detecting상에서의 난해함으로 인해 정확한 궤적 추출의 어려움이 발생한다.따라서 보다 직관적인 평가방법을 제공하는 DTW 를 선택하였다.

(46)

Ⅴ

Ⅴ. . .결 결 결론 론 론 및 및 및 제 제 제언 언 언

최근 웹의 급속한 확산으로 인하여,멀티미디어 콘텐츠에 대한 관심이 급증하게 되었다.이러한 멀티미디어 정보들은 이미지,오디오,비디오등의 다양한 형태로 표 현되고 있다. 터키의 Bilkent대학의 Multimedia Database Group[18]에 의한 BilVideo는 지식 베이스상의 규칙 기반 시공간 질의를 지원하며, 싱가포르의 Infocomm[19]연구소의 Media analysis연구실은 SVA(Sports Video Analysis)프로 젝트를 통해 스포츠 비디오의 의미적 요소를 찾으려 했다.또한 IBM연구소[20]는 Video Semantic Summarization Systems로 개인화 콘텐츠 시스템을 개발하였다.

이렇듯 컨텐츠가 가지는 본래의 저차원 정보를 이용하여,고차원적인 의미적 분석 을 하려는 다양한 연구가 시도되었다.

이에 본 논문에서는 비디오 내 가장 중요한 의미적 정보인 객체의 움직임에 대 한 의미적 표현에 관해 연구했다.움직임 객체의 시간관계(Temporalrelation),위 상관계(Topologicalrelation),방향관계(Directionalrelation)를 이용하여 객체의 움 직임에 대한 정보를 얻고,움직임 객체의 시공간 관계 모델링을 제안하였다.이렇 게 제안한 시공간 관계 모델들에 모션 동사를 매핑함으로써 의미적인 요소를 부여 할 수 있었다.이와 같이 제안한 의미적인 움직임 객체의 시공간 관계 모델과 비디 오에서 움직임 객체의 궤적을 통해 객체의 의미적인 움직임을 분석 하였다.이를 위해 각 시공간 관계 모델에 대한 규칙을 설정하고,특히 방향성을 갖는 경우 DTW를 이용하였다.DTW는 두 개의 상이한 커브(curve)를 보다 직관적인 관점에 서 매칭시킴으로써 객체의 Detecting에서의 에러율을 줄일 수 있었다.실험에서의 평가는 PrecisionRate와 RecallRate를 이용하였으며,각각 0.78과 0.74의 만족스러 운 결과를 보였다.

본 논문에서 제안한 방법을 이용하여 기본적임 움직임 객체에 대한 의미는 얻을 수 있으나 객체의 정확한 의미 표현 및 분석에는 아직 어려움이 있다.또한 객체의 Detecting상의 오류로 인하여,정확한 의미 인식을 하지 못하는 현상도 발견 되었

(47)

계와 동의어 관계 그리고 반어의 관계를 더 추가하여 좀 더 의미적인 시공간 관계 모델을 구축할 필요성이 있다.또한 유사도 측정방법에서 제안한 규칙 세부적 수정 보완과DTW을 궤적 검색에 최적화 알고리즘도 필요하다.이를 이용하여 향후 비디 오에 대한 자동 나레이션 생성 및 검색 등에 활용할 수 있을 것으로 기대된다.

(48)

참 참 참고 고 고문 문 문헌 헌 헌

[1] M.Egenhofer and R.Franzosa, "Point-set topological spatial relations", InternationalJournalofGeographicalInformation Systems,vol.5,issue 2, pp.161-174,1991.

[2] S.Y.LeeandF.J.Hsu "Spatialreasoning andsimilarity retrievalofimages using 2D C-String knowledgerepresentation",Pattern Recognition,vol.25, no.3,pp.305-318,1992.

[3] W.Ren,M Singh and S Singh,"Image Retrievalusing SpatialContext", 9th InternationalWorkshop on Systems,Signals and Image Processing, November,2002

[4] Beth Levin, "English Verb Classes and Alternations : A preliminary Investigation",TheUniversityofChicagoPress,1993.

[5] LisaPearl,"HometothecastleandOtherLocativeOddities",Forgraduate syntaxclassspring2003.

[6] LT.Bleam,M.Palmer,andK.Vijay-Shanker."Motion verbsandsemantic featuresinTAG".InTAG+4Workshop,1998.

[7] Ralph Niels,"Dynamic Time Warping An intuitive way of handwriting recognition?"

[8] ElenaTsiporkova,"DynamicTimeWarping Algorithm forGeneExpression TimeSeries"

[9] Selina Chu,Eamonn Keogh,David Hart,and MichaelPazzani, "Iterative DeepeningDynamicTime"

[10]Eamonn J.Keogh and MichaelJ.Pazzani,"Scaling up Dynamic Time WarpingtoMassiveDatasets"

[11]MehmetEmin Donderler,Ediz Saykol,UmutArslan,OzgurUlusoy,Ugur

(49)

Number1,pp.79-104(26),September2005.

[12]http://ma.i2r.a-star.edu.sg/MediaAdaptation_projects.html [13]http://www.research.ibm.com/MediaStar/

[14]Eamonn J. Keogh and Michael J. Pazzani, "Derivative Dynamic Time Warping"

[15]StanSalvadorandPhilipChanDept.ofComputerSciencesFloridaInstitute ofTechnology,"Melbourne,FL 32901FastDTW:Toward AccurateDynamic TimeWarpinginLinearTimeandSpace"

[16]NEIL WESTE,MEMBER,IEEE,DAVID J.BURR,MEMBER,IEEE,AND BRYAN D.ACKLAND,MEMBER,IEEE,"Dynamic Time Warp Pattern MatchingUsinganIntegratedMultiprocessingArray"

[17]Miyoung Cho1,Chang Choi1,Junho Choi2,HongryoulYi1,Pankoo Kim3,

“TrajectoryAnnotationandRetrievalbasedonSemantics”

(50)