실험 A.
본 논문에서 제안한 알고리즘은 다양한 영상에 대하여 MATLAB 2013 소프트웨어를 사용하여 실험하였다 본 실험은 다양한 질의 영상들에 대해서 수행되었으며 영상 검. , 색 방법을 설명하기 위해 Wang 데이터베이스를 기본으로 하여 house, people, leap 등의 데이터베이스를 추가한 1357장의 영상들에서 가장 유사한 20개를 찾도록 정의하 여 놓았다 실험에서 질의 영상과 비슷한 영상은 알맞은 영상의 개수로 만들어 놓았. 다 본 알고리즘의 시뮬레이션은 데이터베이스의 영상들을 대상으로 특징 벡터들의 데. 이터를 미리 생성해 놓았다 저장해 놓은 데이터는 나중에 다른 질의 영상을 입력하여. 도 따로 계산 과정을 거치지 않고 질의 영상만 계산하여 데이터의 특징 벡터들을 이용 해 유사도 측정을 비교하여 결과 영상을 보여주게 된다 그림. 4.1은 저장해 놓은 데이 터베이스 영상들의 특징 벡터 데이터를 보여준다.
그림 4.1. 데이터베이스 영상들의 특징 벡터 데이터
사용된 데이터베이스의 영상들의 종류를 분류하면 표 4.1과 같다.
표 4.1. 이미지 데이터베이스의 분류
영상 분류 관련 영상
원주민 98
해변 97
사원 93
버스 100
공룡 100
코끼리 100
꽃 100
말 100
산 100
음식 100
사람 200
집 72
나뭇잎 96
총 영상 수 1357
영상의 특성에 기반한 적응적인 웨이티드 CBIR 알고리즘의 실험을 위하여 위의 데 이터베이스 영상들의 특징 벡터들을 앞에서 설명한 알고리즘의 방식으로 분석하였다.
그리고 데이터베이스의 이미지 그룹에서 각각 질의 영상들을 선정하여서 실험하여 그 결과를 다음과 같이 나타내었다 그림은 질의 영상 찾고자 하는 유사영상들 검색 결. , , 과 이미지의 순으로 보여준다.
먼저 객체 판별에 따라서 분류된 배경이 주된 영상인 해변영상과 산 영상 중에서 질 의영상을 선정하여 실험한 검색 결과를 나타낸 이미지들이다.
그림 4.2. 해변의 질의 영상
그림 4.3. 데이터베이스 내 해변 영상의 유사영상들
그림 4.4. 해변의 검색 결과(-면적:0, 코너:0, 조밀:0, 색상:5)
그림 4.5. 산의 질의 영상
그림 4.6. 데이터베이스 내 산 영상의 유사영상들
그림 4.7. 산의 검색 결과(-면적:0, 코너:0, 조밀:0, 색상:5)
배경이 주된 영상들은 가장 큰 객체의 면적이 다른 객체들보다 월등히 크다는 특징 이 있다 이는 영상의 레이블링 과정 중에서 색상이 단순한 부분들 하나의 큰 객체로. 인식하여 분할하기 때문이다 이를 바탕으로 색상 정보에만 높은 웨이티드를 부여하여. 영상검색을 실시하였다 위의 해변과 산의 검색결과는 유사 영상들 중에서도 색상이. 비슷한 영상들이 먼저 검색이 되는 것을 시각적으로 확인이 가능하였다.
그리고 객체가 판별된 영상들 중에서 먼저 단일 객체를 가지는 영상들에 대해서 질 의 영상을 선정하고 다음과 같이 실험하였다.
질의 영상
(a) 1 (b) 질의 영상2
그림 4.8. 질의 영상 1, 2
그림 4.9. 데이터베이스 내 질의 영상 의 유사영상1
그림 4.10. 데이터베이스 내 질의 영상 의 유사영상2
질의 영상 의 검색 결과
(a) 1 (-면적:5, 코너:4, 조밀:4, 색상:4)
질의 영상 의 검색 결과
(b) 2 (-면적:5, 코너:3, 조밀:3, 색상:5) 그림 4.11. 공룡과 집의 검색 결과
각각의 질의 영상들에 대한 각각의 유사영상들에서 제안된 알고리즘의 검색 결과는 그림 4.11에서 나타내었으며 이는 단일 영상의 특징을 쉽게 판별하여 분류가 가능했 기 때문에 시각적으로 검색의 성능이 우수하다는 것을 확인하였으며 영상의 회전 확, , 대 및 축소 찌그러짐 등의 변형에서도 검색 성능이 우수하다는 것을 확인할 수 있었, 다.
그리고 다중 객체를 가지는 영상들 중에서 명확하게 객체가 분류되는 나뭇잎 영상을 질의 영상으로 선정하여 실험한 결과이다.
그림 4.12. 나뭇잎의 질의 영상
그림 4.13. 데이터베이스 내 나뭇잎 영상의 유사 영상들
그림 4.14. 나뭇잎의 검색 결과(-면적:2, 코너:4, 조밀:4, 색상:2)
나뭇잎이나 동전과 같이 레이블링이 명확한 다중 객체 영상들은 객체들의 크기가 거 의 비슷하다는 특징이 있다 이는 영상 내에서 명확한 객체를 가지기 위해서는 어느. 정도의 모양과 크기를 가져야하기 때문이다 이와 같은 이유로 정규화 면적과 형태적. 인 특징 정보인 조밀도와 코너점의 개수 색상값에 적응적으로 웨이티드가 부여되어, 영상 검색을 한 결과는 형태가 비슷한 다중 객체 영상들이 먼저 검색되면서 영상의 찌 그러짐이나 회전 등의 영상 변화에서도 강인함을 시각적으로 확인할 수 있었다.
복잡한 영상들은 명확하게 객체가 추출이 되거나 확연하게 특징이 추출되어지지 않 는다 이에 따라 복잡한 영상을 대상으로 질의 영상을 선정하여 실험할 경우 검색하고. 자하는 유사 영상에 포함되어 있지 않은 영상들이 검출될 확률이 높았다 아래의 결과. 는 복잡한 원주민 영상들 중 질의 영상을 선정하여 영상 검색을 실시한 것이다.
그림 4.15. 원주민의 질의 영상
그림 4.16. 데이터베이스 내 원주민 영상의 유사영상들
그림 4.17. 원주민 영상의 검색 결과(-면적:3, 코너:3, 조밀:4, 색상:2)
실험한 결과 배경이 주된 영상이나 객체가 판별된 영상들 중 명확하게 객체를 가지 고 있는 질의 영상들의 경우 시각적으로 좋은 유사 영상의 검출률을 가지는 결과를 보 여주었으나 영상의 복잡도가 심하여 객체의 특징이 정확히 파악이 되지 않은 질의 영, 상의 경우 유사 영상의 검출율이 다른 질의 영상에서보다 다소 떨어지는 것을 보여주 었다.
분석 B.
영상검색시스템을 개발하는 과정에서 시스템의 구성과 영상내의 특징을 추출하는 방 법의 개발도 중요하지만 이에 못지않게 시스템의 성능을 분석할 수 있는 성능평가과정 은 매우 중요하다 그러나 성능평가를 위해 사용하고 있는 평가도구가 문헌마다 달라. 서 일관성 있는 기준을 설정하지 못하고 있으며 성능을 평가하기 위해 공통적으로 사, 용할 수 있는 실험영상도 존재하지 않아 기준이 되는 데이터베이스 영상을 시험용으로 사용하고 있으므로 이의 개선을 위한 많은 연구가 요구되고 있다 그리하여 본 논문, . 에서는 이러한 성능평가에 대한 개념을 정리하고 적절한 평가도구를 사용함으로서 제 안된 시스템의 평가에 대한 객관성을 확보하고자 한다.
현실적으로 영상검색기술의 적용과 검색능력을 향상시키는데 장애물로 작용하는 여 러 요인들이 존재하고 있어 이 분야를 연구하는 연구자들은 다음과 같은 의문을 항상, 가지게 된다.
영상검색 방법들의 성능은 어떻게 비교하는가
) ?
ⅰ
영상특징들은 어떻게 선택하며 추출된 특성은 어떻게 평가하는가
) , ?
ⅱ
새로운 알고리즘을 발표하는 논문은 어떻게 조사하는가
) ?
ⅲ
영상검색기술과 시스템능력을 향상하기 위해 상호협조는 어떻게 이루어지는가
) ?
ⅳ
위와 같은 의문들은 지난 수십 년간에 걸쳐 문자검색 데이터베이스 및 컴퓨터비전, 과 같은 다양한 분야에서 일어나고 있었다 이러한 의문에 답하기 위해 문자검색용 테. 스트 베드를 준비하기 위한 노력을- TREC(Text Retrieval Conference)에서 수행하고 있으며 또한 문자검색시스템의 성능향상과 평가를 위한 포럼을 운영하기도 한다, [88].
할 수 있는 질의영상이 가까운 미래에 출현하리라 본다.
영상검색시스템은 영상들을 순위를 부여하여 검색하는 것이 목적이지만 순위를 결, 정함에 있어 수작업으로 질의영상과의 관련성 여부를 결정해야 하는 주관적인 면이 있 었다 그럼에도 불구하고 시스템의 전체적인 검색효율성은 이러한 관련 있는 영상들을. 모두 알고 있을 경우에만 측정이 가능하게 된다 일반적으로 정보검색시스템의 테스트.
베드는 다음과 같은 조건들이 구비되고 있어야 한다
- .
검색대상의 표준 자료 문서 영상 등
) ( , )
ⅰ
표준 질의 자료 )
ⅱ
질의와 관련 있는 자료목록 )
ⅲ
평가도구 )
ⅳ
정보검색에서 사용하고 있는 검색효율성 평가방법은 영상검색에서도 적용할 수가 있 으며 이에 대한 기본적인 개념을 그림, 4.18에 표시한다.
그림 4.18. Recall 과 Precision
그림 4.15에서 a는 정확하게 검색된 정보의 집합, b는 검색은 되었으나 관련이 없는 것, c는 관련은 있으나 검색에 실패한 정보 그리고, d를 검색되지도 않고 관련도 없는 정보의 집합이라고 하면, A는 검색된 정보의 집합(a+b), B는 관련이 있는 정보들의 집합(a+c)으로 볼 수 있다 이러한 벤 다이어그램을 기본으로 재현율과 검출율 및 실. 패율(fallout)을 계산하면 그림과 같다.
정보검색을 위하여 시스템에 질의하면 순위를 부여하여 검색결과를 보여주는데 이, 때 번째 되는 순위까지를 검색결과로 한다면 다음과 같은 값들을 구할 수 있다 여. 기서 순위 에 들어가는 정보의 집합을 이라면, ∈{0,1} 이며 그림, 4.15에서
를 각각
a, b, c, d , , , 로 다시 나타내면,
,
,
로 표시할 수 있다 이러한 값들로부터 표준. 정보검색척도로 사용되는 재현율 검출율 및 실패율을 계산할 수 있으므로 이를 식으, 로 나타내면 다음과 같다.
(4.1)
Pr
(4.2)
(4.3)
위의 식에 의하여 정보검색시스템의 효율성을 측정할 수 있으며 다른 시스템과도, 비교할 수 있다.
정보검색분야에서 사용하고 있는 개념을 영상검색시스템의 효율성을 평가하기 위해
도입한 다양한 기법들이 있다 즉 본 논문에서 다루고 있는 내용기반 영상검색은 정. , 보검색에서와 같이 정확한 검색을 요구하는 것이 아니라 유사한 영상을 검색하게 되므 로 앞에서 언급한 유사도 측정과 연관하여 평가 방법을 고려해야 한다 재현율 검출. , 율 및 실패율을 사용하여 영상검색시스템의 성능을 평가하는 방법들은 다음과 같이 다 양한 방법이 있다.
)
ⅰ vs. : 검색시스템의 효율성을 나타내며 가장 많이 사용되는 도구로써 신 뢰성이 높음.
)
ⅱ vs. : 검색 성공율. )
ⅲ vs. : 상대적 검색 성공율.
)
ⅳ at cut-off
: 관련되는 영상을 최하위까지 고려. ) averageⅴ at =0.2, 0.5, 0.8 : recall 0.2, 0.5, 0.8인 경우. ) average
ⅵ at eleven recall point : 11개의 recall .점
유사한 영상이 검색된 순위들의 평 ) AVRR(average rank of all relevant items) :
ⅶ
균값으로 질의영상과 가장 유사한 영상의 순위는 “0” .임
은 유사한 영상들이 상위에 ) AVRR/IAVRR(ideal average relevant rank) : IAVRR
ⅷ
서 차례로 검색되는 경우를 말한다.
)
ⅸ
vs. : 응답율
이상과 같은 평가도구들은 대부분 재현율 정확율과 실패율을 이용하여 계산하게 된, 다 또한 이러한 도구들은 공통적인 척도와 함께 상호 연관성을 가지고 평가해야만 올. 바른 성능평가가 이루어 질 수 있다 그런 의미에서 정보 검색에서 표준으로 사용되고. 있는 평가방법인 재현율 대 검출율(Recall vs. Precision)은 많은 장점을 지니고 있다. 재현율에 대한 정확율의 값이 높으면 상대적으로 더 나은 시스템이라 평가한다 즉. , 모든 재현율이 가지는 값에 대하여 검출율의 값이 높으면 비교하는 시스템보다 성능이 좋다고 평가한다.
제안한 알고리즘을 평가하기 위한 방법으로 주관적인 평가와 객관적인 평가를 병행,