(11) 공개번호 10-2015-0058663 (43) 공개일자 2015년05월29일

(1)

(19) 대한민국특허청(KR) (12) 공개특허공보(A)

(11) 공개번호 10-2015-0058663 (43) 공개일자 2015년05월29일

(51) 국제특허분류(Int. Cl.)

G06F 17/30

(2006.01)

(21) 출원번호 10-2013-0140791 (22) 출원일자 2013년11월19일 심사청구일자 없음

(71) 출원인

한국전자통신연구원

대전광역시 유성구 가정로 218 (가정동) (72) 발명자

정다운

대전광역시 유성구 가정로 270, 신관328호(가정동 기숙사)

이승재

대전광역시 유성구 봉명동 93, 605호2003호(봉명 동,휴먼시아@)

(뒷면에 계속)

(74) 대리인

특허법인지명 전체 청구항 수 : 총 20 항

(54) 발명의 명칭 정합 쌍을 이용한 신발 영상 검색 장치 및 방법 (57) 요 약

본 발명은 정합 쌍을 이용한 신발 영상 검색 장치 및 방법에 관한 것으로서, 본 발명에 따른 정합 쌍을 이용한 신발 영상 검색 장치는 정합 쌍에 대한 영상 변형 정보를 고려하여 대응관계를 정규화하고, 정규화된 대응관계를 적용하여 유사 이미지를 검색하도록 함으로써, 입력된 영상에 대응되는 영상 정보를 데이터베이스로부터 정확하 게 검색하여 제공할 수 있는 것을 특징으로 한다. 본 발명에 따르면, 입력된 영상과 데이터베이스에 저장된 영상 사이의 정합 쌍으로부터 최적의 영상 변형 정보를 검출할 수 있고, 검출된 영상 변형 정보를 토대로 입력된 신발 영상 내 다수의 객체를 동시 검색할 수 있고, 따라서 전술한 바와 같은 검색으로 효율적인 신발 검색 서비스를 제공할 수 있다.

대 표 도 - 도1

(2)

(72) 발명자 제성관

대전광역시 중구대종로 544, 101-804(선화동, 선화 참좋은@)

이근동

대전광역시 서구 계룡로 407번길 49-1, 104호(갈마 동, 금강하우스)

나상일

대전광역시 유성구 가정동 270, 기숙사 구관 203호

오원근

대전 유성구 북유성대로 219, 102동 503호 ( 지족동, 인앤인아파트)

서영호

대전광역시 유성구 엑스포로 448, 404-1203(

전민동,엑스포@) 손욱호

대전광역시 서구 둔산서로 65,906호(둔산동,KT그랜 드뷰)

(3)

명 세 서

청구범위 청구항 1

입력된 질의 영상에서 특징점을 추출하고, 추출된 상기 특징점을 토대로 정합 영역을 탐색하는 정합 영역 탐색 부;

탐색된 상기 정합 영역과 데이터베이스에 저장된 영상 사이에서 정합 쌍을 검출하고, 검출된 정합 쌍을 사용하 여 영상 변형 정보를 검출하는 정합 정보 검출부; 및

검출된 상기 영상 변형 정보를 토대로 입력된 상기 질의 영상에 대응되는 영상 정보를 상기 데이터베이스에서 검색하여 표출하는 유사 영상 검색부

를 포함하는 정합 쌍을 이용한 신발 영상 검색 장치.

청구항 2

제1항에 있어서, 상기 정합 영역 탐색부는,

SIFT-LoG(Scale-Invariant Feature Transform-Laplacian of Gaussian)를 이용하여 입력된 상기 질의 영상에서 기하학적 특성에 불변하는 특징점을 검출하고, 영상 기술자(Image Descriptor: 이미지 디스크립터)를 생성하는 영상 특징점 검출부;

생성된 상기 영상 기술자를 통해, 검출된 각 특징점이 이웃하는 점들로부터 취하는 상기 기하학적 특성에 따라 기설정된 임계값(Threshold) 범위 내에서 각 특징점을 성분별로 분해하고, 성분별로 분해된 각 특징점을 기설정 된 조건에 따라 유사 성분을 갖는 특징점끼리 묶어 하나의 정합 영역을 형성하며, 형성된 정합 영역별로 입력된 상기 질의 영상을 분류하는 정합 영역 분류부; 및

정합 영역별로 분류된 상기 질의 영상을 셀프 정합 영역 또는 단일 정합 영역으로 구분하는 정합 영역 구분부를 포함하는 것

인 정합 쌍을 이용한 신발 영상 검색 장치.

청구항 3 제2항에 있어서,

상기 정합 영역 구분부는 정합 영역별로 분류된 상기 질의 영상에서 기설정된 근접 거리 내 이웃하는 정합 영역 들을 라벨링(Labeling)하여 그룹화하고, 모든 그룹들 간에 정합을 시도하여 특정 그룹과 동일한 정합 영역을 갖 는 그룹이 상기 질의 영상의 다른 위치에 존재하는지 여부를 탐색하며, 탐색결과, 상기 특정 그룹과 동일한 정 합 영역을 갖는 그룹이 상기 질의 영상의 다른 위치에 존재할 경우, 상기 특정 그룹과, 상기 특정 그룹과 동일 한 정합 영역을 갖는 그룹을 유사 정합 영역으로 간주하는 것

상기 정합 영역 구분부는 상기 특정 그룹과, 상기 특정 그룹과 동일한 정합 영역을 갖는 그룹의 위치를 영상 좌 표계를 기준으로 구분하는 것

(4)

상기 정합 영역 구분부는 정합 영역별로 분류된 상기 질의 영상에서 상기 유사 정합 영역이 존재할 경우, 정합 영역별로 분류된 상기 질의 영상을 상기 셀프 정합 영역으로 구분하고, 정합 영역별로 분류된 상기 질의 영상에 서 상기 유사 정합 영역이 존재하지 않을 경우, 정합 영역별로 분류된 상기 질의 영상을 상기 단일 정합 영역으 로 구분하는 것

청구항 6

제1항에 있어서, 상기 정합 정보 검출부는,

상기 셀프 정합 영역 또는 상기 단일 정합 영역으로 구분된 상기 질의 영상과 상기 데이터베이스에 저장된 영상 간의 정합 쌍을 결정해 대응 관계를 생성하는 대응 관계 생성부;

생성된 상기 대응 관계를 영상 변형 성분들에 대해 모델링하는 영상 변형 모델링부;

모델링된 상기 대응 관계를 기준으로 기설정된 정합 조건에 충족하는 후보 정합 쌍을 선정하는 후보 특징점 검 출부; 및

선정된 후보 정합 쌍으로부터 상관도를 산출하여 최종 정합 데이터를 분류하는 정합 데이터 분류부를 포함하는 것

상기 대응 관계 생성부는 상기 셀프 정합 영역 또는 상기 단일 정합 영역으로 구분된 상기 질의 영상의 특정 정 합 영역과 상기 데이터베이스에 저장된 비교 영상 간의 정합 쌍들을 검출하고, 검출된 정합 쌍들을 사용하여 영 상 변형에 의한 대응 정보를 형성하는 것

상기 대응 관계 생성부는 상기 셀프 정합 영역 또는 상기 단일 정합 영역으로 구분된 상기 질의 영상의 특정 정 합 영역과 상기 데이터베이스에 저장된 비교 영상 간의 정합 쌍 검출시 특정 정합 영역과, 특정 정합 영역과 유 사 정합 영역으로 간주된 정합 영역 사이에 대칭축을 생성하고, 생성된 대칭축과 직교하는 정합 쌍들을 추가로 검출하는 것

상기 영상 변형 모델링부는 상기 셀프 정합 영역 또는 상기 단일 정합 영역으로 구분된 상기 질의 영상의 특정 정합 영역과 상기 데이터베이스에 저장된 비교 영상 간 검출된 정합 쌍들의 위상 관련 정보 및 영상 변화 정보 를 모델링하여 영상 변형에 특화된 수학 모델과 정합 계수를 산출하는 것

상기 후보 특징점 검출부는 산출된 상기 수학 모델과 정합 계수의 기설정된 임계치 범위에 따라 상기 대응 관계 생성부에 의해 검출된 정합 쌍들 중 정합 가능한 후보 쌍을 검출하는 것

(5)

상기 정합 데이터 분류부는 상기 후보 특징점 검출부에 의해 검출된 후보 쌍들의 대응 상관도에 따라 대응 쌍들 중 각각의 1:N 대응 쌍으로부터 상관도가 기설정된 값 이상으로 높은 1:1 대응 쌍들을 구해 정규화하고, 정규화 된 결과를 토대로 최종 정합을 위한 데이터를 결정하는 것

상기 유사 영상 검색부는 상기 정합 정보 검출부에 의해 결정된 최종 정합을 위한 데이터를 토대로 상기 질의 영상과의 유사 이미지를 상기 데이터베이스에서 검색하여 후보 순위를 선정하고, 선정된 상기 후보 순위에 따라 검색된 상기 유사 이미지를 영상 검색 인터페이스를 통해 사용자의 단말기에 표출하는 것

청구항 13

입력된 질의 영상에서 특징점을 추출하고, 추출된 상기 특징점을 토대로 정합 영역을 탐색하는 단계;

탐색된 상기 정합 영역과 데이터베이스에 저장된 영상 사이에서 정합 쌍을 검출하고, 검출된 정합 쌍을 사용하 여 영상 변형 정보를 검출하는 단계; 및

검출된 상기 영상 변형 정보를 토대로 입력된 상기 질의 영상에 대응되는 영상 정보를 상기 데이터베이스에서 검색하여 표출하는 단계

를 포함하는 정합 쌍을 이용한 신발 영상 검색 방법.

청구항 14

제13항에 있어서, 상기 정합 영역을 탐색하는 단계는,

SIFT-LoG(Scale-Invariant Feature Transform-Laplacian of Gaussian)를 이용하여 입력된 상기 질의 영상에서 기하학적 특성에 불변하는 특징점을 검출하고, 영상 기술자(Image Descriptor: 이미지 디스크립터)를 생성하는 단계;

생성된 상기 영상 기술자를 통해, 검출된 각 특징점이 이웃하는 점들로부터 취하는 상기 기하학적 특성에 따라 기설정된 임계값(Threshold) 범위 내에서 각 특징점을 성분별로 분해하고, 성분별로 분해된 각 특징점을 기설정 된 조건에 따라 유사 성분을 갖는 특징점끼리 묶어 하나의 정합 영역을 형성하며, 형성된 정합 영역별로 입력된 상기 질의 영상을 분류하는 단계; 및

정합 영역별로 분류된 상기 질의 영상을 셀프 정합 영역 또는 단일 정합 영역으로 구분하는 단계를 포함하는 것 인 정합 쌍을 이용한 신발 영상 검색 방법.

청구항 15

제13항에 있어서, 상기 영상 변형 정보를 검출하는 단계는,

상기 셀프 정합 영역 또는 상기 단일 정합 영역으로 구분된 상기 질의 영상과 상기 데이터베이스에 저장된 영상 간의 정합 쌍을 결정해 대응 관계를 생성하는 단계;

생성된 상기 대응 관계를 영상 변형 성분들에 대해 모델링하는 단계;

모델링된 상기 대응 관계를 기준으로 기설정된 정합 조건에 충족하는 후보 정합 쌍을 선정하는 단계; 및 선정된 후보 정합 쌍으로부터 상관도를 산출하여 최종 정합 데이터를 분류하는 단계를 포함하는 것 인 정합 쌍을 이용한 신발 영상 검색 방법.

(6)

청구항 16

제15항에 있어서, 상기 대응 관계를 생성하는 단계는,

상기 셀프 정합 영역 또는 상기 단일 정합 영역으로 구분된 상기 질의 영상의 특정 정합 영역과 상기 데이터베 이스에 저장된 비교 영상 간의 정합 쌍들을 검출하는 단계;

검출된 정합 쌍들을 사용하여 영상 변형에 의한 대응 정보를 형성하는 단계를 포함하고, 상기 정합 쌍들을 검출하는 단계는

상기 특정 정합 영역과, 상기 특정 정합 영역과 유사 정합 영역으로 간주된 정합 영역 사이에 대칭축을 생성하 고, 생성된 대칭축과 직교하는 정합 쌍들을 추가로 검출하는 단계를 포함하는 것

인 정합 쌍을 이용한 신발 영상 검색 방법.

청구항 17

제15항에 있어서, 상기 모델링하는 단계는,

상기 셀프 정합 영역 또는 상기 단일 정합 영역으로 구분된 상기 질의 영상의 특정 정합 영역과 상기 데이터베 이스에 저장된 비교 영상 간 검출된 정합 쌍들의 위상 관련 정보 및 영상 변화 정보를 모델링하여 영상 변형에 특화된 수학 모델과 정합 계수를 산출하는 단계를 포함하는 것

청구항 18

제17항에 있어서, 상기 후보 정합 쌍을 선정하는 단계는,

산출된 상기 수학 모델과 정합 계수의 기설정된 임계치 범위에 따라, 검출된 정합 쌍들 중 정합 가능한 후보 쌍 을 검출하는 단계를 포함하는 것

청구항 19

제15항에 있어서, 상기 최종 정합 데이터를 분류하는 단계는,

검출된 후보 쌍들의 대응 상관도에 따라 대응 쌍들 중 각각의 1:N 대응 쌍으로부터 상관도가 기설정된 값 이상 으로 높은 1:1 대응 쌍들을 구해 정규화하는 단계; 및

정규화된 결과를 토대로 최종 정합을 위한 데이터를 결정하는 단계를 포함하는 것 인 정합 쌍을 이용한 신발 영상 검색 방법.

청구항 20

제19항에 있어서, 상기 표출하는 단계는,

결정된 최종 정합을 위한 데이터를 토대로 상기 질의 영상과의 유사 이미지를 상기 데이터베이스에서 검색하여 후보 순위를 선정하는 단계; 및

선정된 상기 후보 순위에 따라 검색된 상기 유사 이미지를 영상 검색 인터페이스를 통해 사용자의 단말기에 표 출하는 단계를 포함하는 것

발명의 설명

기 술 분 야

본 발명은 정합 쌍을 이용한 신발 영상 검색 장치 및 방법에 관한 것으로서, 보다 구체적으로는 정합 쌍 정보를 [0001]

(7)

이용하여 신발 영상을 검색하는 장치 및 방법에 관한 것이다.

배 경 기 술

종래의 신발 검색 시스템은 온라인 쇼핑몰의 높은 성장세와 더불어 사용자가 원하는 상품 정보를 상품 데이터베 [0002]

이스(이하 DB)에서 빠르게 찾아 제공하는 등 사용자에게 편의성이 향상된 서비스를 제공하고 있다.

또한 최근 들어 급속도로 보급이 확대된 스마트 기기(스마트 폰, 태블릿, 스마트 TV, PC 등)와 그에 따라 빠르 [0003]

게 발달한 SNS(Social Network Service) 등은 사용자의 구매 결정력을 높이기 위해 보다 확장된 서비스를 제공 하고 있다.

Amazon(a9.com)의 Flow, Fabulous 등은 대표적인 신발 검색 시스템으로서, 현재 서비스를 제공하고 있다.

[0004]

종래의 신발 검색 시스템은 조회 상품에 대해 상품평, 가격, 관련 링크 등의 기본적인 정보를 제공하는 서비스 [0005]

뿐만 아니라, 사용자의 다양한 요구사항을 충분히 수용하여 색상, 신발 종류 등에 대한 설정 조건에 따라 조회 상품을 필터링할 수 있는 서비스도 제공하고 있다.

또한, 종래의 신발 검색 시스템은 영상 검색 기능을 추가하여, 사용자가 원하는 상품을 정확하고 빠르게 검색할 [0006]

수 있는 서비스도 제공하고 있다.

즉, 종래의 신발 검색 시스템은 사용자의 스마트 기기에 내장된 카메라를 통해 신발이 촬영되고, 촬영된 신발 [0007]

영상이 입력되면, 입력된 신발 영상과 가장 유사한 신발 영상을 DB로부터 찾아 사용자의 스마트 기기 화면에 표 출하는 서비스를 제공하고 있다.

따라서, 사용자는 구매하고자 하는 신발의 정보를 실시간으로 확인할 수 있다.

[0008]

하지만, 영상 검색 기능이 추가된 종래의 신발 검색 시스템은 사용자에 의해 촬영된 영상과 DB에 저장된 영상을 [0009]

대조하는 단계에서 기하정보만을 고려하기 때문에, 객체의 모든 변형을 수용하지 못하여, 빛, 크기, 회전 등의 영상 변형이 반영된 정확한 검색 결과를 제공할 수 없고, 촬영된 영상에 동일 신발이 다수 포함되거나 쌍으로 존재하는 객체가 기하학적 변형이 상이할 경우 정합(Matching) 단계에서 오류를 발생시킬 수 있다는 문제점이 있다.

발명의 내용

해결하려는 과제

본 발명은 상기와 같은 문제점을 감안하여 창출한 것으로서, 정합 쌍에 대한 영상 변형 정보를 고려하여 대응관 [0010]

계를 정규화하고, 정규화된 대응관계를 적용하여 유사 이미지를 검색하도록 함으로써, 입력된 영상에 대응되는 영상 정보를 데이터베이스로부터 정확하게 검색하여 제공할 수 있는 정합쌍을 이용한 신발 영상 검색 장치 및 방법을 제공하는 데 그 목적이 있다.

과제의 해결 수단

전술한 목적을 달성하기 위하여, 본 발명의 일면에 따른 정합 쌍을 이용한 신발 영상 검색 장치는 입력된 질의 [0011]

영상에서 특징점을 추출하고, 추출된 상기 특징점을 토대로 정합 영역을 탐색하는 정합 영역 탐색부; 탐색된 상 기 정합 영역과 데이터베이스에 저장된 영상 사이에서 정합 쌍의 영상 변형 정보를 검출하는 정합 정보 검출부;

및 검출된 상기 영상 변형 정보를 토대로 입력된 상기 질의 영상에 대응되는 영상 정보를 상기 데이터베이스에 서 검색하여 표출하는 유사 영상 검색부를 포함한다.

본 발명의 다른 면에 따른 정합 쌍을 이용한 신발 영상 검색 방법은입력된 질의 영상에서 특징점을 추출하고, [0012]

추출된 상기 특징점을 토대로 정합 영역을 탐색하는 단계; 탐색된 상기 정합 영역과 데이터베이스에 저장된 영 상 사이에서 정합 쌍의 영상 변형 정보를 검출하는 단계; 및 검출된 상기 영상 변형 정보를 토대로 입력된 상기 질의 영상에 대응되는 영상 정보를 상기 데이터베이스에서 검색하여 표출하는 단계를 포함한다.

발명의 효과

본 발명에 따르면, 입력된 영상과 데이터베이스에 저장된 영상 사이의 정합 쌍으로부터 최적의 영상 변형 정보 [0013]

를 검출할 수 있고, 검출된 영상 변형 정보를 토대로 입력된 신발 영상 내 다수의 객체를 동시 검색할 수 있다.

(8)

따라서, 전술한 바와 같은 검색으로 효율적인 신발 검색 서비스를 제공할 수 있다.

[0014]

도면의 간단한 설명

도 1은 본 발명의 일 실시예에 따른 정합 쌍을 이용한 신발 영상 검색 장치를 설명하기 위한 도면.

[0015]

도 2는 정합 영역 탐색을 설명하기 위한 도면.

도 3은 정합 쌍 영역 구분을 설명하기 위한 도면.

도 4는 정합 영역 탐색 결과를 설명하기 위한 도면.

도 5는 정합 정보 검출 구조를 설명하기 위한 도면.

도 6은 비교 영상과 정합 영역 사이의 정합쌍 추출을 설명하기 위한 도면.

도 7은 영상 내 유사 영역에 대한 셀프 정합을 설명하기 위한 도면.

도 8은 스마트 기기를 통한 영상 검색 서비스를 설명하기 위한 도면.

도 9는 본 발명의 일 실시예에 따른 정합 쌍을 이용한 신발 영상 검색 방법을 설명하기 위한 흐름도.

발명을 실시하기 위한 구체적인 내용

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 [0016]

예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 용이하게 이해할 수 있도록 제공되는 것이며, 본 발명 은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포 함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.

이하, 도 1 내지 도 8을 참조하여 본 발명의 일 실시예에 따른 정합 쌍을 이용한 신발 영상 검색 장치를 설명한 [0017]

다. 도 1은 본 발명의 일 실시예에 따른 정합 쌍을 이용한 신발 영상 검색 장치를 설명하기 위한 도면이고, 도 2는 정합 영역 탐색을 설명하기 위한 도면이며, 도 3은 정합 쌍 영역 구분을 설명하기 위한 도면이고, 도 4는 정합 영역 탐색 결과를 설명하기 위한 도면이며, 도 5는 정합 정보 검출 구조를 설명하기 위한 도면이고, 도 6 은 비교 영상과 정합 영역 사이의 정합쌍 추출을 설명하기 위한 도면이며, 도 7은 영상 내 유사 영역에 대한 셀 프 정합을 설명하기 위한 도면이고, 도 8은 스마트 기기를 통한 영상 검색 서비스를 설명하기 위한 도면이다.

도 1에 도시된 바와 같이, 본 발명의 정합 쌍을 이용한 신발 영상 검색 장치는 정합 영역 탐색부(100), 정합 정 [0018]

보 검출부(200) 및 유사 영상 검색부(300)를 포함하며, 사용자에 의해 단말기를 통해 쿼리(Query, 질의) 영상으 로 신발 영상이 입력되면, 입력된 신발 영상과 DB(400, 데이터베이스)에 저장된 영상 사이에서 정합 쌍의 영상 변형 정보를 검출하고, 검출된 영상 변형 정보를 토대로 입력된 신발 영상에 대응되는 영상 정보를 DB(400)에서 검색하며, 검색된 영상 정보를 사용자의 단말기를 통해 표출한다.

정합 영역 탐색부(100)는 도 2에 도시된 바와 같이, 영상 특징점 검출부(110), 정합 영역 분류부(120) 및 정합 [0019]

영역 구분부(130)를 포함한다.

영상 특징점 검출부(110)는 전술한 바를 위해 먼저 사용자에 의해 단말기를 통해 쿼리(Query) 영상으로 신발 영 [0020]

상이 입력되면, SIFT-LoG(Scale-Invariant Feature Transform-Laplacian of Gaussian)를 이용하여 입력된 신발 영상에서 회전, 크기 등 기하학적 특성에 불변하는 특징점을 검출하고, 영상 기술자(Image Descriptor: 이미지 디스크립터)를 생성한다.

정합 영역 분류부(120)는 생성된 영상 기술자를 통해, 검출된 각 특징점이 이웃하는 점들로부터 취하는 기하학 [0021]

적 특성에 따라 기설정된 임계값(Threshold) 범위 내에서 각 특징점을 성분별로 분해하고, 성분별로 분해된 각 특징점을 기설정된 조건에 따라 유사 성분을 갖는 특징점끼리 묶어 정합 영역들을 형성하며, 형성된 정합 영역 별로 입력된 신발 영상을 분류한다.

(9)

정합 영역 구분부(130)는 정합 영역별로 분류된 신발 영상에서 신발(특정 정합 영역)이 쌍으로 포함되거나 복수 [0022]

로 존재하는 경우를 구분하기 위해, 정합 영역별로 분류된 신발 영상에서 유사 정합 영역이 존재하는지 여부를 판단하고, 판단결과에 따라 신발 영상을 셀프 정합 영역과 단일 정합 영역으로 구분한다.

즉, 정합 영역 구분부(130)는 유사 정합 영역이 정합 영역별로 분류된 신발 영상에 존재할 경우, 정합 영역별로 [0023]

분류된 신발 영상을 셀프 정합 영역으로 구분하고, 유사 정합 영역이 정합 영역별로 분류된 신발 영상에 존재하 지 않을 경우 정합 영역별로 분류된 신발 영상을 단일 정합 영역으로 구분한다.

예컨대, 정합 영역 구분부(130)는 도 3에 도시된 바와 같이, 정합 영역 분류부(120)로부터 정합 영역별로 분류 [0024]

된 신발 영상을 전달받으면, 전달된 신발 영상에서 기설정된 근접 거리 내 이웃(위치)하는 정합 영역들을 라벨 링(Labeling)하여 그룹화한다(S131).

그런 다음 정합 영역 구분부(130)는 모든 그룹들에 대해서 각 그룹 간 정합을 시도하여 특정 그룹과 동일한 정 [0025]

합 영역을 갖는 그룹이 신발 영상의 다른 위치에 존재하는지 여부를 탐색하고, 탐색결과, 특정 그룹과 동일한 정합 영역을 갖는 그룹이 신발 영상의 다른 위치에 존재할 경우, 특정 그룹과, 특정 그룹과 동일한 정합 영역을 갖는 그룹을 유사 정합 영역으로 간주하여 정합 영역별로 분류된 신발 영상을 셀프 정합 영역으로 구분(분할)한 다(S132).

전술한 바를 보다 구체적으로 설명하면, 정합 영역 구분부(130)는 도 4에 도시된 바와 같이, 정합 영역별로 분 [0026]

류된 신발 영상에서 정합 영역들을 그룹화하고, 각 그룹 간의 정합을 시도하여 특정 그룹(A)과 동일한 정합 영 역을 갖는 그룹이 신발 영상에 존재하는지 여부를 탐색한다.

탐색 결과, 특정 그룹(A)과 동일한 정합 영역을 갖는 그룹(B)이 신발 영상에 존재할 경우, 정합 영역 구분부 [0027]

(130)는 그룹(B)을 특정 그룹(A)의 유사 정합 영역으로 간주하여 정합 영역별로 분류된 신발 영상을 셀프 정합 영역으로 구분(분할)하고, 영상 좌표계를 기준으로 그룹(A)과 그룹(B)의 위치를 구분한다.

따라서, 정합 영역 탐색부(100)는 입력된 신발 영상에서 신발(정합 영역)이 쌍으로 포함되어 있다는 것을 인식 [0028]

할 수 있다.

정합 정보 검출부(200)는 도 5에 도시된 바와 같이, 대응 관계 생성부(210), 영상 변형 모델링부(220), 후보 특 [0029]

징점 검출부(230) 및 정합 데이터 분류부(240)를 포함하고, 셀프 정합 영역 또는 단일 정합 영역으로 구분된 신 발 영상과 DB(400)에 저장된 영상 간의 정합 쌍을 결정해 대응 관계를 생성하며, 생성된 대응 관계를 영상 변형 성분들에 대해 모델링하고, 모델링된 대응 관계를 기준으로 기설정된 정합 조건에 충족하는 후보 정합 쌍을 선 정하며, 선정된 후보 정합 쌍으로부터 상관도를 산출하여 최종 정합 데이터를 분류한다.

전술한 바를 위해 먼저 대응 관계 생성부(210)는 도 6에 도시된 바와 같이, 셀프 정합 영역으로 구분된 신발 영 [0030]

상의 특정 정합 영역(A)과 DB(400)에 저장된 비교 영상 간에 정합 쌍들을 검출하고, 검출된 정합 쌍들을 사용하 여 영상 변형에 의한 대응 정보를 형성한다.

또한, 검출된 정합 쌍들은 형성된 대응 정보를 정규화하는데도 사용된다.

[0031]

대응 관계 생성부(210)는 셀프 정합 영역으로 구분된 신발 영상의 특정 정합 영역(A)과 DB(400)에 저장된 비교 [0032]

영상 간의 정합 쌍 검출시, 도 7에 도시된 바와 같이 특정 정합 영역(A)과, 특정 정합 영역(A)과 유사 정합 영 역으로 간주된 정합 영역(B) 사이에 대칭축(C)을 생성하고, 생성된 대칭축(C)과 직교하는 정합 쌍들을 추가로 검출한다.

또한, 대응 관계 생성부(210)는 셀프 정합 영역으로 구분된 신발 영상의 특정 정합 영역(A)과, 특정 정합 영역 [0033]

(A)과 유사 정합 영역으로 간주된 정합 영역(B) 사이에 초기 대칭축(C) 생성시 신발 영상의 세로축 방향에 대응 되게 대칭축(C)을 생성하고, 영상 특징점 검출부(110)에 의해 검출된 특징점 쌍들 간의 유클리디안 거리 (Euclidean Distance)가 가장 최소가 되는 대응 구조에 따라 대칭축을 변형한다.

영상 변형 모델링부(220)는 셀프 정합 영역으로 구분된 신발 영상의 특정 정합 영역(A)과 DB(400)에 저장된 비 [0034]

교 영상 간 검출된 정합 쌍들의 분포에 따른 크기, 회전, 기하 변형 등의 위상 관련 정보 및, 검출된 정합 쌍들 의 빛, 조명, 그림자 등에 의한 영상 변화 정보를 모두 모델링한다.

예컨대, 영상 변형 모델링부(220)는 RANSAC(RANdom SAmple Consensus) 등의 최적화 알고리즘을 이용하여, 검출 [0035]

된 정합 쌍들로부터 영상 변형에 특화된 수학 모델과 정합 계수를 산출한다.

후보 특징점 검출부(230)는 산출된 수학 모델과 정합 계수의 기설정된 임계치 범위에 따라 대응 관계 생성부 [0036]

(10)

(210)에 의해 형성된 대응 정보를 토대로 검출된 정합 쌍들 중 정합 가능한 후보 정합 쌍을 검출한다.

정합 데이터 분류부(240)는 후보 특징점 검출부(230)에 의해 검출된 후보 정합 쌍들의 대응 관계, 즉 대응 상관 [0037]

도에 따라 대응 쌍들 중 각각의 1:N 대응 쌍으로부터 상관도가 기설정된 값 이상으로 높은 1:1 대응 쌍들을 구 해 정규화하고, 정규화된 결과를 토대로 최종 정합을 위한 데이터를 결정한다.

유사 영상 검색부(300)는 도 8에 도시된 바와 같이, 영상 검색 모듈(310)을 포함하고, 영상 검색 서비스를 제공 [0038]

한다.

예컨대, 영상 검색 모듈(310)은 정합 정보 검출부(200)로부터 정합쌍 변형 정보, 즉 결정된 최종 정합을 위한 [0039]

데이터가 전달되면, 전달된 최종 정합을 위한 데이터를 토대로 쿼리 영상(입력된 신발 영상)과의 유사 이미지를 DB(400)에서 검색하여 후보 순위를 선정하고, 선정된 후보 순위에 따라 검색된 유사 이미지를 영상 검색 인터페 이스를 통해 사용자의 단말기로 표출한다.

전술한 바와 같이, 본 발명에 따르면, 입력된 영상과 데이터베이스에 저장된 영상 사이의 정합 쌍으로부터 최적 [0040]

의 영상 변형 정보를 검출할 수 있고, 검출된 영상 변형 정보를 토대로 입력된 신발 영상 내 다수의 객체를 동 시 검색할 수 있으며, 전술한 바와 같은 검색으로 효율적인 신발 검색 서비스를 제공할 수 있다.

이상, 도 1 내지 도 8을 참조하여 본 발명의 일 실시예에 따른 정합 쌍을 이용한 신발 영상 검색 장치를 설명하 [0041]

였고, 이하에서는 도 9를 참조하여 본 발명의 일 실시예에 따른 정합 쌍을 이용한 신발 영상 검색 방법을 설명 한다. 도 9는 본 발명의 일 실시예에 따른 정합 쌍을 이용한 신발 영상 검색 방법을 설명하기 위한 흐름도이다.

도 9에 도시된 바와 같이, 사용자에 의해 단말기를 통해 쿼리(Query) 영상, 즉 신발 영상이 입력되는지 여부를 [0042]

판단한다(S900).

판단결과, 신발 영상이 입력되면, SIFT-LoG(Scale-Invariant Feature Transform-Laplacian of Gaussian)를 이 [0043]

용하여 입력된 신발 영상에서 회전, 크기 등 기하학적 특성에 불변하는 특징점을 검출하고, 영상 기술자(Image Descriptor: 이미지 디스크립터)를 생성한다.

생성된 영상 기술자를 통해, 검출된 각 특징점이 이웃하는 점들로부터 취하는 기하학적 특성에 따라 기설정된 [0044]

임계값(Threshold) 범위 내에서 각 특징점을 성분별로 분해하고, 성분별로 분해된 각 특징점을 기설정된 조건에 따라 유사 성분을 갖는 특징점끼리 묶어 정합 영역들을 형성하며, 형성된 정합 영역별로 입력된 신발 영상을 분 류한다.

정합 영역별로 분류된 신발 영상에서 신발이 쌍으로 포함되거나 복수로 존재하는 경우를 구분하기 위해, 유사 [0045]

정합 영역이 정합 영역별로 분류된 신발 영상에 존재하는지 여부에 따라 정합 영역별로 분류된 신발 영상을 셀 프 정합 영역과 단일 정합 영역으로 구분한다.

즉, 유사 정합 영역이 정합 영역별로 분류된 신발 영상에 존재할 경우, 정합 영역별로 분류된 신발 영상을 셀프 [0046]

정합 영역으로 구분하고, 유사 정합 영역이 정합 영역별로 분류된 신발 영상에 존재하지 않을 경우 입력된 신발 영상을 단일 정합 영역으로 구분한다.

예컨대, 정합 영역별로 분류된 신발 영상에서 기설정된 근접 거리 내 이웃(위치)하는 정합 영역들을 라벨링 [0047]

(Labeling)하여 그룹화하고, 모든 그룹들에 대해 정합을 시도하여 특정 그룹과 동일한 정합 영역을 갖는 그룹이 정합 영역별로 분류된 신발 영상의 다른 위치에 존재하는지 여부를 탐색하며, 탐색결과 특정 그룹과 동일한 정 합 영역을 갖는 그룹이 정합 영역별로 분류된 신발 영상의 다른 위치에 존재할 경우, 특정 그룹과, 특정 그룹과 동일한 정합 영역을 갖는 그룹을 유사 정합 영역으로 간주하여 정합 영역별로 분류된 신발 영상을 셀프 정합 영 역으로 구분한다.

셀프 정합 영역으로 구분된 신발 영상의 특정 정합 영역과 DB(400)에 저장된 비교 영상 간의 정합 쌍들을 검출 [0048]

하고(S902), 검출된 정합 쌍들을 사용하여 영상 변형에 의한 대응 정보를 형성한다.

즉, 정합쌍은 영상 변형에 의한 대응 정보를 만들고, 이를 정규화하는데 사용된다.

[0049]

셀프 정합 영역으로 구분된 신발 영상의 특정 정합 영역과 DB(400)에 저장된 비교 영상 간의 정합 쌍 검출시, [0050]

특정 정합 영역과, 특정 정합 영역과 유사 정합 영역으로 간주된 정합 영역 사이에 대칭축을 생성하고, 생성된 대칭축과 직교하는 정합 쌍들을 추가로 검출한다.

또한, 셀프 정합 영역으로 구분된 신발 영상의 특정 정합 영역과 특정 정합 영역과 유사 정합 영역으로 간주된 [0051]

(11)

정합 영역 사이에 초기 대칭축 생성시 신발 영상의 세로축 방향에 대응되게 대칭축을 생성하고, 검출된 특징점 쌍들 간의 유클리디안 거리(Euclidean Distance)가 가장 최소가 되는 대응 구조에 따라 대칭축을 변형한다.

셀프 정합 영역으로 구분된 신발 영상의 특정 정합 영역과 DB(400)에 저장된 비교 영상 간 검출된 정합 쌍들의 [0052]

분포에 따른 크기, 회전, 기하 변형 등의 위상 관련 정보 및, 검출된 정합 쌍들의 빛, 조명, 그림자 등에 의한 영상 변화 정보를 모두 모델링한다.

예컨대, RANSAC(RANdom SAmple Consensus) 등의 최적화 알고리즘을 이용하여, 검출된 정합 쌍들로부터 영상 변 [0053]

형에 특화된 수학 모델과 정합 계수를 산출한다.

산출된 수학 모델과 정합 계수의 기설정된 임계치 범위에 따라, 검출된 정합 쌍들 중 정합 가능한 후보 정합 쌍 [0054]

을 검출한다.

검출된 후보 정합 쌍들의 대응 상관도에 따라 대응 쌍들 중 각각의 1:N 대응 쌍으로부터 상관도가 기설정된 값 [0055]

이상으로 높은 1:1 대응 쌍들을 구해 정규화하며, 정규화된 결과를 토대로 최종 정합을 위한 데이터를 결정한다.

결정된 최종 정합을 위한 데이터(정합쌍 변형 정보)를 토대로 쿼리 영상(입력된 신발 영상)과의 유사 이미지를 [0056]

DB(400)에서 검색하여(S903) 후보 순위를 선정하고, 선정된 후보 순위에 따라 검색된 유사 이미지를 영상 검색 인터페이스를 통해 사용자의 단말기로 표출한다(S904).

이상 바람직한 실시예와 첨부도면을 참조하여 본 발명의 구성에 관해 구체적으로 설명하였으나, 이는 예시에 불 [0057]

과한 것으로 본 발명의 기술적 사상을 벗어나지 않는 범주내에서 여러 가지 변형이 가능함은 물론이다. 그러므 로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특 허청구의 범위와 균등한 것들에 의해 정해져야 한다.

부호의 설명

100 : 정합 영역 탐색부 200 : 정합 정보 검출부 [0058]

300 : 유사 영상 검색부

도면 도면1

도면2

(12)

도면3

도면4

도면5

도면6

(13)

도면7

도면8

도면9