(19) 대한민국특허청(KR) (12) 공개특허공보(A)
(11) 공개번호 10-2015-0015733 (43) 공개일자 2015년02월11일
(51) 국제특허분류(Int. Cl.)G06T 7/00
(2006.01)G06K 9/46
(2006.01) (21) 출원번호 10-2013-0091476(22) 출원일자 2013년08월01일 심사청구일자 없음
(71) 출원인
한국전자통신연구원
대전광역시 유성구 가정로 218 (가정동) (72) 발명자
정성욱
대전광역시 유성구 가정로 270 한국전자통신연구 원 기숙사 1동 222호
유장희
대전광역시 유성구 배울2로 3 대덕테크노밸리8단 지아파트 803동 2302호
(뒷면에 계속)
(74) 대리인특허법인이지 전체 청구항 수 : 총 1 항
(54) 발명의 명칭 걸음걸이 정보를 이용하여 사람을 검출하기 위한 장치 및 그 방법
(57) 요 약
본 발명에 의한 걸음걸이 정보를 이용하여 사람을 검출하기 위한 장치 및 그 방법이 개시된다. 본 발명에 따른 걸음걸이 정보를 이용하여 사람을 검출하기 위한 장치는 영상 프레임을 입력 받으면, 입력되는 영상 프레임마다 사람의 영역인 ROI(Region Of Interest)를 검출하는 검출부; 검출된 상기 사람의 영역인 ROI 각각에서 특징점을 추출하는 추출부; 추출된 상기 특징점을 이용하여 영상 프레임들 간 사람의 중심점 궤적을 산출하는 산출부; 및 산출된 상기 사람의 중심점 궤적을 기 설정된 삼각 함수에 매칭시켜 그 매칭시킨 결과에 따라 영상 프레임들 간 사람의 중심점 궤적을 보정하는 보정부를 포함하는 것을 특징으로 한다.
대 표 도
- 도1(72) 발명자 이한성
대전광역시 유성구 노은서로 2 노은오피스텔 501호
박소희
대전광역시 유성구 엑스포로 448 엑스포아파트 10 8동 1203호
특허청구의 범위
청구항 1영상 프레임을 입력 받으면, 입력되는 영상 프레임마다 사람의 영역인 ROI(Region Of Interest)를 검출하는 검 출부;
검출된 상기 사람의 영역인 ROI 각각에서 특징점을 추출하는 추출부;
추출된 상기 특징점을 이용하여 영상 프레임들 간 사람의 중심점 궤적을 산출하는 산출부; 및
산출된 상기 사람의 중심점 궤적을 기 설정된 삼각 함수에 매칭시켜 그 매칭시킨 결과에 따라 영상 프레임들 간 사람의 중심점 궤적을 보정하는 보정부;
를 포함하는 것을 특징으로 하는 걸음걸이 정보를 이용하여 사람을 검출하기 위한 장치.
명 세 서
기 술 분 야
본 발명은 사람 검출 방법에 관한 것으로, 특히, 촬영된 다수의 영상 프레임마다 사람의 영역을 검출하여 검출 [0001]
된 사람의 영역 각각에서 특징점을 추출하고, 그 추출된 특징점을 이용하여 각 영상 프레임 내 사람의 중심점 궤적을 산출한 후 산출된 사람의 중심점 궤적을 기반으로 각 영상 프레임마다 검출된 사람의 영역을 보정하도록 하는 걸음걸이 정보를 이용하여 사람을 검출하기 위한 장치 및 그 방법에 관한 것이다.
배 경 기 술
최근에 많은 수의 CCTV를 설치하여 그 영상을 감시하고자 하는 요구가 많아지고 단순히 영상 저장만을 제공하는 [0002]
것이 아니라 입력된 영상을 분석하여 사람을 검출하고 검출된 사람의 행위를 분석하는 지능형 감시 서비스의 요 구가 증대하고 있다.
이러한 지능형 감시 서비스를 제공하기 위해 가장 보편적으로 사용되는 방법은 입력되는 영상에서 각 프레임당 [0003]
사람 객체를 검출하고 추적하는 방식으로 이루어져왔다. 이 방법은 기본적으로 사람의 에지 정보와 패턴 정보를 이용하는 것으로 조명환경 및 주위환경에 따라 크게 영향을 받는다. 예컨대, 사람이 걸어오는 경우를 검출하는 경우 건물의 그림자, 조명의 세기가 강한 곳, 약한 곳과 같은 주변환경에 따라 검출이 실패할 수도 있다.
또한, 동일한 사람의 겉모습은 변하지 않지만 연속된 영상에서의 검출 결과는 검출 알고리즘에 따라 오차가 발 [0004]
생하게 된다. 예컨대, 전 프레임에서의 검출된 사람영역 ROI(Region Of Interest)와 현재 프레임에서의 ROI의 위치와 크기가 일정하지 않을 수 있다.
따라서, 이러한 기존 검출 결과를 보완할 수 있는 다양한 검출 방법이 요구된다.
[0005]
발명의 내용
해결하려는 과제
따라서 이러한 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 촬영된 다수의 영상 프레임마다 [0006]
사람의 영역을 검출하여 검출된 사람의 영역 각각에서 특징점을 추출하고, 그 추출된 특징점을 이용하여 각 영 상 프레임 내 사람의 중심점 궤적을 산출한 후 산출된 사람의 중심점 궤적을 기반으로 각 영상 프레임마다 검출 된 사람의 영역을 보정하도록 하는 걸음걸이 정보를 이용하여 사람을 검출하기 위한 장치 및 그 방법을 제공하 는데 있다.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기 [0007]
재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
과제의 해결 수단
상기 목적들을 달성하기 위하여, 본 발명의 한 관점에 따른 걸음걸이 정보를 이용하여 사람을 검출하기 위한 장 [0008]
치는 영상 프레임을 입력 받으면, 입력되는 영상 프레임마다 사람의 영역인 ROI(Region Of Interest)를 검출하 는 검출부; 검출된 상기 사람의 영역인 ROI 각각에서 특징점을 추출하는 추출부; 추출된 상기 특징점을 이용하 여 영상 프레임들 간 사람의 중심점 궤적을 산출하는 산출부; 및 산출된 상기 사람의 중심점 궤적을 기 설정된 삼각 함수에 매칭시켜 그 매칭시킨 결과에 따라 영상 프레임들 간 사람의 중심점 궤적을 보정하는 보정부를 포 함할 수 있다.
바람직하게, 상기 검출부는 HOG(Histogram Of Gradients)를 이용하여 상기 영상 프레임마다 사람의 영역인 ROI [0009]
를 검출하는 것을 특징으로 한다.
바람직하게, 상기 추출부는 검출된 상기 사람의 영역인 ROI 각각에서 SIFT(Scale Invariant Feature [0010]
Transform) 또는 SURF(Speeded Up Robust Feature)를 이용하여 상기 특징점을 추출하는 것을 특징으로 한다.
바람직하게, 상기 산출부는 추출된 상기 특징점을 이용하여 연속되는 두 영상 프레임들 간의 호모그래피 행렬 [0011]
(homography matrix)를 산출하고 그 산출된 상기 호모그래피 행렬을 기반으로 영상 프레임들 간 사람의 중심점 궤적을 산출하는 것을 특징으로 한다.
바람직하게, 상기 기 설정된 삼각 함수는 사람이 걸을 때 발생하는 사람의 특정점에 대한 궤적의 변화를 나타내 [0012]
는 파형을 모델링한 함수인 것을 특징으로 한다.
본 발명의 다른 한 관점에 따른 걸음걸이 정보를 이용하여 사람을 검출하기 위한 방법은 영상 프레임을 입력 받 [0013]
으면, 입력되는 영상 프레임마다 사람의 영역인 ROI(Region Of Interest)를 검출하는 단계; 검출된 상기 사람의 영역인 ROI 각각에서 특징점을 추출하는 단계; 추출된 상기 특징점을 이용하여 영상 프레임들 간 사람의 중심점 궤적을 산출하는 단계; 및 산출된 상기 사람의 중심점 궤적을 기 설정된 삼각 함수에 매칭시켜 그 매칭시킨 결 과에 따라 영상 프레임들 간 사람의 중심점 궤적을 보정하는 단계를 포함할 수 있다.
바람직하게, 상기 검출하는 단계는 HOG(Histogram Of Gradients)를 이용하여 상기 영상 프레임마다 사람의 영역 [0014]
인 ROI를 검출하는 것을 특징으로 한다.
바람직하게, 상기 추출하는 단계는 검출된 상기 사람의 영역인 ROI 각각에서 SIFT(Scale Invariant Feature [0015]
Transform) 또는 SURF(Speeded Up Robust Feature)를 이용하여 상기 특징점을 추출하는 것을 특징으로 한다.
바람직하게, 상기 산출하는 단계는 추출된 상기 특징점을 이용하여 연속되는 두 영상 프레임들 간의 호모그래피 [0016]
행렬(homography matrix)를 산출하고 그 산출된 상기 호모그래피 행렬을 기반으로 영상 프레임들 간 사람의 중 심점 궤적을 산출하는 것을 특징으로 한다.
바람직하게, 상기 기 설정된 삼각 함수는 사람이 걸을 때 발생하는 사람의 특정점에 대한 궤적의 변화를 나타내 [0017]
는 파형을 모델링한 함수인 것을 특징으로 한다.
발명의 효과
이를 통해, 본 발명은 촬영된 다수의 영상 프레임마다 사람의 영역을 검출하여 검출된 사람의 영역 각각에서 특 [0018]
징점을 추출하고, 그 추출된 특징점을 이용하여 각 영상 프레임 내 사람의 중심점 궤적을 산출한 후 산출된 사 람의 중심점 궤적을 기반으로 각 영상 프레임마다 검출된 사람의 영역을 보정하도록 함으로써, 다수의 영상 프 레임 내 사람의 영역을 정확하게 검출할 수 있는 효과가 있다.
도면의 간단한 설명
도 1은 본 발명의 일 실시예에 따른 사람을 검출하기 위한 장치를 나타내는 도면이다.
[0019]
도 2는 본 발명의 일 실시예에 따른 두 영상 프레임 간의 특징점 추출을 보여주는 도면이다.
도 3a 내지 도 3c는 사람이 걸을 때의 머리의 중심점 궤적을 보여주기 위한 도면이다.
도 4a 내지 도 4b는 본 발명의 일 실시예에 따른 삼각함수에 매칭시킨 결과를 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 따른 사람을 검출하기 위한 방법을 나타내는 도면이다.
발명을 실시하기 위한 구체적인 내용
이하에서는, 본 발명의 실시예에 따른 걸음걸이 정보를 이용하여 사람을 검출하기 위한 장치 및 그 방법을 첨부 [0020]
한 도 1 내지 도 5를 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분을 중심으로 상세히 설명한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부 [0021]
호를 부여할 수도 있으며, 서로 다른 도면임에도 불구하고 동일한 참조부호를 부여할 수도 있다. 그러나, 이와 같은 경우라 하더라도 해당 구성 요소가 실시예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시예에서의 각각의 구성요소에 대한 설명에 기초하여 판단하여야 할 것이다.
특히, 본 발명에서는 촬영된 다수의 영상 프레임마다 사람의 영역을 검출하여 검출된 사람의 영역 각각에서 특 [0022]
징점을 추출하고, 그 추출된 특징점을 이용하여 각 영상 프레임 내 사람의 중심점 궤적을 산출한 후 산출된 사 람의 중심점 궤적을 기반으로 각 영상 프레임마다 검출된 사람의 영역을 보정하도록 하는 새로운 방안을 제안한 다.
도 1은 본 발명의 일 실시예에 따른 사람을 검출하기 위한 장치를 나타내는 도면이다.
[0023]
도 1에 도시한 바와 같이, 본 발명에 따른 사람을 검출하기 위한 장치(100)는 검출부(110), 추출부(120), 산출 [0024]
부(130), 및 보정부(140) 등을 포함하여 구성될 수 있다.
검출부(110)는 영상 프레임을 입력 받으면, 입력되는 영상 프레임마다 사람의 영역인 ROI(Region Of Interest) [0025]
를 검출할 수 있다. 즉, 검출부(110)는 HOG(Histogram Of Gradients) 등을 이용하여 입력되는 영상 프레임마다 사람의 영역인 ROI를 검출할 수 있다.
여기서, ROI는 사람의 영역에 대한 x축, y축 좌표, 폭, 높이 등을 포함할 수 있다.
[0026]
추출부(120)는 검출된 사람의 영역 각각에서 특징점을 추출할 수 있다. 즉, 추출부(120)는 검출된 사람의 영역 [0027]
각각에서 SIFT(Scale Invariant Feature Transform), SURF(Speeded Up Robust Feature) 등을 이용하여 영상회 전 및 크기변화에 강인한 특징점을 추출할 수 있다.
이때, SIFT는 영상 내에서 관심있는 특징점들의 불변한 특징 예컨대, 스케일, Affine 왜곡 등에 강인하게 영상 [0028]
에서의 특징점을 추출하는 알고리즘이다.
또한, SURF는 우수한 성능의 SIFT와 유사한 성능에 속도를 크게 향상시킨 알고리즘으로, 적분 영상과 근사화된 [0029]
헤이시안 검출기를 사용하여 특징점을 추출한다.
산출부(130)는 추출된 특징점을 이용하여 영상 프레임들 간 사람의 중심점 궤적을 산출할 수 있다. 즉, 산출부 [0030]
(130)는 추출된 특징점을 이용하여 연속되는 두 영상 프레임들 간의 호모그래피 행렬(homography matrix)를 산 출하고 그 산출된 호모그래피 행렬을 기반으로 영상 프레임들 간 사람의 중심점 궤적을 산출할 수 있다.
여기서, 상기 호모그래피 행렬은 영상 프레임의 평면 위의 한 점이 다른 영상 프레임의 동일 평면 위의 한점으 [0031]
로 이동되는 변환을 나타내는 행렬을 나타낸다.
도 2는 본 발명의 일 실시예에 따른 두 영상 프레임 간의 특징점 추출을 보여주는 도면이다.
[0032]
도 2에 도시한 바와 같이, 본 발명은 두 개의 프레임에서 특징정 추출 알고리즘을 이용하여 매칭되는 점들을 보 [0033]
여주고 있는데, 여기에서는 녹색으로 표시된 점이 매칭되는 점이고, 파란색으로 표시된 점이 매칭되지 않은 점 을 나타내고 있다.
이렇게 매칭된 점의 좌표를 이용하여 [수학식 1]을 만족하는 호모그래피 행렬을 산출한다.
[0034]
호모그래피 행렬을 이용하여 사람의 중심점 궤적을 산출하는 원리를 간략히 설명하면 다음과 같다.
[0035]
예컨대, 산출부(130)는 호모그래피 행렬을 이용하여 두 영상 프레임들 간 즉, 이전 영상 프레임 내 한 점 xi가 [0036]
현재 영상 프레임 내 어느 점 xi'으로 매칭되는지를 계산할 수 있다.
[수학식 1]
[0037]
Hxi = xi
[0038]
여기서, xi는 이전 프레임에서의 대응점을 나타내고 xi'는 현재 프레임에서의 대응점을 나타낸다.
[0039]
즉, 본 발명은 이렇게 산출된 호모그래피 행렬을 이용하여 이전 프레임에서의 한점의 위치가 현재 프레임에서 [0040]
어디로 이동하는지를 알 수 있게 된다.
예컨대, 호모그래피 행렬을 첫번째 영상 프레임에서의 ROI의 모서리에 적용시키게 되면 다음 두번째 영상 프레 [0041]
임에서의 ROI의 모서리 위치를 추측할 수 있다.
도 3a 내지 도 3c는 사람이 걸을 때의 머리의 중심점 궤적을 보여주기 위한 도면이다.
[0042]
도 3a를 참조하면, 사람이 걸어가는 경우 머리의 중심점 궤적이 삼각 함수와 같은 형상을 보이고 있음을 알 수 [0043]
있다. 이러한 삼각 함수는 사람의 측면에서 보았을 뿐 아니라 정면에서 보았을 경우도 삼각 함수의 진폭만 바뀔 뿐 동일한 형상을 보이게 된다.
즉, 사람의 걸음걸이에서 두발이 가장 멀리 떨어져 있을 때 즉, 보폭이 가장 커질 때 상체가 약간 밑으로 내려 [0044]
가게 되고, 두발이 겹쳐질 때 즉, 보폭이 가장 작을 때 상체가 약간 위로 올라가게 되어 상체의 움직임이 삼각 함수와 같은 곡선을 그리게 된다.
도 3b를 참조하면, 사람이 카메라를 향해서 걸어올 때 ROI의 중심점 궤적을 보여주고 있는데, 이러한 중심점 궤 [0045]
적을 살펴보면 카메라의 프레임 속도에 따라 연속적으로 나타나지 않지만 전체적으로 삼각함수 모양의 궤적을 그리는 것을 알 수 있다.
도 3b와 3c에서 전체적인 그래프가 하강하거나 상승하는 현상은 사람이 카메라에서 멀어지거나 가까이 이동함에 [0046]
따라 나타나는 영상의 Perspective 영향에 따른 것이다.
도 3c를 참조하면, 사람이 카메라로부터 멀어질 때 ROI의 중심점 궤적을 보여주고 있는데, 이러한 중심점 궤적 [0047]
을 살펴보면 카메라의 프레임 속도에 따라 연속적으로 나타나지 않지만 전체적으로 삼각함수 모양의 궤적을 그 리는 것을 알 수 있다.
보정부(140)는 산출된 사람의 중심점 궤적을 기 설정된 삼각 함수에 매칭시켜 그 매칭시킨 결과에 따라 영상 프 [0048]
레임들 간 사람의 중심점 궤적을 보정할 수 있다.
이때, 보정부(140)는 Levenburg-Marquardt 알고리즘 등의 최적화 알고리즘을 이용하여 영상 프레임마다 산출된 [0049]
사람의 중심점 궤적을 기 설정된 삼각 함수에 매칭시키게 된다.
여기서 기 설정된 삼각 함수는 사람이 걸을 때 발생하는 사람의 특정점 예컨대, 중심점에 대한 궤적의 변화를 [0050]
나타내는 파형을 모델링한 함수를 의미할 수 있다.
도 4a 내지 도 4b는 본 발명의 일 실시예에 따른 삼각함수에 매칭시킨 결과를 보여주는 도면이다.
[0051]
도 4a 내지 도 4b에 도시한 바와 같이, 사람이 걸을 때는 삼각 함수 모양의 파형을 그리게 되므로 이러한 파형 [0052]
을 삼각함수로 모델링하여 그 모델링한 삼각함수에 Levenburg-Marquardt 알고리즘을 이용하여 영상 프레임마다 산출된 사람의 중심점 궤적을 피팅시킬 수 있다.
예컨대, 도 4a는 사람이 카메라를 향해서 걸어올 때 ROI의 중심점 궤적을 모델링한 삼각함수에 피팅시키는 경우 [0053]
를 보여주고, 도 4b는 사람이 카메라로부터 멀어질 때 ROI의 중심점 궤적을 모델링한 삼각함수에 피팅시키는 경 우를 보여주고 있다.
이렇게 사람의 중심적 궤적을 모델링한 삼각함수에 피팅시키게 되면 모델링한 삼각함수의 인자값을 알 수 있기 [0054]
때문에 정확한 중심점 궤적을 표현할 수 있다.
도 5는 본 발명의 일 실시예에 따른 사람을 검출하기 위한 방법을 나타내는 도면이다.
[0055]
도 5에 도시한 바와 같이, 본 발명에 따른 사람을 검출하기 위한 장치(이하 검출 장치라고 한다)는 영상 프레임 [0056]
을 입력 받으면, HOG(Histogram Of Gradients) 등을 이용하여 입력되는 영상 프레임마다 사람의 영역을 나타내 는 ROI를 검출할 수 있다(S510).
다음으로, 검출 장치는 검출된 사람의 영역 각각에서 SIFT(Scale Invariant Feature Transform), SURF(Speeded [0057]
Up Robust Feature) 등을 이용하여 특징점을 추출할 수 있다(S520).
다음으로, 검출 장치는 추출된 특징점을 이용하여 연속되는 두 영상 프레임들 간의 호모그래피 행렬를 산출하고 [0058]
(S530) 산출된 호모그래피 행렬을 기반으로 사람의 중심점 궤적을 산출할 수 있다(S540).
다음으로, 검출 장치는 산출된 사람의 중심점 궤적을 기 설정된 삼각 함수에 매칭시켜(S550) 그 매칭시킨 결과 [0059]
에 따라 영상 프레임들 간 사람의 중심점 궤적을 보정할 수 있다(S560).
다음으로, 검출 장치는 사람의 중심점 궤적을 보정한 결과에 따라 보정된 중심적 궤적을 기반으로 사람의 ROI를 [0060]
보정하고 그 보정한 결과로 사람의 ROI를 출력할 수 있다(S570).
이때, 검출 장치는 각 영상 프레임 사이에서 계산된 호모그래피 행렬을 이용하여 첫번째 영상 프레임에서 검출 [0061]
된 사람의 ROI 크기를 연속적으로 추정하여 그 추정된 사람의 ROI 크기를 해당하는 영상 프레임에서의 사람의 ROI로 결정하게 된다.
한편, 이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 [0062]
것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선 택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈 을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하 여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록 매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
이상에서 설명한 실시예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발 [0063]
명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개 시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의 하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되 어야 할 것이다.
부호의 설명
110: 검출부 [0064]120: 추출부 130: 산출부 140: 보정부
