Vol. 25, No. 1, February 2015, pp. 035-041 http://dx.doi.org/10.5391/JKIIS.2015.25.1.035
Received: Jun. 19, 2014 Revised : Feb. 11, 2015 Accepted: Feb. 13, 2015
†Corresponding author([email protected])
본 논문은 정보통신산업진흥원의 “IT융합 고급인력과정 지 원사업”의 연구결과로 수행되었음.
본 연구는 지식 경제부 및 정보통신산업진흥원의 “IT융 합 고급인력과정 지원사업”의 연구결과로 수행되었음 (NIPA-2012-H0401-12-1007)
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License (http://creativecommons.org/licenses/by-nc/3.0) which permits unre- stricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
지능형 영상 교통 감시 시스템에서 공간 투영기법을 이용한 이동물체 추적 방법
Moving Objects Tracking Method using Spatial Projection in Intelligent Video Traffic Surveillance System
홍경택*․ 심재홍*․ 조 영 임**†
Kyung Taek Hong, Jae Homg Shim, and Young Im Cho†
*한국산업기술대학교 메카트로닉스공학과, **수원대학교 컴퓨터학과
*Korea Polytec University, **†The University of Suwon 요 약
영상 감시 시스템에서 특정 물체를 추적하기 위해서는 물체에 대한 영상정보를 빠른 시간 내에 정확하게 인식하고 추적하는 방법이 매우 중요하다. 단일 카메라를 이용해서 객체의 추적을 하게 될 경우 가려짐과 같은 문제로 인해 객체 추적의 한계가 존재하게 되고, 복수 카메라를 사용하는 경우 연속적으로 배치된 카메라를 통해 객체를 추적하게 된다. 그러나 객체추적이 완벽하게 이루어지지 않 아 추적하고 있는 객체를 놓치는 경우가 발생한다. 이러한 문제를 해결하기 위해서 다수의 카메라를 관심영역 내에 설치해서 동시에 동일한 물체를 여러 각도에서 관찰하는 멀티 영상감시시스템과 같은 방법을 고려해야 한다. 물체 추적에 다수의 카메라를 이용할 경 우 정보 취득이 용이하고, 보다 넓은 범위의 공간에서 정확도가 높은 판단을 내리는 것이 가능하다. 본 논문에서는 도로 교차로에 다 수의 카메라를 사용할 경우 공간투영기법인 호모그래피를 적용하여 자동차와 같은 동일한 물체를 인식하고 추적하기 위한 방법을 제안하고자 한다.
키워드 : 움직이는 객체, 추적, 교통, 감시카메라, 공간투영, 호모그래피, 공통 객체 Abstract
When a video surveillance system tracks a specific object, it is very important to get quickly the information of the object through fast image processing. Usually one camera surveillance system for tracking the object made results in various prob- lems such like occlusion, image noise during the tracking process. It makes difficulties on image based moving object tracking. Therefore, to overcome the difficulties the multi video surveillance system which installed several camera within interested area and looking the same object from multi angles of view could be considered as a solution. If multi cameras are used for tracking object, it is capable of making a decision having high accuracy in more wide space. This paper pro- poses a method of recognizing and tracking a specific object like a car using the homography in which multi cameras are installed at the crossroad.
Key Words : Moving, Object, Tracking, Traffic, Video, Surveillance, Projection, Homography, Identification
1. 서 론
최근 저렴한 감시카메라의 개발이 활성화되면서 도로교 통, 범죄예방, 건물경비 등과 같은 영상 감시시스템의 사용 빈도가 높아지고 있다. 다양한 용도로 활용되고 있는 영상 감시 시스템은 어떠한 특수한 상황에 대하여 판단을 할 때 인식의 범위를 넓혀주고 그에 따른 합당한 판단을 할 수 있 도록 도와주고 있다.
카메라에 의한 영상 감시 시스템에서 특정 물체를 추적하
기 위해서는 물체에 대한 영상정보를 빠른 시간 내에 정확하
게 인식하고 추적하는 방법이 매우 중요하다. 단일 카메라를
이용해서 객체의 추적을 하게 될 경우 객체 추적의 한계가 존
재하게 되고, 복수 카메라를 사용하더라도 연속적으로 배치된
카메라를 통해 객체를 추적하게 된다[1,2]. 그러나 다중 카메
2288-2324
ISSN(Online)
라를 사용할 경우에 객체가 바라보는 카메라 각도에 따라서 특징점이 동일하게 검출되지 않으며, 특징점이 동일하게 인식 하기 위한 조건 설정이 어려운 등 여러 문제점이 발생한다.
이러한 이유로 객체추적이 완벽하게 이루어지지 않아 추적하 고 있는 객체를 놓치는 경우가 발생한다.
이러한 문제를 해결하기 위해서 다수의 카메라를 관심영 역 내에 설치해서 동시에 동일한 물체를 여러 각도에서 관 찰하는 멀티 영상감시시스템과 같은 방법을 고려해야 한다.
물체 추적에 다수의 카메라를 이용할 경우 정보 취득이 용 이하고, 보다 넓은 범위의 공간에서 정확도가 높은 판단을 내리는 것이 가능하다[3].
최근 자동차도로의 교차로와 같이 서로 다른 진행방향을 갖는 자동차들이 교차하는 장소에서 빈번하게 발생하는 도 로 교통사고에 대한 예방과 함께 사고책임규명을 명확하게 하기 위한 영상감시시스템의 개발이 이루어지고 있다. 본 논문에서는 도로 교차로에 다수의 카메라를 사용할 경우 호 모그래피 기법을 적용하여 자동차와 같은 동일한 물체를 인 식하고 추적하기 위한 방법을 제안하고자 한다. 본 논문의 구성은 2장에서는 다수 카메라 영상정보들로부터 공통 영 역으로 판별하기 위해서 특징점을 이용한 호모그래피 (Homography) 매트릭스를 설명하고, 3장에서는 통합 투영 공간 상에서의 물체 인식에 대해, 4장에서는 실험 및 고찰, 5장에서는 결론을 언급하였다.
2. 호모그래피 매트릭스
다중 카메라 영상 시스템 내에서 한 물체를 인식함에 있 어, 서로 다른 위치의 카메라로 물체를 인식했을 경우에 바 라보는 영상의 위치와 특징이 다르기 때문에 동일 물체로 인식하지 못하는 문제가 많이 발생한다. 이러한 문제를 해 결하기 위해 본 논문에서는 동일 공간을 여러 각도에서 바 라보는 다수의 영상시스템에서 얻어진 물체의 정보를 통합 투영 공간으로 표현해 같은 기하학적 범위에 있다면 동일 물체로 인식하는 방법을 제안하고자 한다.
본 장에서는 다중 영상시스템의 각 영상을 하나의 통합 투영 공간으로 표현하는 방법인 호모그래피 매트릭스에 대 해 설명한다[4].
먼저 다중 영상시스템의 각 정지화상에서 SIFT 알고리 즘을 통해 특징점을 추출하고[5], 통합 투영 공간상에 존재 하여야 할 대응좌표를 설정한 뒤, 통합 투영 공간으로 변환 하기 위한 두 영상간의 변환 유도 행렬인 호모그래피를 도 출한다.
′ ′
′
′
1
(1) 식 (1)에서 x', y'는 통합 투영 공간상에 표현되는 원 영 상 정보 x, y이다. a, b, c, d, e, f, g, h 는 통합 투영 공간 상으로 변환시키는 연산 행렬식의 상수 값을 의미한다.
투영변환(Perspective Transform)은 동차좌표계 (Homogeneous coordinates)를 사용하고 있으므로
′와
′에 관한 식 (1)을 식 (2)와 같이 바꿔 쓸 수 있다.
′ ′ ′
′ ′ ′
(2)
위 식에서 통합 투영 공간을 구하기 위해서는 8개의 변 수, a, b, c, d, e, d, f, g, h에 대한 정보가 필요하다. 이를 위해서 카메라 영상에서 4쌍의 (x, y)좌표와 그에 대응되는 통합 투영 공간상의 (x', y')좌표값을 구한다. SIFT알고리 즘을 통해 추출된 좌표가 영상포지션을 대응할 수 있으므로 식(3)과 같은 행렬식을 유도할 수 있다.
′
′
′
′
′
′
′
′
=
′
′
′
′
′
′
′
′
′
′
′
′
′
′
(3)
유도된 8×8 행렬식의 역행렬(inverse matrix)을 구한 뒤 식 (1)에 대입해 통합 투영 공간상의 좌표를 구할 수 있다.
그림 1. 다중 영상정보의 특징점 추출 및 호모그래피를 활용한 통합 투영 공간
Fig. 1.Unification of multiple images on the projected image plane using homography and extraction of its
features
그림 1은 위에서 설명한 특징점 추출과 그를 통해 투영 변 환을 한 결과물이다. 다중 카메라 영상정보를 활용해서 공간 합성을 하였을 경우 공간상의 같은 관심영역인 공통영역에서 벗어날수록 영상 해상도가 작아지는 문제가 발생한다.
3. 통합 투영 공간상에서 물체 인식
2장에서 구한 통합 투영된 공간 영상을 사용하게 되면 영상별로 스케일(scale)의 차이가 발생한다. 즉, 영상의 중 앙으로 접근할수록 픽셀(pixel)당 실제 거리의 스케일은 줄 어들고, 중앙에서 멀어질수록 픽셀 당 실제 거리는 영역의 변화량에 비례하여 증가한다. 이 경우에 이동벡터 추정이 불가능하므로 조감도(Bird's-eye View)에서 보는 것과 같 이 만들기 위해 스케일 보정이 필요하다[6].
통합 투영 공간에 스케일 보정을 하기 위한 공간 투영 변
환 방정식은 아래 식 (4)와 같이 표현할 수 있다.
(4) 여기서, A는 호모그래피를 거친 통합 투영 공간, B는 보정이 가해진 통합 투영 공간,
는 두 영상의 선형관계를 만족하는 매개변수 벡터이다. 즉, A영상을 B좌표계로 투영 하기 위한 수식으로
벡터행렬 형태로 전개할 수 있다.
식 (4)에서 통합투영 공간 A의 획득된 영상정보를 이용, 보정되었을 시의 영상 B에 맞게 변환 행렬을 돌출해낸다.
이 행렬식을 이용해 공통영역에서 멀어질수록 한 픽셀당 스 케일이 증가하는 비율이 줄어들어 통합 투영 공간에서 스케 일을 균일화 할 수 있다.
그림 2. 복수 카메라로부터 얻은 동일 물체의 통합 공간상에서의 위치 표시
Fig. 2. Unified projection image information of the multi-cameras on a same object.
식 (4)를 적용해서 다중영상시스템에서 각각의 카메라에서 얻어진 정보를 가지고 호모그래피 행렬식 형태로 통합영역을 구성할 수 있다[7]. 그림 2는 식 (4)를 활용해 조감도형식의 화면으로 보정된 결과 영상이다. 이 통합투영 공간상에 인식 된 동일 차량의 영역을 표시하면 약간의 영역만 겹쳐지고 나 머지는 겹쳐지지 않는 결과를 확인 할 수 있다[8].
따라서 추적하고자 하는 동일 객체의 중심점이 어디로 이동하는지에 대한 확인이 필요하다. 이를 위해 식 (1)에서 변환 좌표를 다시 도출하기 위해서는 식 (5)와 같이 재정의 를 한다.
′
′ ′
′
′ ′
′ ′
(5)
식 (5)에서 P는 원래의 영상에서 통합 투영 공간 상의 한 점 을 의미하며, 본 논문에서는 물체의 중심점 위치를 표현한다.
그림 3은 여러 대의 카메라에 의해서 관찰된 동일 물체 이 동에 따른 중심점 좌표값을 통합공간상에 표시한 위치정보 이다. 그림에서 보는 바와 같이 동일물체이지만 위치값의 차이가 발생한다. 이는 동일물체에 대한 각 카메라가 바라
보는 높이 및 거리의 차이로 인해 발생한다[9].
그림 3. 통합공간상에서 동일 물체의 중심점이 복수의 카메라에서 나타내는 위치를 각각 표시한 경우 Fig. 3. Trajectory of a target object from three
cameras at the unified projection image plane.
따라서 통합 투영 공간에서 동일 물체로 판별하기 위해 서는 동일 물체로 인식시킬 수 있는 범위의 필요성이 존재 한다. 동일객체로 인식하는 최대 및 최소편차를 구하는 식 은 (6)과 같다.
′ ′
·
소스로부터얻어진
′ ′ 의최대 편차
소스로부터얻어진
′ ′의최대 편차
(6)
식 (6)에서 P는 투영 공간상의 중심점을 의미하고, belief 의 데이터는 전체 시간 상에서 구해진 편차이다.
다중영상시스템의 각 영상에서 얻어진 동일 물체의 중심 점을 통합 투영 공간상에 위치시켰을 때, 각 영상의 중심점 들이 식 (6)의 최대편차와 최소편차 안에 있다면, 동일 물체 로 판단한다.
그림 4. 제안된 알고리즘 작동 순서도
Fig. 4. Flow chart of the proposed algorithm
4. 실험 및 고찰
본 논문에서 제안한 알고리즘을 구현하기 위해 그림 5와 같이 4차선 도로상에 일곱 개의 노란색 기호(SN 1 ∼ SN 7)에 해당되는 위치에 고정 IP카메라를 배치하고, 각각의 카메라로부터 얻은 영상정보를 이용하여 도로상의 자동차, 자전거, 행인 등 이동물체에 대한 추적 실험을 수행하였다.
그림 5. 복수의 카메라가 배치된 도로 지도 Fig. 5. Map of road where multiple cameras are
installed.
실험 장소에서 각 카메라의 설치는 지상으로부터 6m정 도 높이의 기둥 위에 설치되어 기둥 위에서 아래 방향으로 4차선 도로를 공통으로 바라보도록 설정되어 있다. SN 1
∼3의 카메라 3대는 삼거리 교차로에서 서로 마주보는 형 태로 설치되었다. SN 4～7의 카메라 4대는 직선도로상에서 공통영역을 마주 보도록 설치되었다.
그림 6. SN 1～3의 통합 투영 공간 Fig. 6. Unified projection image plane by SN1～SN3
그림 7. SN 5～7의 통합 투영 공간 Fig. 7. Unified projection image plane by SN5～SN7
그림 6은 SN1～3까지의 카메라 영상을 활용해 만든 통 합투영공간임을 보여주고 있으며, 그림 7은 SN 5～7까지의 영상정보를 이용한 통합투영공간이다. SN 4는 SN 1～3에 의한 통합 투영 공간과 SN 5～7에 의한 통합 투영 공간 사 이를 연결하는 중간 카메라로 파노라마 영상이 되도록 조정 한다.
실험은 먼저 다수의 카메라 영상정보를 기반으로 만들어 진 통합투영공간상에 얻어진 동일 차량의 중심점 값들을 이 용해서 공통의 객체로 인식할 수 있는 최소, 최대 범위를 구한다. 그림 8은 통합 투영 공간상에서 SN 1～3에 의한 동일 차량의 위치 데이터이고, 그림 9는 SN 5～7에 의한 동일 차량의 위치데이터를 보여주고 있다.
그림 8. SN 1～3의 동일 차량에 대한 통합투영공간에서 위치 데이터
Fig. 8. Trajectory of the target object from SN1～3 at the unified projection image plane
그림 9. SN 5～7의 동일 차량에 대한 통합투영공간에서 위치 데이터
Fig. 9. Trajectory of the target object from SN5～7
at the unified projection image plane
그림 8과 9에서 보는 바와 같이 +, △, ◆들은 각각의 카
메라에서 얻어진 동일 객체의 중심점 값들로서, 통합 투영
공간으로 옮겼을 시 픽셀의 위치를 의미한다.
표 1. 제안된 알고리즘 적용 결과 Table 1. Results of the proposed algorithms Experiment
Condition Objects Cameras Recognition Ratio (%)
1 Car 1 7 100
8 Cars 8 7 100
5 Cars at
crossroad 5 7 88
14 Cars 14 7 85
Car Accident
#1 28 7 85
Car Accident
#2 4 7 100
본 논문에서 제안한 알고리즘을 다양한 상황에서 적용, 실험한 결과 표 1에서 보는 바와 같이 다중 영상 시스템 내 에서 공통 객체 인식율은 약 85%의 다소 낮은 신뢰도를 보 였다.
그림 10. 카메라 이미지 위에 검출된 객체 중심점 위치 Fig. 10. Position of the center of
the detected object on a image
이는 차량이 검출 될 경우 그림 10의 (c)와 같이, 검출되 는 차량의 중심점은 실제 공간에서는 도로면 위에 존재하게 된다. 하지만, 카메라 이미지로 판단할 경우 카메라가 바라 보는 각도에 따라서 우리가 검출한 차량의 중심점이 실제 위치한 중심점보다 더 뒤쪽의 바닥면으로 인식해서 발생하 는 문제가 있어 생기는 문제점이다.
이것의 이해를 돕기 위해 그림 10 (a)의 그림은 객체 검 출된 차량의 중심점이다. (b)의 그림은 동일한 중심점만 표 시된 그림이다. 이렇게 비교하여 보았을 때, 우리가 원하는 객체의 중심점이 카메라로 인식될 경우 중심점의 위치가 우 리가 생각하는 지면 위에 존재하는 중심점이 아닌 더 뒤의 바닥면의 점으로 인식되는 것으로 확인 할 수 있다. 이러한 상황이 하나의 카메라에서 발생하는 것이 아니라 여러 카메 라에서 확인되는 문제이다.
그림 11. 동일물체 판단 알고리즘에서의 오검출 발생의 경우
Fig. 11. In case of error in decision algorithm on the identity of an object on the
unified projection image plane
앞에서 말한 상황이 포함된 상태에서 그림 11에서 보 는 바와 같이 3대의 카메라가 설치된 다중 영상시스템에서 공통영역 내에 있는 두 물체(A, B)를 바라보게 되면 빨간색 의 중심점을 기준으로 녹색, 파란색, 검은색의 카메라에서 인식되는 중심점이 나타나게 된다. 그리고 원은 동일 물체 로 인식되는 범위를 표시한 것이다. 이 경우 때때로 물체 A, B의 동일물체로 인식되는 두 원의 일부가 겹쳐지게 되 며, 이 경우 동일물체로 판단하게 되는 오검출 상황이 발생 하게 된다.
그림 12. 객체의 중심점 변경을 통한 객체검출 신뢰도 상승 방법 Fig. 12. Increasing the reliability of the identity decision algorithm by changing the center position
of the object
이를 보완하기 위해 그림 12에서 보는 바와 같이 객체
의 중심점 좌표 값을 변경한다. 변경된 객체의 중심점은 카
메라로 인식된 원래의 객체의 중심점과 객체로 인식된 사각
형 밑변과의 거리가 2등분 되는 위치이다. 중심값 변경과
동일 물체로 인식하는 범위를 줄임으로서 점선 형태에서 원
형태로 감소함에 따라 겹치는 영역이 제거된다. 위와 같은 알고리즘 변경 후 실험 결과 동일 객체 인식 신뢰도가 약 90%로 향상되었다. 그림 13과 그림 14는 알고리즘 보완 후 결과 영상이다.
그림 13. 사거리 교차로에서 3대의 카메라 정보를 이용한 동일차량 추적 결과 Fig. 13 Tracking results of a same car by three
cameras (SN1～SN3) at the crossroad.
그림 14. 직선 도로에서 3대의 카메라 정보를 이용한 동일차량 추적 결과
Fig. 14. Tracking results of a same car by three cameras (SN5～SN7) at the straight road.
그림 13(a)에서 보면 SN 1 카메라에서 의해 관측된 1번 차량이 맵 전체에서 전역객체(Gloabal Identification) 1번으 로 인식한 뒤에, 그림 13(d)에서 보는 바와 같이 SN 4 영 상내에서 동일한 차량에 대해 전역객체 1번으로 인식하는 것을 확인 할 수 있다. 또한, 그림 14(a), (b), (c)에서 보는 바와 같이 그림 12에서 인식한 동일한 차량을 SN 5∼7영상 내에서도 전역객체번호 1번으로 인식하는 것을 볼 수 있다.
표 2에서 보는 바와 같이 보완된 동일객체 추적 알고리즘을 적용한 결과 표 1의 결과보다 개선된 약 90% 이상의 신뢰 도를 가지면서 다중영상시스템 내에서 동일 객체를 지속적 으로 추적할 수 있는 결과를 얻을 수 있었다.
표 2. 보완된 알고리즘 적용 결과 Table 2. Results of the compensated algorithms Experiment
Condition Objects Cameras Recognition Ratio (%)
1 Car 1 7 100
8 Cars 8 7 100
5 Cars at
crossroad 5 7 92
14 Cars 14 7 94
Car Accident
#1 28 7 90
Car Accident
#2 4 7 100
5. 결론
본 논문에서 제안한 호모그래피 기반의 통합투영공간화 알고리즘을 적용한 결과 다중영상시스템 내에서 각각의 카 메라 정보를 활용하여 도로 교차로와 같은 장소에서 이동 물체 추적 시 동일 물체 인식율이 약 90%의 성능을 보임으 로서 제안된 알고리즘의 우수성을 보여 주었다.
그러나 다중영상시스템 내 각각의 카메라의 소실점 부분 에서 차량이 교차하게 되면, 오검출 하는 사례가 파악이 되 었다. 그럴 경우, 통합 영상 공간상에서 객체의 중심점이 다 른 객체의 중심점의 범위를 침범하는 사례가 발생한다. 이 러한 오검출 사례한 수정이 필요할 것으로 보여진다. 향후 위와 같은 문제에 대처할 수 있는 동일객체 추적 알고리즘 에 대한 추가적인 연구가 필요할 것으로 보인다.
References
[1] H. J. Kwon, S. K. Bae and B. K. Kim, “Real-time 3 Dimensional Position Tracking of a Moving Object using a Stereo CCD Cameras”,
The Journal of GIS Association of Korea, Vol. 13, No. 2, pp 129-138, 2005.
[2] O. Javed, Z. Rasheed, K. Shafique, and M. Shah.
"Tracking Across Multiple Cameras with Disjoint Views".
Proc. IEEE International Conference on Computer Vision, pp. 952-957, 2003.
[3] I. Haritaoglu, D. Harwood, L. Davis, "Real-Time Surveillance of People and Their Activities".
Proc IEE Transactions on Pattern Analysis and Machine Intelligence, Vol 22. No. 8, August, 2000.
[4] ZHOU J., LI B.: ‘Homography-based ground detection for a mobile robot platform using a single camera’.
Proc. IEEE Int. Conf. on Robotics and Automation, USA, pp. 4100–4105, 2006.
[5] Huiyu Zhou, Yuan Yuan, Chunmei Shi, "Object tracking using SIFT features and mean shift",
Computer Vision and Image Understanding, pp.345-352, 2009.
[6] Richard Szeliski,
Computer Vision: Algorithms andApplications
, Springer, Nov. 2010.
[7] A. Yilmaz, O. Javed, M. Shah, "Object Tracking : A Survey"
Acm Computing Surveys, 38(4), pp.
1-45, 2006.
[8] J. O. Park, Y. M. Kim and J. G. Lee,
“Recognition and Tracking of Moving Objects by UAV”,
Journal of Korea Multimedia Society,Vol.
13, No. 5, pp. 684-690, 2010.
[9] J. H. Ryu, “Set-up of Multiple Cameras of Intelligent Video Surveillance for Tracking of Moving Objects”, Thesis of the Master Degree, A-Ju University, Korea, pp. 24-27, 2009.
[10] H. Grabner, J. Matas, L. V. Gool and P. Cattin,
"Tracking the Invisible: Learning Where the Object Might be," in
IEEE Conf. on Computer Vision and Pattern Recognition (CVPR'10), 2010.
[11] J. K. Ryu, S. H. Lee, Y. J. Jeong, “FPGA Design of a SURF-based Feature Extractor”,
Journal of Korea Multimedia Society, Vo.14, No.3, pp.
368-377, March 2011.
[12] Y. Salih and A. S. Malik, “Comparison of stochastic filtering methods for 3D tracking,”
Pattern Recognition
, vol. 44, no. 10, pp. 2711-2737, October. 2011.
[13] Y. S. Do and Y. J. Jeong, “Hardware Design of SURF-based Feature extraction and description for Object Tracking”,
Journal of The Institute of Electronics Engineers of Korea, Vol. 50, NO. 5, May, 2013.
저 자 소 개
