녹색 사각형 범위는 제안한 방법, 노란색 사각형 범위는 기존의 방법을 사용한 보행 자 범위이다. 기존의 방법과 비교했을 때 보행자 검출은 그림 4.3와 같이 나아진 것을 확인 할 수 있었다.
(a) (b)
그림 4.4 Dalal의 방법과 제안하는 누적 움직임벡터를 이용한 보행자 검출 결과 비교
그러나 그림 4.4와 같이 보행자가 많은 환경의 영상을 바탕으로 실험한 결과 누적 움직임벡터를 사용한 방법이 기존의 방법보다 나아졌는지 확인하기 어렵다. 그래서 결 과 확인이 용이하도록 겹침현상이 일어난다고 가정하는 환경에서 1인 보행자 검출 및 추적을 실험하였다. 실험에 사용된 1인 기준 영상은 그림 4.5, 그림 4.6과 같다.
그림 4.5 실험에 사용된 겹침현상을 가정한 프레임단위 영상(데이터 A)
그림 4.6 실험에 사용된 겹침현상을 가정한 프레임단위 영상(데이터 B)
해당 영상은 (a)~(j)의 순서이며 13프레임 단위로 나누어 표시하였다. 13프레임을 기준으로 움직임벡터를 합산한 누적 움직임벡터에 따라 예측 이동 방향을 얻는다. 누 적움직임 벡터를 얻기 위해 검출되어 그려진 보행자 영역을 중심으로 이전 프레임과 비교하여 블록 정합 알고리즘을 통해 얻어낸다. 보행자 일부분이 유실되거나 가려지는 경우 예측 이동 방향으로 관심영역을 이동시키며, 보행자가 다시 나타나는 경우 보행 자를 재검출한다.
노란색 사각형 영역은 기존의 방법에 대한 보행자 검출을 나타내며 녹색 사각형 영 역은 제안한 방법의 보행자 검출을 나타낸다. 누적움직임 벡터를 이용한 예측 이동 영 역은 붉은색 사각형 상자로 표시하였다. 제안한 방법을 이용한 보행자 검출 및 추적결 과는 아래의 그림 4.7과 4.8에 프레임별로 정리하였다.
그림 4.7 데이터 A 영상에서의 보행자 검출 및 추적 결과
그림 4.7의 (a)~(c)에서는 보행자의 검출 및 추적이 진행된다. 기존의 방법에서는 (d)프레임부터 보행자 검출이 실패하게 되나, 제안한 방법은 (d)~(i)까지 누적 움직임 벡터로 인한 보행자 방향 예측을 통해 기존에 추적하고 있던 보행자를 놓치지 않는다.
(i), (j)에서와 같이 실제 보행자 검출 영역과 예측 영역의 중복된 부분을 확인하면 예 측 범위가 실제 보행자 검출 범위와 비슷하다는 것을 확인할 수 있다. 데이터 A에서의 보행자 움직임벡터와 누적 움직임벡터 그리고 이동방향은 아래 표 4.2와 같다.
움직임벡터 누적 움직임벡터 예측 이동 방향
(-4, 0) (-4, 0) 왼쪽
(-6, 0) (-5, 0) 왼쪽
표 4.2 데이터 A의 (a)~(c)프레임 움직임벡터와 예측 이동 방향
누적 움직임벡터로 지정한 예측범위는 x, y축을 기준으로 상, 하, 좌, 우 그리고 대 각선 방향으로 이동된다. 누적 움직임벡터는 프레임간 블록 정합 알고리즘으로 얻은 움직임벡터를 합산 후 평균을 구해 사용한다. 보행자가 검출된 경우 누적 움직임벡터 는 폐기되며 보행자가 검출되는 시점으로부터 다시 계산된다.
보행자의 움직임벡터는 보행자의 이동하는 방향과 현재 이동 속도를, 누적 움직임 벡터는 보행자의 평균적인 이동방향과 속도를 나타낸다고 볼 수 있다. 보행자 검출이 실패한 구간을 기준으로 예측 영역은 이동하게 된다. 표 4.2를 보면 데이터 A의 보행 자는 평균적으로 x축으로 -5, y축으로 0만큼 이동한다고 할 수 있다. 실제 그림 4.7에 서도 왼쪽으로 이동하는 것을 확인할 수 있다.
그림 4.8 데이터 B에서의 보행자 검출 및 추적 결과
그림4.8에서 (a)~(e)에서는 보행자의 검출 및 추적이 진행된다. (e)의 경우 기존의 방법은 보행자 추적에 실패한 것을 확인할 수 있다. (a)~(e)까지 계산된 누적움직임 벡터에 따라 보행자 검출에 실패하는 경우에 누적 움직임벡터를 통한 예측 영역이 이 동하게 되며 (j)에서 찾아낸 보행자 영역과 예측 영역이 비슷한 위치에 존재하는 것을 확인할 수 있다. 데이터 B에서의 보행자 움직임벡터와 누적 움직임벡터 그리고 이동방 향은 아래 표 4.3과 같다.
움직임벡터 누적 움직임벡터 예측 이동 방향
(-8, 0) (-8, 0) 왼쪽
(-11, 0) (-9.5, 0) 왼쪽
(-7, -1) (-8.6, -0.3) 왼쪽
(-4, 0) (-7.5, -0.25) 왼쪽
표 4.3 데이터 B중 (a)~(d)프레임의 움직임벡터와 예측 이동 방향
실제로 누적 움직임벡터를 사용할 때 소수점 이하의 데이터는 반올림하여 사용한다.
소수점 이하의 값을 버리고 사용해도 값이 미미하므로 결과에 미치는 영향은 전무하 다. 표 4.3의 누적 움직임벡터를 통해 데이터 B의 보행자는 평균적으로 x축으로 -7.5, y축으로 -0.25만큼 이동한다. 그림 4.8에서도 보행자는 왼쪽으로 이동하고 있는 것을 확인할 수 있다.
전체적으로 기존의 방법과 비교했을 때의 검출률은 다음 표 4.4와 같다. 성능평가는 CLEAR metrics의 MOTP(Multiple Object Tracking Precision), MOTA(Multiple Object Tracking Accuracy)로 구성되어 있다 [20]. MOTP는 실제 객체의 이동방향과 제안하 는 방법의 예측 범위의 오차를 측정하며 MOTA는 객체를 놓친 경우, 오검출의 경우, 검출 불일치의 경우를 합산하여 정확도를 분석하였다.
Video 데이터 Method
eth 데이터 A 데이터 B
MOTP MOTA MOTP MOTA MOTP MOTA Dalal et al. 73.3 78.1 72.2 78.9 76.5 81.3
Proposed
Method 78.7 80.1 83.4 85.1 84.6 87.2 표 4.4 Dalal의 방법과 제안하는 방법의 보행자 검출 비교표(단위 : %)
데이터 A와 데이터 B에서 예측영역 내의 보행자는 비슷한 위치에 존재한다. 그리고 이전의 보행자가 검출되는 프레임에서의 보행자의 의상의 색상과 움직임벡터를 이용한 예측 범위가 의미하는 이동속도를 바탕으로 이전에 추적하던 보행자라는 것을 판단 할 수 있다.
(a) (b)
그림 4.9 원본영상과 검출영상의 보행자 의상 색상 및 위치 비교
그림 4.9에서 원본영상에서의 보행자의 의상 색과 같은 프레임에서의 보행자 검출 결과를 보면 같은 보행자가 검출되었다는 것을 확인 할 수 있다. 그리고 이후 예측영 역에서 나타난 보행자 또한 원본영상의 보행자와 검출 결과의 보행자와 같다는 것을 확인 할 수 있다. 아래 그림 4.10과 4.11은 검출된 영역의 RGB히스토그램을 나타낸 다.
(a) (b)
그림 4.10 데이터 A의 기존 보행자(a)와 예측 영역의 보행자(b)의 RGB색상 분포 곡선
위의 그림에서 이전의 보행자가 검출되었을 때의 RGB분포와 예측영역에서의 보행 자 RGB분포를 나타낸 것이다. 그림 4.10(a)의 기존 보행자의 RGB 색상 분포와 4.10(b)의 예측 영역에서 나타난 보행자의 RGB색상 분포 곡선이 비슷하다는 것을 확 인 할 수 있다. 마찬가지로 그림 4.11(a)의 기존 보행자의 RGB 색상 분포와 4.11(b) 의 예측 영역에서 나타난 보행자의 RGB색상분포곡선 또한 비슷하다는 것을 확인 할 수 있다. 이것은 보행자의 의상의 색이 예측영역에서 검출된 보행자의 의상 색과 비슷 하다고 판단할 수 있는 근거가 된다.
(a) (b)
그림 4.11 데이터 B의 기존 보행자(a)와 예측 영역의 보행자(b)의 RGB 색상 분포 곡선
색상 분포 곡선은 보행자 설정 영역의 배경에도 영향을 받는다. 보행자 주변의 배경 색상으로 인하여 두 보행자 영역 간 RGB색상곡선이 완전히 같을 수는 없다. 그러나 보행자 중심으로 설정되는 영역으로부터 얻어진 보행자의 색상 분포 곡선이 비슷하다 는 것은 기존의 보행자인지 아닌지 판단 할 수 있는 좋은 근거가 된다.
V. 결론 및 향후 연구과제
본 논문에서는 동영상에서 움직이는 보행자를 HOG특징 추출과 Adaboost학습 과정 을 통한 파라미터를 생성하여 검출하고 추적하였다. 겹침현상에서 발생하는 보행자 검 출과 추적에 실패하는 경우를 개선하고자 보행자 영역 주변에서 움직임벡터를 계산하 였다. 그리고 프레임별로 그 값을 누적시켜 얻어진 누적 움직임벡터를 이용해 겹침현 상에서 보행자 움직임 방향을 예측하는 시스템을 제안하였다.
실험을 통하여 겹침현상에서도 기존의 방법보다 보행자 움직임 예측과 추적이 잘 이 루어짐을 증명하였으며, 기존의 유사한 방법의 실험결과와 비교를 통해 제안한 방법이 기존의 방법보다 일부 성능이 개선됨을 확인하였다.
추적하고 있던 보행자 전신 영역 중 일부 영역이 사라지는 경우 검출이 불가능하여 추적에 실패하는 상황에서 누적 움직임벡터를 병합하여 이용함으로써 해당 문제를 보 완할 수 있다 생각된다.
그러나 다수의 보행자가 존재하며 보행자끼리 서로 겹치는 환경에서 제안한 방법이 어느정도 움직임 예측은 가능하였다. 그러나 다수의 보행자 상황에서 예측 범위에 나 타난 보행자가 기존에 추적하고 있는 보행자인지 새로운 보행자인지 구별하는 것은 거 의 불가능했다. 이런 환경에서도 강건하게 보행자 이동 방향을 예측하고 검출 할 수 있는 방법이 필요하다.
이 방법은 디스크립터를 이용한 보행자 객체의 개별 ID를 이용하여 구별이 가능할 것으로 판단된다. 향후 이런 방법을 구체적으로 연구하며 보행자 범위를 구별하는 방 법과 제안하는 방법을 좀 더 개선시켜 다수의 보행자가 겹치는 상황에서도 각각의 보 행자를 구별할 수 있는 연구를 진행하고자 한다.
참고 문헌
[1] M. Valera and S. A. Velastin, "Intelligent Distributed Surveillance Systems : a review", Proceeding of Vision'05 Image and Signal Processing, Vol. 152, pp.
92-204, 2005.
[2] Markus Enzweiler and M. Gavrila, "Monocular Pedestrian Detection : Survey and Experiments", IEEE Trans on Pattern Analysis and Machine Intelligence, Vol. 31, No. 12, Dec. 2009.
[3] T. Sakai, M. Nagao, and S. Fujibayashi, "Line Extraction and Pattern Recognition in a Photograph", Pattern Recognition, Vol. 1, pp. 233-248, 1969.
[4] Lim, J. S. and Kim, K. H, "Multiple Pedestrians Detection and Tracking using Color Information form Moving Camera", Journal of KIPS : Korea Information and Applications, Vol. 11, pp. 317-326, 2004.
[5] A. Broggi, M. Bertozzi, and A. Fascioli, "Shape based Pedestrian Detection", Proceeding of the IEEE Intelligent Vehicle Symposium 2000, pp. 215-220, 2000.
[6] M. Mä0hlisch, M. Oberländer, O. Löhlein, D. Gavrila, and W. Ritter, "A Multiple Detector approach to low-resolution for Pedestrian Recognition", Proceeding of the IEEE Intelligent Vehicles Symposium 2005, pp. 23-28, 2005.
[7] Osuna, E. Freund, and R.Girosit, "Support vector Machines : Training and applications", AI Memo 1602, Massachusetts Institude of Technology, Mar.
1997.
[8] P. Viola, M. Jones, and D. Snow, "Detecting Pedestrians Using Patterns of Motion and Appearance", International journal of Computer Vision, Vol. 63, No. 2, pp. 153-161, 2005.
[9] S. Paisitkriangkrai, C. Shen, and J. Zhang, "Fast Pedestrian Detection Using a Cascade of Boosted Covariance Features", IEEE Trans Circuit and System for Video Technology, Vol. 18, No. 8, pp. 1140-1151, 2008.