비전 센서 기반의 사람 검출 및 계수 시스템
박 호 식*
Detecting and Counting People system based on Vision Sensor
Ho-Sik Park*
요 약
보행자의 수는 건물의 출입자 제어, 보행자 소통 관리, 지역 내 유동량 측정 등에 있어서 매우 중요하게 이 용되는 정보이다. 그러나 기존의 사람 검출 및 계수 시스템은 겹침이나 그림자나 조명에 의한 부정확한 검출 로 인하여 정확한 계수의 어려움이 있었다. 본 논문에서는 카메라로부터 영상을 입력받아 적응적으로 배경 영 상을 생성하여 처리함으로써 조명의 변화나 그림자 영향을 최소화 하였다. 또한 Kalman 필터와 Mean-Shift 알고리즘을 이용하여 중복 계수를 방지하여 계수의 정확도를 높일 수 있었다. 실험 결과 95.4%의 계수 정확 도를 나타내어 제안된 방법이 사람의 검출 및 계수에 효율적임을 증명하였다.
ABSTRACT
The number of pedestrians is considered essential information which can be used to control a person who makes a entrance or a exit into a building. The number of pedestrians, also, can be used to help to manage pedestrian traffic and the volume of pedestrian flow within the building.
Due to the fact there is incorrect detection by occluded, shadows, and illumination, however, difficulty can arise in existing system which is for detection and counts of a person who makes a entrance or a exit into a building. In this paper, it is minimized that the change of illumination and the effect of shadow through the transmitted image from camera which is created and processed with great adaptability. The accuracy of the calculations can be increase as well by using Kalman Filter and Mean-Shift Algorithm in order to avoid overlapped counts. As a result of the test, it is proved that the count method that shows the accuracy of 95.4% should be effective for detection and counts.
Keywords : People Counting, Object Tracking, Mean-Shift, Kalman Filter, Status Management
* 교신저자 : 오산대학교 디지털전자과
접수일자：2012년 12월 15 일, 수정일자 : 2013년 1월 10일, 심사완료일자：2013년 1월 25일
Ⅰ. 서 론
유비쿼터스 정보화 시대에 온라인 상거래 등 급 변하는 주변 환경 변수에 따라 유통 점포의 지속
적인 경쟁력 강화를 위해서는 여러 가지의 다양한 마케팅 전략이 필요하다. 특히 매장 출입구 내부나 외부에서 수집되는 입출점 고객의 추이를 분석 하 면 매장 운영의 효율을 극대화 할 수 있을 것으로 생각된다. 하지만 입출점 고객 수 측정이 사람에
그림 1. 제안된 시스템 알고리즘 Fig. 1. System Algorithm by proposed
의해 이루어질 경우 정확도와 효율성의 문제가 발 생한다. 그래서 초기에는 센서를 이용하여 지나가 는 사람을 계수하는 방법을 사용하였으나 여러 명 이 동시에 지나갈 경우 계수를 정확하게 하지 못 하는 문제가 있었다. 따라서 카메라를 통해 자동적 으로 특정 구역을 지나가는 사람들을 계수하는 방 법이 연구되고 있다[1-4].
그러나 기존의 방법은 카메라의 위치에 따른 겹 침이나 그림자나 조명에 의한 부정확한 검출로 인 하여 정확한 계수의 어려움이 있었다[1]. 또한 배 경 제거를 통해 객체 검출을 강화하였으나 겹쳐짐, 가려짐 문제를 완전히 해결하지는 못하였다[2]. 그 리고 칼라 영상을 기반으로 히스토그램을 이용한 추적방법[3]이 제안되었으나 단순히 차영상을 기반 으로 처리하다보니 조명과 같은 주변 환경 영향을 많이 받았다. 다른 방법으로는 객체의 움직임을 탐 지하여 그 정보를 조합해 사람을 계수하는 방법이 제안되었다[4]. 이 방법은 간단하고 가벼운 연산량 을 가지는 효율적인 계수법이긴 하나 움직임 검출 과정에서 조명의 변화나 그림자의 영향을 받아 오 동작을 일으킬 수 있고 사람이 양방향으로만 통행
가능한 장소에만 적용 가능하다는 단점이 있었다.
본 논문에서는 사람 검출 및 계수 시스템을 제 안한다. 카메라로부터 영상을 입력받아 적응적으로 배경 영상을 생성하여 처리함으로써 조명의 변화 나 그림자 영향을 최소화 하였으며 Kalman 필터 와 Mean-Shift 알고리즘을 이용하여 객체를 지속 적으로 추적하여 계수의 정확도를 높이었다.
제안된 시스템의 알고리즘의 순서도를 그림 1에 나타내었다.
Ⅱ. 적응적 배경 영상
카메라로부터 영상 프레임이 입력된다. 영상카 메라에 이동이 감지되지 않는 다면 이전 배경영상 모델과 현재의 영상 프레임을 이용해 새로운 배경 영상 모델을 생성한다. 영상에 이동이 감지된 경우 배경영상 모델과 현재 영상 프레임을 이용해 현재 영상 프레임의 배경영상 부분에 대한 보정정도를 계산하고 적응적으로 배경영상을 구성한다.
그림 2. 입력 영상 프레임에 대한 배경영상 모델링 Fig 2. Background Image Modeling by Input Image
Frame
새로운 영상프레임이 입력되었을 때 새로운 배 경영상 모델을 생성하기 위해 그림 2와 같이 기존 의 배경영상 모델의 각 픽셀과 입력된 영상 각 픽 셀 값에 대한 평균 과 표준편차를 식(1)과 식(2)와 같이 계산하게 된다. 표준편차는 후에 이동객체를 추출하기 위한 임계치로 사용된다.
(1)
(2) M은 평균, N은 프레임 순서, X는 현재프레임
픽셀의 값을 나타낸다. 이렇게 계산된 각 픽셀의 값이 배경영상 모델이 된다. 현재 프레임에 대해 평균과 표준 편차를 구할 때 식(1)과 식(2)와 같은 방법으로 하면 한 프레임이 입력되었을 때 이전에 계산 되어진 평균과 표준편차의 프레임 수를 고려 해서 현재 프레임의 평균과 표준편차를 구할 수 있다.이와 같은 배경영상 모델링은 영상카메라에 이동객체가 감지 될 때까지 구성하게 된다.
Ⅲ. 추적에 의한 계수 알고리즘
3.1 추적 알고리듬
이전 프레임에서 객체가 검출되면 이전 프레임 에 발견된 객체를 근거로 하여 각 객체에 대한 모 형 q를 구성한다. Kalman 필터를 이용하여 현재 프레임에서 객체의 위치 yˆ0를 예측하고, 다음의 알고리듬을 이용하여 초기 위치를 yˆ0로 설정하고 평균 이동을 반복하여 현재 프레임에서 객체 후보 와 가장 유사한 위치를 찾는다.
1. 현재 프레임에서 객체의 위치를 yˆ0 롤 설정 하고 객체 후보 분포 {pˆu(yˆ0)}u=1Km를 계산하고 값 을 구한다.
[ ] å
=
=
m
u
u
u y q
p q
y p
1 0
0),ˆ ˆ (ˆ )ˆ
ˆ ( ˆ
r (3)
여기서 m은 분포 p와 q의 양자화 단계이다.
2. 다음에 의하여 가중치{ }
nh i i
w =1K 얻는다.
[ ]
å
=
-
=
m
u u
u i
i p y
u q x b w
1 ˆ (ˆ0)
) ˆ (
d (4)
여기서 δ 는 크로네커 델타 함수, b(xi) 는 히스 토그램의 지표이다.
3. 평균 이동 함수를 이용하여 객체의 새로운 위치를 얻는다.
å å
=
=
÷÷ ø ö çç
è
æ -
÷÷ ø ö çç
è
æ -
=
h h
n
i
i i
n
i
i i
i
h x g y
w
h x g y
w X y
1
2 0 1
2 0
1 ˆ
ˆ
ˆ (5)
여기서, h는 커널 프로파일의 반지름이고,
m u u y pˆ (ˆ1)} 1K
{ = 를 갱신하고, 값을 구한다.
( )
[ ] å ( )
=
=
m
u
u
u y q
p q
y p
1 1
1,ˆ ˆ ˆ ˆ
ˆ ˆ
r (6)
4. r[pˆ(yˆ1,qˆ)]<r[pˆ(yˆ0,qˆ)] 인 경우
( 0 1)
1 0.5 ˆ ˆ
ˆ y y
y ¬ + 를 실행한다.
5. 만약 yˆ1-yˆ0 <e 이면 중지하고
다른 경우엔 , y ¬ˆ0 yˆ1 로 설정하여 단계 1로 돌 아간다.
현재 프레임에서 새로운 객체의 위치는 이전 객 체 위치 근처를 전부 검색하는 상관관계를 이용한 방법에 비해 적은 반복 횟수로 찰을 수 가 있었다.
또한 계산들의 단순화하여, 상관관계에 비해 빠르 게 동작하였다.
3.2 다중 객체 상태 관리 알고리즘
본 논문에서는 다중 이동 객체를 관리하기 위하 여 각각의 객체에 대하여 상태 관리 알고리즘을 제 안한다. 그림 3과 같이 입력되는 영상에 대하여 이 동 객체에 다음과 같은 상태를 부여하고 관리한다.
그림 3. 이동 객체의 상태 관리 알고리즘 Fig. 3. Status management algorithm of moving object
① 진입 : 화면 내 객체 진입 상태
② 멈춤 : 화면 내에서 멈춤 상태
③ 정지 : 화면 내에서 xx초 이상 멈춤 상태
④ 이동 : 화면 내에서 객체가 움직이는 상태
⑤ 이탈 : 화면 내에서 객체가 빠져나간 상태 이동 객체의 상태관리 알고리즘 처리시간은 평 활화, 차영상 측정에 의한 객체 검출 등의 일반 작 업에 약 20msec 정도가 소요되고, 객체의 수에 따 라 최대 50msec 정도 소요되므로 총 70msec 정도 의 연산시간이 필요하다. 따라서 초당 30프레임 의 영상에서 매 프레임 처리하지 않고 3프레임 마 다 처리함으로써 전체적인 처리 시간을 확보 할 수 있었다.
그림 4. 상태 관리 알고리즘의 처리시간 Fig. 4. Processing time of Status management
algorithm
Ⅳ. 실험결과 및 고찰
본 논문에서 제안된 알고리즘의 성능을 입증하 기 위하여 사람의 검출 및 계수 실험을 진행하였 다. 제안된 알고리즘을 사용된 하드웨어로는 영상 입력을 위해서 유진시스템의 YSDP-522-35를 영 상 전송위한 비디오서버는 크립토텔레콤의 S-152 를 사용하였다. 입력된 영상은 352×240 해상도에 초당 10프레임을 사용하였다. OS는 Microsoft사의 Windows XP를 이용했고, 개발 툴은 Microsoft Visual C++와 Intel사의 IPL과 OpenCV를 이용하 였다.
그림 5. 시스템 화면 구성 Fig. 5. Screen Structure of System
실험은 조도의 영향을 최소화하기 위하여 건물 실내에 직각으로 카메라를 설치하였다. 총 6시간 걸쳐 계수 측정 지역을 지나가는 사람을 정확하게 계수하는지 확인하였다. 그림 5에 제안된 시스템의 화면구성을 나타내었다.
제안된 시스템은 그림 6(a)와 복수의 인원도 동 시 계수가 가능하였으며, 그림 6(b) 와 같이 이미 계수된 사람은 지속적인 추적으로 인하여 계수에 서 성공적으로 제외되었다. 그러나 그림 6(c)와 같 이 여러 명이 붙어서 들어오는 경우 계수가 부정 확한 문제가 일부 발생하기도 하였다.
(a)
(b) (c) 그림 6. 실험 결과의 예 Fig. 6. Sample of experiment result
Ⅴ. 결 론
보행자의 수는 건물의 출입자 제어, 보행자 소 통 관리, 지역 내 유동량 측정 등에 있어서 매우 중요하게 이용되는 정보이다. 기존의 사람 검출 및
계수 시스템은 동시에 여러 사람이 동시에 센서를 지나갈 경우 정확성에서 많은 문제가 생기기에 카 메라를 통해서 특정 구역을 지나가는 사람들을 셀 수 있는 시스템을 제안하였다. 제안된 시스템은 카 메라로부터 영상을 입력받아 적응적으로 배경 영 상을 생성하여 처리함으로써 조명의 변화나 그림 자 영향을 최소화 하였다. 또한 Kalman 필터와 Mean-Shift 알고리즘을 이용하여 중복 계수를 방 지하여 계수의 정확도를 높일 수 있었다. 실험 결 과 95.4%의 계수 정확도를 나타내어 제안된 방법 이 사람의 검출 및 계수에 효율적임을 증명하였다.
감사의 글
본 연구는 2011학년도 오산대학교 교내연구비 지원에 의하여 수행되었음.
참 고 문 헌
[1] M. Rossi and A. Bozzoli, "Tracking and counting Moving People." IEEE Proc. of lnt, Conf. Image Processing, Vol. 3, pp.212-216, 1994.
[2] O. Masoud and N. P. Papanikolopoulos, "A novel method for tracking and counting pe- destrians in realtime using a single camera." IEEE Trans. on Vehicular Tech., Vol. 50, No. 5, pp.1267-1278, 2001.
[3] Thou-Ho Chen, "An automatic bi-directional passing-people counting method based on color image processing." Security Technology, Proceedings. lEEE 37th Annul 2003 International Carnahan Conference on 14-16 Oct. 2003, pp. 200-207, 2003.
[4] J. Barandiaran, B. Murguia, F. Boto, "
Real-Time People Counting Using Multiple Lines." Image Analysis for Multimedia Interactive Services, WIAMIS ’08, Ninth International Workshop on 7-9 May 2008, pp.159-162, 2008.
[5] A. Albiol, V. Naranjo, "Real-Time high
density people counter using morphological tools," IEEE Trans. on Intelligent Transportation Systems, vol. 2, no. 4, pp.
204-218, Dec. 2001.
[6] Thou-Ho Chen, "An automatic bi-directional passing-people counting method based on color image processing", IEEE 37th Annual 2003 International Carnahan Conference on 14-16th Oct, 2003, pp.200-207, 2003.
[7] Kenji Terada and Junichi Yamaguchi, "A System for Counting Passing People by Using the Color Camera", The Transactions of The Institute of Electrical Engineers of Japan.
[8] X.-W. Xu, Z.-Y. W, "A rapid method for passing people counting in monocular video sequences," International conference on Machine Learning and Cybernetics, pp.
1657-1662. Aug. 2007.
저자약력
박 호 식 (Ho-Sik Park) 종신회원
1994년 2월 연세대학교 의용전자공학과 졸업 (공학사) 2001년 2월 관동대학교 대학
원 전자통신공학과 졸 업 (공학석사) 2005년 2월 관동대학교 대학
원 전자통신공학과 졸 업 (공학박사) 2008년 3월～현재 오산대학
교 디지털전자과 교수
<관심분야> 영상처리, 임베디드시스템, 의용공학
