*공주대학교 공과대학 전기전자제어공학과 ([email protected])
**교신저자 공주대학교 공과대학 전기전자제어공학부 ([email protected])
접수일자 : 2017년 5월 12일, 수정완료일자 : 2017년 6월 16일, 최종게재확정일자 : 2017년 6월 20일
영상처리 기반 낙상 감지 알고리즘의 구현
김선기*, 안종수*, 김원호** 종신회원
Implementation of fall-down detection algorithm based on Image Processing
Seon-Gi Kim*, Jong-Soo Ahn*, Won-Ho Kim** Lifelong Member
요 약
본 논문은 영상처리 기반의 낙상 감지 알고리즘의 설계 및 구현에 관한 내용을 기술한다. 영상처리 기반의 낙상 감지 알고리즘은 카메라로 획득한 입력 영상을 그레이 스케일 변환 후 배경차분과 이진화를 통해 객체를 분리하고, 라벨링을 통해 인체를 인식한다.
인식된 인체는 출력 영상으로 확인이 가능하며 낙상을 감지하게 되면 알람이 발생한다. 컴퓨터 시뮬레이션을 통하여 제안한 알고리 즘을 실험한 결과 90%의 검출율을 보여주었다. DSP 영상처리 보드에 구현한 시제품 시험을 통하여 기능을 검증함으로서 실용화 가능성을 확인하였다.
Key Words : Image processing, Fall-down detection, intelligent video surveillance
ABSTRACT
This paper describes the design and implementation of fall-down detection algorithm based on image processing. The fall-down detection algorithm separates objects by using background subtraction and binarization after grayscale conversion of the input image acquired by the camera, and recognizes the human body by using labeling operation. The recognized human body can be monitored on the display image, and an alarm is generated when fall-down is detected. By using computer simulation, the proposed algorithm has shown a detection rate of 90%. We verify the feasibility of the proposed system by verifying the function by using the prototype test implemented on the DSP image processing board.
I. 서론
현대 사회에 접어들어 평균 수명 연장 및 출산률 감소로 인한 사회 고령화 현상과 핵가족화 등의 원인으로 인해 독거 노인의 수가 점차 증가하고 있다. 독거노인의 수가 증가함에 따라 고독사가 심각한 사회문제로 떠오르고 있다. 이러한 고 독사 문제를 해결하기 위한 방법으로는 직접 독거노인을 방 문하거나 전화로 안부를 확인하는 직접적인 방법과 웨이러 블 기기나 움직임 센서 등을 이용해 원격으로 독거노인들에 게 문제 발생시 확인할 수 있는 방법들이 있다.
혼자 사는 노약자의 경우 쓰러지게 되면 도움을 받을 수 가 없어 위험하다. 기존 독거노인을 위한 발명품인 웨어러블 기기는 맥박만을 측정하여 낙상 할 경우에는 알려주지 못하 는 단점이 있다. 노약자의 경우 낙상은 매우 위험한 상황이 기 때문에 이는 치명적이다.
본 논문에서는 고독사의 원인들 중 낙상으로 인한 2차 피 해를 방지하기 위한 연구를 진행하고자 하였다. 기존의 연구 들로는 원격으로 낙상을 감지하는 방법에는 가속도와 기울 기 센서를 이용해 낙상을 감지하는 방법이나 움직임 벡터를 이용해 낙상을 감지하는 방법, 바닥 진동을 통해 낙상을 감 지하는 방법, 관성 센서를 이용해 낙상을 검출하는 방법들이 있다[1][2][3][4].
낙상 감지 시스템은 집 내부에 CCTV를 설치하고 지속적 으로 카메라를 통해 입력받은 집안 내부 영상을 입력받아 낙 상이 발생하면 낙상 감지 알고리즘을 통해 낙상으로 판단하 여 알람을 통해 알려줄 수 있도록 설계하였다. 낙상 감지 시 스템은 노약자가 넘어지게 될 경우 바로 알려주기 때문에 낙 상에 따른 추가 피해를 예방 할 수 있을 것이다. 이는 현재 사회의 문제인 고독사를 예방하고 노약자의 건강을 보다 쉽 게 파악 할 수 있을 것이다.
Ⅱ. 낙상 감지 영상 처리 알고리즘
카메라로 획득한 영상을 처리하여 낙상을 감지하는 알고 리즘의 순서도는 그림 1과 같으며 동작 설명은 다음과 같다.
카메라로 영상을 획득한 후, 연산량을 감소시키기 위해 RGB 영상을 그레이스케일 영상으로 변환한다. 그레이 스케일 영 상을 처음 배경화면 프레임과 현재화면의 프레임의 차인 배 경차분 영상으로 만든다. 라벨링 연산을 통해 움직이는 객체 를 그룹화 한 후 면적 임계값 이상의 객체를 인체로 인식해 2D 바운딩 박스로 표시한 후 2D 바운딩 박스의 x,y 좌표 변 화를 통해 낙상을 감지하여 낙상 상태의 유무를 판단하고 알 람을 출력한다.
그림 1. 낙상 감지 알고리즘의 동작 순서도
1) 명암도 영상 변환
입력된 영상은 RGB 영상 포맷으로 입력을 받는다. 연산 량 감소를 위해 그레이 스케일 영상으로 변환 후 영상처리를 수행한다. 그레이 스케일로 변환은 수식(1)의 연산을 통해 변환이 이루어진다.
(1)
2) 배경 차분 연산
배경 영상과 현재 영상의 차이를 표출하기 위해서 배경 차분 연산을 수행한다. 첫 번째 프레임인 배경 영상과 현재 영상의 차를 연산하여 배경차분 영상을 구한다. 배경 차분 연산은 수식(2)를 통해 이루어진다. 는 배경 영상이
고 는 현재 영상, 는 배경차분 영상이다.
(2)그림 2. 배경 차분 영상
3) 이진 영상 변환
배경과 움직이는 물체를 구분하기 위해 이진 영상으로 변 환을 한다. 이진 영상 변환은 수식(3)의 연산을 통해 이루어 진다. 는 현재 영상이고 는 이진 영상 문턱치 값 이다.[5][6].
(3)
4) 라벨링 연산
인접한 화소에 같은 번호를 붙여 화소 영역으로 그룹화 하는 라벨링 연산을 통해 배경차분 영상 속 움직이는 객체들 을 각각 그룹화 해 번호를 붙인다. 논문의 알고리즘에서는 4-방향 커널을 사용하여 라벨링을 진행하였다.
그림 3. 라벨링 연산 결과 영상
5) 인체 인식
알고리즘에서 면적값을 이용하여 인체를 인식한다. 라벨 링된 영역의 좌표를 이용하여 인식한 객체의 면적을 구한다.
구한 면적은 면적 임계값과 비교하여 면적 임계값 이상의 조
건을 만족하면 그 객체를 인체로 인식한다. 그림 4는 인식한 객체에 2D 바운딩 박스를 이용해 표현한 영상이며 평상시와 낙상시에도 지속적으로 추적한다.
그림 4. 인체 인식 영상
6) 2D 바운딩 박스
움직이는 객체를 인체로 인식하면 인체의 x, y 좌표의 최 대값과 최소값을 이용해 그림 4와 같이 2D 바운딩 박스로 인 체를 지속적으로 표시한다.
7) 낙상 감지
낙상 감지는 2D 바운딩 박스의 x, y 좌표값을 이용해 전, 후, 좌, 우로 낙상 시 x, y의 변화에 대한 특징을 이용해 낙상 임계값을 적용하여 전방향 낙상을 감지한다. 정상 상태에서 식(5)의 값은 식(4)의 값보다 크고, 낙상 시 식 (4)의 값이 식 (5)보다 크다는 것을 이용해 식(5)의 값을 낙상 임계값으로 설정하고 낙상 시 식(4)가 낙상 임계값으로 설정한 식(5) 보 다 클 경우 낙상으로 판단한다. 식(6)은 오검출률을 감소시 키기 위해 낙상 시 넘어지는 가속도의 임계값을 사용하였다[7].
maxmin
minmax
minmin
max와 min은 x좌표의 최대값과 최소값이며, max와
min은 y좌표의 최대값과 최소값이다.
은 y좌표 최소값의 가속도이며 시간에 따른 속도 차이로 계산한다.
8) 컴퓨터 모의 실험
본 논문에서 제안한 알고리즘의 기능과 성능을 검증하기 위해 컴퓨터 시뮬레이션을 통하여 모의실험을 수행하였다.
영상획득을 위하여 빈 강의실에서 실험을 하였으며, 천장 높 이에 맞춰 내부가 다 보이도록 촬영 하였다. 실험대상은 키 175～180cm의 성인 남자들을 대상으로 하였다. 샘플 영상은 120개를 촬영하여 다양한 방향으로 낙상하였으며 실험에 사 용되는 예를 그림 5와 그림 6에 나타냈다.
그림 5. 인체 검출 영상
그림 6. 낙상 감지 결과 영상
그림 5는 인체 검출 영상이다. 영상 속에서 이동하는 객체 를 면적임계값을 통해 조건을 만족하면 인체로 인식하게 된 다. 인식한 인체는 2D 바운딩 박스를 통해 표시하고 지속적 으로 추적한다.
그림 6은 낙상 감지 결과 영상이다. 지속적으로 추적하던 인체가 낙상 시 낙상 임계값을 이용하여 조건을 만족하면
‘넘어짐’ 문구를 출력해 낙상을 감지하였다. 낙상 후에도 인 체를 지속적으로 인식해 2D 바운딩 박스로 인체를 계속 확 인 할 수 있으며, 지속적으로 낙상 감지 알고리즘을 수행한 다. 실험 결과 120개의 샘플 영상 중 108번의 영상에서 낙상 될 때 정확히 검출되어 90%의 검출률을 확인하였다. 그리고 영상에서 걷고 있는 도중 낙상으로 감지된 오검출이 14번 발 생하여 11.6%의 오검출률을 확인하였다. 이는 처음 샘플 영 상을 찍을 때의 흔들림으로 생긴 잡음으로 인해 나타난 현상 이다. 실험한 영상에 대한 낙상 검출률과 오검출율을 표 1에 나타냈다.
표 1. 낙상 검출율 영상
개수 낙상 정상
검출 횟수 오검출
횟수 정상
검출율 오검출율
120 108 14 90% 11.6%
Ⅲ. 하드웨어 구현 및 시험
그림 7. 낙상감지 H/W 구성도
그림 7은 영상처리 기반의 낙상 감지 시스템의 하드웨어 구성도이다. 카메라는 영상을 획득하는 기능을 수행하고, DSP 보드는 입력 받은 영상을 영상처리를 통해 인체를 인식 하고 낙상을 감지하는 기능을 수행한다. 모니터는 영상 처리 된 영상을 출력하여 화면에 표시해주며 LED 점등을 통하여 낙상을 알려주는 기능을 한다.
그림 8. DSP 보드
영상처리 기반의 알고리즘을 구현하기 위한 DSP 보드는 그림 8의 DM642 미디어 프로세서를 사용하였다. 영상 정보 를 DSP 보드에 입력하면 DSP 보드가 낙상 감지 알고리즘을 수행하며, 모니터를 통하여 인체를 인식하는 영상을 출력한 다. 인식된 인체가 낙상 시에는 LED 점등을 통해 낙상이 감 지되었음을 표시한다. 그림 9는 DSP 보드에 알고리즘을 하 드웨어로 구현한 사진이다. 샘플 영상에서 인체가 낙상되자 LED가 점등하여 낙상을 알려준다. 성능 테스트를 위해 시뮬 레이션에서 사용했던 샘플 영상으로 시험을 수행한 결과 76%의 낙상 검출 성능을 확인하였다. 시뮬레이션 결과와 구 현 성능의 차이는 영상의 흔들림으로 인한 잡음으로 인해 발 생하였다. 이러한 성능 차이는 흔들림으로 인한 잡음을 보완 하는 알고리즘을 통해 보완할 수 있다.
영상처리 보드
낙상 알림 LED
그림 9. 낙상 감지 시스템 시제품
Ⅳ. 결론
본 논문에서는 낙상으로 인한 2차 피해를 예방하기 위해 영상처리 기반의 낙상 감지 알고리즘을 설계하고 DSP 영상 처리 보드 기반으로 구현하였다. 입력된 영상에서 라벨링된 좌표값을 이용한 인체 검출과 낙상 검출 알고리즘을 적용하 였다. 컴퓨터 시뮬레이션 결과에서는 90%의 낙상 검출 성능 을 보였으며, DSP 영상처리 보드를 이용하여 구현한 시제품 시현에서는 76%의 낙상 검출 성능을 보여주었다. 이를 통해 영상처리 기반의 낙상 감지 시스템의 실용화 가능성을 확인 하였으며, 향후 흔들림으로 인한 잡음을 보완하는 알고리즘 을 개선한다면 더 좋은 성능을 보일 것으로 보인다.
참 고 문 헌
[1] 류정탁, “3축 가속도센서와 기울기 센서를 이용한 낙상감지시 스템 개발”, 한국산업정보학회 논문지, 제 18권, 제4호, 2013.
[2] 김상수, 김선우, 최연성, “움직임 벡터를 이용한 낙상 감지 시 스템”, 한국정보전자통신기술학회 논문지 제9권, 제1호, 2016 [3] 김동완, 유종현, 백승화, “바닥 진동을 통한 노인 낙상 검출”,
전기전자학회 논문지, 제 18권, 제1호, 2014.
[4] 안순재, 신이수, 유제성, 김영호 “관성센서를 이용한 낙상예측 알고리즘의 실제 일상생활 적용”, 한국정밀공학회 2015년도 춘계학술대회 논문집
[5] Rafael C. Gonzalez E. wood, Steven L, Eddins, Digital image processing using MATLAB, McGraw-Hill, 2011
[6] 안세용, 이정현, 이승원, 백준기 “모션 기반 배경차분을 이용한 강인한 이동 객체 검출”, 대한전자공학회 하계종합학술대회, 제 35권, 1호, 2012
[7] 황세현, 반성범, “오픈소스 하드웨어와 RGB 카메라를 이용한 낙상 검출 시스템”, 한국정보기술학회 논문지, 제14권, 제4호, 2016
[8] 이지홍, 고윤호, 한백전자 기술연구소 공저,“TI DSP TMS320C64XX를 이용한 디지털 영상처리”, ITC, 2006
저자
김 선 기(Seon-Gi Kim)
․2017년 2월 : 공주대학교 전기전자제 어공학부 전자공학 졸업 (공학사)
․2017년 3월 ～ 현재 : 공주대학교 전기 전자제어공학과 석사 과정
<관심분야> : 영상신호처리, 신호처리
안 종 수(Jong-Soo Ahn)
․2017년 2월 : 공주대학교 전기전자제 어공학부 전자공학 졸업 (공학사)
<관심분야> : 영상신호처리, 반도체, 디스플레이
김 원 호 (Won-Ho Kim) 종신회원
․1985년 2월：경북대 전자공학 학사
․1987년 2월：경북대 전자공학 석사
․1999년 2월：충남대 전자공학 박사
․1989년 2월∼1999년 8월：한국전자 통신연구원(ETRI) 선임연구원
․1999년 8월～현재：공주대학교 전기전자제어공학부 교수
<관심분야> : 영상 및 통신 신호처리, 위성멀티미디어통신, 지능형 영상감시 및 비젼센서
