http://dx.doi.org/10.5369/JSST.2016.25.3.196 pISSN 1225-5475/eISSN 2093-7563
키넥트 스테레오 영상을 이용한 원격 재활 시스템
김경아 · 정완영 · 김종진+
A Remote Rehabilitation System using Kinect Stereo Camera
Kyungah Kim, Wan-Young Chung, and Jong-Jin Kim+
Abstract
Rehabilitation exercises are the treatments designed to help patients who are in the process of recovery from injury or illness to restore their body functions back to the original status. However, many patients suffering from chronic diseases have found difficulties visiting hospitals for the rehabilitation program due to lack of transportation, cost of the program, their own busy schedules, etc. Also, the pro- gram usually contains a few medical check-ups which can cause patients to feel uncomfortable. In this paper, we develop a remote reha- bilitation system with bio-signals by a stereo camera. A Kinect stereo camera manufactured by Microsoft corporation was used to recognize the body movement of a patient by using its infrared(IR) camera. Also, we detect the chest area of a user from the skeleton data and process to gain respiratory status. ROI coordinates are created on a user’s face to detect photoplethysmography(PPG) signals to calculate heart rate values from its color sensor. Finally, rehabilitation exercises and bio-signal detecting features are combined into a Windows application for the cost effective and high performance remote rehabilitation system.
Keywords: Photopletysmography(PPG), Rehabilitation, Bio-signal, Motion recognition
1. 서 론
넓은 의미에서 재활 치료란 장애를 가진 사람이 가질 수 있 는 최적의 기능을 성취하고 유지하거나, 삶의 질을 향상시키기 위해 이루어지는 모든 치료를 뜻한다[1,2]. 이를 위해 환자는 여 러가지 방법으로 치료를 받게 되는데 그 중 한 가지가 신체적 인 활동을 통한 재활 훈련이다. 기존의 재활 훈련은 환자가 직 접 내원하여 전문의와 물리치료사, 간호사의 도움을 받아서 운 동을 진행하도록 계획되어 있다. 이뿐만 아니라 재활 훈련의 효 과를 수치화 하기 위해 신체의 여러가지 기본적인 기능 및 상 태를 함께 체크하기도 한다. 그러나, 일반적으로 재활 훈련이 필 요한 환자들은 거동이 힘들기 때문에 통원의 어려움, 병원 스케 줄 및 비용 등의 이유로 재활 훈련을 위한 투자를 부담스럽게
생각하는 경향이 있다. 병원 입장에서도 재활 훈련을 위한 인력 소모에 대한 부담이 있을 것이고, 재활 훈련 시에 매번 신체 기 능을 확인하기 위한 절차 또한 번거로운 것이 사실이다. 또한, 병원에서 재활운동을 하는 동시에 환자의 활력 징후(vital signs) 를 확인하는 일이 흔치 않기 때문에[3], 환자가 운동을 하면서 객관적으로 신체의 변화를 감지하는 것이 쉽지 않다.
이러한 어려움들 중 일부를 해결하기 위한 몇 가지 방안들로 예를 들면, 로봇을 사용하여 재활 훈련을 돕는 경우[4,5], 또는 사용자의 팔에 작은 센서 장치를 장착하여 환자의 움직임을 감 지하는 등[6]에 관한 논문이 이미 발표된 바 있다. 하지만 여전 히 환자의 입장에서는 통원에 대한 부담이 크기 마련이다. 이를 위해, 스테레오 카메라와 컴퓨터 만을 사용하여 재활 훈련 가이 드 및 모션 인식을 이용하여 환자에게 피드백을 주는 시스템도 개발되었다[7-9]. 이 시스템을 통한 장점으로는 사용자가 내원 할 필요 없이, 스테레오 카메라와 컴퓨터가 주어진 장소에서 운 동을 하고 피드백을 받을 수 있다는 것이다. 하지만 이 시스템 을 통해서는 환자의 운동 동작에 대한 피드백만 받을 수 있을 뿐, 환자의 신체 기능 상태를 파악할 수 없다는 것이 단점이 된다.
따라서 원격 재활시스템에서 반드시 고려해야할 사항은 이러 한 재활운동을 하는 환자의 신체 변화를 모니터링하기 위해 생 체센서가 필요하다는 사실이다. 환자들의 동작이나 건강상태를 모니터링하기 위해 가장 중요한 생체 신호 중 하나인 심장박동 수를 계산하기 위해서 손가락 끝에 적외선 LED와 광센서를 이
부경대학교 전자공학과(Department of electronic engineering, PukyongNational University)
A13-2229A, Pukyong National University, 45 Yongso-ro, Nam-gu, Busan, Korea
+Corresponding author: [email protected] (Received: Apr. 4, 2016, Accepted: May. 30, 2016)
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/
licenses/bync/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
용하여 혈류의 부피 변화를 측정하는 방법이 광용적맥파(PPG) 를 이용하여 심장박동수를 계산하는 방식이다[10,11]. 이 광용 적맥파는 피부에 빛을 비춤으로써 몸속 조직의 피의 부피가 변 화되는 정도를 감지하는 방법을 이다. 재활운동을 하면서 동시 에 환자의 신체변화상황을 살펴보기 위해 웨어러블 ECG 센서 를 이용하는 방법도 개발된 바 있지만[12,13], 이는 환자가 PPG 혹은 ECG(심전도) 센서를 신체에 착용해야하는 불편함을 가지 게 된다.
본 논문은 환자가 병원에 내원할 필요 없이 스테레오 카메라 만을 통하여 가정이나 재활센터에서 재활 운동을 하게 하는 원 격재활시스템에 관한 것이다. 이러한 재활시스템에서 생체인식 센서없이 스테레오 카메라만을 이용하여, 운동을 하는 환자의 모션을 인식할 뿐만 아니라 동시에 생체신호를 감지하는 기술 을 개발하는 것이 그 목적이다. 여기서 생체 신호라 함은 환자 의 호흡 상태와 심장박동수를 포함한다. 환자의 호흡 상태, 즉 숨을 들이쉬고 내쉬는 상태는 스테레오 카메라의 IR 센서(Infrared sensor)를 통하여 사용자의 흉부 및 배 부위와 카메라의 거리를 통해 측정되었으며, 심장박동수 측정은 카메라의 컬러 센서 ((Color sensor)를 통해 환자의 얼굴 부위의 광용적맥파(PPG;
photoplethysmography)의 추출을 통해 계산되었다.
2. 실험 방법
2.1 실험 순서
이 시스템의 기본 구성은 Fig. 1에 나타내었다. 첫 번째로, 의 사의 운동처방에서의 운동 순서를 보여주는 비디오가 모니터를 통해 재생이 되면, 환자는 카메라 앞에서 비디오에 나타난 것과 같은 방법으로 순서대로 몸을 움직인다. 스테레오 카메라의 컬 러 센서와 IR 센서를 통해 환자의 움직임과 호흡 상태는 데이 터화 되며, 내부 알고리즘을 통해 환자의 움직임과 생체 신호가 인지된다. 이후, 환자의 운동에 대한 피드백은 모니터를 통해 성 공 여부로 나타나게 된다. 환자가 성공적으로 운동을 시행하였 을 때마다 각각 화면에 메시지가 출력되며 같은 운동을 일정횟 수 반복한 이후에는 재활 운동이 완료되도록 하였다.
재활운동 시스템의 알고리즘에 관한 자세한 사항은 Fig. 2에 나타내었다. 재활운동의 피드백과 생체신호인식은 컬러 센서를 이용한 알고리즘과 IR 센서를 이용한 알고리즘으로 나뉜다. 컬 러 센서를 통해서 환자의 얼굴로 부터 심장박동수를 확인할 수 있는 기능이 구현되었다. 한편 IR 센서를 통해서는 사용자의 각 관절 사이의 각도를 계산함으로써 환자의 모션 인식이 가능토 록 설계되었다. 또한, 이 시스템은 환자의 가슴 부위와 카메라 사이의 평균 거리를 측정함으로써 환자의 호흡 상태를 나타내 도록 구현되었다. 즉, 본 시스템은 키넥트 스테레오 카메라 하 나로서 환자의 모션인식과 환자의 생체신호인 심장박동수 및 호
흡이 관찰될 수 있도록 하였다.
컬러 센서를 이용하여 심장박동수를 얻기 위해서 우리는 먼 저 Open CV(Open Computer Vision) 라이브러리를 이용하여 환 자의 얼굴을 인식한 이후, 녹색 채널(Green channel)에서 얻어 진 값의 PPG 신호가 가장 분명하다는 연구 결과를 토대로 [13], 얼굴 영역의 녹색 채널 값을 추출하였다. 추출된 값을 Fig. 2(a) 에 소개된 필터들을 이용하여 잡음을 제거하였다. 특히, 동작 잡 음(Motion artifact)과 호흡 신호는 위의 필터들을 이용하여 차 단이 가능하나, 전 주파수 대역에 존재하는 백색 잡음(white noise)와 가우스 잡음(Gaussian noise)은 제거하기가 쉽지 않다 [14]. 이를 극복하기 위해 칼만 필터(Kalman filter)를 사용하여 매끄러운 신호를 얻음과 더불어, 심장박동수와 관련된 신호를 더욱 증폭시킬 수 있었다. 최종적으로, 이렇게 얻어진 신호의 정 점(peak) 사이의 시간 차이를 계산하여 심장박동수를 계산하였다.
다음으로 IR 센서를 이용해 신호를 얻는 과정을 Fig. 2(b)에 간략하게 묘사하였다. 먼저 사용자의 뼈대 및 관절 정보를 카메 Fig. 1. The rehabilitation system diagram
Fig. 2. Signal processing algorithms (a) The color sensor is used to
detect PPG signals from a user’s face, (b) Motion recognition
and respiratory status are detected by skeleton data from the
infrared sensor.
라를 통하여 인식한 후, 화면상 이에 대응하는 좌표를 얻었다.
얻어진 좌표를 통하여 관절 사이 각을 구함으로써 환자가 어떠 한 동작을 하고 있는지 계산 및 환자의 운동 성공 여부에 대한 피드백을 주었다. 또한, 얻어진 관절 위치를 통해 환자의 가슴 부위의 좌표를 찾아서 사각형을 그렸다. IR 센서를 통해 얻어진 카메라와 환자의 흉부 사이의 거리 값들 중에서 사각형 부위의 값들 만을 골라내어 평균값을 구하고, 필터를 통한 부드러운 Depth 값을 얻어내었다. 이후, 얻어진 Depth값의 증감에 따라 호 흡을 들이쉬기와 내쉬기, 두 가지의 상태로 나타내었다.
2.2 PPG 인식을 위한 실험 순서
PPG인식을 위한 실험 순서는 다음과 같다. 먼저, 우리는 OpenCV 를 이용하여 스테레오 카메라로부터 얻어진 비디오에 서 사용자의 얼굴 영역을 찾아내어 사각형을 만들었다. 이후 녹색 신호만을 추출하여 평균 필터를 사용함으로써 사각형 영 역의 평균 녹색 신호 값을 얻었다. 이렇게 얻어진 신호를 표 준화한 후, 차단주파수 0.8 Hz와 2.7 Hz를 가진 3차 버터워스 (Butterworth) 대역 통과 필터를 사용하여 필요 주파수 대역 이외에서 일어나는 잡음들을 제거하였다. 이후, 칼만 필터 (Kalman filter)를 사용하여, 제거하지 않은 주파수 대역에서 의 잡음 제거 및 증폭된 매끄러운 신호 추출을 하였다. 이후, 신호의 정점을 찾아서 심장박동수를 계산하였는데 자세한 사 항은 아래에서 설명하겠다.
2.1.1 얼굴 인식 및 신호 추출
먼저, 우리는 OpenCV를 이용하여 스테레오 카메라에서 얻어 진 비디오에서 사용자의 얼굴 영역을 찾아내어 사각형을 만들 었다. 그 다음, 사각형 영역의 녹색 채널 만을 추출하여 아래의 방법으로 평균 필터를 사용하였다.
(1) 이 수식에서 n은 사각형 안의 총 픽셀(pixels)의 개수를 의미 한다. 이렇게 얻어진 신호를 아래와 같이 표준화하였다.
(2)
여기서 μ와 σ는 각각 의 평균 편차와 표준 편차를 의미 한다. 이후, 3차 버터워스(Butterworth) 대역 통과 필터(차단주 파수 0.8 Hz와 2.7 Hz)를 사용하여 우리가 필요로 하는 PPG 신 호의 주파수 대역 이외의 부분의 잡음을 제거하였다. 하지만 우 리가 필요로 하는 주파수 대역(0.8 Hz와 2.7 Hz 사이 값들)의 가 우시안 잡음 및 백색 잡음은 충분히 제거되지 않았다. 이로 인 해 신호가 매끄럽지 못하고 우리가 원하는 신호를 찾기 힘들기 때문에 칼만 필터(Kalman filter)를 사용하였다.
2.1.2 칼만 필터를 이용한 잡음 제거 및 신호 증폭 칼만 필터는 잡음이 섞인 시계열(time series)에서 유용한 신 호를 추정할 수 있는 분산의 최소한의 관점에서의 비정상(non- stationary) 순환 필터이다[15]. 칼만 필터는 예측-정정 알고리즘 (predictor-corrector algorithm)을 거쳐 원하는 값을 추정하게 된 다. 이 알고리즘에서의 예측 단계의 방정식은 아래와 같다.
(3)
(4) 또한, 정정 단계에서의 방정식은 다음과 같다.
(5)
(6)
(7) 여기서 는 상태 변수의 평가치이며 는 상태 변수의 예 측치이다. 는 칼만 이득(Kalman gain)을 뜻한다. 는 오류 공분산의 평가치(estimation)를 나타내며 는 오류 공분산의 예측치(prediction)를 뜻한다. 기본적으로 위의 식과 같이 예측 단계와 정정 단계를 순서대로 반복하여 출력값을 얻어내었다.
2.1.3 신호의 정점 인식 및 심장박동수 측정
위의 과정에서 필터를 통해 얻어진 부드러운 신호를 이용하 여 신호의 정점(peak)을 인식하였다. 각 정점이 인식이 될 때의 시간을 저장하여 아래의 식과 같이 심장박동수(HR)를 계산하였다.
(8)
2.2 모션 센싱과 호흡 상태 측정을 위한 실험 순서
2.2.1 상태머신 모델 설정 및 모션 센싱
Fig. 3 는 이번 실험에서 사용된 상태머신 모델이다. 순서대로 χ χ
ii 1= n
∑ 1
n --- ( χ
1+ χ
2+ … χ +
n)
= =
y ′ t ( ) y t ( ) µ – --- σ
=
y ′ t()
xˆ
k= Axˆ
k 1–P
k= AP
k 1–A
T– Q
K
k= P
kH
T( HP
kH
T+ R )
–1xˆ
k= xˆ
k+ K
k( Z
k– Hxˆ
k)
P
k= ( I K –
kH )P
kxˆ
kxˆ
kK
kP
kP
kHR 60 x
i– x
i 1–--- BPM ( )
=
Fig. 3. State machine model for an exercise. The condition of state 1
is to place both hands down. In state 2, the user breathe in and
slowly move arms upwards. The condition of state 3 is to
keep both arms up straight and when the user breathe out, it
satisfies the condition of state 4.
상태에 요구되는 동작을 취하면 다음 상태로 넘어간다. 이리하 여 모든 상태를 끝마치게 되면 화면을 통해 사용자에게 피드백 을 주게 되며 다시 첫 번째 상태로 되돌아와 이를 반복하게 된 다[7]. 이를 실현하기 위하여 우리는 Microsoft Visual Studio의 Kinect library를 사용하여 사용자의 관절들을 인식하였다.
이후, 이 얻어진 어깨, 팔꿈치 및 손의 관절정보들을 이용해, 관절의 각도와 손과 어깨의 위치를 측정값을 통해서 사용자의 모션이 상태머신의 요구사항에 부합하는지 확인하였다.
2.2.2 호흡 측정을 위한 영역 인식
모션 센싱을 위해 얻어진 사용자의 관절 정보를 이용하였다.
Fig. 4 을 참고하여 보면[16], 관절 인식을 기본 모드로 설정하였 을 때 어깨와 골반 사이의 관절 사이의 거리를 측정할 수 있 다. 이를 이용하여 사용자의 가슴 영역에 사각형을 그렸다.
이렇게 그려진 사각형 영역으로부터 우리는 IR센서의 Depth 신호를 추출하였다. 추출된 신호는 식 (1)과 같이 평균 필터를 사용하였다. 하지만 사용자가 지속적으로 움직이는 것으로 인해 발생된 노이즈는 신호를 불안정하게 만든다. 이를 방지하기 위 해 최소제곱법을 사용하였다. 이후 얻어진 신호의 순간변화율을 통해 호흡 상태를 나타내었다.
3. 결과 및 고찰
3.1 데이터 수집
이 프로그램은 3.5GHz의 Intel i5 CPU, 8GB의 메모리, Windows 8.1을 기반으로 한 PC를 이용하여 실행되었으며, Microsoft사의
스테레오 카메라인 Kinect가 이 실험에 필요한 센서로서 사용 이 되었다. 데이터 수집을 위한 비디오 녹화는 30프레임/초 및 해상도 640px480p로 설정하였다.
3.2 재활 운동과 생체 신호 인식 3.1.1 얼굴 인식을 통한 심장박동수
Fig. 5 에서 얼굴 영역의 노란색 테두리 내부의 빨간 사각형이 ROI(Region of Interest) 영역, 즉 우리가 신호를 추출한 영역이 다. 화면에는 사용자의 얼굴 영역과 실시간 및 평균 심장박동수 를 표시하고 있다. 오른쪽에는 추출된 신호의 시계열 그래프를 나타내고 있다.
Fig. 4. Two tracking modes(default and seated) for skeleton rec- ognition [17].
Fig. 6. Motion recognition features for tracking rehabilitation exer- cise and the feedback.
Fig. 5. Windows application for extracting heart rate from the nose
area (red rectangle)
3.1.2 모션 인식 및 호흡 상태 측정
Fig. 6를 참고하여 보면 사용자의 신체가 인식됨에 따라서 사용자의 각 관절마다 초록색 점이 보여진다. 또한, 운동 순서 에 따라 사용자가 운동 방법에 따라 잘 했는지 프로그램을 통 해 피드백을 받는 것을 알 수 있다. Fig. 7를 통해서, 사용자 가 호흡 상태도 그래프와 화면 상의 메시지를 통해 나타내어 짐을 알 수 있다.
3.1.3 재활 운동과 생체 신호 인식의 병합
앞에서 나타내었던 두 가지의 기능을 하나로 병합하였다. 이 에 따른 프로그램의 형태는 Fig. 8과 같다. 사용자는 카메라 앞 에서 정해진 운동 순서대로 몸을 움직였다. 스테레오 카메라를 통해 사용자의 뼈대와 움직임을 감지하였으며 각 회마다 운동 에 대한 피드백으로써 성공적으로 운동을 마쳤을 때 “Well done!”
이라는 글자를 화면에 출력하였다. 같은 운동을 세 번 반복한 이후에 “Finished”라는 메시지와 함께 재활 운동이 완료되었다.
또한, 사용자가 운동을 함에 따라서 변화하는 심박수와 호흡 상 태는 왼쪽에는 글자로, 오른쪽에는 그래프로 함께 표시하여 놓 았음을 확인할 수 있었다.
4. 결 론
원격 재활운동의 두 가지의 기능인 모션 인식과 사용자의 생체 신호를 인식 기능을 별도의 생체센서를 사용하지 않고 하나의 스테레오 카메라만을 이용하여 구현하였다. 이 시스템 을 실현하는 과정 중에 많은 노이즈가 발생하기 때문에 이를 억제하기 위한 여러가지 필터들을 설계하였고, 특히 칼만 필 터를 이용함을 통해 다른 필터들이 제거하지 못한 신호 속 잡 음을 효과적으로 제거할 수 있었다. 본 연구에서 개발된 단일 스테레오 카메라 만에 의한 효율적인 원격 재활운동 시스템은 환자의 신체에 생체인식센서를 부착하거나 착용하는 불편함을 개선할 뿐만 아니라, 환자의 신체 운동을 인식하기 위해 사용 하는 스테레오 카메라로서, 재활운동을 하는 환자의 호흡과 심 장 박동수를 동시에 인식하게 됨으로 원격 재활시스템의 단순 화와 비용절감이 가능하고, 이러한 본 연구에서 개발된 스테 레오 카메라에 의한 생체신호 인식 알고리즘은 추후의 가정 또는 재활센터 등에서 원격 재활운동시스템을 구축하는데 크 게 기여할 것으로 예상된다.
감사의 글
이 논문은 부경대학교 자율창의 학술연구비(2015년)에 의해 연구되었음.
Fig. 7. Motion recognition feature for rehabilitation exercise by detecting user’s joints (green dots on the image) and a real- time respiratory status graph.
Fig. 8. Screenshots of windows application of the proposed system.
(a) is positioned on the left side of the application and shows
a video of the user, and (b) contains signals obtained for heart
rate and respiratory detection.
REFERENCES
