http://dx.doi.org/10.5369/JSST.2015.24.1.69 pISSN 1225-5475/eISSN 2093-7563
키넥트 모션인식과 ECG센서의 심박수 측정을 기반한 스마트 원격 재활운동 시스템
김종진1·권성주1·이영숙2·정완영1,+
Smart Remote Rehabilitation System Based on the Measurement of Heart Rate from ECG Sensor and Kinect Motion-Recognition
Jong-Jin Kim1, Seong-Ju Gwon1, Young-Sook Lee2, and Wan-Young Chung1,+
Abstract
The Microsoft Kinect is a motion sensing input device which is widely used for many motion recognition applications such as fitness, sports, and rehabilitation. Until now, most of remote rehabilitation systems with the Microsoft Kinect have allowed the user or patient to do rehabilitation or fitness by following the motion of a video screen. However in this paper we propose a smart remote rehabilitation system with the Microsoft Kinect motion sensor and a wearable ECG sensor which can allow patients to offer monitoring of the individual's performance and personalized feedback on rehabilitation exercises. The proposed noble smart remote rehabilitation is able to monitor and measure the state of the patient's condition during rehabilitation exer- cise, and transmits it to the prescriber. This system can give feedback to a prescriber, a doctor and a patient for improving and recovering motor performance. Thus, the efficient rehabilitation training service can be provided to patient in response to changes of patient's condition during exercise.
Keywords: Rehabilitation exercise, ECG sensors, Kinect, Home healthcare
1. 서 론
첨단 과학 기술과 보건 의료 수준의 발달은 평균 수명을 지 속적으로 연장시켜 인구의 노령화 사회로 접어들면서 늘어난 노인 및 중ï장년층을 대상으로 하는 의료시장이 빠르게 성장 하고 있다. 이에 다양한 연령 대의 사용자들에게 건강 및 삶 의 질을 향상시키기 위해 정보통신 기술과 의료 기술이 융합 된 사용자 편의의 재활 의료기기 및 생체 신호 측정 및 분석 기술, 맞춤형 재활 훈련 소프트웨어 개발 등 다양한 연구가 국 내외에서 활발히 진행되고 있다. 이 연구 분야들 중 맞춤형 재
활 훈련 소프트웨어 개발은 환자들의 물리적 치료를 목적으로 개발된 재활 훈련을 위한 기능성 게임으로 주로 뇌졸중(ischemic cerebrovascular disease) 환자를 대상으로 많은 연구가 소개되 었다[1,2].
u- 헬스케어는 정보통신기술이 의료기술과 융합되어 환자가 병 원을 직접 찾지 않더라도 언제 어디서나 질병의 예방, 진단, 치 료, 사후관리를 받을 수 있는 건강 관리 및 의료서비스를 의미 한다. u-헬스케어 분야와 접목된 원격진료시스템은 원격지 의사 가 멀리 떨어져 있는 환자와 직접 대면하지 않고 진단을 하고 처방을 내릴 수 있으며, 몸이 불편한 환자의 경우 정기적으로 병원을 방문해야 하는 번거로움이 없다는 장점을 가지고 있다.
또한 현재의 의료장비의 경우 원격진료를 위해 필요한 장비가 고가의 장비이기 때문에 의료시설 구축하는데 경제적 부담이 클 것으로 본다. 이러한 부담을 충분히 해소하기 위해 본 연구에서 는 가정에 데스크 탑이나 랩탑이 있는 경우에 키넥트를 설치하 여 큰 어려움 없이 재활을 돕기 위한 시스템 구축이 가능하다 는 장점을 준다.
운동 재활을 위해 환자가 어색해 하는 환경보다 친숙한 환경 에서 재활 훈련을 받는 경우 더욱 효과적인 결과를 도출해낸다 는 연구 보고가 있다[3]. 그러나, 병원이 아닌 가정에서 운동 재 활 프로그램을 수행하는데 있어 지속적으로 훈련이 가능하다는 장점이 있으나 운동을 수행함에 있어 정확한 수행을 했는지에
1부경대학교 전자공학과 (Department of Electronic Engineering, Pukyong National University)
Room 2417, Building #2(A13), Pukyong National University, 45, Yongso-ro, Nam-Gu. Busan 608-737, Korea
2부경대학교 차세대 u-헬스케어 기술개발 사업팀(Team for Next Generation U-Healthcare Technology Development, Pukyong National University)
+Corresponding author: [email protected]
(Received : Dec. 16, 2014, Revised : Jan. 15, 2015, Accepted : Jan. 20, 2015)
This is an Open Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/
licenses/bync/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium, provided the original work is properly cited.
대한 피드백과 심박수나 소모 칼로리 등 환자의 건강 상태를 실 시간 체크할 수 있는 재활 모니터링 시스템이 거의 없기 때문 에 그 효과는 한계에 부딪히게 된다. 재활 운동을 보다 효율적 으로 수행하기 위해서는 피드백이 포함된 정보를 사용자나 의 사에게 제공되어야 한다고 본다[4,5].
본 연구는 다양한 재활 환자 중 류마티스 관절염(rheumatoid arthritis) 환자나 무릎 관절 수술 후 재활을 필요로 하는 환자나 오십견과 같은 어깨 통증 환자를 위한 재활 운동을 수행하도록 한다. 대한류마티스학회에서 2014년 발표에 따르면 우리나라 류 마티스 관절염 환자는 진단받는 속도가 선진국에 비해 3~5배 정도 느리며 초기부터 관절 손상이 시작돼 치료가 불충분할 경 우 증상발현의 2년이내 환자들 중 70%가 관절 손상이 발생되 어 일상생활 기능장애를 앓는다고 한다. 이러한 증세에 대한 치 료는 약물치료와 함께 물리적 치료를 병행함으로써 보다 효과 적인 치료를 극대화 시킬 수 있다.
류마티스 환자나 오십견 환자 등 관절염 증세가 있다고 움직 이지 않으면 관절이 약해져 더 증세가 악화될 수 있기 때문에 굳은 관절을 풀어주고 관절의 움직이는 범위가 커지도록 근육 운동이 포함된 물리적 재활 운동이 필수적으로 요구된다. 띠라 서 본 연구에서는 관절 강화를 위해 처방된 재활 운동을 수행 하도록 하기 위해 모션 센싱 장치인 키넥트를 이용한 스마트 원 격 재활 운동 시스템과 실시간 건강 체크 피드백을 제공하는 모 니터링 설계와 프로타입 단계의 개발을 하고자 한다. 의사나 물 리치료사에 의해 처방된 운동을 따라 하면서 정확한 동작을 수 행하도록 하며 환자들인 경우 무리한 운동을 자제해야 하므로 건강이상 유무를 실시간 판단할 수 있도록 웨어러블 셔츠(wearable shirts) 에 장착된 ECG센서를 이용한 심박수 체크를 할 수 있다.
사용자가 운동하는 동안 느끼는 불편을 해소하기 위해 ECG센 서를 가슴 부위에 탈부착 가능한 웨어러블 장치를 이용하여 건 강상태 체크하였다.
2. 시스템 개발 환경
2.1 시스템 구성
본 논문에서 제안하는 스마트 원격 재활 운동 시스템 전체 구 성은 Fig. 1과 같으며 가정에서 재활운동 치료를 받는 환자영역 과 재활 치료를 위한 진료 및 처방을 하는 의료 영역으로 크게 구분될 수 있다.
병원이나 재활 센터에 있는 의사나 물리치료사가 재활 운동 이 필요한 환자에게 재활 운동 치료 처방을 내리면 환자는 원 격으로 처방을 받은 재활 운동 동영상 파일에 따라 물리적 재 활 치료 과정을 수행한다.
환자의 재활 운동 측정은 3차원 영상 정보를 제공하는 모션 센싱기반 키넥트 센서를 이용하여 환자의 움직임에 따른 각 관
절의 값을 획득한다. 획득된 각 관절의 값은 의사가 처방한 동 영상과 더불어 처방된 참조 관절값 정보를 담고 있는 스켈레탈 데이터(skeletal data)와 환자의 재활 운동 수행에서 획득된 관절 값 들을 포함한 스켈레탈 데이터와 비교하여 수행 정확도 평가 를 위해 유사도 측정을 시행한다. 또한 물리 재활 운동 치료 중 건강 상태 체크를 위한 ECG 신호를 활용하여 환자의 심박동 수를 측정하고 시간에 따른 심박동 수 움직임을 측정함으로써 무리한 운동을 할 경우 환자에게 경고를 알리는 메시지나 비프 사운드 같은 알림 피드백을 주도록 하였다.
본 연구의 스마트 원격 재활 운동 시스템을 구성하고 있는 중 요한 2가지 모듈인 생체신호의 가장 기본 신호인 심박수 측정 및 칼로리량 측정을 위해 자체 설계 및 제작된 웨어러블 ECG 모듈과 재활운동 동작 치료를 위해 마이크로 소프트사의 모션 센싱 장치인 키넥트 센서 모듈 부분에 대해 다음 절부터 상세 히 살펴본다.
Fig. 1. System architecture.
2.2 ECG 감지 모듈
본 연구에서의 자체 제작된 웨어러블 ECG신호 감지 모듈은 사용자의 착용성 향상을 위해 가슴 벨트형으로 구성되어있다.
ECG 센서는 Fig. 2와 같이 2개의 보드를 결합하는 형태로 제작 하였고, 결합 시 상단에 위치한 보드에는 MCU와 블루투스 모 듈(FB155BC, Firmtech Co., Korea) 그리고 ECG모듈의 배터리 장착을 위한 소켓으로 제작되었다. MCU의 경우 센서에서 측정 된 신호의 잡음을 없애고 원하는 신호를 얻기 위한 작업과 A/
D변환, 타이머와 카운터 기능 등을 수행하기 위하여 마이크로 프로세서(ATmega128, Atmel Co., USA)을 사용하였다. 블루투 스의 경우 Slave Mode 3으로 설정하여 마스터와 통신연결이 끊 겼을 경우 마스터와 재연결이 가능한 상태로 제작하였다. 신호 의 샘플링의 경우 1초에 100번 측정을 기준하여 0.01초마다 1 회 샘플링 하도록 설계하였다.
ECG 감지 모듈 하단부의 경우 사용자의 ECG신호를 측정하 기 위한 센서와 신호 측정 시 불필요한 잡음을 제거하기 위한 능동소자(OPA379, TI Inc., USA)로 구성하였다. ECG신호의 경 우 앞서 말했듯이 신호 자체가 아주 낮은 전압이므로 주변에 사 소한 잡음에도 신호에 영향을 미칠 수 있다. 그래서 우선 사용 자의 호흡이나 운동 등으로 인해 발생하는 잡음을 제거하기 위 하여 0.34 Hz의 차단 주파수를 가지는 고주파 통과 필터(high
pass filter, HPF)회로를 설계하였고, 능동소자(OPA379, TI Inc.
USA)를 이용해서 신호를 27.6배 증폭시켰다.
다음 단계로 234 Hz의 차단 주파수를 가지는 저주파 통과 필 터(low pass filter, LPF)로 신호를 통과시키고 난 후에 능동소자 2개에 각각 입력되게 되는데, 각각의 능동소자는 다른 역할을 한다. 첫 번째 능동소자의 경우 입력된 신호를 다시 10배 증폭 하여 234 Hz의 차단 주파수를 가지는 저주파 통과 필터에 통과 시켜 원하는 ECG신호를 추출하는 역할을 하고, 두 번째 능동 소자의 경우 ECG신호의 출력 범위 조절 및 기타 잡음을 제거 하는 역할을 하도록 설계하였다. Fig. 3은 제작된 ECG 센서모 듈을 착용형 가슴 벨트의 형태로 제작한 웨어러블 ECG 가슴 벨트를 착용한 사용자를 보여주고 있으며, Fig. 4는 ECG 신호 추출을 위한 처리 과정을 전체적인 블록 다이어그램으로 보여 주고 있다.
2.3 키넥트
키넥트는 구조광(structured light)을 이용한 방법으로 스테레 오 비전 (stereo vision)에서 필요한 스테레오 영상 간의 대응점 을 계산하는데 있어 정확도를 향상시키기 위해 제안된 방법이 다. 내부에 장착된 IR emitter를 통해 일정한 규칙을 가지는 패 턴을 3차원 복원을 위한 물체나 장면에 투영하고 이를 키넥트 카메라로 촬영한 후 촬영된 영상을 이용하여 스테레오 매칭 (stereo matching)을 통해 깊이값을 계산하는 방법이다[6].
Fig. 5와 같이 키넥트는 마이크로 소프트 (Microsoft)사에서 Xbox 360용으로 제작된 웹캠 형식의 모션인식 장치로 3개의 카 메라와 마이크로폰 어레이 (microphone array), 틸트 모터(tilt motor), 가속계를 통해 사용자의 위치와 행동을 감지 및 추적하 는 제스쳐 기반의NUI (Natural User Interface)이다. 키넥트는 칼 라 영상 획득을 위한 RGB 칼라 센서, 깊이 정보 추출을 위한 적외선 프로젝터인 IR Emitter, 적외선 프로젝터를 통해 방출된 Fig. 3. A patient with wearable ECG chest belt.
Fig. 2. ECG module.
Fig. 4. Block diagram representation of the overall ECG feature
extraction.
적외선 특정 패턴을 이용한 깊이 정보 획득을 위한 IR 깊이 센 서로 구성된다.
재활이나 보행에 관한 기존 연구는 주로 컴퓨터 가상현실 프 로그램 또는 일본 소니(Sony)사의 플레이스테이션(PlayStation), 일본 닌텐도(Nintendo)사의 위(Wii)와 위핏(Wii Fit) 등의 홈 비 디오 게임을 사용하였으며, 조이스틱, 컨트롤러, 아이글러브 등 의 장치를 손에 들고 있어야 움직이는 물체의 검출 및 추적이 가능하다.
키넥트는 모션 인식을 위해 마커(marker)를 몸에 부착하거나 컨트롤러 등과 같은 보조 장치를 손에 들어야 하는 불편함이 없 이 사용자의 모션을 추적 및 인식할 수 있는 장치이며, 마이크 로소프트(Microsoft)사는 개발자들을 위해 윈도우용 소프트웨어 개발 킷(Software Development Kit, SDK)을 제공함으로써 과학, 교육, 국방, 헬스케어 등 다양한 분야에서 키넥트를 활용한 개 발이 활발이 이루어 지고 있다. 개발 킷의 관절 추적 기능은 키
넥트의 화각(field of view) 내 움직이는 물체인식을 위한 관절 의 위치 정보를 제공한다. Fig. 6은 20개의 관절로 구성된 인체 의 골격을 보여주고 있으며, 획득된 관절 정보를 이용하여 물체 의 위치 검출 및 추적을 할 수 있다. 또한 OpenNI 나 NITE 라 이브러리 등과 같은 오픈 소스 라이브러리도 모션 검출 및 추 적을 위해 프로그램에 이용되고 있다.
3. 본 론
3.1 ECG 신호
ECG 신호는 인간의 생체신호 중에 가장 중요하게 모니터링 되고 있는 생체신호로써 심장에서 혈관을 통해 혈액을 전신으 로 순환시키기 위해 수축과 이완을 반복하는 과정에서 발생하 는 활동 전위를 몇 가지 과정을 거쳐 원하는 형태로 변형한 전 기적 신호이다.
Fig. 7은 심장이 수축과 이완을 하는 과정에서 발생하는 전 기적 신호를 각 구간별로 표시한 것으로 정상적인 심장의 탈 분극 과정에서는 상기 그림과 같이 P-QRS-T파의 형태를 나타 나게 된다. ECG신호는 약 1 mV의 전압과 .1~200 Hz의 주파 수 성분을 가지며, 임피던스는 1~20kΩ의 특징을 가진다[8].
ECG신호를 이용해서 심전도 파형의 크기나 형태 등을 이용해 서 부정맥이나, 관상동맥질환 같은 다양한 심질환을 진단할 수 있기 때문에 이미 많은 임상이나 측정에 이용되고 있을 만큼 중요한 의료신호이다. 하지만 이러한 ECG신호를 측정하는 과 정이 최대 전압이 1 mV정도 밖에 되지 않는 점 때문에 측정 시에 발생 할 수 있는 잡음이 신호 측정에 큰 영향을 줄 수 있 다. 이러한 잡음을 제거하기 위해서는 아날로그와 디지털 필터 를 이용하여 잡음을 제외하고 ECG신호만 추출할 수 있도록 필 Fig. 5. Microsoft Kinect [7].
Fig. 6. Skeleton position relatively to the human body [7].
Fig. 7. An ECG waveform.
터를 설계하여야 한다.
3.2 ECG 신호 분석을 위한 QRS파형 검출
심장이 수축과 이완을 하는 과정에서 발생하는 전기적 신호 인 ECG신호에서 QRS파형을 검출하는 것은 사용자의 심장박 동수를 측정하기 위함이다. QRS파형을 검출하여 심장박동수 (heart rate)를 측정하기 위해서 Jiapu Pan과 Willis J. Tompkins 가 개발한 Pan and Tompkins 알고리즘을 현재까지도 널리 사 용되고 있다[9]. 이에 본 논문에서는Pan and Tompkins 알고리 즘과 유사한 개선된 알고리즘을 사용하여 ECG신호에서 QRS 파형을 검출하고 심장박동수를 측정 및 분석함으로써 환자의 재 활운동 시 건강상태와 칼로리 소모량을 측정하도록 하였다. Pan and Tompkins 알고리즘은 측정된 ECG신호를 Fig. 8과 같은 5 단계 과정을 거쳐서 신호처리 후, 단위 시간당 심장박동수를 측 정할 수 있는 R-R peak값을 얻게 된다.
먼저 첫 번째 단계인 저주파 통과필터인 LPF를 적용하여 저주파 영역에서 발생할 수 있는 원하지 않는 고주파 잡음 신호를 제거하기 위한 과정이다. 두 번째 단계인 고주파 통 과 필터인 HPF는 호흡이나 움직임 시에 발생할 수 있는 잡 음 신호를 제거하기 위한 과정으로 LPF와 함께 대부분의 신 호를 처리하는 과정에서 사용되고 있다. 세 번째 단계의 Differentiator 는 두 번째 단계 과정을 거치고 난 후 획득된
신호를 미분하여 기울기를 구한다. 계산된 기울기 값은 비연 속적인 파형의 위치나 Peak같이 극치값을 가지는 부분에서 크게 나타난다. 네 번째 단계인Squaring operation은 이전 단 계를 거친 후 크기가 작아서 비교하기 힘든 신호를 제곱하여 모두 양의 값으로 전환하고, Peak신호를 제곱하여 다른 신호 들과 구분하기 용이하도록 설계하였다. 마지막으로 다섯 번 째 단계인 Moving window integrator는 윈도우 영역을 해당 윈도우의 크기로 나누어 해당 영역의 평균을 구하는 방식을 사용하여 신호에 앞의 과정을 거친 후에도 남아있는 기타 잡 음을 제거하도록 하였다.
상기 5단계의 과정을 거치게 되면 심장의 ECG신호에서 R- peak 수직선이 추출되고 이 수직선들 사이의 시간인 R-R peak time을 이용하여 심장박동수를 계산할 수 있다. R-peak가 발생 할 때마다 심장이 한번 수축과 이완을 반복하게 되는데 1분당 발생한 R-peak의 수를 측정하면 분당 심장박동수를 계산 가능 하다[10,11]. 또한 R-R peak 사이의 간격의 변화를 나타내는 심 박변이도(heart rate variability, HRV) 값은 환자의 스트레스 상 태, 질환의 발병 위험도, 자율신경 균형검사 등의 건강상태 모 니터링에도 유효하게 활용된다.
3.3 심박수를 통한 적정 운동량 설정
앞서 측정한 재활운동시의 심박수 데이터나 심박변이도 데이 터를 이용하면 심장의 이상이나 자신에게 맞는 운동강도를 설 정하는 것이 가능하다. 연령별에 따른 적정운동량 표를 참고하 면 현재 자신의 연령대에서의 최고 맥박률과 해당 동작을 수행 중 일 때의 운동강도 등을 알 수 있기 때문에 Table 1을 참고하 여 자신에게 적당한 운동량을 설정할 수 있다[12].
3.4 심박수를 이용한 소모 칼로리 계산
심박수를 이용한 운동에 의한 소모 칼로리 계산의 경우 운동 별 지수나 BMI 등 추가적인 자료를 필요로 하는 다른 칼로리 계산 방법과는 달리 사용자의 나이와 몸무게 등의 기본적인 신 체정보와 심장박동수를 이용하여 소모한 칼로리의 양을 간단히 Fig. 8. ECG signal processing using the Pan and Tompkins algo-
rithm.
Table 1. Optimized exercise according to age Age
(years)
Maximum Heart Rate
(MHR)
High Intensity
Medium Intensity
Low Intensity
100% 80~90% 70~80% 60~70%
20 200 160~180 140~160 120~140
30 190 152~171 133~152 114~133
40 180 144~162 126~144 108~126
50 170 136~153 119~136 102~119
60 160 128~144 112~128 096~112
측정할 수 있도록 설계하였다.
계산식은 식 1과 같으며 식 2는 남자, 식 3은 여자의 칼로리 계산식으로 각각 구분한 식이다.
(1) 아래의 식은 위의 에너지 소비량을 한 시간 동안의 칼로리 소비량으로 변환하고, 남자의 에너지 소비량과 여자의 에너 지 소비량이 결합되어 있는 식을 성별에 따라 각각의 식으로 나누었다.
(2)
(3) 본 연구에서는 위의 식을 사용하여 이용자의 심박수에 따른 칼로리를 성별에 따라 구할 수 있도록 하였다[13].
3.5 스마트 재활 운동 모니터링 시스템
본 논문에서 제안하는 스마트 원격 재활 운동 시스템은 Fig.
9와 같은 개략도로 구성된다. 의사나 재활 센터에서 환자에 게 필요한 재활 운동 비디오 및 평가를 위해 필요한 스켈레 탈 데이터를 인터넷을 통해 환자에게 보내오면 환자는 처방 받은 동영상의 재활운동을 따라 물리적 재활 치료과정을 수 행한다. 먼저 시스템은 키넥트를 통해 환자 등의 사용자를 검 출하고, 움직이는 사용자의 포즈 측정을 위해 스켈레탈 캘리 브레이션(skeletal calibration) 단계를 수행한다. 이 단계는 관 절의 위치 정보 획득과 사용자의 뼈대 형태인 스켈레탈 추적 을 위한 몸을 구성하는 각 관절 검출을 위해 필요한 단계이 며, 사용자의 스켈레탈 데이터 검출이 성공한 다음은 환자의 포즈 검출 및 추적을 하며 수행 후 정확히 수행했는지의 유 사도 측정을 위한 분석을 하게 된다. 또한 실시간 입력되는 환자의 심박동수를 스마트 원격 재활운동 시스템 화면에서 신호 출력 화면 및 심박동수 확인이 가능하다. 의사에 의해 처방된 재활 동영상의 관절의 위치값을 저장하고 있는 스켈 레탈 데이터와 환자의 스켈레탈 데이터의 정확도 검증을 위 해 템플리트 매칭(template matching) 기법을 사용하여 비교 분석 하였으며 측정된 유사도값이 80% 이상 나온다면 수행 성공을 알려주고, 그렇지 않은 경우 재 수행하도록 피드백 정 보 메시지를 표시해준다. 환자가 재활 운동 수행 시 심박수 와 칼로리 소모량을 실시간 알려주고 정상 심박수 범위를 벗
어날 경우 비프 사운드나 경고 메시지를 알려주도록 한다.
4. 실험 및 고찰
제안하는 스마트 원격 재활운동 시스템이 구현하는 프로그램 화면을 Fig. 10에서 보여주고 있다. 구현한 프로그램 동작 화면 은 재활동작 수행을 시작하면 왼쪽 상단의 동영상 화면은 의사 나 물리치료사에 의해 처방된 동영상이 실행되는 영상을 보여 주고 있고, 오른쪽 상단 화면은 키넥트에 획득된 환자의 영상을 출력하여 보여주고 있다. 좌측 영상과 우측 영상에서 관절의 위 치와 움직임을 검출 및 추적을 위해 각 관절 위치에 녹색 점과 흰색 점은 각각 15개로 구성되어 있어 표시된다. 그림에서는 재 활동작 수행에 있어 처방된 좌측 영상에서는 15개 점들이 구분 되어 표시되어 있으나 우측 영상 화면인 환자의 경우 관절점들 의 겹침으로 인해 화면 상에서 점들이 소실된 것처럼 보이나 수 EE = gender × ( – 55.0969 + 0.6309 Heart Rate 0.1988 × +
Weight 0.02017 Age) 1 gender + × + ( – ) ×
×
20.4022
– + 0.4472 Heart Rate 0.1263 Weight × – × + (
0.074 Age × )
MaleCal = ( – 55.969 + ( 0.6309 Heart Rate × ) + 0.1988 Weight ×
( ) 0.2017 Age) + ( × ) 4.184 60 T ÷ × × ime FemaleCal = ( – 20.4022 + ( 0.4472 Heart Rate × ) –
0.1263 Weight ×
( ) 0.074 Age) + ( × ) 4.184 60 Time ÷ × ×
Fig. 9. An overview of the rehabilitation exercise process for patient in our proposed system.
Fig. 10. Screenshot of patient’s main interface in the proposed
rehabilitation exercise application.
행속도의 차이와 재활동작의 차이로 인해 발생될 수 있으며 키 넥트는 깊이값의 획득이 가능하므로 관절 위치 검출 및 추적에 는 영향을 미치지 않는다.
모션 센싱 장치인 키넥트 센서를 이용하여 칼라영상 및 깊이 영상을 캡쳐하여 3차원 물체영상 정보를 추출하여 재활 운동을 수행하는 환자의 움직임에 따른 각 관절의 값을 획득한다. 획득 된 각 관절값은 의사나 물리치료사에 의해 처방된 참조 동영상 및 처방된 참조 스켈레탈 정보의 관절값과 획득된 관절값을 비 교하여 수행 정확도 평가를 하게 된다.
또한 ECG센서가 부착된 웨어러블 셔츠를 착용하여 실시간으 로 입력되는 환자의 심박동수를 좌하단 위치의 그래프 화면으 로 표시한다. 환자의 심박동수 값을 저장하여 재활 운동 치료 결과값과 같이 의사 및 재활센터에 전달 할 수 있는 기능을 제 공하기 위해 저장된다. 이러한 기능은 환자가 재활 운동 시 시 간에 따른 심박동수를 계산하여 화면에 출력시키며, 환자의 칼 로리 소모량도 재활 운동 중 환자의 생체 신호를 확인할 수 있 는 피드백 기능을 제공한다. 캡쳐된 제안 시스템의 오른쪽 메뉴
들은 처방을 받은 참조 재활 동영상 실행 및 환자의 동영상 저 장 및 실행을 위한 메뉴들로 구성되어 있으며, 화면 하단에는 환자의 재활운동 수행을 돕기 위해 필요한 지시사항을 화면의 우하단 아래 메시지 박스에 출력하여 보여준다. Fig. 11은 27세 남성 실험자가 수행한 시작 스트레칭 5분, 재활 운동 20분, 마 무리 스트레칭 5분으로 구성된 총 30분 동안의 재활운동 과정 에서 발생하는 심박수의 변화를 구간별로 측정한 그래프 결과 화면이다. 처음 재활운동을 시작하기 전에 스트레칭을 5분간 수 행하였을 때는 평상시의 심박수 분당 60회와 거의 차이가 없는 분당 65~75회의 심박수와 6.983 kcal의 칼로리 소모량을 나타내 었고, 본격적으로 재활운동을 20분간 실시하였을 때에는 보다 증가한 분당 100~120회의 심박수 변화를 나타내었으며 칼로리 소모량은148.564 kcal 이다. 마지막으로 스트레칭을 5분간 하였 을 때는 분당 90회에서 70회까지로 심박수가 점점 감소하면서 운동 전의 정상 심박수로 하락하였고, 칼로리 소모량은14.523 kcal 로 나타났다. 30분동안 재활 운동을 수행한 후 총 칼로리 소 모량은 170.070 kcal로 계산될 수 있다.
본 논문에서 사용된 ECG모듈은 자체 제작하여 웨어러블 셔 츠에 부착하여 사용자가 옷을 착용한 후 측정하여 원 데이터 (raw data) 신호를 Pan & Tomkins 알고리즘을 적용시킨 후 블루 투스 통신으로 PC에 전송하여 수신된 신호의 크기인 R-R peak 값을 프로그램 좌측 하단 그래프에 실시간으로 표시하도록 하 였다. 그래프의 X축은 시간 축이며, Y축은 수신된 R-R peak의 값을 나타낸다. 일반적으로 성인의 심박수는 안정 시 평균 심박 수는 분당 60∼80회이고, 운동강도에 따라 점점 증가하다가 심 한 운동을 하는 경우에는 200회까지 증가하는 경우도 있었다.
그러나 환자를 대상으로 재활 운동을 수행하는 본 논문의 실험 결과를 바탕으로 각 개인의 최대 심박수에 도달할 정도의 극한 운동을 요구하지는 않기 때문에 보편적으로 분당 120∼140회 정도까지 상승하게 된다
본 연구에서 사용된 재활 운동 동작은 양팔벌리고 왼발들고 서있기, 양팔벌리고 오른발 들고 서있기, 의자에 앉았다 일어서 기, 양팔모으고 왼발들고 서있기, 양팔모으고 오른팔들고 서있 기, 스쿼트로 구성된 6가지 동작으로 구성된 재활 운동을 실시하였다.
Fig. 11. Results of rehabilitation exercises; (a) 5-minute warm- up, (b) 20-minute rehabilitation exercises, and (c) 5- minute stretching exercise.
Fig. 12. Squat exercise as physical rehabilitation.
오십견이나 류마티스 관절염 환자를 위한 관절강화 재활 운 동의 한 종류인 스쿼트(squat, 기마자세)에 대한 재활 동작을 다 양한 연령대에 실시하여 측정하였다. 해당 실험을 통해 Fig. 12 와 같이 스쿼트 동작인 정자세와 기마자세를 10초간 60회를 반 복하여 총 10분간 수행하는 동안 측정된 심박수와 평균 심박수 의 비교 결과를 Table 2와 같이 동일한 운동량과 강도로 측정 을 하였음에도 불구하고 피실험자에 따라 다양한 결과를 보여 주고 있으며, 재활 운동 수행 후 총 칼로리 소모량을 나타내고 있다. 각 피실험자들의 평균 심박수와 재활 운동 시 측정된 심 박수 비교에서 실험자A와 실험자B의 경우 실험자의 평균 심박 수와 재활운동 시의 심박수가 40 bpm정도의 증가를 보였으나 연령에 따른 적정운동량으로 비교하면 최대운동량의 50~60%
정도로 낮게 나온 반면에 실험자C와 실험자D의 경우에는 70~80%
정도의 운동강도로 측정되었다. 또한 실험자F의 경우에는 80~90%
의 운동강도를 초과하여 거의 최대 심박수와 운동량 강도에 도 달하여 실시된 결과를 보였다. 따라서 환자들 마다 재활 운동 수행 시 측정된 재활운동량 강도가 다른 결과를 보였으며 이러 한 정보들을 의사나 재활치료센터에 피드백을 제공함으로써 개 인맞춤형 최적의 재활운동량과 강도를 설정하여 처방될 수 있 도록 하는 중요한 정보로 활용될 수 있다.
5. 결 론
모션 센싱 장치인 키넥트와 웨어러블 ECG 센서를 활용한 스 마트 원격 재활 운동 시스템을 제안하였다. 운동 재활을 위해 환자가 어색해하는 환경보다 친숙한 환경인 가정에서 재활운동 을 지속적으로 훈련이 가능함으로써 보다 효과적인 결과를 도 출해낼 수 있다고 본다. 본 연구에서는 관절 강화 및 신체 균형 유지를 위해 처방된 재활 운동을 수행하도록 하기 위해 모션 센 싱 장치인 키넥트를 이용한 스마트 원격 재활 운동 시스템과 실 시간 건강 체크 피드백을 제공하는 모니터링 시스템을 구현하 였으며 의사나 물리치료사에 의해 처방된 운동을 따라 하면서 정확한 동작을 수행하도록 하며 환자들인 경우 무리한 운동을
자제해야 하므로 건강이상 유무를 실시간 판단할 수 있으며 운 동하는 동안 느끼는 불편을 해소하기 위해 웨어러블 셔츠(wearable shirts) 착용하여 가슴부위에 장착된 ECG센서를 이용한 심박수 체크를 할 수 있다. 환자 개인의 재활 수행 후 획득된 건강 정 보 데이터를 의사나 재활치료센터에 피드백을 제공함으로써 개 인맞춤형 최적의 재활운동량과 강도를 설정하여 처방될 수 있 도록 하는 중요한 정보로 활용될 수 있다.
감사의 글
이 논문은 부경대학교 자율창의학술연구비(2014년)에 의하여 연구되었음.
REFERENCES
