1) 얼굴 영상에서 얼굴 심박 신호 추출
- 얼굴 영상에서 심박수 추출 가능성 시험 성공
- 물체의 표면에서의 빛의 반사와 흡수의 원리를 혈액에 적용하여 혈액이 지나는 혈관에 빛을 조사하면 혈관을 통과하는 빛의 일부와 반사하는 빛의 성분들이 발생하게 된다. 이때 이런 흡수율이나 통과율은 심장에서 박동이 발생할 때 마다 혈관의 지나가는 혈액의 양이 달라지므로 이런 현상을 측정하면 심박수의 흐름을 측정할 수 있음.
그림 45. 혈액내 빛의 반사 및 흡수 현상
- 사람의 눈으로 확인이 거의 어렵지만 카메라는 1/30초 단위로 이미지를 저장하고 분석할 수 있으므로 얼굴에 미세하게 퍼져있는 모세혈관의 혈액흐름으로 인한 피부색의 미세한 변화를 감지할 수가 있고 이를 최종 얼굴 심박수 신호로 변환함.
그림 46. 카메라 촬영을 통한 무접촉 얼굴 심박 추출 결과
2) 심박수 추출 위한 얼굴 피부 영역 트래킹 및 추출 기술
- 일반적인 상황에서도 얼굴 심박수를 추출하기 위해서는 얼굴을 추적하는 기능이 필요하고 얼굴이 움직이더라도 최대한 심박수 신호를 얻기 위해 많은 영역의 피부영역을 확보하여야 한다. 본 연구에서는 camshift기반의 mean tracker를 사용 하고 트래킹 원도우가 모든 상부 머리영역을 포함하도록 개발함.
- 1/30프레임마다 얼굴 추출된 원도우에서 hue채널 기반의 피부영역을 검출하고 이를 2차원 이미지피부영역에서 1차원 심박신호 후보로 변환함.
- 정지영상 기준 얼굴 심박수 정확도 92% 이상 달성 : 10명 x 20sec x 20회
그림 47. 얼굴 피부 영역 트래킹 흐름도
3) 얼굴이 움직일 때 왜곡된 심박수 신호 복원 기술
- 얼굴과 카메라가 고정되어 있는 상황에서는 센서의 센싱 범위가 안정되므로 신호 의 품질이 양호하며 심박수 추출이 가능하다. 그러나, 측정을 위해 움직임을 자제 해달라고 요청을 받은 상태라도 사람은 조금씩 움직이고 있으며, 또한 일상적인 상황에서 얼굴을 촬영한다고 했을때는 정상적으로 얼굴영상에서 움직임 왜곡 때문에 양호한 품질의 신호를 추출할 수가 없음.
- 이런 움직임잡음을 제거하기 위해서는 적응필터가 사용될 수 있으나 일반적으로 카메라 이외의 추가의 센서가 필요하며, 칼만필터의 경우 추가의 센서가 필요 없지만 사전에 움직임 잡음에 대한 모델이 구성되어 있어야 하는데, 이런 모델을 사전에 구성하는 것은 간단한 자연계 법칙이 적용되는 시스템이 아니면 어려운 것으로 알려져 있다. 본 연구에서는 Stochastic time series modeling 기법을 통하 여 움직임 잡음이 효과적으로 제거되도록 하는 칼만필터 모델을 유도함.
그림 48. 얼굴을 움직일 때 심박신호의 왜곡 현상 발생
- 정상적인 얼굴 심박수 파형은 톱니바퀴 펄스 형태의 모양을 유지하나 얼굴을 움직이게 되면 카메라가 스캔하는 피부영역 자체가 변하므로 신호의 급작스런 변화와 왜곡을 피할 수가 없음.
- 움직임잡음 제거용 칼만필터를 통과한 얼굴 심박수 신호는 심박수를 계산 할 수 있을 정도의 파형을 복원하여 출력함.
그림 49. 얼굴 움직임 왜곡 현상을 제거하기 위한 칼만필터 적용 결과
바. 얼굴표정, 행동패턴, 생체신호의 통합 성능 평가
- 얼굴, 행동, GSR 기반으로 추출된 특징을 통합한 성능평가 - 세 종류의 데이터 가용한 10명 아동 평가. 1,626 데이터 x 87 차원(47/얼굴+35/행동+5/GSR) . Leave-one-subject-out cross validation
- 얼굴이 행동과 GSR 특징보다 높은 분류 특성을 보여줌.
- 특징을 통합하는 경우, 개별적 보다 조금 더 성능 개선됨을 확인함.
그림 50. 얼굴표정+행동패턴+GSR = 통합성능 결과