생리반응 신호, 음성신호, 사용자 상황 및 동작에 관한 특징을 추출하고, 추출된 멀티모달 특징에 기반하는 사용자 감정인식 기능을 수행하는 context-aware 멀티모달 감정인식기를 설계함.
- 멀티모달 감정인식기는 휴먼이해 특징 추출 기로부터 추출되는 생리신호 특징, 음성신호 특징, 사용자 상황 및 동작 특징을 학습 및 인식에 사용.
- 생리신호에 기반하며 음성신호, 상황/동작 특징에 대한 특징 혼합 기반의 감정인식 결과를 생성하는 생리신호 기반 감정인식기(특징 혼합), 음성 특징과 사용자 액티비티 특징에 기반하는 음성신호 기반 감정인식기, 하나이상의 감정 모델의 결과들에 대한 결정혼합(decision-fusion)을 위한 블록, 최종 결정된 A/V 감정 확률에 의해 예측 감정 레이블(들)을 추정하는 감정 레이블 매핑 블록으로 구성됨.
그림 98. 복합모달 감정인식기 구조 Bio-Feature Extractor - meanNN
- RMSSD
Speech-Feature Extractor
- Loudness - MFCC
- F0(fundamental frequency) - Mel-banks spectrogram - Zero-crossing rate
Multimodal Emotion Recognizer - Quadrant A/V <High-Positive, High-Negative, Low-Positive, Low-Negative>
- 예측 감정 레이블 후보(들) 표 29. 입력 모달의 특징 및 복합모달 감정 인식기 결과 정의
나. 기능 블록
멀티모달 감정인식기 생리반응 기반 멀티모달(특징혼합) 감정 인식기, 음성특징 기반 감정인식기, 결정혼합 블록, 감정레이블 매핑 블록의 동작 절차를 설계함.
o 생리신호 기반 복합모달리티(특징 혼합) 감정인식기
- 생리신호, 음성신호 특징의 조합을 학습과 테스트를 위한 입력 특징벡터로 사용하여 quadrant A/V 결과를 생성.
- 상황/액티비티 특징에 따라 음성 신호 융합여부를 결정하고, 생리신호의 필터링 및 잡음제거 파라미터를 설정.
- 감정 분류에 따른 특징변수들의 유효성 분석하여 특징의 가중치(weight)를 조정함.
그림 99. 생리신호 기반 복합모달리티(특징혼합) 감정인식기
o 음성신호 기반 감정인식기
- 구축된 음성DB를 기반으로 A/V 기반의 감정인식을 위한 SER 모델 생성 및 사용자 자기참조 특징 값 및 연관관계 분석정보를 획득.
- 구축된 SER 모델에 기반하며 음성특징, 사용자 자기참조 특성 분석 값, 동작 특징을 고려한 A/V 감정인식 결과 생성.
그림 100. 음성신호 기반 감정 인식기
o 결정 혼합 및 감정레이블 매핑 블록
- 특정 상황 특징(context feature)와 관련된 각 감정모델의 감정인식 에러율을 계산하고, 감정모델에 대해 계산된 에러율 정보에 기반하여, 해당 상황 특성에 대한 각 모델 감정 인식 결과에 대한 가중치를 결정함.
- 계산된 각 모델의 가중치 정보를 활용하여 각 인식 모델의 A/V 인식결과에 대한 결정 혼합방식을 통하여 A/V 감정 인식 결과를 생성함.
그림 101. 결정혼합 기능 블럭도
- 결정혼합 블록의 A/V 예측 값을 기반으로 2-D A/V 모델에서의 좌표 값을 추정하고, 추정된 좌표 값을 기준으로 하는 임계 거리내의 예측 감정 레이블 후보를 결정함.
그림 102. 2-D A/V 모델 기반 감정 레이블 매핑