생체 감성 정보와 협업 필터링을 이용한 감성 이미지 추천 시스템 설계
김 태 연*, 서 대 웅*, 배 상 현†
*조선대학교 일반대학원, 전산통계학과
†조선대학교, 컴퓨터통계학과
Design of Emotion Image Recommendation System using Bio Emotion Information and Collaborative Filtering
Tae-Yeun Kim
*, Dae-Woong Seo
*, Sang-Hyun Bae
†*Department of Computer Science and Statistics, Graduate School of Chosun University, Gwangju, Korea
†Department of Computer Science and Statistics, Chosun University, Gwangju, Korea (Received : Nov. 11, 2017, Revised : Dec. 15, 2017, Accepted : Dec. 22, 2017)
Abstract : In this paper, we propose an image recommendation system that considers the user's emotions in the proposed system. We measure ECG and PPG, which are biological information of the user, and then use frequency analysis algorithm and SVM-GA algorithm implemented the recommended system and tried to improve the reliability of recommendation system by using collaborative filtering. We implemented a user friendly interface to verify the emotion information of the images through the recommended values and measurement graphs of the emotional images through the mobile application, thereby enhancing the usability of the proposed system. Experimental results showed that subjects' biometric information(ECG, PPG) were classified and learned by SVM-GA algorithm and classified into 4 kinds of emotion information according to biometric information.
The average accuracy of the classified data was 89.2%. In addition, 86.7% of the users' satisfaction was measured, suggesting that the proposed emotion based search result is comparable to the emotion felt by a person.
Keyword : Emotion, Recommendation System, Collaborative Filtering, Frequency Analysis Algorithm, SVM-GA Algorithm
1. 서 론
13)
사용자의 다양한 요구 사항을 효과적으로 반영하기 위해 사용자의 성향을 고려한 추천 기법이 필요하다. 이 에 다양한 추천 기법이 연구되어 지고 있으며, 대표적인 추천 기법으로 내용 기반과 협업적 필터링 기법이 있다.
†Corresponding Author 성 명 : 배 상 현
소 속 : 조선대학교 컴퓨터통계학과
주 소 : 광주 동구 필문대로 309 조선대학교 전 화 : 062-230-6623
E-mail : shbae@chosun.ac.kr
내용기반 추천 기법은 콘텐츠를 직접 분석하여 콘텐츠 와 콘텐츠, 콘텐츠와 사용자 선호도 간의 유사도를 분석 한 후 이를 바탕으로 새로운 콘텐츠를 추천해주는 기법 을 의미하며, 협업적 필터링은 특정 사용자와 유사한 성 향을 나타내는 다른 사용자들을 분석하여 콘텐츠 선호 도를 추정하는 기법을 의미한다[1].
특히 추천 기법은 사용자의 만족도를 높이기 위해 개 인의 선호도, 감성 등 사용자의 특성 및 상황 등을 이해 하고 반영해야 한다. 하지만 대부분의 추천 기법은 이러 한 특성들을 고려하지 않아 사용자의 만족도를 높이지 못하고 있다.
추천 기법의 중요한 특성인 사람의 감성은 경험을 통 해 얻어지는 외부의 물리적 자극에 반응하는 감각이나 지각으로 인해 인간 내부에서 일어나는 복합적인 상태
를 의미한다[2]. 감성은 학습능력, 행동, 판단력 등 사 람의 삶에서 많은 부분에 영향을 끼치므로 사람의 본질 을 이해하는데 중요한 역할을 한다[3]. 따라서 감성 분 석은 중요한 이슈가 되고 있으며 이는 사람과 기계의 상 호작용을 가능하게 해주는 기술로 인식되고 있다[4].
또한 감성은 사람의 뇌와 밀접하게 연관되어 있으며 아 무런 의식 없이 자발적으로 일어나는 정신 상태로서 생 리학적 변화를 동반한다고 정의된다[5].
얼굴표정, 몸짓 혹은 글 등은 감성을 추측할 수는 있 으나 진짜 그러한 감성을 느끼는 지에 관해서는 알 수가 없다. 그러나 우리가 느끼는 감성으로 부터 일어나는 중 추신경계와 자율신경계의 반응인 생체 신호의 특징으로 부터는 감성 상태의 판별이 가능하다[6][7]. 생체 신호 는 주위조건에 매우 민감하기 때문에 비특이적이라는 단점이 있다. 그러나 생체 신호는 연속적으로 감성의 변 화를 알 수 있을 뿐만 아니라 생리학적으로 감성이 사람 에게 영향을 미치는지에 관하여 직접적으로 알 수 있다 [8]. 따라서 생체 신호는 감성 연구에 있어 중요한 지표 로 사용이 될 뿐만 아니라 현재는 이를 이용하여 많은 기술이 응용되고 발전하는 실태이다.
감성은 사람의 뇌와 밀접하게 연관되어 있으며 아무 런 의식 없이 자발적으로 일어나는 정신 상태로서 생리 학적 변화를 동반한다고 정의된다[9]. 연구자들은 감성 연구에 있어서 두 개의 모델에 집중한다. 그 중 하나는 행복, 슬픔, 공포, 놀람, 역겨움, 분노의 6가지 감성을 기본적으로 수용하여 다른 감성들을 이 기본 감성의 한 부분이 되도록 고려하는 것이고, 나머지 하나는 감성의 유의성 상태와 각성 상태를 스케일로 나타내어 이차원 그래프로 확인하는 것이다[10]. 본 논문에서는 Ekman의 6가지 기본 감성 모델(Ekman 6 basic emotion model)을 기반하여 보통, 슬픔, 놀람, 행복의 4가지 감성을 분류한다.
이에 본 논문에서는 사용자의 만족도를 높이고자 개 인적인 특성이라 할 수 있는 생체 감성 정보를 이용한 이미지 추천 시스템을 구현하고자 하였다. 사용자의 생 체 정보(심전도, 맥파)를 측정 및 분석하여 4가지 감성 정보(보통, 슬픔, 놀람, 행복)에 따른 이미지를 추천하 는 시스템을 구현하며 추천 시스템의 신뢰성을 높이고 자 각 이미지 데이터에 대한 사용자의 감성을 인식하여 감성 선호도를 추출하고, 감성 선호도가 비슷한 사용자 들의 감성 선호도가 높았던 이미지에 대하여 사용자의 감성 선호도를 예측하여 추천하는 시스템을 구현하고자 하였다. 즉, 사용자의 생체 신호(심전도, 맥파)로 분석 된 감성 정보와 협업 필터링으로 예측된 감성 선호도를 이용하여 사용자의 4 가지 감성(보통, 슬픔, 놀람, 행 복)에 따라 매칭된 이미지 데이터를 추천하는 시스템을 구현하며 시스템의 신뢰성을 검증하고자 한다.
본 논문의 구성은 다음과 같다. 2장에서는 제안하는 시스템의 구성 및 설계에 대해서 설명하고 3장에서는 시스템 구현 결과와 구현한 시스템의 성능평가를 기술 하며, 4장에서는 연구의 결론 및 향후의 연구 방향을 기 술한다.
2. 시스템 구성 및 설계
본 논문에서 구현한 시스템은 사용자의 생체 정보를 고려한 감성 이미지를 추천하기 위해 인간의 감성 정보 를 보통, 슬픔, 놀람, 행복과 같이 크게 4가지로 경우로 상황을 정의하며 생체 정보에 따른 감성 정보를 정규화 및 학습하기 위해 SVM-GA 알고리즘을 사용하였다.
또한 협업 필터링을 통해 감성 선호도를 예측하였다. 이 렇게 추출된 감성 정보와 감성 선호도를 매칭하여 보다 사용자 감성에 맞는 이미지를 추천하는 시스템을 구현 하였다.감성 정보와 협업 필터링을 이용한 이미지 추천 시스 템은 크게 모바일 디바이스와 감성 분류 모듈, 협업 필 터링 모듈로 구성된다.
본 시스템의 모바일 디바이스를 통해 사용자의 감성 정보와 감성 선호도에 따라 매칭된 추천 시스템의 인터 페이스가 제공되어 진다. 감성 분류 모듈은 사용자의 생 체 정보(심전도, 맥파)를 생체 센서를 이용하여 측정된 데이터의 특징을 추출 및 분석한 후 정의된 표준화 4단 계(보통, 슬픔, 놀람, 행복)로 분류된 정보를 통해 사용 자 감성 정보를 추출 할 수 있다. 또한, 협업 필터링 모 듈을 통해 비슷한 감성을 느낀 사용자들의 감성 선호도 를 통하여 사용자의 감성 선호도 정보를 추출한다. 이렇 게 감성 분류 모듈과 협업 필터링 모듈을 통해 추출된 정보를 이용하여 사용자의 생체 감성 정보와 감성 선호 도 정보에 따라 매칭된 이미지 추천 시스템을 구현하였 다.그림 1은 본 논문에서 제안한 생체 감성 정보와 감성 선호도에 따른 이미지 추천 시스템의 구성도이다.
Figure 1. Configuration of System.
2.1 감성 분류 모듈
본 논문에서 제안한 시스템의 감성 분류 모듈은 사용 자의 생체 정보(심전도, 맥파)를 고려하여 매칭된 이미 지를 추천하기 위해 인간의 감성을 보통, 슬픔, 놀람, 행복과 같이 크게 4 가지 경우로 상황을 정의 하며, 정 규화 된 생체 감성 정보와 이미지를 매칭 및 추천하기 위해 SVM-GA 알고리즘을 사용하여 사용자의 감성에 맞는 이미지를 추천한다. 그림 2는 감성 분류 모듈의 구
성도이다.
먼저 생체 센서 이용하여 측정된 데이터는 주파수 분 석 알고리즘으로 특징을 추출 및 분석한 후 SVM-GA 알고리즘을 사용하여 정의된 표준화 4단계(보통, 슬픔, 놀람, 행복)로 분류되어 생체 감성 DB에 저장된다. 또 한, 이미지 감성 DB는 감성 컬러, 감성 어휘를 동일한 2차원 공간의 평면에 배치하여, 감성 컬러와 감성 어휘 들 사이의 거리를 측정하여 관계된 정보를 판단한다. 측 정된 정보는 요인분석을 이용하여 검증과 대표 감성어 휘를 추출한다. 이 데이터는 정의된 4단계로 이미지 감 성 DB에 저장되어진다. 이렇게 구성된 파일은 사용자 의 생체 감성 정보와 이미지 감성 정보를 이용하여 사용 자의 감성에 맞는 이미지가 매칭 된다.
Figure 2. Configuration of Emotion Classification Module.
2.1.1 생체 신호 분석
맥파란 혈액이 심장수축에 의해 대동맥으로 구출될 때에 발생하는 혈관내의 압력변화가 말초측에 전달될 떄의 맥동을 말한다. 이 맥동에 의한 혈관 내 압력변화 를 잡아낸 것이 압(력)맥파(Pressure Pulse Wave)이 며, 탄성혈관의 압변화에 의한 용적변화를 잡아낸 것을 용적맥파(Volume Pulse wave)라 한다. 이 양자를 구 분하여 사용할 필요가 있으나, 통상적으로 맥파라고 하 면 용적맥파를 가리키는 경우가 많다.
Figure 3. Pulse waveform due to contraction and relaxation of the heart
그림 3은 심장의 수축과 이완에 따른 맥파 파형으로 한 주기의 맥파는 좌심실의 수축 시작(S), 혈역 유출 감
소(C), 변막과 심근의 탄력파(D)와 같이 나타난다. 특 히 맥파에서 P점은 심박동변동성을 검출하기에 가장 중 요한 지점이며 이 P점의 간격으로부터 자율신경계의 활 성도를 분석할 수 있다[11].
맥박은 평균적으로 1분에 60~90회 정도 발생하며 100~160회 이상으로 발생하는 것을 동빈맥이라 하고, 60회 미만으로 발생하는 것을 동서맥이라고 한다. 평균 적인 맥박은 1~1.5Hz에 해당하는 주파수이지만 임상 에서는 dc~30Hz 정도의 넓은 범위의 주파수를 측정하 여 분석한다. 하지만 심박동변동성을 검출하기 위한 일 반적인 연구에서는 0.5~10Hz의 주파수를 측정하고 P 점을 검출하여 감성상태를 분석한다.
본 논문에서는 사용자의 생체 정보인 심전도(ECG) 와 맥파(PPG)를 생체 센서를 통해 측정한 후 심전도와 맥파를 기반으로 감성 상태를 분류하기 위해 주파수 분 석 알고리즘을 사용하였다. 이는 심전도 및 맥파에서 측 정되는 심박동 변동성의 주파수에서 자율신경계의 교 감, 부교감신경의 활성도를 나타나기 때문이다. 심박동 변동성의 0.04~0.15㎐에 해당되는 저주파 대역의 성 분은 자율신경계의 활성도를 나타내며, 심박동 변동성 의 0.15~0.4㎐에 해당되는 고주파 대역의 성분은 부 교감신경의 활성도를 나타낸다. 즉, 과도한 흥분상태에 서는 교감신경이 과도하게 활성화되어 고주파 성분에 비해 저주파 성분이 증가하고, 과도한 안정화 상태에서 는 부교감신경이 활성화되어 저주파 성분에 비해 고주 파 성분이 증가하는 원리를 이용하여 감성의 상태를 분 석하는 방법이다[12].
본 논문에서 심전도와 맥파를 함께 적용한 이유는 다 음과 같다. 심전도 검사법으로 진단이 가능한 것은 심근 경색, 부정맥과 같이 특징적인 변화를 나타내어 병명을 알 수 있는 경우와 심장 내 전기적 흥분이 발생되는 부 위의 이상 및 흥분 정도 이상에 관계되는 경우에 국한하 여 임상에 응용되고 있다. 그러므로 심장의 기계적 현상 인 맥동현상, 판막의 장애, 심근 수축 상태의 이상, 그 리고 혈역학적인 이상인 압력의 변화, 용적 변화 등을 심전도에 의해서만 직접 진단하는 것은 곤란하다. 순환 기의 활동을 체외에서 기록 가능한 생체신호들 중에서 맥파는 압력의 발생원인인 심장과 혈액의 전파 경로인 혈관계에 관한 정보가 포함되어 있을 뿐만 아니라 실험 자에게 고통과 부담을 주지 않는 방법인 비관혈적인 수 법으로 측정될 수 있는 장점이 있다. 이러한 유효성에 대한 중요성이 인식됨에 따라 심전도와 병행하여 맥파 정보까지도 처리 가능한 시스템적 요구가 커지고 있기 때문이다[13].
두 번째로,심전도 외에 맥파 신호를 함께 진단 정보 로서 이용하면 심전도로서는 얻기 어려운 혈관계의 물 리적 특성에 관한 정보를 동시에 얻을 수 있다[7]. 또한 심전도의 파를 분석하면 P, Q, R, S, T파를 추출할 수 있다. 그리고 맥파 데이터를 미분하면 심전도의 P, Q, R, S, T 파형과 비슷한 파형(S, P, T, C)을 추출할 수 있다. 따라서 심전도와 맥파의 두 데이터를 함께 이용하 여 감성 분석을 하면 심전도만으로는 부족할 수 있는 감 성 분석의 효율성을 좀 더 높일 수 있다.
Figure 4. Flowchart of Bio Signal Analysis.
본 논문에서는 그림 4의 생체 신호 분석 흐름도와 같 이 보다 정확한 생체 정보의 분석 결과를 위하여 측정된 두 가지 신호에서 심박동변동성에 대한 정보를 추출하 여 Peak를 검출하고 시계열 정보로 변환을 하였다. 그 리고 선형 보간법 등과 같은 전처리 후 256 Point의 FFT와 전력스펙트럼 밀도를 이용하여 주파수를 분석하 는 알고리즘을 사용하였다.
두 가지 생체 신호의 Peak를 정확하게 검출하기 위 하여 각 신호의 최대값과 최소값을 검출하여 평균 높이 를 구하고, 최대값의 2/3 지점을 문턱값으로 설정하였 다. Peak가 발생한 시간은 식 (1)과 같이 수신 Data 의 수와 샘플링 속도로 계산하여 검출하였다.
(1)
HRV 추출과 전처리를 위해 검출한 Peak를 식 (2) 를 이용하여 발생 시간간격의 차와 지속적인 축적시간 으로 구성된 시계열 정보로 변환을 하고, FFT 분석을 위하여 식 (3)과 같은 선형보간법을 사용하여 등간격의 정보로 변환하였다.
(2)
×∆ (3) 측정된 생체 신호들은 시간과 진폭이 연속적인 아날 로그 형태의 파형으로 시간의 영역에서 표현되어지고 있어 생체 신호 속에 내포되어 있는 중요한 정보를 분석 하기 위해서는 256개 등간격의 시계열 HRV정보를 식 (4)의 FFT법을 사용하여 주파수 정보로 변환하였다.
수학적인 FFT식을 알고리즘화 하기 위하여 식 (5)와 같은 지수함수를 삼각함수로 정리를 하였다.
(4)
→
cos
(5)
본 논문에서는 이산신호에서 스펙트럼을 추정하는 방 법으로 과정이 간단하고 쉽게 계산이 가능한 Nonparametric 방법을 적용하였다.
연속신호 의 자기상관함수가 라 할 때 Wiener-Khintchine 공식을 적용하여 전력밀도 스펙
트럼을 구하면 식 (6)과 같이 표현 할 수가 있다. 이를 시간평균 자기상관함수의 신호 길이가 라고 하면 식 (7)과 같이 Fourier변환 식을 통하여 구해질 수 있다.
즉, 식 (8)과 같이 FFT를 통하여 분해된 심박동변동성 의 주파수 성분을 Power Spectrum Density를 이용 하여 주파수 영역별 에너지의 크기를 확인하여 두 생체 신호의 주파수 성분을 분석하였다.
∞
∞
(6)
(7)
→
(8)
2.1.2 감성 분류
본 논문에서는 주파수 분석 알고리즘을 통해 생체 데 이터를 4가지의 감성 정보로 분류하기 위하여 SVM 알 고리즘과 GA 알고리즘을 사용하였다. SVM 알고리즘 은 오류율을 최소화할 뿐 아니라, 부류사이의 일반화 능 력을 최대화한다는 목적을 가지고 만들어졌기 때문에 데이터의 고차원적 매핑으로 데이터 분류가 용이하고, 다른 알고리즘과 비교하여 보다 높은 성능을 가진다 [10][14].
4가지 감성 상태 시 분석된 생체 신호의 특징들을 SVM 알고리즘의 입력으로 사용하였다. 또한 결정곡선 의 분리성을 향상하기 위하여 고차원으로의 매핑 변환 을 해주는 커널함수를 아래와 같이 사용하였다.
여기서 는 테스트 집합, 는 서포트 벡터, 는 정도 를 조절해주는 감마값, 는 계수, 는 차원을 나타낸다.
따라서 , , 를 조정해주므로 최적의 커널함수를 선 별할 수 있다[15].
(1) Linear Function :
(2) Polynomial Function : (3) Radial Basis Function : exp (4) Sigmoid Function : tanh
GA 알고리즘은 진화방법과 유사하게 초기해가 적합 함수에 따라 선택(selection), 교차(crossover), 변이 (mutation)를 일으키며 해를 개선시키는 방향으로 전 개된다. GA 알고리즘은 해가 지역 최저점에 빠지더라 도 전이 과정을 통하여 고착된 지역해로부터 벗어나 전 역최저점을 찾아갈 확률을 높인다. 따라서 추출한 파라 미터의 최적조합 결정을 위하여 GA 알고리즘을 적용하 였다.본 논문에서는 해를 1과 0으로 표현하였다. 해가 1 의 값을 가지면 그 때의 생체 신호 특징은 입력으로 선 택이 되고, 해가 0의 값을 가지면 생체 신호 특징은 선 택되지 않는다. SVM 알고리즘을 사용하여 최적화 분류 계산된 오류율이 GA 알고리즘의 적합도 함수로 사용하 였다. 여기서 오류율은 틀리게 분류한 개수를 총 개수로 나누어 진 비율이다. 또한 해의 개수, 선택조건, 교차조
건, 변이조건을 변화시키며 GA 알고리즘의 최적동작 조건을 찾아주었다. 즉, 추출된 특징을 입력으로 하여 적합함수인 SVM 알고리즘에 적용시키고, GA 알고리 즘을 사용하여 오류율이 가장 작을 때의 특징들을 선택 하게 된다.
2.1.3 이미지 감성 정보
본 논문에서는 이미지 감성 정보를 추출하기 위해 웹 기반 컬러 모드인 RGB를 이용하였고, 감성의 척도 측 정을 위해 HP(Hewlett-Packard)의 ‘The Meaning of Color'에서 정해놓은 20개의 컬러 감성 모델을 대표 요소로 선정하고 5점 척도 측정의 설문조사를 통한 요 인, 대응일치 분석을 하고, 컬러별 감성공간을 생성하였 다.이미지의 특정점에서 RGB를 추출하여 각 컬러의 RGB를 데이터베이스에 미리 저장해 두고 컬러분포에 따른 감성의 정도를 파악하기 위해 컬러모델의 각 RGB 를 x, y, z의 3차원 좌표로 보고 추출된 컬러와의 거리 를 계산하여 최단거리인 컬러모델에 포함시키도록 하였 다. 각 이미지의 컬러모델분포는 데이터베이스의 20개 의 컬러모델 필드(Field)에 각각 저장된다. 분석된 이 미지는 각 컬러의 측정값으로 변환하여 그래프로 표현 하고, 가장 높은 측정값을 가진 순위별로 감성단어가 매 칭 된다[16][17].
요인분석, 대응 일치 분석을 프로그램화한 감성어휘 판독 프로그램을 이용하여 데이터의 분석을 실시하여 같은 분류의 대답을 그림 5와 같이 도식하였다[18].
Figure 5. Image Emotion Distance Measurement.
감성 컬러, 감성 어휘를 동일한 2차원 공간의 평면에 배치하여, 감성 컬러와 감성 어휘들 사이의 거리를 측정 하여 관계된 정보를 판단한다. 측정된 정보는 요인분석 을 이용하여 검증과 대표 감성어휘를 추출한다. 이 데이 터는 정의된 4단계로 이미지 감성 DB에 저장되어진다.
본 논문에서 이용하는 대응일치 분석은 두 가지 형태 의 변수 집합을 하나의 공간에 표현하여 어느 대상이 어 느 속성에 가까운가를 파악하고 대상간의 속성에 의한 관련성과 속성간의 관계를 파악할 수 있다. 다시 말해서 범주형 자료의 분석으로 분석해야할 변수가 두 개인 경 우에 분할표(Correspondence Table)를 변수들 사이 의 연관성을 나타내는 연관성의 척도를 이용하여 두 변 수 간의 관계를 파악할 수 있어 본 논문의 목적에 적합 한 분석 방법이다. 두 개의 변수 즉 대상과 속성은 시각 정보를 대표하는 이미지가 대상이라면 각 이미지의 심
상을 나타내는 감성은 속성이 되는 것이다. 그러므로 물 리적 속성인 시각정보와 감성간의 관계를 파악할 수 있 다.본 논문에서 생성한 이미지 감성공간과 어휘간의 요 인 분석을 통하여 감성 공간 생성의 타당성을 제시하고 감성 어휘간의 관계 정의를 위해 요인별 어휘들을 표시 하고 3가지 대표 요인의 축을 공간에 추가하였다. 대응 일치 분석으로 생성된 감성공간에 요인 분석을 통한 감 성어휘간의 관계를 적용하여 다음 분석된 감성공간을 제시한다. 파란색 그룹은 1요인을, 분홍색 그룹은 2요 인, 노란색 그룹은 3요인을 표현하며, 각 축이 지나는 어휘들이 각 요인의 대표 요인이다.
감성 요소와 감성 어휘를 2차원 공간에 놓았고, 이를 통해 감성 어휘와 감성 요소들의 좌표를 얻을 수 있다.
이 좌표를 통해 거리를 측정할 수 있고 이는 감성 어휘 와 관련된 감성 요소의 관계로 볼 수 있다. 각 좌표에서 거리의 수치가 작을수록 관계가 높은 의미를 가지고(반 비례) 이미지에서 컬러분포는 클수록 높은 의미를 가지 므로(정비례), 거리의 역수를 얻어 비율을 측정하였다.
식 9는 이에 대한 수식을 나타낸다.
(9)
식 (9)에서는 최종적으로 얻어지는 감성어휘(i)와 감 성요소(k)의 거리 비율을 의미하고, 분자는 실제 감성 어휘(i)와 감성요소(k)의 거리를 나타내며 분모는 감성 어휘(i)와 20개의 감성어휘에 대한 거리의 역수의 합이 다.
2.2 협업 필터링 모듈
협업 필터링은 특정 콘텐츠에 대해 유사한 성향을 보 였던 사용자들은 다른 콘텐츠에 대해서도 유사한 성향 을 보일 것이라는 가정을 바탕으로 추천을 수행한다. 추 천 시스템은 사용자의 선호와 기호에 알맞게 필터링하 여 선호도가 높을 거 같은 콘텐츠를 제안하는 시스템이 다[19]. 협업 필터링 추천 기법은 모델 기반(model based)과 이웃 기반 기법(neighbor based)으로 나뉜 다. 모델기반 방법은 데이터를 이용하여 모델을 만들고 선호도를 예측한다. 이 방법은 훈련데이터를 가지고 학 습시간이 별도로 필요하며 많은 실험적 매개변수를 결 정해야 하며 데이터의 특성에 따라 다른 매개변수를 설 정해야하는 단점이 있다. 이웃 기반 모델 기법 (neighbor based)은 메모리 기반 기법(memory based)이라고도 하며 사용자 기반 협업 필터링(user based filtering)과 아이템 기반 협업 필터링(item based filtering)이 있으며 예측 속도가 빠르며 선호도 데이터를 즉시 반영할 수 있는 장점이 있다[20]. 이에 본 논문에서는 메모리 기반 추천 기법 중 사용자 기반 협업 필터링을 이용하여 사용자와 유사한 감성을 보인 사용자들의 선호도가 높은 이미지를 추천한다.
그림 6은 협업 필터링 모듈의 구성도이다.
Figure 6. Configuration of Collaborative Filtering Module.
감성 정보를 이용한 협업 필터링 모듈은 협업 필터링 중 사용자 기반 알고리즘 이용하여 사용자와 비슷한 감 성을 느낀 다른 사용자들이 선호도 높았던 이미지들을 추천한다. 추천 시스템의 데이터는 User DB와 이미지 감성 DB에 있는 데이터를 이용하여 데이터 모델을 만 들고 피어슨 상관계수 알고리즘을 이용하여 사용자와 유사한 감성을 가지고 있는 다른 사용자들이 선호도가 높은 이미지를 추천한다. 피어슨 상관계수는 -1과 1사 이의 값을 가지며, 관계가 크면 1에 가까워지고 서로 반 대되는 관계를 가지면 -1에 가까워진다. 피어슨 상관계 수를 이용한 수식은 다음과 같다[21].
×
×
(10)
식 (10)에서 은 사용자 a와 사용자b가 동일 이 미지에 대하여 느낀 감성 정보 값을 바탕으로 계산한 유 사도를 나타낸다. i는 n개의 이미지 중 하나의 이미지이 고, 은 특정 사용자 a가 이미지 i에 대하여 느낀 감 성 값이고, 은 사용자 b가 이미지 i에 대하여 느낀 감성 값이다. 와 은 특정 사용자 a와 사용자 b가 모든 이미지에 대해 느낀 감성 값의 평균이다. 분모는 사용자 a와 사용자 b가 모든 장소에 대한 감성 값의 평 균의 표준편차이다. 사용자 a와 유사한 감성을 가진 사 용자가 유사도가 높고, 유사도가 높은 사용자가 감성을 느낀 이미지를 사용자 a에게 추천한다. 사용자는 자신 과의 감성 유사도는 항상 1.0이다. 특정 사용자에게 감 성 이미지를 추천할 때, 다른 사용자들과의 감성 유사도 측정값을 이용하여 측정값이 높게 나온 사용자들이 선 호하는 이미지들을 사용자에게 추천한다.
×
(11)
식 (11)에서 은 j번째 이미지에 대한 사용자 a의 예측 값을 나타낸다. j는 m개의 이미지 중 하나의 이미 지이고, 와 은 사용자 a가 모든 이미지에 대해 느 낀 감성 값의 평균이고, 은 사용자 b가 이미지 j에 대해 느낀 감성 값이고, 은 사용자 a와 사용자 b의 유사도이다. 사용자 a와의 유사한 감성을 가진 사용자 가 감성을 느낀 이미지는 사용자 a에게도 선호도가 높 다는 점을 이용하여 사용자 a에게 이미지를 추천한다.
2.3 이미지 추천 모바일 애플리케이션
사용자는 감성 정보와 감성 선호도를 이용한 이미지 추천 모바일 애플리케이션을 이용하여 개인의 정보를 등록하며, 등록된 개인 정보는 User DB에 저장된다.
개인 정보를 저장한 사용자는 애플리케이션을 이용하여 자신의 생체 신호를 측정하며, 측정 된 생체 신호는 주 파수 분석 알고리즘과 SVM-GA 알고리즘을 통해 감성 분류 모듈의 4가지의 표준화된 감성 정보 값으로 표현 된다. 표준화된 감성 정보 값과 매칭된 이미지 감성 정 보 값을 통해 추천 리스트를 제공하기 전에 협업 필터링 모듈을 통해 각 이미지에 따른 사용자 감성 정보 값은 다른 사용자와의 유사도를 구하고, 유사한 감성을 가진 사용자가 감성을 느꼈던 이미지를 추천하는데 사용된 다. 추천에 사용하는 이미지는 이미지 감성 DB에 저장 되어 있는 이미지들이고, 추천된 이미지와 감성 측정값, 추천 리스트, 측정 그래프가 이미지 추천 모바일 애플리 케이션 인터페이스를 통하여 사용자에게 보여 진다.
3. 시스템 구현 및 평가
본 논문에서는 개인화된 감성 정보를 위하여 남녀 각 각 10명의 피험자의 생체 신호를 생체 센서인 BIOPAC MP 150TM을 이용하여 측정하였고 생체 신 호는 5분 정도 구간을 나누어 사용하였다. 초기 1분은 안정화 단계로 분석에 사용되지 않고, 이후의 신호에서 진폭의 평균값을 연산하여 256개의 Peak를 검출(3 분~4분)하고 주파수 분석을 하였다. 또한 피험자의 원 활한 감성을 유발하기 위하여 감성 유발에 앞서 피험자 를 30분간 휴식을 취하도록 하여 생체신호의 기저 선을 일정하게 유지하도록 하였으며 휴식 후 실험을 진행하 였다. 또한, 감성 유발 이미지를 보여주기 전 15분 동안
다큐멘터리 이미지를 시청하게 하여 참조치
(reference)로 측정하여 피험자 간 개인차를 최소화 시 키도록 하였다.
주파수 분석 알고리즘을 통해 분석 된 생체 데이터에 최적 조건의 SVM 알고리즘을 선택하기 위해 를 조절하며 커널함수를 선택하였다.
Polynomial 커널함수의 변수에서는 0에서 1까지
0.1씩 변화시켜 주었고, 는 0에서 10까지 1의 간격으 로 변화시켜 주었다. 최대 성능은 를 1로 설정하였을 때 83.87%였고 역시 1일 때 85.42%의 성능을 가 졌다. Radial basis 커널함수의 변수 를 0에서 1까지 0.1씩 변화시켜 주었을 때, 에서 86.13%의 최대 성능을 나타냈다. Sigmoid 커널함수는 을 0에서 1까 지 변화시켜 주었을 때 0.2에서 82.52%의 정확도를 가졌고, 를 -1에서 1까지 변화시켜 주었을 때 0에서 80.86%의 정확도를 나타냈다[22].
Kernel Function Accuracy(%) Linear Function 82.97 Polynomial Function 85.42 Radial Basis Function 86.13 Sigmoid Function 82.52
Table 1. Accuracy of each Kernel Function.
표 1은 각각의 커널함수별 정확도를 나타내며 radial basis 커널함수가 86.13%의 가장 좋은 성능을 보임을 확인할 수 있었다. 이에 본 논문에서는 가장 높은 정확 도 86.13%를 보이는 인 radial basis 함수를 커 널함수로 사용하였다.
본 논문에서 정의된 사용자 생체정보(심전도, 맥파) 에 따른 감성정보의 특징 범위는 표 2와 같다.
Pulse Frequency Range Emotion 76 - 90 ≤0.003 Hz Sadness 91 - 140 0.003~ 0.04 Hz Normal 141 - 180 0.04 ~ 0.15 Hz Happy 180 0.15 ~ 0.4 Hz Surprise Table 2. Feature range of emotion information according to biometric information(ECG, PPG).
표 3은 본 논문에서 제안한 알고리즘을 사용하여 사 용자의 4 가지 감성정보에 따라 분류된 결과를 나타내 며, 표 4는 제안한 알고리즘과 협업필터링을 통해 추천 된 감성 이미지의 정확도를 나타낸다. 4 가지 감성정보 의 따라 분류된 결과는 평균 88.9%으로 나타났다. 또 한, 4 가지 감성에 따라 추천된 감성 이미지 정확도의 경우 제안한 알고리즘으로 추천한 경우 평균 정확도가 87.5%로 나타났으며, 제안한 알고리즘과 협업 필터링 을 동시에 이용한 경우 추천 평균 정확도가 89.0%로 나타나 더 효율적임을 확인 할 수 있었다.
Emotion
Correctly Classified Instances
Incorrectly Classified
Instances
Accuracy(%) Sadness 229 29 88.7
Normal 233 23 91.0
Happy 178 25 87.7
Surprise 182 24 88.3 Table 3. Classification result according to four
emotional information of the user.
Emotion
The Proposed Algorithm Recommendation
Accuracy(%)
The Proposed Algorithm &
Collaborative Filtering Recommendation
Accuracy(%)
Sadness 87.5 88.6
Normal 90.3 91.4
Happy 86.7 87.8
Surprise 85.4 88.3 Table 4. Accuracy of the proposed recommendation
system.
Fold No Accuracy(%)
1 88.1
2 85.7
3 87.3
4 87.1
5 90.5
6 92.3
7 90.8
8 89.1
9 89.5
10 86.9
Table 5. Performance Evaluation of Data.
또한 실험 결과에 대해 학습 데이터로부터의 영향을 최소화하고 신뢰성을 확보하기 위해 10-Fold 교차검증 을 수행하였다. 실험 데이터는 평가용 데이터와 검증용 데이터로 구분되며 각각 7:3의 비율로 사용하였고, Leave-One-Out의 방식으로 시스템을 최적화 하였다.
표 5는 실험을 통해 얻은 검증용 데이터의 정확도(단위 :%) 결과이다.
표 5를 보면 본 논문에서 제안한 SVM-GA 알고리즘 의 평균 정확도가 89.2%의 정확도를 보임으로써 각각 의 생체 정보에 대한 4가지의 감성 정보 매칭 정확도가 높음을 알 수 있다.
본 논문에서는 사용자의 생체 감성 정보를 이용한 이 미지 추천 시스템을 모바일 애플리케이션으로 구현하였
다. 또한 협업 필터링 기법을 통해 인식된 감성 정보 값 을 이용하여 사용자의 선호도를 예측하여 이미지를 추 천한다. 그림 6은 본 논문에서 구현된 사용자의 생체 감 성 정보에 따른 이미지 추천시스템이다. 그림 7의 (a) 는 추천된 감성 이미지와 측정 값, (b)는 감성 이미지의 추천 리스트, (c)는 감성 이미지의 측정 그래프이다.
본 논문에서 구현된 시스템은 감성 분류 모듈을 통해 사용자의 생체 감성 정보와 이미지 감성 정보가 4단계 로 표준화된 사용자의 감성 정보에 따라 매칭된 후, 협 업 필터링 모듈을 통해 사용자의 선택 패턴에 따른 선호 이미지를 이미지 감성 DB에서 검색하여 순위별로 추천 한다. 분석된 이미지의 감성 분석 도표를 표현함으로써 사용자에게 최적화된 이미지를 추천할 수 있었다.
(a) Emotional Image & Measurement Value
(b) Recommended List (c) Measurement Graph Figure 7. Emotional Image Recommendation System.
시스템의 추천 결과에 대한 평가는 주관적인 감성 정 보의 특성상 시스템을 사용한 사용자들이 감성 정보를 기반으로 한 검색 결과에 대해 얼마만큼의 신뢰도를 가 지고 있는지에 대한 사용자 만족도로 측정하였다. 이를 위해 표본 사용자 30명을 선정하여 4개의 감성키워드 를 제시하고, 이를 토대로 검색 결과의 만족도 평가를 실시하였다. 검색된 이미지들의 감성 정보에 대한 표본 사용자 만족도는 그림 8과 같이 나타났으며, 이에 대한 평균값은 86.7%로 나타났다. 이는 제안한 감성 정보 기반 검색 결과가 실제 사람이 느끼는 감성과 비교적 유 사함을 증명하고 있다.
Figure 8. User Satisfaction of Implemented System
4. 결 론
본 논문에서 제안한 시스템의 사용자의 감성을 고려 한 이미지 추천 시스템 위해 사용자의 생체 정보인 심전 도(ECG)와 맥파(PPG)를 측정한 후 주파수 분석 알고 리즘과 SVM-GA 알고리즘을 사용하여 사용자 감성에 맞는 이미지를 추천하는 시스템을 구현하였으며 협업 필터링을 이용하여 추천 시스템의 신뢰성을 향상 시키 고자 하였다. 사용자 친화적인 사용자 인터페이스를 구 현하여 모바일 애플리케이션을 통해 추천된 감성 이미 지의 측정값과 측정 그래프를 통해 이미지의 감성 정보 를 확인 할 수 있도록 하여 본 논문에서 제안한 시스템 의 사용성을 높이고자 하였다.
제안한 시스템의 성능 평가와 추천 시스템의 기능을 검증하기 위해 피험자의 생체 데이터를 획득하여 분석 하였으며 제안한 알고리즘을 사용하여 사용자의 4 가지 감성정보에 따라 분류한 결과 평균 88.9%으로 나타났 으며, 제안한 알고리즘과 협업 필터링을 통하여 사용자 의 감성에 맞는 추천 시스템의 정확도 평균 89.0%으로 나타나 협업필터링을 사용하지 않고 추천한 경우의 정 확도 87.5% 보다 높아 제안한 방식의 효율성이 높음을 확인 할 수 있었다.
또한 실험 결과에 대해 학습 데이터로부터의 영향을 최소화하고 신뢰성을 확보하기 위해 10-Fold 교차검증 을 수행하였다. 실험 결과 피험자의 생체 정보(심전도, 맥파)를 SVM-GA 알고리즘으로 분류 및 학습한 후 생 체 정보에 따라 4가지의 감성 정보로 분류하였다. 분류 된 데이터의 평균 정확도는 89.2%로 나타났다. 또한, 사용자의 만족도를 측정한 결과 86.7%로 나타나 제안 한 감성 정보 기반 검색 결과가 실제 사람이 느끼는 감 성과 비교적 유사하다고 할 수 있다.
따라서 본 논문에서 제안한 시스템을 통해 사용자의 감성에 맞는 이미지를 추천함으로써 사용자의 특성을 고려하고 만족도를 높이는데 도움이 될 수 있을 것이라 사료된다.
향후에는 제안한 알고리즘의 성능 향상과 다양한 분 류 알고리즘 연구로 제안한 시스템의 성능을 향상시키 고자 한다. 또한 감성 이미지뿐만 아니라 다양한 형태의 감성 정보를 이용한 추천 시스템의 연구가 필요하며 보 다 안정된 인식률을 가진 시스템을 구현하고자 한다.
감 사
본 과제(결과물)는 교육부와 한국연구재단의 재원으 로 지원을 받아 수행된 사회맞춤형 산학협력선도대학 (LINK+) 육성사업의 연구결과입니다.
참고문헌
1. B. H. Oh, J. H. Yang and H. J. Lee “A Hybrid Recommender System based on Collaborative Filtering with Selective Utilization of Content-based Predicted Ratings,” Journal of KIISE, vol. 41, no. 4, pp.
289-294, Apr, 2014.
2. S. Z. Lee, Y. H. Seong and H. J. Kim, “Modeling and Measuring User Sensitivity for Customized Service of Music Contents,” Journal of Korean Society For Computer Game , vol. 26, no. 1, pp.
163-171, March 2013.
3. M. Li and B. L. Lu, “Emotion Classification Based on Gamma-band EEG,” 31th Annual International Conference of the IEEE EMBS, pp. 1323-1326, USA, Sep, 2009.
4. J. Selvaraj, M. Murugappan, K. Wan and S. Yaacob,
“Classification of emotional states from electrocardiogram signals: a non-linear approach based on hurst,” BioMedical Engineering Online, 2013.
5. J. H. Kim and A. Elisabeth, “Emotion Recognition Based on Physiological Changes in Music Listening,”
IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 30, no. 12, pp. 2067-2083, 2008.
6. L. Guang-yuan and H. Min, “Emotion Recognition of Physiological Signals Based on Adaptive Hierarchical Genetic Algorithm,” 2009 WRI World Congress on Computer Science and Information Engineering, pp.
670-674, 2009.
7. J. Y. Lee, “Research on the Emotion Recognition Agent based on Biometrics,” Master's thesis, Sejong University, 2007.
8. X. Niu, L. Chen and Q. Chan, “Research on Genetic Algorithm based on Emotion recognition using physiological signals,” 2011 International Conference on Computational Problem-Solving (ICCP), pp.
614-618, 2011.
9. J. H. Kim and E. Andre, “Emotion Recognition Based on Physiological Changes in Music Listening,”
IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 30, no. 12, pp. 2067-2083, 2008.
10. J. E. Lee and S. K. Yoo, “The Design of Feature Selection Classifier based on Physiological Signal for Emotion Detection,” Journal of The Institute of Electronics Engineers of Korea, vol. 50, no. 11, 2013.
11. D. H. Lee, “A study for measurement of radial artery
oxygen saturation system using photoelectric plenthysmography,” Master’s thesis, Dankook University, 2009.
12. J. H. Lee and K. H. Kim, “A Study of Biosignal Analysis System for Sensibility Evaluation,” Journal of Korean Society of Computer and Information, vol.
15, no. 12, 2010.
13. S. H. Hong, “Detection of Plethysmogram and its Usefulness,” The Magazine of the IEEK, vol. 15, no.
1, pp. 1-4, 1978.
14. M. Murugappan, N. Ramachandran and Y. Sazali,
“Classification of human emotion from EEG using discrete wavelet transform,” Journal of Biomedical Science and Engineering, vol. 3, pp. 390-396, April, 2010.
15. C. C. Chang and C. J. Lin, “Libsvm: a library for support vector machines,” ACM Transactions on Intelligent Systems and Technology (TIST), vol. 2, pp. 3-27, 2011.
16. J. Li, and J. Z. Wang, “Automatic linguistic indexing of pictures by a statistical modeling approach,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol.
25, no. 9, pp. 1075-1088, 2003.
17. S. K. Baek, “Kansei Distribution Space Creation by Visual Information Elements for Kansei-based Image Retrieval,” Master's thesis, Chosun University, 2007.
18. T. Y. Kim, B. H. Song and S. H. Bae, “A Design and Implementation of Music & Image Retrieval Recommendation System based on Emotion,” Journal of The Institute of Electronics Engineers of Korea, vol.47, no. 1, pp. 73-79. 2010.
19. J. Byun and D. K. Kim, “Design and Implementation of Location Recommending Services using Personal Emotional Information based on Collaborative Filtering,” Journal of the Korea Institute of Information and Communication Engineering, vol. 20, no. 8, pp. 1407-1414, Aug. 2016.
20. H. C. Shin and S. B. Cho, “A Location-based Collaborative Filtering Recommender using Quadtree,”
Journal of KIISE : Computing Practices and Letters, vol. 19, no. 1, pp. 15-22, Jan. 2013.
21. K. I. Jung, B. I. Ahn, J. J. Kim and K. J. Han,
“Locatio Recommendation System based on LBSNS,”
Journal of Digital Convergence, vol. 12, no. 6, pp.
277-287, Jun. 2014.
22. M. Dumas, “Emotional Expression Recognition using Support Vector Machines,” In Proceedings of International Conference on Multimodal Interfaces, 2001.
