제안하는 해시태그 기반 감정 카테고리의 성능을 식 (4)의 정확률을 이용하여 평 가한 결과는 다음 [표 4-5]와 같다.
구분 개수 올바르게 분류된 개수 Precision(%)
Happy 250 232 92.80
Angry 250 233 93.20
Peaceful 250 216 86.40
Sad 250 226 90.40
계 1,000 907 90.70
[표 4-5] 제안한 감정 카테고리의 성능
정확성 평가는 각 감정 카테고리별 정확률과 감정 카테고리에 대한 정답률을 평 균화하여 도출하였다.
이를 [그림 4-1]과 같이 감정 카테고리별 정확률을 그래프로 표현하였다.
[그림 4-1] 감정 카테고리별 정확률
전체적으로 분류된 결과는 평균 90.7%의 정확성을 보여 제안한 감정 카테고리의 효율성을 입증하기에 만족할만한 결과를 보여주었다. 각 감정 카테고리별 결과에서 는 Angry 카테고리가 가장 높은 정확률을 보였고, Happy 카테고리가 두 번째를 이은 것으로 보아 감정의 극성이 뚜렷할수록 높은 정확성을 보인다는 것을 알 수 있었다. 각각의 감정 카테고리들의 오분류된 결과를 분석해 본 결과 Happy 카테고 리에서 올바르지 않게 분류된 정보는 대부분 Peaceful 카테고리에 해당되었으며, P eaceful 카테고리에서 올바르지 않게 분류된 정보는 대부분 Happy 카테고리에 해 당하였다. 이를 통해 두 감정 카테고리가 어느 정도 상관관계가 있다는 것을 알 수 있었다. 그 중 Peaceful 카테고리에서 Happy 카테고리로 오분류된 정보에서는 Hap py 카테고리의 감정 키워드인 'good'이라는 키워드가 크게 영향을 미친 것으로 분 석되었다. Angry와 Sad 카테고리에서는 오분류된 결과를 분석한 결과 두 카테고리 가 대부분 Happy 카테고리에 해당되었다. 이 두 감정 카테고리에서 오분류된 정보 들은 대부분 사랑과 관련된 슬픈 글귀나 슬픈 노래가사 등에 자주 등장하는 지나 간 사랑의 그리움, 아름다운 추억을 표현하는 ‘beautiful'과 ’good'이라는 키워드가 크게 영향을 미친 것으로 작용하였다. 이러한 점들을 극복하기 위해서는 향후에는 제안하는 감정 카테고리의 감정 키워드를 선정하는 데 있어 ‘good'이나 ’beautiful' 과 같이 영향을 많이 미치는 키워드들에 대한 가중치를 부여하거나 더욱 세부적인
기준을 두어 오분류 사례를 줄이는 연구가 필요할 것으로 판단된다.
[그림 4-2]는 실험 데이터 셋에서 제안하는 감정 카테고리로 올바르게 분류된 감 정 분포를 나타낸 그래프이다.
[그림 4-2] 실험 데이터 셋의 감정 분포
앞서 감정의 극성이 뚜렷할수록 높은 정확성을 보인만큼 [그림 4-2]에서도 감정 의 극성이 뚜렷한 감정이 분포에 있어서도 큰 차이는 아니지만 비교적 Happy 카 테고리에 대한 감정 분포가 가장 크며 Angry 카테고리가 그 뒤를 이었다. 이로써 본 논문에서는 감정 분류의 정확성 향상과 오분류율을 최소화하기 위해 Happy, Angry, Peaceful, Sad 4가지를 카테고리로 선정하여 분류기준을 세워 감정 카테고 리를 제시하였고, 제시한 감정 카테고리에 대한 정확률을 측정하여 성능을 평가하 였다. 향후에는 4가지 감정 외에 분류될 수 있는 대표 감정들을 추가하여 적용한다 면 사용자의 감정을 보다 세밀하게 분석할 수 있는 연구가 될 것이라 생각한다.
이와 같이 본 연구에서 제시하는 감정 카테고리를 통해 사용자의 감정을 분석해 봄으로써 주관적인 감정에 대한 판단을 객관적으로 해결했다는데 큰 의미가 있다.
이를 통해 대용량의 감정 분류 체계가 갖춰진다면 SNS를 통한 주요 이슈나 사회 적 현상 등 다양한 분야에 대한 감정 분석이 가능할 것으로 기대되며 나아가 SNS 상에서 사용자 맞춤형 서비스, 추천서비스 또는 감성마케팅 등으로 활용될 것으로 기대된다.