본 시스템은 C, C++ 언어를 사용하여 구현하였으며 자질 추출을 위하 여 국민대학교 자연어처리 연구실의 형태소 분석기를 이용하였다. 실험 에 사용된 댓글 문서는 국내 웹사이트(조선닷컴, 네이버)에서 악성 댓글 로 인해 인권 침해 논란이 있었던 기사의 댓글을 무작위로 선정하였다.
총 댓글 문서 수는 2200개였고, 이 SVMlight의 성능을 높이기 위해 Non악 성 댓글 문서 수와 악성 댓글 문서 수를 각 1100개씩 추출하였다.
4.1 실험 데이터 구성
트레이닝 및 테스트에 사용된 데이터들은 실제 포탈사이트의 뉴스에 대한 댓글들을 수집하여 구성하였다.
데이터의 구성은 <표 4>와 같다. 실험을 하기 위해 학습기와 분류기에 사용된 데이터들은 총 2,200개의 인터넷 뉴스 댓글을 사용하였고, 이에 학습 문서을 위해 총 댓글의 90%인 1,980개, 분류 실험을 위해 총 댓글 의 10%인 220개를 사용하였다.
표 4. 데이터 셋의 구성
Training Data Test Data
악성 댓글 990 110
Non악성 댓글 990 110
합 계 1,980 220
학습의 정확도를 높이기 위해 악성 댓글과 Non악성 댓글의 비율을 1:1 로 같게 하였다.
4.2 실험 평가 방법
R(recall)악성 = d
b + d
<식 6>
2P악성R악성 F1-measure악성 =
P악성 + R악성
<식 7>
a + d Accuracy =
a + b + c + d
<식 8>
정확률(precision)은 어떤 분류에 속한다고 판정된 문서 중 제대로 분 류된 문서의 비율을 말한다. 재현율(Recall)은 실제로 어떤 분야에 속하 는 문서 중 제대로 분류된 문서의 비율을 말한다.
<식 5>과 <식 6>에서 P(Precision)악성은 분류 시스템에서 악성 댓글에 속한다고 판정된 문서 중 진짜 악성인 댓글의 개수이다. R(recall)악성은 실제로 악성 댓글에 속하는 문서 중 분류 시스템이 제대로 악성으로 분 류한 댓글의 개수이다.
4.3 실험 결과
본 논문에서는 자질 추출 후 자질 선택 방법을 6가지로 구성하여 실험 하였다. <표 3>은 6가지의 자질 선택 방법에 따라 문서 처리 과정을 마 친 2,200개의 댓글 문서를 10-fold cross validation방식으로 실험한 평균값 이다. Accuracy은 전체 입력 댓글 수 중 분류기가 Non악성 댓글을 Non악 성 댓글로, 악성 댓글을 악성 댓글로 맞게 분류한 총 개수이다.
표 6. 댓글 필터링 성능 비교
모델 Accuracy Precision Recall F1-measure K-0 66.10% 63.31% 78.40% 70.05 K-1 65.80% 63.77% 74.60% 68.76 K-4 65.75% 63.99% 74.00% 68.63 K-S0 68.05% 65.52% 78.70% 71.51 K-S1 66.90% 64.52% 77.10% 70.25 K-S4 65.90% 64.15% 74.10% 68.77
F1-measure 측정 결과에서 자질 선택시 명사만(K_0) 선택한 것은 같은 조건의 다른 품사를(K_1, K_4) 포함하는 것보다 1.1%정도 성능이 높게
나왔고, 공백을 기준으로 얻은 자질 즉, 어절 자체와 명사(K_S0)를 포함한 것은 어절 자체를 포함하지 않은 데이터보다(K_0) 1.5% 향상된 성능을 얻을 수 있었다.
어절 자체와 명사(K_S0)를 포함한 실험이 성능 면에서 향상된 결과를 얻을 수 있었던 이유는 누리꾼들 사이에서 유행처럼 사용하는 신조어의 영향 때문이다. 신조어들이 많이 만들어지는 현상에 대한 원인은 글을 빨리 쓰기 위하여 음운을 축약하여 두 글자는 한 글자로, 세 글자는 두 글자로 줄여 쓰던 것이 하나의 새로운 단어가 되는 경우, 의성어나 의태어의 첫 자음을 따서 쓰는 경우, 또 의식적으로 만들어 쓰기 때문인 경우로 나누어 생각할 수 있다. 댓글에서 이런 신조어들을 네티즌들이 많이 사용하고 있고, 그런 단어들의 빈도수가 높기 때문이다.
SVMlight의 성능이 높게 나오려면 해당 범주를 잘 표현하는 문장이
텍스트 문서 내에 다수 포함하고 있어야 한다. 그러나, 댓글의 특성상 대부분이 100자 이내의 한 줄 문장이며, 해당 범주를 잘 표현하는 자질이 한 문장에 한번내지 두번 등장하기 때문에 높은 성능을 내는데 한계가 있었다.