1. 오분류표
분류기준을 0.5로 했을 때 각 모형별 오분류표는 다음과 같다.
〈표 5-6〉 로지스틱(분류기준: 0.5) 오분류표
구분 예측 변수
0 1
목표변수 0 5,916 131 실제 0
1 413 263 실제 1
예측 0 예측 1
〈표 5-7〉 Elastic Net(분류기준: 0.5) 오분류표
구분 예측 변수
0 1
목표변수 0 5,918 129 실제 0
1 415 261 실제 1
예측 0 예측 1
〈표 5-8〉 Tree(분류기준: 0.5) 오분류표
구분 예측 변수
0 1
목표변수 0 5,968 79 실제 0
1 471 205 실제 1
예측 0 예측 1
〈표 5-9〉 Boosting(분류기준: 0.5) 오분류표
2. 정확도, 특이도 및 민감도
분류문제에서 분류기준을 얼마로 잡느냐에 따라 정확도, 특이도, 민감 도는 달라진다. 분류기준을 0.5, 0.6, 0.7, 0.8, 0.9로 했을 때의 모형별 정확도, 특이도, 민감도 결과는 다음과 같다.
〈표 5-13〉 분류기준 0.5 결과
logistic elastic tree boosting random
forest svm deep learning 정확도 91.91% 91.91% 91.82% 92.38% 91.92% 91.24% 90.79%
특이도 97.83% 97.87% 98.69% 97.75% 97.45% 98.29% 95.83%
민감도 38.91% 38.61% 30.33% 44.38% 42.46% 28.10% 45.71%
〈표 5-14〉 분류기준 0.6 결과
logistic elastic tree boosting random
forest svm deep learning 정확도 91.79% 91.80% 91.82% 92.09% 92.16% 91.16% 91.00%
특이도 98.86% 98.86% 98.69% 98.68% 98.66% 98.71% 96.79%
민감도 28.55% 28.70% 30.33% 33.14% 34.02% 23.66% 39.20%
〈표 5-15〉 분류기준 0.7 결과
logistic elastic tree boosting random
forest svm deep learning 정확도 91.21% 91.19% 91.82% 91.39% 91.54% 90.88% 90.94%
특이도 99.29% 99.27% 98.69% 99.22% 99.22% 98.90% 97.53%
민감도 18.93% 18.93% 30.33% 21.30% 22.78% 19.08% 31.95%
평가지표를 민감도로 한다면 이 경우에는 Decision Tree의 결과가 가 장 좋다. 하지만 Decision Tree의 경우, 분류기준을 0.5부터 0.7로 했을
경우, 실제 1인데 1로 예측되는 케이스 숫자 205명이다. 반면, 분류기준 을 0.8, 0.9로 했을 경우에는 Decision Tree 모형은 모두 0으로 분류(예 측)하였다.
이를 보면 반응변수가 0의 케이스 숫자와 1의 케이스 숫자가 많이 차이가 나는 경우, 하나의 평가 기준만 고려해서는 안 된다는 것을 알 수 있다.
〈표 5-16〉 분류기준 0.8 결과
logistic elastic tree boosting random
forest svm deep learning 정확도 90.41% 90.41% 89.94% 90.79% 90.79% 90.82% 90.86%
특이도 99.69% 99.69% 100% 99.69% 99.77% 99.47% 98.31%
민감도 7.40% 7.40% 0% 11.24% 10.50% 13.46% 24.26%
〈표 5-17〉 분류기준 0.9 결과
logistic elastic tree boosting random
forest svm deep learning 정확도 90.06% 90.05% 89.94% 90.14% 90.08% 90.45% 90.74%
특이도 99.95% 99.95% 100% 99.93% 99.95% 99.76% 99.02%
민감도 1.63% 1.48% 0% 2.51% 1.78% 7.10% 16.71%
분류기준에 따라 정확도, 특이도, 민감도 결과 부스팅이 전반적으로 우 수한 성능을 보이고 있다. deep learning(CNN)의 경우, 민감도 결과를 보면 다른 방법에 비해 상대적으로 높은 성능을 보이고 있음을 확인하였다.
3. ROC Curve
〔그림 5-5〕 ROC Curve
4. AUC
〈표 5-18〉 AUC 결과
모형 AUC
Logistic 0.9058
Elastic Net 0.9059
Decision Tree 0.8335
Boodsting 0.9161
Random Forest 0.9101
SVM 0.8530
Deep Learning(CNN) 0.8726
ROC, AUC 모두 앙상블 기법인 부스팅과 랜덤 포레스트의 결과가 제 일 좋음을 알 수 있다.
5. Lift
이익도표의 %Response 통계량으로 모형을 평가하였다.
사후확률 순서대로 정렬하였을 때 상위 5%, 상위 10%, 상위 15%, 상 위 20%, 상위 25%, 상위 30%를 1등급으로 하여 모형별로 %Response 통계량을 계산하였다.
〔그림 5-6〕 Lift 산출 과정
10 fold partition으로 10개 test set의 %Response 평균 산출한 결 과는 다음과 같다.
〈표 5-19〉 등급별 lift의 %Response
등급 logistic elastic Tree Boosting Ranf svm Deep
Learning random
5% 11.7 23.6 24.1 24.6 24.3 12.9 14.5 3.4
10% 29.5 41.1 44.4 44.4 41 32.9 32.6 8
15% 55 66.9 70.4 68 65.7 57.3 56.8 10.3
20% 81.6 94.4 98.1 96.2 94.2 84.4 82.4 14.3
25% 111.4 124.3 126.2 126.3 124.5 113.4 110.7 16.8 30% 141.6 156.1 159.4 157.6 156.2 144.2 138.9 20.7
〈표 5-20〉 등급별 lift의 %Response 정확도(%)
logistic elastic Tree Boosting Ranf svm Deep
Learning random 5%
acc 34.41 69.41 70.88 72.35 71.47 37.94 42.65 3.4 10%
acc 44.03 61.34 66.27 66.27 61.19 49.10 48.66 8 15%
acc 54.46 66.24 69.7 67.33 65.05 56.73 56.24 10.3 20%
acc 60.9 70.45 73.21 71.79 70.3 62.99 61.49 14.3 25%
acc 66.31 73.99 75.12 75.18 74.11 67.50 65.89 16.8 30%
acc 70.1 77.28 78.91 78.02 77.33 71.39 68.76 20.7
lift 의 %Response 통계량 역시, 부스팅과 랜덤 포레스트 알고리즘이 높은 성능을 보이고 있고, 의사결정나무도 상대적으로 좋은 결과를 보이 고 있다. 이 데이터에서는 Deep learning(CNN) 방법이 이미지(image) 분석이나 언어(language) 분석처럼 좋은 결과를 나타내지는 못했다.