가
.
모든 특징(
제목,
초록, Mesh,
출판유형)
조합: TAMP (1) SVM
SVM
을 이용한 세 가지 모델의AUC
는<Table 3-15>
와 같다.
모델1
의 평균AUC
는0.78(
범위0.71-0.83),
모델2
의 평균AUC
는0.73(
범위0.56-0.87),
모델3
의 평균AUC
는0.84(
범위0.77-0.90)
로,
모델3
의AUC
가 가장 높았다.
주제별로 살펴보면
,
모델1
과 모델2
에서는Urinary Incontinence
의AUC
가 각각0.83, 0.87
로 가장 높았고, Calcium Channel Blockers
의AUC
가 각각0.71, 0.56
으로 가장 낮았다.
모델3
에서는Atypical Antipsychotics
의AUC
가0.90
으로 가장 높았고, Calcium Channel Blockers
의AUC
가0.77
로 가장 낮았다.
Table 3-15. Mean AUCs of the Three Models across 4 Drug Systematic Reviews using SVM with TAMP
Topics Model 1 Model 2 Model 3
Atypical Antipsychotics 0.75 (0.75-0.77)
0.73 (0.72-0.74)
0.90 (0.88-0.91)
Beta Blockers 0.82
(0.79-0.85)
0.78 (0.76-0.83)
0.83 (0.81-0.85) Calcium Channel Blockers 0.71
(0.69-0.74)
0.56 (0.54-0.57)
0.77 (0.76-0.87) Urinary Incontinence 0.83
(0.80-0.85)
0.87 (0.86-0.87)
0.87 (0.86-0.87)
MEAN 0.78
(0.71-0.83)
0.73 (0.56-0.87)
0.84 (0.77-0.90) The range of AUC is shown in parenthesis.
SVM
을 이용한 세 가지 모델의 정확도는<Table 3-16>
과 같다.
모델1
의 평균 정확도는0.80(
범위0.70-0.87),
모델2
의 평균 정확도는0.67(
범 위0.52-0.83),
모델3
의 평균 정확도는0.69(
범위0.61-0.77)
로,
모델1
의 정확도가 가장 높았다.
주제별로 살펴보면
,
모델1
에서는Urinary Incontinence
의 정확도가0.87
로 가장 높았고, Beta Blockers
의 정확도가0.70
으로 가장 낮았다.
모델2
에서는Urinary Incontinence
의 정확도가0.83
으로 가장 높았고, Calcium Channel Blockers
의 정확도가0.52
로 가장 낮았다.
모든 주제에서 모델1
의 정확도가 모델2
보다 높았다.
모델3
에서는Urinary Incontinence
의 정 확도가0.77
로 가장 높았고, Calcium Channel Blockers
의 정확도가0.61
로 가장 낮았다.
Table 3-16. Mean Accuracies of the Three Models across 4 Drug Systematic Reviews using SVM with TAMP
Topics Model 1 Model 2 Model 3
Atypical Antipsychotics 0.82 (0.80-0.86)
0.75 (0.73-0.76)
0.63 (0.57-0.68)
Beta Blockers 0.70
(0.67-0.75)
0.57 (0.53-0.63)
0.74 (0.68-0.79) Calcium Channel Blockers 0.82
(0.78-0.85)
0.52 (0.50-0.52)
0.61 (0.56-0.63) Urinary Incontinence 0.87
(0.87-0.88)
0.83 (0.82-0.84)
0.77 (0.75-0.79)
MEAN 0.80 0.67 0.69
SVM
을 이용한 세 가지 모델의 민감도는<Table 3-17>
과 같다.
모델1
의 평균 민감도는0.49(
범위0.32-0.80),
모델2
와 모델3
의 평균 민감도는0.68(
범위0.56-0.83)
로,
모델2
와 모델3
의 민감도가 모델1
보다 높았다.
주제별로 살펴보면
,
모델1, 2, 3
모두Beta Blockers
의 민감도가 각각0.80, 0.83, 0.83
으로 가장 높았고, Calcium Channel Blockers
의 민감도가 각각0.32, 0.56, 0.56
으로 가장 낮았다.
모든 주제에서 모델2
와 모델3
의 민감도가 모델1
보다 높았다.
Table 3-17. Mean Sensitivities of the Three Models across 4 Drug Systematic Reviews using SVM with TAMP
Topics Model 1 Model 2 Model 3
Atypical Antipsychotics 0.42 (0.26-0.49)
0.60 (0.53-0.65)
0.60 (0.53-0.65)
Beta Blockers 0.80
(0.76-0.86)
0.83 (0.79-0.88)
0.83 (0.79-0.88) Calcium Channel Blockers 0.32
(0.18-0.42)
0.56 (0.50-0.60)
0.56 (0.50-0.60) Urinary Incontinence 0.41
(0.30-0.48)
0.73 (0.70-0.75)
0.73 (0.70-0.75)
MEAN 0.49
(0.32-0.80)
0.68 (0.56-0.83)
0.68 (0.56-0.83) The range of sensitivity is shown in parenthesis.
SVM
을 이용한 세 가지 모델의 특이도는<Table 3-18>
과 같다.
모델1
의 평균 특이도는0.85(
범위0.70-0.94),
모델2
의 평균 특이도는0.67(
범 위0.51-0.85),
모델3
의 평균 특이도는0.83(
범위0.71-0.98)
으로,
모델1
의 특이도가 가장 높았다.
주제별로 살펴보면
,
모델1
에서는Urinary Incontinence
의 특이도가0.94
로 가장 높았고, Beta Blockers
의 특이도가0.70
으로 가장 낮았다.
모델2
에서는Urinary Incontinence
의 특이도가0.85
로 가장 높았고, Calcium Channel Blockers
의 특이도가0.51
로 가장 낮았다.
모든 주제에서 모델1
의 특이도가 모델2
보다 높았다.
모델3
에서는Atypical Antipsychotics
의 특이도가0.98
로 가장 높았고, Beta Blockers
의 특이도가0.71
로 가장 낮았 다.
Table 3-18. Mean Specificities of the Three Models across 4 Drug Systematic Reviews using SVM with TAMP
Topics Model 1 Model 2 Model 3
Atypical Antipsychotics 0.88 (0.84-0.90)
0.77 (0.75-0.79)
0.98 (0.91-1.00)
Beta Blockers 0.70
(0.67-0.75)
0.56 (0.52-0.63)
0.71 (0.61-0.80) Calcium Channel Blockers 0.86
(0.81-0.91)
0.51 (0.50-0.53)
0.78 (0.72-0.84) Urinary Incontinence 0.94
(0.93-0.95)
0.85 (0.83-0.85)
0.85 (0.81-0.90)
MEAN 0.85 0.67 0.83
(2) Na
їve Bayesian
Na
їve Bayesian
을 이용한 세 가지 모델의 정확도는<Table 3-19>
와 같 다.
모델1
의 평균 정확도는0.73(
범위0.51-0.87),
모델2
의 평균 정확도 는0.56(
범위0.39-0.75),
모델3
의 평균 정확도는0.66(
범위0.55-0.79)
으로,
모델1
의 정확도가 가장 높았다.
주제별로 살펴보면
,
모델1, 2, 3
모두Urinary Incontinence
의 정확도가 각각0.87, 0.75, 0.79
로 가장 높았고, Beta Blockers
의 정확도가 각각0.51, 0.39, 0.55
로 가장 낮았다.
모든 주제에서 모델1
의 정확도가 모델2
보다 높았다.
Table 3-19. Mean Accuracies of the Three Models across 4 Drug Systematic Reviews using Na
їve Bayesian with TAMP
Topics Model 1 Model 2 Model 3
Atypical Antipsychotics 0.74 (0.70-0.82)
0.62 (0.59-0.64)
0.71 (0.69-0.73)
Beta Blockers 0.51
(0.48-0.84)
0.39 (0.31-0.45)
0.55 (0.47-0.62) Calcium Channel Blockers 0.79
(0.75-0.85)
0.48 (0.46-0.52)
0.61 (0.55-0.68) Urinary Incontinence 0.87
(0.85-0.89)
0.75 (0.73-0.78)
0.79 (0.74-0.82)
MEAN 0.73
(0.51-0.87)
0.56 (0.39-0.75)
0.66 (0.55-0.79) The range of accuracy is shown in parenthesis.
Topics Model 1 Model 2 Model 3 Atypical Antipsychotics 0.64
(0.40-0.80)
0.69 (0.68-0.71)
0.69 (0.68-0.71)
Beta Blockers 0.88
(0.80-0.93)
0.92 (0.90-0.93)
0.92 (0.90-0.93) Calcium Channel Blockers 0.47
(0.25-0.72)
0.60 (0.54-0.68)
0.60 (0.54-0.68) Urinary Incontinence 0.64
(0.50-0.92)
0.80 (0.78-0.85)
0.80 (0.78-0.85)
MEAN 0.66
(0.47-0.88)
0.76 (0.60-0.92)
0.76 (0.60-0.92) The range of sensitivity is shown in parenthesis.
Na
їve Bayesian
을 이용한 세 가지 모델의 민감도는<Table 3-20>
과 같 다.
모델1
의 평균 민감도는0.66(
범위0.47-0.88),
모델2
와 모델3
의 평 균 민감도는0.76(
범위0.60-0.92)
으로,
모델2
와 모델3
의 민감도가 모델1
보다 높았다.
주제별로 살펴보면
,
모델1, 2, 3
모두Beta Blockers
의 민감도가 각각0.88, 0.92, 0.92
로 가장 높았고, Calcium Channel Blockers
의 민감도가 각 각0.47, 0.60, 0.60
으로 가장 낮았다.
모든 주제에서 모델2
와 모델3
의 민감도가 모델1
보다 높았다.
Table 3-20. Mean Sensitivities of the Three Models across 4 Drug
Systematic Reviews using Na
їve Bayesian with TAMP
Na
їve Bayesian
을 이용한 세 가지 모델의 특이도는<Table 3-21>
과 같 다.
모델1
의 평균 특이도는0.75(
범위0.50-0.91),
모델2
의 평균 특이도 는0.55(
범위0.38-0.75),
모델3
의 특이도는0.67(
범위0.41-0.87)
로,
모델1
의 특이도가 가장 높았다.
주제별로 살펴보면
,
모델1
과 모델2
에서는Urinary Incontinence
의 특 이도가 각각0.91, 0.75
로 가장 높았고, Beta Blockers
의 특이도가 각각0.50, 0.38
로 가장 낮았다.
모든 주제에서 모델1
의 특이도가 모델2
보다 높았다.
모델3
에서는Atypical Antipsychotics
의 특이도가0.87
로 가장 높 았고, Beta Blockers
의 특이도가0.41
로 가장 낮았다.
Table 3-21. Mean Specificities of the Three Models across 4 Drug Systematic Reviews using Na
їve Bayesian with TAMP
Topics Model 1 Model 2 Model 3
Atypical Antipsychotics 0.77 (0.70-0.88)
0.61 (0.58-0.64)
0.87 (0.82-0.91)
Beta Blockers 0.50
(0.47-0.53)
0.38 (0.30-0.44)
0.41 (0.28-0.49) Calcium Channel Blockers 0.82
(0.77-0.90)
0.47 (0.44-0.52)
0.64 (0.60-0.68) Urinary Incontinence 0.91
(0.89-0.94)
0.75 (0.72-0.78)
0.76 (0.62-0.86)
MEAN 0.75
(0.50-0.91)
0.55 (0.38-0.75)
0.67 (0.41-0.87) The range of specificity is shown in parenthesis.
나
. Mesh
와 출판유형 조합: MP (1) SVM
SVM
을 이용한 세 가지 모델의AUC
는<Table 3-22>
와 같다.
모델1
의 평균AUC
는0.77(
범위0.72-0.82),
모델2
의 평균AUC
는0.75(
범위0.65-0.87),
모델3
의 평균AUC
는0.83(
범위0.73-0.93)
으로,
모델3
의AUC
가 가장 높았다.
주제별로 살펴보면
,
모델1
과 모델2
에서는Urinary Incontinence
의AUC
가 각각0.83, 0.87
로 가장 높았고, Calcium Channel Blockers
의AUC
가 각각0.72, 0.65
로 가장 낮았다.
모델3
에서는Beta Blockers
의AUC
가0.93
으로 가장 높았고, Calcium Channel Blockers
의AUC
가0.73
으로 가장 낮았다.
Table 3-22. Mean AUCs of the Three Models across 4 Drug Systematic Reviews using SVM with MP
Topics Model 1 Model 2 Model 3
Atypical Antipsychotics 0.73 (0.72-0.74)
0.69 (0.68-0.71)
0.85 (0.83-0.89)
Beta Blockers 0.81
(0.79-0.82)
0.77 (0.75-0.79)
0.93 (0.92-0.95) Calcium Channel Blockers 0.72
(0.71-0.73)
0.65 (0.63-0.66)
0.73 (0.72-0.74) Urinary Incontinence 0.82
(0.79-0.85)
0.87 (0.87-0.88)
0.80 (0.78-0.81)
SVM
을 이용한 세 가지 모델의 정확도는<Table 3-23>
과 같다.
모델1
의 평균 정확도는0.78(
범위0.68-0.89),
모델2
의 평균 정확도는0.62(
범 위0.43-0.80),
모델3
의 평균 정확도는0.73(
범위0.65-0.86)
으로,
모델1
의 정확도가 가장 높았다.
주제별로 살펴보면
,
모델1
에서는Urinary Incontinence
의 정확도가0.89
로 가장 높았고, Beta Blockers
의 정확도가0.68
로 가장 낮았다.
모델2
에 서는Urinary Incontinence
의 정확도가0.80
으로 가장 높았고, Calcium Channel Blockers
의 정확도가0.43
으로 가장 낮았다.
모든 주제에서 모델1
의 정확도가 모델2
보다 높았다.
모델3
에서는Beta Blockers
의 정확도가0.86
으로 가장 높았고, Atypical Antipsychotics
의 정확도가0.65
로 가장 낮 았다.
Table 3-23. Mean Accuracies of the Three Models across 4 Drug Systematic Reviews using SVM with MP
Topics Model 1 Model 2 Model 3
Atypical Antipsychotics 0.78 (0.74-0.81)
0.66 (0.63-0.68)
0.65 (0.63-0.68)
Beta Blockers 0.68
(0.67-0.69)
0.58 (0.55-0.61)
0.86 (0.84-0.88) Calcium Channel Blockers 0.76
(0.64-0.82)
0.43 (0.42-0.46)
0.69 (0.66-0.71) Urinary Incontinence 0.89
(0.88-0.90)
0.80 (0.79-0.82)
0.70 (0.67-0.72)
MEAN 0.78
(0.68-0.89)
0.62 (0.43-0.80)
0.73 (0.65-0.86) The range of accuracy is shown in parenthesis.
Topics Model 1 Model 2 Model 3 Atypical Antipsychotics 0.49
(0.38-0.60)
0.63 (0.60-0.67)
0.63 (0.60-0.67)
Beta Blockers 0.79
(0.76-0.83)
0.83 (0.76-0.88)
0.83 (0.76-0.88) Calcium Channel Blockers 0.48
(0.35-0.63)
0.71 (0.68-0.72)
0.71 (0.68-0.72) Urinary Incontinence 0.51
(0.45-0.58)
0.77 (0.73-0.83)
0.77 (0.73-0.83)
MEAN 0.57
(0.48-0.79)
0.73 (0.63-0.83)
0.73 (0.63-0.83) The range of sensitivity is shown in parenthesis.
SVM
을 이용한 세 가지 모델의 민감도는<Table 3-24>
와 같다.
모델1
의 평균 민감도는0.57(
범위0.48-0.79),
모델2
와 모델3
의 평균 민감도는0.73(
범위0.63-0.83)
으로,
모델2
와 모델3
의 민감도가 모델1
보다 높았 다.
주제별로 살펴보면
,
모델1
에서는Beta Blockers
의 민감도가0.79
로 가 장 높았고, Calcium Channel Blockers
의 민감도가0.48
로 가장 낮았다.
모 델2
와 모델3
에서는Beta Blockers
의 민감도가0.83
으로 가장 높았고, Atypical Antipsychotics
의 민감도가0.63
으로 가장 낮았다.
모든 주제에서 모델2
와 모델3
의 민감도가 모델1
보다 높았다.
Table 3-24. Mean Sensitivities of the Three Models across 4 Drug
Systematic Reviews using SVM with MP
SVM
을 이용한 세 가지 모델의 특이도는<Table 3-25>
와 같다.
모델1
의 평균 특이도는0.81(
범위0.68-0.94),
모델2
의 평균 특이도는0.61(
범 위0.41-0.80),
모델3
의 평균 특이도는0.76(
범위0.57-0.96)
으로,
모델1
의 특이도가 가장 높았다.
주제별로 살펴보면
,
모델1
에서는Urinary Incontinence
의 특이도가0.94
로 가장 높았고, Beta Blockers
의 특이도가0.68
로 가장 낮았다.
모델2
에 서는Urinary Incontinence
의 특이도가0.80
으로 가장 높았고, Calcium Channel Blockers
의 특이도가0.41
로 가장 낮았다.
모든 주제에서 모델1
의 특이도가 모델2
보다 높았다.
모델3
에서는Atypical Antipsychotics
의 특이도가0.96
으로 가장 높았고, Urinary Incontinence
의 특이도가0.57
로 가장 낮았다.
Table 3-25. Mean Specificities of the Three Models across 4 Drug Systematic Reviews using SVM with MP
Topics Model 1 Model 2 Model 3
Atypical Antipsychotics 0.82 (0.76-0.88)
0.66 (0.62-0.69)
0.96 (0.82-1.00)
Beta Blockers 0.68
(0.67-0.69)
0.57 (0.54-0.60)
0.87 (0.85-0.88) Calcium Channel Blockers 0.79
(0.64-0.86)
0.41 (0.39-0.44)
0.64 (0.60-0.68) Urinary Incontinence 0.94
(0.92-0.95)
0.80 (0.79-0.83)
0.57 (0.48-0.71)
MEAN 0.81
(0.68-0.94)
0.61 (0.41-0.80)
0.76 (0.57-0.96) The range of specificity is shown in parenthesis.
(2) Na
їve Bayesian
Na
їve Bayesian
을 이용한 세 가지 모델의 정확도는<Table 3-26>
과 같 다.
모델1
의 평균 정확도는0.61(
범위0.38-0.83),
모델2
의 평균 정확도 는0.50(
범위0.42-0.66),
모델3
의 평균 정확도는0.76(
범위0.72-0.83)
으로,
모델3
의 정확도가 가장 높았다.
주제별로 살펴보면
,
모델1
에서는Urinary Incontinence
의 정확도가0.83
으로 가장 높았고, Beta Blockers
의 정확도가0.38
로 가장 낮았다.
모델2
에서는Urinary Incontinence
의 정확도가0.66
으로 가장 높았고, Calcium Channel Blockers
의 정확도가0.42
로 가장 낮았다.
모델3
에서는Atypical Antipsychotics
의 정확도가0.83
으로 가장 높았고, Calcium Channel Blockers
와Urinary Incontinence
의 정확도가0.72
로 가장 낮았다.
Table 3-26. Mean Accuracies of the Three Models across 4 Drug Systematic Reviews using Na
їve Bayesian with MP
Topics Model 1 Model 2 Model 3
Atypical Antipsychotics 0.54 (0.51-0.57)
0.48 (0.45-0.51)
0.83 (0.82-0.85)
Beta Blockers 0.38
(0.36-0.40)
0.43 (0.40-0.45)
0.78 (0.73-0.83) Calcium Channel Blockers 0.68
(0.52-0.73)
0.42 (0.38-0.48)
0.72 (0.66-0.75) Urinary Incontinence 0.83
(0.82-0.84)
0.66 (0.65-0.69)
0.72 (0.70-0.74)
0.61 0.50 0.76
Topics Model 1 Model 2 Model 3 Atypical Antipsychotics 0.78
(0.74-0.82)
0.83 (0.82-0.85)
0.83 (0.82-0.85)
Beta Blockers 0.94
(0.90-0.95)
0.91 (0.86-0.95)
0.91 (0.86-0.95) Calcium Channel Blockers 0.56
(0.45-0.80)
0.75 (0.67-0.80)
0.75 (0.67-0.80) Urinary Incontinence 0.69
(0.63-0.75)
0.91 (0.88-0.93)
0.91 (0.88-0.93)
MEAN 0.74
(0.56-0.94)
0.85 (0.75-0.91)
0.85 (0.75-0.91) The range of sensitivity is shown in parenthesis.
Na
їve Bayesian
을 이용한 세 가지 모델의 민감도는<Table 3-27>
과 같 다.
모델1
의 평균 민감도는0.74(
범위0.56-0.94),
모델2
와 모델3
의 평 균 민감도는0.85(
범위0.75-0.91)
로,
모델2
와 모델3
의 민감도가 모델1
보다 높았다.
주제별로 살펴보면
,
모델1
에서는Beta Blockers
의 민감도가0.94
로 가 장 높았고, Calcium Channel Blockers
의 민감도가0.56
으로 가장 낮았다.
모델2
와 모델3
에서는Beta Blockers
와Urinary Incontinence
의 민감도가0.91
로 가장 높았고, Calcium Channel Blockers
의 민감도가0.75
로 가장 낮 았다.
Table 3-27. Mean Sensitivities of the Three Models across 4 Drug
Systematic Reviews using Na
їve Bayesian with MP
Na
їve Bayesian
을 이용한 세 가지 모델의 특이도는<Table 3-28>
과 같 다.
모델1
의 평균 특이도는0.60(
범위0.37-0.85),
모델2
의 평균 특이도 는0.47(
범위0.39-0.63),
모델3
의 특이도는0.62(
범위0.37-0.78)
로,
모델3
의 특이도가 가장 높았다.
주제별로 살펴보면
,
모델1
에서는Urinary Incontinence
의 특이도가0.85
로 가장 높았고, Beta Blockers
의 특이도가0.37
로 가장 낮았다.
모델2
에 서는Urinary Incontinence
의 특이도가0.63
으로 가장 높았고, Calcium Channel Blockers
의 특이도가0.39
로 가장 낮았다.
모델3
에서는Atypical Antipsychotics
의 특이도가0.78
로 가장 높았고, Urinary Incontinence
의 특 이도가0.37
로 가장 낮았다.
Table 3-28. Mean Specificities of the Three Models across 4 Drug Systematic Reviews using Na
їve Bayesian with MP
Topics Model 1 Model 2 Model 3
Atypical Antipsychotics 0.50 (0.46-0.54)
0.43 (0.41-0.46)
0.78 (0.73-0.82)
Beta Blockers 0.37
(0.35-0.39)
0.42 (0.39-0.44)
0.73 (0.68-0.79) Calcium Channel Blockers 0.69
(0.49-0.76)
0.39 (0.35-0.46)
0.60 (0.56-0.64) Urinary Incontinence 0.85
(0.83-0.87)
0.63 (0.61-0.66)
0.37 (0.33-0.38)
MEAN 0.60
(0.37-0.85)
0.47 (0.39-0.63)
0.62 (0.37-0.78)