B. 어텐션 메커니즘을 이용한 가중치 추출 결과
Ⅵ. 결론
본 연구를 통해 이에이치알 데이터를 활용한 딥러닝 기반의 만성 신질환 위험도를 예측하였다. 진단 및 처방 정보만을 이용하여 만성 신질환의 진단 여부를 예측하고, 시계열 정보를 고려하는 데 효과적인 딥러닝 기반의 모델을 적용하여, 다양한 모델 구조를 통해 성능을 비교 분석하였다. 또한 이에이치알 데이터를 바로 신경망에 입력하지 않고 임베딩을 통해 데이터의 희소성을 완화하고 어텐션 메커니즘을 적용하여 어떤 시점에서 만성 신질환 위험도 예측에 결정적인 영향을 미쳤는지 분석하였다.
진단 정보와 처방 정보만을 이용하여 조기 발견이 어려운 만성 신질환을 보다 효과적으로 예측하여 만성 신질환의 발병 지연 및 유병률 감소에 기여할 수 있을 것이며 더 나아가 본 모델이 다기관에 범용적으로 적용이 가능한 만성 신질환 조기 예측 전략으로 활용되길 기대한다.
61
참고문헌
1. Kopple JD: National Kidney Foundation K/DOQI clinical practice guidelines for nutrition in chronic renal failure. Am J Kidney Dis 37: S66–S70, 2001 2. Lovey AS, Coresh J: Chronic kidney disease. Lancet 379:165-180, 2012 3. 이형민, 오경원: 만성콩팥병 유병현황, 2013
4. 김영훈: 만성 콩팥병 단계에 다른 치료의 최신 경향, 대한내과학회지:
제 76권 제 5호, 2009
5. Vijayarani S, Dhayanand S: Data mining classification algorithms for kidney disease prediction. International Journal on Cybernetics and Informatics (IJCI). Aug; 4(4), 2015
6. Parul Sinha, Poonam Sinha: Comparative Study of Chronic Kidney Disease Prediction using KNN and SVM. International Journal of Engineering Research & Technology (IJERT) ISSN: 2278-0181 Vol. 4 Issue 12, December, 2015
7. Ying Sha and May D Wang: Interpretable Predictions of Clinical Outcomes with An Attention-based Recurrent Neural Network. In Proceedings of the 8th ACM International Conference on Bioinformatics, Computational Biology, and Health Informatics. ACM, 233–240, 2017
8. Brett K. Beaulieu-Jones, Casey S. Greene, the Pooled Resource Open-Access ALS Clinical Trials Consortium: Semi-supervised learning of the electronic health record for phenotype stratification. Journal of Biomedical Informatics 64 168-178, 2016
9. E Choi, A Schuetz, WF Stewart, and Jimeng Sun: Using recurrent neural network models for early detection of heart failure onset. Journal of the American Medical Informatics Association 24, 2, 361–370, 2016
10. Bengio, Y., Goodfellow, I. J., & Courville, A: Deep Learning. Book in preparationfor MIT Press, 2015
11. Goodfellow, I.; Bengio, Y.; and Courville, A: 2016. Deep learning. 2015.
62
12. M. Mozaffari-Kermani, S. Sur-Kolay, A. Raghunathan, and N. K. Jha:
Systematic poisoning attacks on and defenses for machine learning in healthcare, IEEE journal of biomedical and health informatics, vol. 19, no. 6, pp. 1893–1905, 2015
13. Cho, K., Courville, A., and Bengio, Y: Describing multimedia content using attention-based encoder-decoder networks. IEEE Transactions on Multimedia 17, 11, 1875-1886, 2015
14. Zhang, D., Yao, L., Zhang, X., Wang, S., Chen, W., Boots, R.: EEG-based intention recognition from spatio-temporal representations via cascade and parallel convolutional recurrent neural networks. arXiv preprint arXiv:1708.06578, 2017
15. Liang, M., Hu, X.: Recurrent convolutional neural network for object recognition. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 3367–3375, 2015
16. Donahue, Jeff, Hendricks, Lisa Anne, Guadarrama, Sergio, Rohrbach, Marcus, Venugopalan, Sub- hashini, Saenko, Kate, and Darrell, Trevor.:
Long-term recurrent convolutional networks for visual recognition and description. arXiv preprint arXiv:1411.4389, 2014
17. LeCun, Y., Boser, B., Denker, J. S., Henderson, D., Howard, R. E., Hubbard, W., and Jackel, L. D: Backpropagation applied to handwritten zip code recognition. Neural Computation, 1(4):541–551, 1989
18. Y. Kim: Convolutional Neural Networks for Sentence Classification. arXiv:
1408.5882, 2014
19. Lipton, Zachary C., Berkowitz, John, and Elkan, Charles: A critical review of recurrent neural networks for sequence learning. arXiv preprint arXiv:1506.00019, 2015
20. S.Hochreiter and J.Schmidhuber; Long short-term memory. Neural computation, 9(8):1735–1780, 1997
21. Cho, K., van Merrienboer, B., Gulcehre, C., Bougares, F., Schwenk, H., and Bengio, Y: Learning phrase representations using RNN encoder-decoder for statistical machine translation. In Proceedings of the Empiricial Methods in Natural Language Processing, 2014a
63
22. Schuster, M. and Paliwal, K. K: Bidirectional recurrent neural networks.
Signal Processing, IEEE Transactions on, 45(11), 2673–2681. 1997
23. Sutskever, I., Vinyals, O., and Le, Q: Sequence to sequence learning with neural networks. In Advances in Neural Information Processing Systems.
2014
24. T. Mikolov, I. Sutskever, K. Chen, G. Corrado, and J. Dean: Distributed representations of words and phrases and their compositionality. In NIPS, pages 3111-3119. 2013b
25. E. Choi, A. Schuetz, W. F. Stewart, and J. Sun: Medical concept representation learning from electronic health records and its application on heart failure prediction. arXiv:1602.03686, Feb, p. 45, 2016
26. Hripcsak G, Duke JD, Shah NH, et al: Observational Health Data Sciences and Informatics (OHDSI): opportunities for observational researchers. Stud Health Technol Inform;216:574–578, 2015
27. D. Bahdanau, K. Cho, and Y. Bengio: Neural machine translation by jointly learning to align and translate. Technical report, arXiv:1409.0473, 2014 28. Huang M-J, Wei R-bao, Wang Y, Su T, Di P, Li Q, Yang X, Li P, Chen X:
Blood coagulation system in patients with chronic kidney disease: a prospective observational study. BMJ Open 2017;7:e014294, 2016
29. El Nahas AM, Bello AK: Chronic kidney disease: the global challenge.
Lancet. 365: 331–40, 2005
30. Wong CW, Wong TY, Chen CY, Sabanayagam C: Kidney and eye diseases:
common risk factors, etiological mechanisms, and pathways. Kidney Int: 85:
1290 – 1302, 2014
31. Caravaca, F., Gonzales, B., Bayo, M. Á., and Luna, E: Musculoskeletal pain in patients with chronic kidney disease. Nefrología (English Edition), 36, 433-440, 2016
32. Pop-Busui R, Roberts L, Pennathur S, Kretzler M, Brosius FC, Reldman EL:
The management of diabetic neuropathy in CKD. Am J Kidney Dis. 55: 365–
385, 2010
64
33. Silverberg D., Wexler D., Blum M., Schwartz D., Iaina A: The association between congestive heart failure and chronic renal disease. Curr Opin Nephrol Hypertens 13:163–170. 2004
34. Gambaro, G.; Croppi, E.; Bushinsky, D.; Jaeger, P.; Cupisti, A.; Ticinesi, A.; Mazzaferro, S.; D’Addessi, A.; Ferraro, P.M: The risk of chronic kidney disease associated with urolithiasis and its urological treatments: A review. J. Urol, 198, 268–273, 2017
35. Ibrahim A.E, Sarhane K.A., Fagan S.P, Goverman J: Renal dysfunction in burns: a review, Ann Burns Fire Disasters, v.26(1), 2013
36. Andrew OT, Schoenfeld PY, Hopewell PC, et al: Tuberculosis in patients with end-stage renal disease. Am J Med. 68:59e65, 1980
37. Kazancioğlu R: Risk factors for chronic kidney disease: an update. Kidney Int Suppl (2011). 3: 368–371, 2013
38. Hripcsak G, Duke JD, Shah NH, Reich CG, Huser V, Schuemie MJ, Suchard MA, Park RW, Wong CK, Rijnbeek PR, Lei J, Pratt N, Noren GN, Li Y, Stang PE, Madigan D, Ryan PB: Observational Health Data Sciences and Informatics (OHDSI): Opportunities for Observational Researchers, 2015 39. A. N. Jagannatha and H. Yu: Bidirectional recurrent neural networks for
medical event detection in electronic health records. in Proc. conf. Assoc.
Comput. Linguistics North American Chapter Meeting, pp. 473– 482, 2016 40. E Choi, MT Bahadori, L Song, WF Stewart, and J Sun: GRAM: Graph-based Attention model for healthcare representation learning. In Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. ACM, 787–795, 2017
41. Sanne M. Schreuder, Jaap Stoker, Shandra Bipat: Prediction of presence of kidney disease in patients undergoing intravenous iodinated contrast enhanced computed tomography: a validation study. Eur Radiol 27:1613-1621, 2017
42. Navdeep Tangri, MD, FRCPC Lesley A. Stevens, MD, MS, FRCPC John Griffith, PhD Hocine Tighiouart, MS Ognjenka Djurdjev, MSc David Naimark, MD, FRCPC Adeera Levin, MD, FRCPC Andrew S. Levey, MD:
A Predictive Model for Progression of Chronic Kidney Disease to Kidney
65
Failure. JAMA, April 20, Vol 305, No. 15, 2011
43. Akhter Mohiuddin Rather, Arun Agarwal, V.N. Sastry: Recurrent neural network and a hybrid model for prediction of stock returns. Expert Systems with Applications 42, 3234–324, 2015
44. M.T.Ribeiro, S.Singh, and C.Guestrin: "Why Should I Trust You?":
Explaining the Predictions of Any Classifier. In SIGKDD, 2016.
45. F.Naeymi-Rad: A Feature Dictionary Supporting a Multi-Domain Medical Knowledge Base. Computer Methods and Programs in Biomedicine, November, 217-228, 1989
46. Edward Choi, Mohammad Taha Bahadori, Elizabeth Searles, Catherine Coffey, and Jimeng Sun: Multi-layer representation learning for medical concepts. In KDD, 2016a.
47. Lamnodar Jena, Narendra Ku.Kamila: N.K: Distributed data mining classification algorithms for prediction of chronic kidney disease. IJERMT 4 (11) 110-118, 2015
48. Manish Kumar: Prediction of Chronic Kidney Disease Using Random Forest Machine Learning Algorithm. International Journal of Computer Science and Mobile Computing, Vol.5 Issue.2, February, pg. 24-33. 2016
49. S. Ramya, N. Radha: Diagnosis of Chronic Kidney Disease Using Machine Learning Algorithms. International Journal of Innovative Research in Computer and Communication Engineering. Vol. 4, Issue 1, January, 2016
66
부록
<부록 1. 메드투벡을 이용한 임베딩 시각화>
그림 22. 메드투벡을 이용한 임베딩 결과값을 PCA 로 재구성한 시각화. (A) 2 차원으로 나타낸 임베딩 결과값. (B) 3 차원으로 나타낸 임베딩 결과값.
그림 23. 메드투벡을 이용한 임베딩 결과값을 PCA 로 재구성 및 구형의 형태로 정규화한 시각화. (A) 2 차원으로 나타낸 임베딩 결과값. (B) 3 차원으로 나타낸 임베딩 결과값.
67
그림 24.오몹 시디엠 컨셉 아이디 2801 와 가까운 코사인 거리의 컨셉 아이디의 시각화
68
<부록 2. 활성화 함수 수식 및 모형>
1. 시그모이드 함수
시그모이드 함수는 로지스틱 함수와 동일한 의미이며 수식 및 그래프 모형은 아래와 같다.
û(<) = â(<) = 1 1 + Tä
그림 25 는 시그모이드 함수의 그래프 모형과 1 차 미분한 그래프이다.
그림 25. 시그모이드 함수와 미분된 시그모이드 함수. (A) 시그모이드 함수. (B) 1 차 미분된 시그모이드 함수.
시그모이드 함수의 범위는 [0,1]이기 때문에 출력 값이 0 이상의 값을 지닌다는 문제가 발생한다. S 자 커브 형태이기 때문에 -5 보다 작거나 5 보다 큰 입력 값의 경우, 그라디언트 값이 지나치게 작아져 학습이 잘 되지 않고, 속도가 느리다는 단점이 있다.
69
2. 쌍곡탄젠트 함수쌍곡탄젠트 함수는 시그모이드 함수의 크기와 위치를 조절한 함수이며, 수식은 아래와 같다.
tanh(<) =Tä− Tèä Tä+ Tèä
그림 26 은 쌍곡탄젠트 함수의 그래프 모형과 1 차 미분한 그래프 모형이다.
그림 26. 쌍곡탄젠트 함수와 미분된 쌍곡탄젠트 함수. (A) 쌍곡탄젠트 함수. (B) 미분된 쌍곡탄젠트 함수.
쌍곡탄젠트 함수의 범위는 [-1,1]이며 시그모이드 함수와는 달리 0 을 기준으로 대칭이다. 시그모이드 함수와 동일하게 입력 값이 -5 보다 작거나 5 보다 큰 경우, 그라디언트가 0 으로 작아지는 문제가 발생한다.
70
3. 렐루함수시그모이드와 쌍곡탄젠트 함수에서 발생하는 그라디언트 소실 문제를 해결하기 위하여 렐루함수가 대체되었다. 렐루함수의 수식은 아래와 같이 정의된다. 입력 값이 양수일 경우, 결과 값은 입력 값과 동일한 값으로 출력되지만 입력 값이 음수일 경우, 모든 결과 값은 0 으로 출력되게 된다.
f(x) = max (0, x)
렐루함수의 그래프 모형은 그림 27 과 같다.
그림 27. 렐루함수
렐루함수는 [0,∞] 범위를 가지며 음수의 입력 값에 대해 0 을 출력하며, 입력 값이 0 이 되는 것을 기준으로 선형 함수이기 때문에 미분 계산이 매우 간단하다. 그러나 입력 값이 음수인 경우 항상 0 을 출력하기 때문에 파라미터 업데이트가 되지 않는다는 단점이 존재한다.
71
4. 소프트맥스 함수소프트맥스 함수는 다범주 분류 문제를 풀기 위해 적용된다. 범주의 수만큼 입력 벡터를 받아 모든 요소의 합이 1 이 되도록 변환시켜주며, 출력 값에 지수 함수를 적용하되 정규화하는 형태이다. 소프트맥스 함수를 통과시킨 값은 클래스별 예측 확률을 나타낸다. 예를 들어, 개, 고양이, 새를 분류하는 문제일 경우, (개=0.7, 고양이=0.2, 새=0.1)로 개일 확률이 0.7, 고양이일 확률이 0.2, 새일 확률이 0.1 이라는 의미이다. 수식은 아래와 같다.
û(<)C = TäÉ
∑•Üh$Tä§, û`k Ñ = 1, … , ¶
72
-ABSTRACT-Chronic Kidney Disease Risk Prediction
using Electronic Health Records Pattern Information based on Deep Learning
Yourim Lee
Department of Medical Sciences The Graduate School, Ajou University
(Supervised by Professor Rae Woong Park)
According to the National Health Insurance Service(NHIS) in 2013, 3.9% of adults aged 30 years or older have chronic kidney disease, and 16.5% are over 65 years old. In particular, renal insufficiency causes many complications in the onset of the disease, which causes many patients to die as their diseases worsen. Nevertheless, the initial symptoms are not clear, so it is rare that patients feel a kidney abnormality in the patient 's position and want to enter the hospital. Studies using electronic health records (EHR) have been conducted to detect these chronic kidney diseases early.
Recently, as the technology of deep learning has rapidly developed, it has been actively researched and utilized in the medical field and has shown good performance.
In addition, various experiments have been made to modify the model structure of the deep learning, and there have been cases in which performance varies depending on the structure. However, there are relatively few cases of studies for the prediction of chronic kidney disease in the medical field by experimenting with various types of deep learning model structures.
In this paper, we evaluated the risk of chronic kidney disease using diagnostic and prescription information of EHR data, and compared the performance of several
73
structural deep learning models. We extracted the weights of the learned data and confirmed the information of the time points with high weight in the prediction of chronic kidney disease.
The results of this study were as follows: National Health Insurance Corporation sample DB, 81.09% of Accuracy, 87.75% of the area under the Receiver Operating Characteristics Curve (AUROC), 52.72% of the Area under the Precision-Recall Curve (AUPRC) and 83.03% of weighted F1-score. The accuracy of the database of Ajou University Hospital was 82.07%, 88.24% of AUROC, 63.61% of AUPRC, 82.93% of weighted F1-score. Based on this, it is expected that the proposed model will effectively contribute to the early detection, delay, and reduction the prevalence of chronic kidney disease.
Keywords: Electronic Health Records, Convolutional Neural Network, Recurrent Neural Network, Embedding, Attention