A novel algorithm for detection of adverse drug reaction signals using a hospital electronic medical record database

이학 박사학위 논문

병원 전산자료를 이용한 약물부작용

탐지 알고리듬 개발

아 주 대 학 교

대 학 원

의학과/

의학전공

박 만 영

병원 전산자료를 이용한 약물부작용

탐지 알고리듬 개발

지도교수

박 래 웅

이 논문을 이학 박사학위 논문으로 제출함.

2012년

8월

아 주 대 학 교

대 학 원

의학과/

의학전공

박 만 영

- 국문요약 -

병원 전산자료를 이용한 약물부작용 탐지 알고리듬 개발

최근 전세계 많은 병원들이 전자의무기록(Electronic Medical Records; EMR)을 도입하고 있다.이에 따라 실시간으로 쌓이고 있는 EMR 데이터를 이용하여 약물부작용 실마리를 찾으려는 노력들이 진행되고 있지만, 단지, 검사 결과에 대한 조건을 정의하고, 그 중 만족하는 증례만을 찾아 차트리뷰를 진행하는 식의 노동 집약적인 연구만이 진행되고 있다. 특히, 약물 부작용 실마리를 찾기 위한 일반화된 분석 방법이 없어 제한된 약물과 제한된 유해반응에만 적용되고 있는 상황이다.이는 전문가의 개입, 차트 리뷰 등 많은 시간과 노력이 필요하기에, 다양한 약물에 대한 다양한 부작용을 확인하는 것이 현실적으로 불가능하다. 본 연구의 목적은 지속적으로 쌓이고 있는 병원 EMR 자료를 이용하여, 약물 투여와 부작용간의 상관성을 자동으로 판단할 수 있는 방법론을 개발하고 자동화 시스템을 개발하는 것이다. 이를 위하여 병원전산자료인 EMR 데이터베이스를 이용하여 약물 부작용에 특화된 임상 데이터웨어하우스를 구축하였다. 또한, 약물 부작용을 탐지하기 위하여 임의로 추출한 10 가지 약물에 대하여 51 가지의 검사이상항목을 선정하여 약물 투여와 검사 값의 변화의 상관성을 분석하였다. 분석대상이 되는 약물의 투여전후 감시 대상 검사 결과값의 극한값을 비교하고, 또는, 약물 투여 전후 검사 결과값이 유의수준을 벗어나는 빈도를 전후 비교하였다. 각약물에대한알고리듬의민감도, 특이도, 양성예측도, 음성예측도를계산하여성능을평가하였다. 제안한알고리듬이 알려진 부작용을 얼마나 빠르게 찾는지 분석하기 위해 최근

미국식품의약품안전국에서 백혈구감소증에 관한 라벨 변경이 이루어진 퀘티아핀(quetiapine), 리스페리돈(risperidone), 그리고, 올란자핀(olanzapine)을이용하여아이디어검증연구를수행하였다. 연구결과알고리듬의민감도와특이도, 양성예측도, 음성예측도는각각 58~100%, 22~76%, 22~75%, 54~100%으로써높은성능을보였다.제안한알고리듬을이용하여 2004 년 1 월부터 2008 년 12 월까지데이터들을순차적으로늘려가며퀘티아핀, 리스페리돈, 올란자핀약물과백혈구감소증과의상관성에대해분석한결과,한병원의약 16 개월의병원전산자료만으로세가지약물에의해생기는백혈구감소증부작용찾아낼수 있었다. 본연구에서는 EMR 자료에기반한약물부작용실마리감시시스템을개발및구축하고, 10 가지약물에대해성능을평가한결과, 비교적우수한성능을보였다. 또한, 시스템의구조상모든약물에적용할수있다는장점이있으므로, 본시스템을이용하면 EMR 자료로부터모든약물의유해반응에대한실마리를자동으로감지할수있어환자안전에기 여할것으로기대된다.

핵심어 :Clinical database,Electronic medical record,Pharmacovigilance, Clinical datawarehouse, Adverse drug reaction, Disproportionality analysis, Postmarketing surveillance, Reporting odds ratio, Proportional reporting ratio, Bayesian confidencepropagation neural network

차

례

국문요약 ··· ⅰ 차례 ··· ⅱ 그림차례 ··· ⅲ 표차례 ··· ⅳ . Ⅰ 서론 ··· 1 A. 연구의배경 ··· 1 B. 연구의필요성 ··· 8 C. 연구의목적 ··· 11 . Ⅱ 연구대상및방법 ··· 12 A. 임상데이터웨어하우스구축 ··· 14 1. 원천데이터 ··· 14 2. 데이터전처리 ··· 14 3. 데이터품질관리 ··· 17 B. 약물부작용감시시스템의구성 ··· 21 C. 약물부작용감시알고리듬 ··· 23

1. Comparison on Extreme laboRatory Test results (CERT) algorithm ··· 23

2. CERT 알고리듬과 new-user design 적용및비교 ··· 32

3. CERT 알고리듬과입원후최초검사비정상환자제거후비교 ··· 33

D. 감시대상약물선정 ··· 34

E.대상 Laboratory signal 선정 ··· 34

F. 알고리듬평가방법 ··· 39 G. 연구대상건수증가에따른 CERT 알고리듬성능시뮬레이션 ··· 48 H. 적시성평가(Timeliness evaluation) : 순차적분석시뮬레이션 ··· 49 I. 웹기반 CERT 알고리듬시스템개발 ··· 50 J. 연구분석에사용된소프트웨어 ··· 51 . Ⅲ 결과 ··· 52 A. 임상데이터웨어하우스구축 ··· 52 B. CERT 알고리듬적용결과 ··· 54 C. 연구대상건수증가에따른 CERT 알고리듬성능시뮬레이션 ··· 61 D. 적시성평가(Timeliness evaluation) : 순차적분석시뮬레이션 ··· 65 E. 웹기반 CERT 알고리듬시스템개발 ··· 67 F. CERT 알고리듬 CERT-NUD 알고리듬비교 ··· 69 G. CERT 알고리듬 VS 최초검사결과비정상제거한 (CERT-EILA) 성능비교 ··· 71

H. CERT 알고리듬 VS CERT-NUD plus CERT-EILA 적용비교 ··· 73

I. CERT 알고리듬의맥네마검정 VS 짝짓기 t 검정성능비교 ··· 75

. Ⅳ 고찰 ··· 78

A. 약물역학연구를위한임상데이터웨어하우스 ··· 78

B. CERT 알고리듬 ··· 81

D. 적시성평가및순차적시뮬레이션 ··· 88 E. 연구의한계점 ··· 90 . Ⅴ 결론 ··· 94 참고문헌 ··· 95 부록 ··· 105 ABSTRACT ··· 130

그림차례

Fig. 1. Study design and CERT algorithm for near real-time PMS ··· 12

Fig. 2. Process of constructing clinical datawarehouse for postmarketing surveillance · 20 Fig. 3. Architecture for adverse drug event surveillance ··· 22

Fig. 4. Comparison on Extreme Laboratory Test results algorithm ··· 25

Fig. 5.χ2 Distribution with d.f=1 ··· 28

Fig. 6. Example of analysis table for a drug- laboratory test pair ··· 31

Fig. 7. Inclusion and exclusion criteria for CERT-NUD··· 32

Fig. 8. Exclusion criteria for CERT-EILA ··· 33

Fig. 9. Process for making the mapping table for CERT algorithm evaluation ··· 34

Fig. 10. Process for performance simulation of CERT algorithm with increasing cases 48 Fig. 11. Timeliness evaluation: sequential analysis simulation ··· 49

Fig. 12. ERD of clinical datawarehouse to surveillance ADRs ··· 52

Fig.13. Previously reported laboratory abnormalities and detected laboratory abnormalities by Comparison on Extreme Laboratory Test results (CERT) algorithm ··· 57

Fig. 14. Performance simulation of CERT algorithm with increasing cases ··· 61

Fig. 15. Temporal analysis to determine how rapidly the CERT algorithm identifies laboratory abnormalities ··· 65

Fig. 16. User interface for researcher to perform CERT algorithm on the web ··· 68

Fig. 17. Number of subjects for CERT, CERT-IDU, CERT-EILA, CERT-NUD plus EILA ··· 87

표차례

Table 1.Contingency table for combinations of drugs and adverse events to calculate the

measures of DPA ··· 5

Table 2.Definition for DPA methods ··· 6

Table 3. Contingency table for McNemar’s test ··· 26

Table 4. Result for McNemar’s test to identify between Cisplatin and sCr ··· 27

Table 5. Dataset for paired t-test test to identify between Etoposide and WBC··· 30

Table 6. Result for paired t-test to identify between Etoposide and WBC ··· 30

Table 7. 41 laboratory tests and 51 laboratory abnormalities ··· 37

Table 8. Matrix table for sensitivity, and specificity for the CERT algorithm ··· 40

Table 9. Matrix table for positive predictive value (PPV), and negative predictive value (NPV) for the CERT algorithm ··· 41

Table 10. Mapping table between adverse drug events (ADEs) and laboratory test abnormalities ··· 43

Table 11. The important tables and fields for CDW for PMS ··· 53

Table 12.Epidemiologic characteristics of the study population for each drug (January 2000 to March 2010). ··· 55

Table 13. Sensitivity, specificity, positive predictive value (PPV), and negative predictive value (NPV) of CERT algorithm for each drug ··· 59

Table 14. Performance simulation of CERT algorithm with increasing cases for oncology drugs ··· 63

Table 15. Performance simulation of CERT algorithm with increasing cases for non-oncology drugs ··· 64

Table 16. Sensitivity, specificity, positive predictive value (PPV), and negative predictive value (NPV) of CERT- NUD algorithm for each drug ··· 69

Table 17. Comparison between CERT and CERT-NUD for sensitivity, specificity, PPV, and NPV for each drug··· 70

Table 18. Sensitivity, specificity, positive predictive value (PPV), and negative predictive value (NPV) of CERT-EILA algorithm for each drug ··· 71

Table 19. Comparison between CERT and CERT-EILA for sensitivity, specificity, PPV, and NPV for each drug··· 72

Table 20. Sensitivity, specificity, positive predictive value (PPV), and negative predictive value (NPV) of CERT-EILA plus NUD algorithm for each drug ··· 73

Table 21. Comparison between CERT and CERT-EILA plus NUD for sensitivity, specificity, PPV, and NPV for each drug ··· 74

Table 22. Sensitivity, specificity, positive predictive value (PPV), and negative predictive value (NPV) of CERT algorithm with only t-test for each drug ··· 75

Table 23. Sensitivity, specificity, positive predictive value (PPV), and negative predictive value (NPV) of CERT algorithm with only McNemar’s test for each drug ··· 76

Table 24. Comparison between CERT with only paired t-test and McNemar’s test for sensitivity, specificity, PPV, and NPV for each drug ··· 77

Table 25. Comparison between CERT and other models for sensitivity, specificity, PPV, and NPV for each drug··· 86

Ⅰ

. 서 론

A. 연구의배경

1. 약물의유효성및부작용 인간은살아가면서많은질병들을예방하거나치료하기위하여혁신적인신약을개발하 였고, 효과적인질병치료및예방을통해인간의삶의질을향상시켜왔다. 이러한약물들이항상인간에게질병을치료하는긍정적인효과만준다면이상적이겠지만, 현실적으로는그러한이상적인약물이존재하지않는다. 어떠한약물이든질병을치료하는유효성이있으면동시에원하지않는부작용(side effect)이발생하는동전과같은양면성을가지고있다(Hasford et al., 2002). 이러한양면성을가진약물부작용의대표적인예로써, 1957 년독일에서단기수면제로시판허가를받았던탈리도마이드(Thalidomide)를들수가 있다. 탈리도마이드는입덧치료제로써임신초기의입덧을가라앉히고, 졸음과수면을유발하는진정효과가있어서미국과유럽등지의많은임산부들이복용하였 다. 그런데, 그약을복용하였던임신부들에서 1 만명이상의사지결손증을가진기형아가태어나는대규모약화사고가발생하였다. 이러한부작용으로인해탈리도마이드는판매금지조치를받고,

1962 년이후에시장에서퇴출되어사라졌다(Yang et al., 1997; Schosser, 2002).

이사건을계기로전세계적으로약물유해반응(adverse drug reaction;

ADR)에대한경각심이높아지게되었고, 시판후약물감시제도의필요성이대두되었다.

계각국으로부터약물의유해사례(adverse event; AE)에관한정보를수집하여분석한후그결과를신속하게전파하고있다. 2. 약물시판전임상시험 약물은시중에시판되기전에동물시험과같은비임상실험과 1상, 2상, 3상의엄격한임상시험을거치게된다. 하지만, 임상시험은새로운약물의시판을빠르게승인받기위하여연구기간및관찰기간이제한되 고, 연구대상자의수가한정되는등제한된환경에서진행되므로드물게발생하는유해반응을 관찰하기어렵다(Swanson and Ward, 1995; Waller et al., 1996; Ahmad, 2003). 또한, 객관적이고정확한정보를얻기어려울뿐아니라연구대상자들을확보하기어려워연구기 간이오래걸리고, 연구비가많이들고임상시험에서나온결과를모든환자에게일반화시키기어렵다는단점 이있다.연구대상선정기준및제외기준또한매우엄격하다. 시판전임상시험에는노인, 임산부또는어린이들과같은취약그룹들을임상시험에서배제하고진행한다(Ahmad, 2003). 하지만, 새로개발된약물이시판허가를받으면잘통제된조건하에실시되었던임상시험때와달리 남녀노소구분없이많은수의환자들이다양한약물들과함께병용투약및중복처방등을받 고다양한환경하에장시간에걸쳐복용하게되므로시판전임상시험에서발견되지않았던 드물지만중대한유해반응들이나타날수있다.임상시험에서우수한효과와안전성이입증 되었더라도유해반응이발생하면약물사용으로인한이익(benefit)과부작용이라는위험 성(risk)에대해과학적인평가가이루어지게되고, 위험성이이익보다더상회하게되면해당약물은시장에서사라지게된다.

이러한약물유해반응으로인한사회경제적손실은전세계적으로막대한규모로추정되고

있다. 미국에서수행된연구에따르면일년동안입원환자의약

6%는심각한약물유해반응(adverse drug reaction; ADR)을겪었으며,

사망에까지이르게하는원인중하나라고밝혔다(Muehlberger et al., 1997; Lazarou et al.,

1998). 이는다른질병문제들보다심각할뿐아니라, 약물유해반응에의하여발생하는비용또한매년 1,360억달러에이른다고보고되었다. 이러한의료비용은심장병또는당뇨병치료에드는총의료비보다많은수준이다(Jha et al., 2001). 최근에는과거와는달리약물의개발과시판이빠른속도로이루어지고, 약물의부작용으로시장에서퇴출되는사례가늘어나면서약물의안전성과관련하여위해 관리의중요성에대한인식이급격히확산되고있다. 3. 약물시판후조사 시판전약물안전성평가는완전할수없기때문에약물이출시된이후에도지속적인약물 안전성감시가필요하다. 이렇게시판된약물에대해서임상시험시발견하지못한부작용들을조기에찾아약화사고 를예방하기위하여계속적으로약물의안전성을평가하는것을시판후조사(postmarketing surveillance; PMS)라고한다.

국내외의시판후조사제도로는자발적부작용신고제도(spontaneous reporting system;

SRS)와재심사제도, 재평가제도를들수가있다.

자발적부작용신고제도의경우미국에서는약물유해반응보고시스템사이트(MedWatch) 를통해의료인이나소비자로부터모든유해사례와투약오류를직접보고받고있다. 또한, 세계보건기구는스웨덴웁살라대학에협력센터를설치하고

으로부터방대한부작용정보를주기적으로보고받고있다. 이렇게수집된실마리(signal) 정보를분석하여시판전임상시험에서감지하지못한약물유해반응, 알려진심각한약물유해반응의집단, 위험요인및임상양상등에대한정보를제공하고있다(Letourneau et al., 2008). 재심사제도는일본에서만들어진제도로써약물시판후 4~6년마다한번씩시판허가되는신약의안전성및유효성에관한자료를추가로확보하기 위하여이와같은제도적장치를마련하였다. 또한, 신약이시판을허가받은후일정기간마다그안전성과유효성을재검토하여허가사항에반 영하는재평가제도가있다. 하지만, 이러한제도들은능동적이지못하며, 모든약물의유해반응에대한보고들은약사와의사그리고제약회사에의존하게된다. 이는실제로약물부작용이발생한건수보다훨씬더적게보고하는것으로알려져있다(Egb

erts et al., 1996; Martin et al., 1998).

독일에서수행한자발적보고시스템에대한의사들의지식정도와과소보고(underreporting )에대한조사연구에따르면, 약 75~85%의의사들은약물유해반응에대한내용을자발적보고시스템에한번도보고한적 이없다고답변했다. 보고하지않는주된이유로는이미알려진약물유해반응이기때문에라고답한의사가 75.6% 미미한것이기때문에 71.1% 부정확한인과관계때문에 66.3%를차지했다(Hasford et al., 2002). 미국의경우에도약물과의인과성이의심되는심각한약물유해사례발생건수중약

1%미만만이미국식품의약품안전국(Food and Drug Administration;

FDA)으로접수되고있다고보고하였고, 한국에서도

10여년동안연간전국에서보고되는건수가수십건에불과하였다.

2000년대에들어오면서식약청(Korea Food and Drug Administration; KFDA)에서제약회사와약국으로하여금약물부작용을의무적으로보고하도록조치하고 의무적인부작용보고를전제로시판허가를해주는등일련의행정조치를통하여부작용보

고건수가증가하기시작하였지만, 미미한실정이다. 또한,

최근한국에서는의약품부작용및환자의안전과관련한다양한정보의수집, 관리, 분석, 평가, 제공업무등을체계적으로수행하기위해한국의약품안전관리원(Korea Institute of Drug Safety & Risk Management; KIDS)을설립하여운영하고있다. 이는부작용보고데이터베이스를구축하여실마리정보탐색을통한안전성정보를분석및 평가하는안전정보팀과문헌수집검토및인과관계를규명조사하는약물역학팀,

문헌정보수집및검토, 국내외허가사항검토등을통한후향적 DUR (Drug Utilization

Review)분석을하는 DUR 정보팀등으로구성되었다. KIDS는소비자및

KFDA에의약품안전성정보제공은물론,

보건위해요인을사전에차단하여약물로인한피해를줄이기위해노력하고있다.

4. 실마리감지를위한방법및한계점

시판후약물부작용감시의또다른방법중가장일반적인방법은자발적보고자료나보험 청구자료를사용하여보고분율비(proportional reporting ratio; PRR), 보고오즈비(reporting odds ratio; ROR), 베이지안신뢰전달신경망(Bayesian confidence propagation neural network; BCPNN), gamma Poisson

shrinker(GPS)와같은소위불균형분석 (disproportional analysis;

2009). DPA 방법을이용하여분석하기위해서는 Table 1 과같은 2X2 테이블을생성하고 Table 2 의공식을이용하여약물부작용의실마리를감지한다.

Table 1.Contingency table for combinations ofdrugs and adverse events to calculate the measures of DPA

AE of interest All other AE Sum

Drug of interest A B A+B

All other drugs C D C+D

Sum A+C B+D A+B+C+D

Table 2. Definition for DPA methods

Methods Formula ROR (A/B)/(C/D) PRR {A/(A+B)}/{C/(C+D)} BCPNN Log2[{A*(A+B+C+D)}/{(A+B)*(A+C)}] GPS {A*(A+B+C+D)}/{(A+B)*(A+C)} ROR 은특정약물에의해발생한유해사례의위험도를그약물을제외한다른약물로인하 여발생한유해사례의위험도로나눈것으로, 특정약물또는특정유해사례의과소보고에의한영향을덜받는경향이있다. PRR 은특정약물로인한유해사례보고건중특정유해사례가차지하는분율(A/(A+B)을다 른약물로인한유해사례건가운데특정유해사례가차지하는분율(C/(C+D)로나누어다른 약물에비해발생비율이얼마나되는지알아보는값이다. BCPNN 은신경망모델을사용하는방법으로써다른약물의유해반응발생빈도를토대로특정약물 을복용후특정유해반응의발생기대확률을계산한값으로실제특정유해반응이발생한수 를나누는방법이다. 이는정보성분(Information component;IC)이라불리는불균형측정방법을사용하여의미있는실마리를찾아낸다.이방 법은현재웁살라모니터링센터에서사용되고있는방법이다. GPS

는 2IC _{로계산되는상대위험도(relative risk;} RR)를기반으로특정유해반응이발생할확률과실제로유해반응발생수를비교하여판단 하는방법이다. 그러나이러한 DPA 방법은 2X2 테이블을이용하고, 기본적으로같은원리를이용하기때문에결과들이거의비슷하다고알려져있고, 이중어떤방법이가장타당성이높은지는알려진바가없기때문에데이터특성이나실마리 분석목적에맞도록선택해야한다(van Puijenbroek et al., 2002; Montastruc et al., 2011).또한, DPA 방법들은자발적보고자료나보험청구자료를이용하기때문에그데이터가가지는여 러가지한계점으로인해분석활용시많은주의를필요로한다. 예를들면, 위에서언급한과소보고의문제점이나, 비뚤림(bias), 약물노출수준의추정, 자발적부작용보고의질등을들수있다(Wise et al., 2009). 비뚤림은의약품이시장에서판매된기간, 판매지역, 보고환경, 자료의질등여러가지요인이원인이되어발생한다. 비뚤림에의해나타나는결과중의하나가의약품의자발적보고건수가시판후 2 년이지나는시점에서최고점을나타낸후그이후부터는급속히감소한다는것이다. 이것을웨버효과(Weber effect)라고하는데이러한현상은해당의약품의판매실적감소나전체유해사례보고건수 가감수하는현상과는상관없이나타난다. 또한, 자발적보고자료의한계점을더욱악화시키는것이분모자료의부재, 즉실제총약물복용자수와약물노출양상에대한자료가없다는것이다.대부분의유해사례 보고항목에필요한정보중상당부분이누락되어있으며, 의무기록등과대조할때그타당성이떨어지는경우도보고되었다.

이상과같은자발적부작용보고자료의한계로인하여방대한양의자발적부작용보고자료 가축적되었더라도자발적부작용보고자료를이용하여약물과특정유해사례간의인과관 계를정확히밝혀내기란쉬운일이아니다.

B. 연구의필요성

최근전세계적으로전자의무기록(electronic medical records;

EMR)이빠르게보급되고있다(Park et al., 2005; DesRoches et al., 2008; Yasunaga et al.,

2008; Hubner et al., 2010; Jha et al.,

2010).EMR 자료는진료의부산물로서특별한노력없이도많은양의자료가지속적으로쌓 이고있다. 또한,환자에대한약물투약기록, 검사결과, 입원시진단명, 퇴원시진단명, 약물처방기간, 약물처방용량등자세한임상정보를포함하고있다. EMR 자료의장점으로는특별한노력없이지속적으로많은자료가데이터베이스에쌓이기때문 에표본크기가크다는장점이있다.이러한 EMR 자료는향후훨씬빠른속도로누적될것이 다.따라서, EMR 자료를시판후약물감시에이용할수있다면기존의자발적보고자료기반의시판후 약물감시와독립적인매우소중한원천데이터가될것이다.최근미국식품의약품안전국의 의약품평가연구부(Center for Drug Evaluation and Research; CDER)에서도약물시판후조사의한중요한자료원으로대규모전산자료필요성에대해강

조하고있고(Stang et al., 2010), 실제로'Sentinel

Initiative'를통해 EMR 자료와보험청구자료와같은기존의데이터베이스를활용하여안 전성문제가제기된의약품에대한약물역학연구자료로써활용하도록장려하고있다(Platt

et al.,

2009).또한약물역학연구를위한분석방법을체계화하고표준데이터모형개발및약물감

시인프라를구축하여연구자들이적극적인약물감시를할수있도록OMOP (Observational

Medical Outcomes Partnership)사업이수행되고있다(Stang et al., 2010). OMOP 의궁극적인목적은 FDA, PhRMA(Pharmaceutical Research and Manufacturers of

America), National Institutes of Health(NIH)간협력사업으로써, 약물위해를최소화하고, 경제적이익을최대화하기위해관찰데이터(observational data)를이용하여약물역학에꼭필요한 DB 기술및분석방법론을개발하는것이다. 이렇듯전세계적으로약물부작용을감시하기위하여다양한원천소스로부터다양한분석 방법론개발에노력을기울이고있다. 약물의효과들은임상검사결과에상당히많은영향을끼친다(Levy et al., 1999;

Tegeder et al., 1999; Kelly, 2001).

여러약물역학연구들은임상검사결과와약물노출에관련한연구를진행하였다(Classen et al., 1991; Azaz-Livshits et al., 1998; Jha et al., 1998; Bagheri et al., 2000; Dormann et al., 2000; Honigman et al., 2001; Movig et al., 2002). 하지만,

아직까지 EMR 데이터를이용하여약물유해반응에대한실마리정보를감지할수있는정 량적분석방법은보고된것은거의없다. 단지데이터베이스연구인검사결과데이터를활용하는방법으로미리검사결과에대한조 건을정의하여만족하는증례만을찾아서차트리뷰하는방법이있는데,모든분석과정이전 문가의개입및차트리뷰를통한것으로많은시간과노력을필요로하며, 다양한약물에대한다양한부작용을찾기에는현실적으로불가능하다. 또한, EMR 자료를정량적시판후약물감시에활용하는데있어서가장큰걸림돌은 EMR 자료에서명백한 ADR 용어를사람의개입없이, 자동으로추출할신뢰할만한방법이마땅치않다는것이다. 이것은 EMR 자료가 ADR 보고를위한것이아니고일상의진료행위에대한기록이기때문이다. 이를극복하기위하여 EMR 의내러티브텍스트(narrative

text)자료에서자동화된자연어처리기술(automated natural-language processing;

용어를추출하는시도와(Wang et al., 2009)투약후입원또는새로발생한진단명(Choi et al.,

2010; Choi et al., 2011)투약후약투여정지처방유무등을 ADR

signal 로이용한시도가있었으나, 특정약물과이벤트에국한된일화적인예에적용되었을뿐, 실세계 EMR 데이터에상시적으로적용할수있는일반화된알고리듬으로만들수는없었다. EMR 자료가끊임없이지속적으로발생하고자료의양이매우많다는점을고려하면, 사람의개입없이자동화가가능하고고속계산이가능한단순한 ADR signal 감지알고리듬이요구된다. 따라서, 본연구에서는실제병원환자데이터인 EMR 데이터를이용하여전문가의개입없이다양한약물에대해다양한부작용을자동으로감지 해주고통계적유의성을제공하는시스템및알고리즘을개발하고그성능을평가하고자한 다.

C. 연구의목적

본연구의목적은병원정보시스템의대규모 EMR 데이터베이스를이용하여, 약물투여와부작용의상관성을자동으로판단할수있는알고리듬을개발하고기존에알려 진약물부작용과비교분석을통하여개발한알고리듬의성능을평가한다. 구체적인세부목적은다음과같다. 첫째, 약물부작용감시시스템을위한임상데이터웨어하우스(clinical datawarehouse) 구축방법론을제시한다. 둘째, 약물부작용감시알고리듬방법론을제시하고다양한약물에 PMS 를수행후기존에알려진약물부작용과비교함으로써제시한알고리듬의성능을평가 한다. 셋째, 약물부작용감시알고리듬을다양한방법으로변형하여각성능을비교분석한다. 넷째, 데이터를순차적으로늘리면서분석하는시뮬레이션을통하여제안한알고리듬이얼마나 빠르게부작용을감시하는지평가한다.

Ⅱ

. 연구대상및방법

Fig.1. Study design and CERT algorithm for near real-time PMS. A: A PMS data

warehouse was constructed from a 10-year EMR database of a tertiary teaching hospital. B: An extreme value pair such as the minimum or maximum value depending on the types of laboratory abnormalities was selected as a representative value for each patient. If either the result of the paired t-test or the McNemar's test is statistically significant (p<0.05), then the drug-laboratory abnormality pair was considered a positive signal. C: A total of 510 unique drug-laboratory test pairs were prepared. D: ADRs, which could be represented as laboratory abnormalities, for the selected 10 drugs were retrieved from the 2010 UpToDate ® Drug Information Database. A mapping table linking known ADRs to corresponding laboratory abnormalities was created. E: The drug-event pairs (C) were evaluated via the CERT

algorithm (B). F, G: To verify the timeliness of the algorithm, time lag between FDA label change and time required to detect the ADR by the CERT algorithm was simulated via sequential analysis.

A. 임상데이터웨어하우스구축

1. 원천데이터

본연구는 1000 병상규모의 3 차대학병원에서사용하고있는전자의무기록시스템의데이터베이스를이용하였다. 병원정보시스템운영체제는 UNIX 기반으로운영되고있고, 데이터베이스는 Oracle10g 를이용하고있다. 운영중인데이터베이스를이용하여복잡한검색을수행할경우병원정보시스템성능에크 게영향을미치게된다. 따라서운영중인서버의부하를주지않고연구를진행하기위해원내사용하고있는병원정 보시스템의데이터들을물리적으로분리된연구서버에그대로복제하는작업을수행하였 다.

2. 데이터전처리

병원정보시스템은약처방, lab 검사,lab 검사결과, 입퇴원일시, 간호실시정보등환자의다양한정보들이수백개의테이블들로나뉘어저장및관리되고있 다. 원내에서사용하는수백개의테이블중에약물부작용감시시스템에필요한테이블들만을 Oracle10g 의 ODBC(open database connectivity)를이용하여 MS-SQL 서버로이관하는작업을하였다. 위와같이, 데이터의추출, 변환, 적재(Extraction

Transformation, Loading; ETL)하는과정을거쳐

1 차임상데이터웨어하우스를구축하였다.

정제된데이터를위하여다양한전처리(preprocessing) 작업을수행하였는데, 전처리작업은다음과같다. l 데이터의부재 - null 값과 space 값과같은무의미한데이터제거 l 데이터오류 -날짜형식에서벗어난데이터제거 ex) 2000-2-31 -주민등록번호와입원날짜를이용하여나이계산시나이가음수(-) 인경우제거 l 데이터형식(data type) 오류 - 날짜(date)형식 varchar 형식으로저장된경우날짜형식으로변경 - 숫자가들어와야할필드에문자데이터가저장된경우제거 l 중복된데이터 - 약물처방후약취소처방(D.C;discontinued)인경우같은테이블에존재하기때문에 연구자들은취소처방인줄인식하지못하고중복된데이터를사용하는경우가많 이있음. 전처리시원처방과취소처방을동시제거해야함 - 검사, 진단, 약처방코드마스터테이블에서코드에대한이름만다르고같은코드를사용하는 경우가있음. 이는데이터조인(join)시중복데이터를발생시킴으로코드마스터에중복코드제 거가필수임 -

응급실에서바로입원한환자들은당일입퇴원이반복되기때문에여러번입원으 로오해할소지가있기때문에하나의레코드로합치(merge)는작업필요 l 검사결과가문자형으로저장되어있을시숫자형으로변환 - Urine glucose 검사의결과는‘Neg’,‘Trace’,‘1+’,‘Pos’,‘2+’,‘3+’,‘4+’등과같이문자형으로표현되 는데, 이를다음과같이숫자로변경함.

‘Neg’-> 0, ‘Trace’-> 0, ‘A few’->0, ‘1+’->1,‘Pos’-> 1, ‘2+’-> 2,‘3+’->3, ‘4+’->4,‘>10,000’-> 4 l 환자의입원당시나이계산 - 입원날짜와주민등록번호앞두자리를이용한나이계산 l 속도개선을위한 DBMS 의 indexing 작업 - DBMS 의자주쿼리(query)를사용하는테이블의컬럼에대해 indexing 을수행하여검색속도향상 l ATC 코드매핑

- 원내사용하는약물에대해 ATC (Anatomical Therapeutic Chemical) level 5 코드를이용하여코드매핑

- ATC 코드하나에원내에서사용하는여러가지약품명이매핑됨 l KCD-5 코드를 ICD-10 코드로변환

- 원내에서사용하는질병분류코드는 KCD-5(Korean Classification of Disease 5th)코드로써, ICD-10 (International Classification of Diseases 10th)코드로변환필요

3. 데이터품질관리

데이터품질관리(data quality management;

DQM)란데이터의신뢰성과정확성수준을높이기위하여지속적인데이터및데이터서비 스개선활동을말한다. 이는앞서말한전처리과정에서수행되었던작업들이반복적으로수행된다. 전자의무기록시스템은의료진, 연구자, 행정직원등다양한사용자들이사용하며, 하루에도수많은데이터를생성및조회하고있다. 이러한데이터생성에있어서데이터의값이상등잘못된데이터가생성되어데이터자체의 질(quality)을떨어뜨릴수있다. 이러한문제점은데이터의품질저하의중요원인이되며, 잘못된연구결과를초래하게된다(Sharma et al.). 이는불필요하거나잘못된정보를입력(input)하게되면,

출력또한불필요하거나잘못된정보이다(Hinrichs and Aden, 2001). 즉, GIGO(Garbage-In

Garbage-Out)이발생하게되는것이다. 그렇기때문에

DQM 은어느분야에서든가장중요한문제로여겨지고있다.

데이터품질요소에는크게데이터값(data value), 데이터서비스(service),

데이터구조(data hierarchy)등이있으며, 이러한요소들은서로연계되어있고데이터품질에영향을주기때문에통합적이고체계적 인품질관리노력이필요하다. 따라서데이터 ETL 과정중에획득한데이터는데이터품질기준을통해재확인될필요성이있고, 계속적으로관리되어야데이터의발생에서부터내재한많은오류를줄일수있다. 데이터적재및갱신과정에서발생하는오류의유형은크게세가지로분류할수있다. I. 불완전한데이터(Incomplete Data)

①. Missing Records/Fields :운영계시스템에있는레코드/필드가존재하지않는경우 ②. 기존운영계시스템에존재하지않는외부데이터또는파생데이터가존재하 지않는경우 ③. Missing Value:의미적으로반드시존재해야하는코드데이터가존재하지않는경우 II. 잘못된데이터(Incorrect Data)

①. 의미적으로맞지않는코드마스터및데이터의코드값 ②. 잘못된계산및집계결과

③. 논리적으로 Key 값은상이하나, 동일한 Record 값들이존재하는경우 ④. 원천시스템에서잘못된데이터가관리및존재하는경우

III. 일관적이지않은데이터(Inconsistent Data)

①. 하나의코드분류에여러코드체계를사용하는경우 ②. 일관성없는이름과주소들

③. 일관성없는비즈니스규칙들

④. Missing Value 와 Unknown Value 의구분

⑤. NULL 값, SPACE 값, empty 값의일관성없는사용

이러한오류들을찾아내고해결하기위해데이터품질관리를수행하게되는데레벨에따라 Level 0~4 까지단계별로접근할수있다.

I. Level 0 도메인분석(Domain Analysis)

②. 다양한데이터질(quality)검사에데이터환경에대한지식을제공 II. Level 1 완전성및유효성평가(Completeness and Validity Assessment)

①. 컬럼에대한의미성여부평가와의미있는컬럼에대한유효여부평가 III. Level 2 구조적통합평가(Structural Integrity Assessment)

①. 레코드의구조와레코드간의관계에따른데이터품질을검사 IV. Level 3 업무규칙순응도(Business Rule Compliance)

①. 특정한업무규칙(컬럼조합의유효성, 계산식, 시간배열)에대한품질검사 V. Level 4 변환룰순응도(Transformation Rule Compliance)

①. 소스데이터를변환처리하여대상에적재하기까지변환처리과정과적재작 업의정확성을검증 위와같은데이터검증방법들을통하여데이터의질을향상시키고, 연구목적에맞도록재구조화시켰다. 또한, 환자개인정보보호를위해 EMR 데이터베이스에있는환자및의료인에대한정보를익명화(De-identification)하였다. 재조합을통해식별이될수있을만한모든관련정보및필드들을삭제하였다. 익명화관련필드및정보는모든환자의병원고유 ID, 성명, 주민번호, 주소였다. 실제데이터와매핑하여익명화된환자정보와의사정보테이블을생성하여관리하였으며, 익명화된테이블의환자번호에무작위로자체고유번호를부여하였다. 자체고유번호를통해서만데이터에접근하도록하였다.

B. 약물부작용감시시스템의구성

약물부작용감시시스템은각기능별모듈화를통하여복잡성을최소화하고,

모듈간에는유연한구조화를통하여모듈의재사용성및편리한유지보수가가능하도록구 성하였다. 시스템을구성하는대표적인모듈은다음과같다. ADR 룰을관리할수있는 'ADR rule management module',데이터의차원(dimension)을줄이고, 연구대상기간을설정함으로써, 속도향상에기여해주는‘Search space reducer module’, 분석대상약물을검색및선택할수있는‘Suspected drug selector’, 공개소프트웨어인

R 을연동하여다양한통계분석을수행할수있는통계분석자동화모듈인 'Statistical

analysis module', 시스템의핵심인약물투여후검사이상치감지모듈인 'ADR detection algorithm', 감시한결과를집계및보고하는‘Reporting module'로구성되어져있다(Fig. 3).

각모듈은객체지향 CBD (Component Based Development)

개발방법론을기반으로추가연구시다른알고리듬만탑재하면다른기능들을그대로재사 용할수있도록클래스화(class) 하였다.

C. 약물부작용감시알고리듬

1. Comparison on Extreme laboRatory Test results (CERT) algorithm

극한검사결과비교알고리듬(Comparison on Extreme laboRatory Test results algorithm;

CERT)의기본목적은각환자들의입원기간동안약물투여후가능한모든검사(laboratory test) 결과중에검사이상치들(laboratory abnormalities)을선정하는것이다. 즉,

검사결과의이상값이 ADE 의대리지표로사용하였다. CERT

알고리듬은입원환자의약처방자료와검사기록자료를이용하여입원기간동안에약물투 여전과후의검사치평균과,

또한약물투여전과후의부작용수준의이상검사치발생빈도를비교하는방법이다(Fig. 4). CERT 알고리듬은단일집단사전사후설계(One group pre-post test design)방법으로써,

준실험적평가방법(quasi_{‐experimental} method) 이라고할수있다.

한환자가병원에입원하게되면같은검사를반복적으로하는경우가많이있다. 그렇기때문에약물투여전과약물투여후에여러건의검사결과가있을수가있는데, 이경우가능한모든조합에대해전후비교하는것은사실상거의불가능하다. 따라서,그중에서약물투여전대표검사치 1 개와투여후대표검사치 1 개를선정해야한다. 알고리듬의민감도(sensitivity)를높이기위하여여러개의검사치중에서최소치(minimum) 나최대치(maximum)를대표값으로선정하였다. 예를들어간효소와같이수치가증가하는부작용(hyper-type laboratory abnormalities)의경우여러검사결과값중최대값을이용하고, 백혈구감소증(leukopenia)과같이수치가감소하는부작용(hypo-type laboratory

abnormalities)들은최소값을이용하였다. 또한, 혈액응고검사중하나인프로트롬빈시간(prothrombin time)과같이검사수치가증가하거나감소하는것이약물부작용과관련이있는검사들은최 대값과최소값둘다이용하였다. 약물투여전후검사치평균비교는대응표본 t-검증(paired t-test)를이용하였고, 약물투여전후검사치이상값의발현빈도비교는맥네마의검정(McNemar's test)을이용하였다. 대응표본 t-검증이나맥네마의검정중 p-value 가 0.05 이하면약물부작용실마리정보(positive signal)로판별하였다. 예로써백혈구감소증이감시대상부작용일경우, 전후평균값비교에서약투여후백혈구수치(white blood cell)의최소값의평균이감소하였지만, 약물투여전후빈도비교에서약투여후백혈구감소증의빈도가감소하더라도약물부작용 실마리정보로삼았다. 자세한 CERT 분석데이터셋의생성과정은다음과같다. 연구대상약물(A 약)을입원기간동안한번이라도투여받은기록이있는환자들을추출한 다. A 약물의투여시작시점과마지막으로투여된시점을찾아낸다. 입원후최초 A 약물이투여되는시점과약물투여후부작용의확인을위하여특정검사(B 검사)를수행 한적이있는환자들만을추출한다. B 검사가수행되지않은환자들은연구에서제외된다. 입원후최초 A 약물이약투여된시점이전에 B 검사를수행한환자들만추출한다. A 약물투여전후여러번의 B 검사를수행할수있기때문에여러검사값들중에서특정값을대표값으로선정한다. 위와같이대표값을선정하게되면한환자당 A 약물투여전 B 검사의대표값과

A 약물투여후 B 검사의대표값을가지게된다. 또한, B 검사의대표검사값이부작용수준인지아닌지를기록한다. 분석대상이되는약물의투약후감시대상검사결과값의평균값을대응표본 t-검증을이용하여전후비교하고, 약물투여전후검사결과값이유의수준을벗어나는빈도를맥네마의검정을이용하여전후 비교한다(Fig. 4).

Fig. 4.Comparison on Extreme Laboratory Test results algorithm. An extreme value

pair such as the minimum or maximum value depending on the types of laboratory abnormalities was selected as a representative value for each patient. If either the result of the paired t_{‐test or the McNemar’s test is statistically significant (p < 0.05), the drug–} laboratory abnormality pair was regarded as a positive signal

1-1 맥네마의검정(McNemar’s test) 맥네마의검정방법은반드시동일실험대상이전후에사용되어야하고같은실험을해야 만한다. 통계적으로유의한차이가있는지를확인하기위하여아래와같은가설(hypothesis)을설정 한다. H0(귀무가설) :P1=P2 (약물투여전과후의부작용비율에는차이가없다) H1(대립가설) :P1<P2 (약물투여후의부작용비율이높아졌다) 즉, 약물투여전과후에검사결과의비정상유무를가지고, 2X2 상황표(contingency table)을작성한다.

Table 3.Contingency table for McNemar’s test

post-medication

Negative Positive TOTAL

pre-medication

Negative A B A+B

Positive C D C+D

TOTAL A+C B+D A+B+C+D

A: normal patients pre-post medication B: normal patients before medication, abnormal after medication C: abnormal patients before medication, normal after medication D: abnormal patients pre-post medication

검정통계량공식은다음과같다.

(| | )

카이제곱검정과다르게맥네마검정에서는변화된칸인B 와

C 만관심있기때문에카이제곱검정공식에서위와같은공식으로변경되었다.

실제예를들면, Cisplatin 약물과 serum creatinine 에는연관성에대해알아보고자한다. 그렇다면, 다음과같은가설을세울수있다. H0(귀무가설) : Cisplatin 투여전과후의 serum creatinine 부작용비율에는차이가없다. H1(대립가설) : Cisplatin 투여전보다투여후의 serum creatinine 부작용비율이높아졌다. 부작용기준 : serum creatinine>1.4mg /dl

Table 4.Result for McNemar’s test to identify between Cisplatin and serum creatinine

post-medication

Negative Positive TOTAL χ2 _p-value

pre- medication

Negative 2382 80 2462

9.248 0.002357

TOTAL 2727 114 2541 검정통계량은아래와같다.

χ

=

(|80 − 45| − 1)

_{80 + 45}

= 9.248

p-value = 0.0023 이므로귀무가설을기각하고대립가설을채택할수있다(Fig. 5,

Table 4). 결국, Cisplatin 투여전보다투여후에 serum

creatinine 부작용비율이높아졌다라고말할수있다.

1-2 대응표본 t-검증(paired t-test) 대응표본 t-검증은두집단이서로독립적이지않고, 하나의표본이사전과사후에대한관찰한값이달라졌는지알아보기위해사용된다. 예를들면, 약물투여전과후의검사결과의평균값에차이가있는지알아보기위한실험을수행할경우, 다음과같은가설을세울수있다. H0(귀무가설) :P1=P2 (약물투여전과후의검사결과에차이가없다) H1(대립가설):P1<P2or P1>P2 (약물투여전과후의검사결과평균에는차이가있다) 검정통계량은 t 통계량을이용하며, n-1 의자유도를갖는다. 가설채택기준은유의수준 5%를이용한다.

실제적인예를들면, Etoposide 약물과

neutropenia 에는연관성에대해알아보고자한다. Neutropenia 의판단여부는 white blood cell(WBC)<3,900 /㎕을이용하였다. 그렇다면, 다음과같은가설을세울수있다.

H0(귀무가설): Etoposide 투여전과후의 WBC 검사결과값의평균에는차이가없다.

H1(대립가설): Etoposide 투여전과후의 WBC 검사결과값의평균에는차이가있다.

데이터셋구조는아래와같다(Table 5).

Table 5. Dataset for paired t-test test to identify between etoposide and WBC

patient1 patient2 patient3 patient4 patient5 ….

pre 3780 3850 6700 4870 4060 ….

post 3840 1140 100 4220 2430 ….

p-value< 0.001 이므로귀무가설을기각하고대립가설을채택할수있다(Table 6).

결국, Etoposide 투여전보다투여후에 WBC

의평균값이줄어들어전후에차이가있다고말할수있다.

Table 6.Result for paired t-test to identify between etoposide and WBC

N MIN MAX MEAN p-value

Pre lab value 1061 40 32450 5290

0.00 Post lab value 1061 0 16600 2684

약물투여전후평균변화와검사이상수준변화에대한통계검증을하기위한최종데이터형 식은 Fig. 6 와같다.

2. CERT 알고리듬과 new-user design 적용및비교

New-user design(NUD) 또는 Incident user design

(IUD)의정의는약을처음사용하는사람만을연구에포함시키는것이지만(Schneeweiss, 2010), 병원에오기전에다른기관에서대상약물을투여받을수있기때문에연구대상환자가실제 로약물을처음사용하는환자(new drug user)인지아닌지를알아내는것은사실상거의불가능하다. 그래서, 본연구에서는대상약물이환자의몸에서효과가완전히소실될때까지일정기간동안약을 먹지않는휴약기(washout period)를이용하였다(Fig. 7).

연구대상자들의약투여첫번째날짜(first medication date)를발생시점(index

date)라고정의하고, 휴약기를 6 개월을설정하여발생시점을기준으로

6 개월전동안입원및외래를포함하여동일약물을한번도처방받지않은사람으로연구대 상자를제한한후 CERT 알고리듬에적용(CERT with New-User Design; CERT-NUD) 및비교분석하였다.

3. CERT 알고리듬과입원후최초검사비정상환자제거후비교

입원시감시대상약물이아닌다른요인으로환자의검사결과들이흐트러질수가있다. 그런삐뚤림을방지하기위해입원후감시하고자하는특정검사의최초검사수행결과가비 정상인사람들을제외(CERT with Elimination of Initial Laboratory test Abnormal cases; CERT-EILA) 하고분석을반복하였다. 예를들면, Fig. 8 은 serum creatinine

검사는부작용기준이 1.4 mg/dl 이면입원시최초검사결과가 1.4 mg/dl

이상인환자들은연구대상에서제외를시키고, 1.4 mg/dl

미만인환자들만을대상으로연구분석을수행하여,

모델간에감지한약물부작용실마리정보의수와성능에차이가있는지비교하였다.

Fig.8.Exclusion criteria for CERT-EILA.

4. CERT 알고리듬과 CERT-NUD plus CERT-EILA 적용비교

CERT 알고리듬에약을처음사용한사람들만적용한

CERT-NUD 모델과입원후감시하고자하는특정검사의최초검사수행결과가비정상인사람들

을제외한 CERT-EILA

D. 감시대상약물선정

원내에서사용하는전체약물1,265 종중에서원내처방건수가많은약물

10 가지를무작위로선정하였다. 이중 7 가지는비항암제(non-oncology drugs) 인시프로플록사신(ciprofloxacin),클로피도그렐(clopidogrel),케토로락(ketorolac), 레보플록사신(levofloxacin), 라니티딘(ranitidine),

로수바스타틴(rosuvastatin),발프론산(valproic acid)이고, 3 가지는항암제(oncologic drugs)로사용되어지고있는약물인에토포시드(etoposide),플루오로우라실(fluorouracil), 메토트렉세이트(methotrexate) 이다.

E. 대상 Laboratory signal 선정

CERT

알고리듬을평가하기위해서는약물부작용에관련한대량의정확한데이터가필수적이다.

하지만, 현재까지는약물유해반응에관련하여입증된황금기준(gold

standard)이존재하지않는다. 따라서, 본연구에서는이미알려진약물유해사례(adverse drug event; ADE)들을 gold standard 로간주하였다. 참고문헌관련원천자료로써 2010 UpToDate® Drug Information Database (UpToDate Inc., Waltham, MA,

USA)를이용하였고, 무작위로선정된 10 가지약물에대해검사이상(laboratory abnormalities)으로표현되는이미알려진약물유해사례들을조사하였다. UpToDate®는이미알려진대량의약물유해사례목록을제공하지만, 보고된약물부작용은그특징들이동일하지않고질병(disease), 증상(symptom),징후(sign), 증후군(syndrome),검사이상(laboratory abnormality) 등다양한개념으로구성되어있으며,또한,의미가명백하지않은경우가많았다.하지만, CERT 알고리듬은검사이상치로만표현되기때문에 UpToDate®에서제공하는약물유해 사례들과 CERT 알고리듬이감지한약물부작용실마리(positive signal)와직접비교할수없었다. 비교를위해서 UpToDate®에보고된약물유해사례들과감지된 laboratory

signal 을연결해주는매핑테이블(mapping table)이필요하지만,

이런매핑된체계는기존에보고되어있지않다. 따라서, 본연구에서는다음의절차를거쳐서보고된약물부작용과검사이상치들간의매핑테이블 을개발하였다. 매핑테이블은 UpToDate® 로부터무작위로선택한 10 개의약물에대해약물부작용유해사례들과 CERT 알고리듬이사용하는검사이상치들을조사한후, 한명의병리전문의가추출한각약물의부작용과그부작용이검사이상(laboratory test

abnormality)로표현될수있는약물부작용에대하여 laboratory signal 을매핑하여 1 차매핑테이블을만들었다.1 차매핑테이블은한명의병리전문의에의해이루어졌고, 이매핑테이블에대하여혈액학자(hematologist)와신장병학자(nephrologist)가각각독립 적으로평가하고, 두평가자의의견을반영하여매핑테이블을수정하였다(Fig. 9). 두평가자의의견이서로다른경우는세명이모두모여서토의및동의절차를통해매핑테이 블을재수정하였다.평가간에합의를통해해결된매핑테이블에대한평가자간의내적일치 도(degree of inter-observer agreement)는상당히높았다. (κ=0.95; p<0.001).두번의논의와합의를통해서로의견의불일치를이루었던것들은‘anemia—total iron binding capacity increased’와‘granulocytopenia—lymphocyte increased’였다. 의견에불일치를이루었던부분에대해서는연결관계의모호한특성들때문에매핑테이블 에서삭제하자는의견이있었고, 모두그에동의함으로써, 매핑테이블에포함되지않았다. 원내에서사용하는 101 가지검사들중에서매핑테이블에적어도한번이상나타난진단검사들은 41 가지였다. 매핑테이블에나타난 41 가지검사들은성능평가를위해사용하였다. 결국, 41 개의검사들로부터 51 개의검사이상치들을유형별로분류시켰으며, 감시대상진단검사결과로써선택하였다(Table 7).

Table 7. 41 laboratory tests and 51 laboratory abnormalities Laboratory test name Laboratory test abnormality

activated partial thromboplastin time increased activated partial thromboplastin time decreased activated partial thromboplastin time alanine transaminase increased alanine transaminase

alkaline phosphatase increased alkaline phosphatase

ammonemia increased ammonemia

amylase increased amylase

aspartate transaminase increased aspartate transaminase

basophil decreased basophil count

blood urea nitrogen increased blood urea nitrogen

cholesterol increased cholesterol

creatine kinase increased creatine kinase

creatinine increased creatinine

direct bilirubin increased direct bilirubin

eosinophil increased eosinophil count

decreased eosinophil count

fibrinogen decreased fibrinogen

free thyroxine increased free thyroxine

decreasedfree thyroxine

gamma-glutamyl transpeptidase increased gamma-glutamyl transpeptidase

glucose increased glucose

decreased glucose

hematocrit decreased hematocrit

hemoglobin increasedhemoglobin

decreasedhemoglobin

lactate Dehydrogenase increased lactate dehydrogenase

LDL Cholesterol increasedLDL cholesterol

lipase increased lipase

lymphocyte increased lymphocyte

myoglobin increased myoglobin

neutrophil decreased neutrophil count

decreased platelet count

potassium increased potassium

prolactin increased prolactin

protein decreased protein

prothrombin time increased prothrombin time

prothrombin time decreased prothrombin time

red blood cell decreased red blood cell count

reticulocyte increased reticulocyte

decreased reticulocyte

sodium decreased sodium

total bilirubin increased total bilirubin

triglyceride increased triglyceride

triiodothyronine increased triiodothyronine

decreased triiodothyronine

uric acid increased uric acid

urine blood increased urine blood

urine protein increased urine protein

urobilinogen increased urobilinogen

white blood cell increased white blood cell count decreased white blood cell count

F. 알고리듬평가방법

1. 알고리듬성능평가

매핑테이블에있는

10 가지약물에대한알려진약물부작용유해사례를각약물에대한 gold

standard 로채택하였다. 각약물과전체약물에대해 CERT

알고리듬의민감도(sensitivity), 특이도(specificity), 양성예측도(positive predictive

value), 음성예측도(negative predictive value)를계산하였다.

민감도와특이도를계산할때, CERT 알고리듬에의해감지된검사이상항목들을약의이미알려진부작용으로변경하여 비교하였다. 양성예측도와음성예측도계산시에는 CERT 알고리듬이감지한검사이상항목들과이전에알려진약물부작용들로부터변경된 검사이상항목들과비교하였다. 하나의약물부작용은한개또는여러개의검사이상항목으로환산되며, 그와반대로하나의검사이상항목은한개의약물부작용또는여러개의약물부작용으로환 산될수있다. 자세한계산방법은다음과같다.

1. 1 민감도와특이도계산

각약물마다, 기존에알려져있던유해반응목록과

CERT 가찾아낸검사이상항목들로부터매핑테이블을통해변환된유해반응목록을비 교하여계산하였다.

Table 8. Matrix table forp

ositive sensitivity, and specificity for the CERT

algorithm

Previously known ADEs Previously unknown ADEs ADEs

detected by CERT A (True positive) B (False positive) ADEs

not detected by CERT C (False negative) D (True negative)

민감도는검사이상으로표현가능유해반응중에서감지한검사이상항목을매핑테이 블을이용하여약물유해반응으로환산한것과일치하는비율이다.즉, CERT 에의해감지된유해반응중일치하는것을기존에알려진유해반응들로나눈값이 다. Sensitivity = ₊ 특이도는검사이상으로표현가능한유해반응중에서 CERT 가감지하지못한검사이상항목을매핑테이블을통해약물유해반응으로환산한것과일치 하는비율이다. 즉, CERT 에의해감지되지않은유해반응들중일치하는것을기존의알려지지않은유해반응 들로나눈값이다.

Speci icity = ₊ 1. 2 양성예측도와음성예측도계산

CERT 가찾아낸검사이상항목들과각약물의기존에알려져있던유해반응목록으로부 터매핑테이블을통해변환된검사이상항목과비교하여계산하였다.

Table 9. Matrix table forp

ositive predictive value (PPV), and negative predictive

value (NPV) for the CERT algorithm

Previously known

laboratory abnormalities

Previously unknown laboratory abnormalities Laboratory abnormalities

detected by CERT A' (True positive) B' (False positive) Laboratory abnormalities

not detected by CERT C' (False negative) D' (True negative)

양성예측도는감지한모든검사이상항목들중에서보고된유해사례를매핑테이블을이 용하여환산한검사이상목록들과일치하는비율이다. 즉, CERT 에의해감지된검사이상항목들중이미알려진검사이상항목과일치하는항목수 를 CERT 에의해감지된검사이상항목개수로나눈값이다. PPV = ′ + ′ 음성예측도는감지하지못한검사이상항목들중에서보고되지않은유해사례를매핑테 이블을이용하여환산한검사이상목록들과일치하는비율이다. 즉, CERT 에의해감지되지않은검사이상항목들중알려지지않은검사이상항목과일치하 는항목수를 CERT 에의해감지되지않은검사이상항목개수로나눈값이다

NPV = ′ + ′ 민감도와양성예측도를계산할시민감도는약물유해반응을기준으로하였고, 양성예측도는 laboratory 를기준으로하였다. 민감도는기존에알려진것중에얼마나일치하는지에대한비율인데, 기존에알려진약물에대한부작용이전부약물유해사례로표현되어있기때문이다. 하지만, 양성예측도를계산할시에는 CERT 가감지한것중에기존에보고된것과일치하느냐인데, CERT 가감지하는것은 laboratory 이기때문에기존알려진 ADE 들을매핑테이블을이용하여 laboratory 수준으로바꾼후그것과일치하는비율로나타내었다.

Table 10.Mapping table between adverse drug events (ADEs) and laboratory

test abnormalities

Adverse drug event Laboratory test abnormality Score*

abrupt rise in serum creatinine and BUN increased creatinine

increased blood urea nitrogen

0.50 0.50 acute elevation of liver enzymes increased alanine transaminase

increased aspartate transaminase

1.00 1.00

acute pancreatitis increased amylase

increased lipase

1.00 0.00 acute renal failure increased blood urea nitrogen

increased creatinine

0.00 1.00 alkaline phosphatase increased increased alkaline phosphatase 1.00 alanine transaminase increased increased alanine transaminase 1.00

anemia decreased hemoglobin

decreased hematocrit decreased red blood cell

1.00 1.00 0.00

aplastic anemia decreased reticulocyte

decreased red blood cell decreased white blood cell decreased platelet

0.90 0.10 0.10 0.10 aspartate transaminase increased increased aspartate transaminase 1.00

azotemia increased blood urea nitrogen

increased creatinine

1.00 1.00 bilirubin increased increased direct bilirubin

increased total bilirubin

1.00 1.00 bleeding time altered increased prothrombin time

increased activated partial thromboplastin time

decreased prothrombin time

decreased activated partial thromboplastin time decreased platelet 1.00 1.00 1.00 1.00 1.00

bleeding time increased increased prothrombin time

increased activated partial thromboplastin

1.00 1.00

Adverse drug event Laboratory test abnormality Score*

time

decreased platelet

1.00

bruising decreased platelet

increased prothrombin time

increased activated partial thromboplastin time

0.50 0.50 0.50

creatine kinase increased increased creatine kinase 1.00

eosinophilia increased eosinophil 1.00

gamma-glutamyl transpeptidase increased

increased gamma-glutamyl transpeptidase 1.00

granulocytopenia decreased basophil

decreased eosinophil decreased neutrophil decreased white blood cell

1.00 1.00 1.00 1.00

hematuria increased urine blood 1.00

hemolytic anemia increased reticulocyte

increased total bilirubin increased hemoglobin increased urobilinogen

increased lactate dehydrogenase

0.34 0.34 0.34 0.34 0.34

hepatitis increased alanine transaminase

increased aspartate transaminase increased alkaline phosphatase increased direct bilirubin increased total bilirubin

1.00 1.00 0.00 0.00 0.00 hyper-/hypoglycemia increased glucose

decreased glucose

1.00 1.00

hyperammonemia increased ammonemia 1.00

hyperbilirubinemia increased direct bilirubin increased total bilirubin

1.00 1.00 hypercholesterolemia increased cholesterol

increased LDL cholesterol

1.00 1.00

Adverse drug event Laboratory test abnormality Score*

hyperkalemia increased potassium 1.00

hyperprolactinemia increased prolactin 1.00

Hyperuricemia increased uric acid 1.00

hypofibrinogenemia decreased fibrinogen 1.00

hyponatremia decreased sodium 1.00

hypoproteinemia decreased protein 1.00

jaundice increased direct bilirubin

increased total bilirubin

increased gamma-glutamyl transpeptidase increased alkaline phosphatase

1.00 1.00 0.00 0.00 lactate dehydrogenase increased increased lactate dehydrogenase 1.00

leukocytosis increased white blood cell 1.00

leukopenia decreased white blood cell 1.00

liver enzymes increased increased alanine transaminase increased aspartate transaminase

increased gamma-glutamyl transpeptidase increased alkaline phosphatase

1.00 1.00 1.00 0.00

lymphocytosis increased lymphocyte 1.00

myelosuppression decreased white blood cell 1.00

myoglobinuria increased myoglobin 1.00

nephritis increased urine blood

increased urine protein increased blood urea nitrogen increased creatinine

0.50 0.50 0.00 0.00

neutropenia decreased white blood cell 1.00

pancytopenia decreased white blood cell

decreased red blood cell decreased platelet

0.34 0.34 0.34 prolongation of prothrombin time increased prothrombin time 1.00

proteinuria increased urine protein 1.00

prothrombin time increased /decreased increased prothrombin time decreased prothrombin time

1.00 1.00

Adverse drug event Laboratory test abnormality Score*

renal failure increased creatinine

increased blood urea nitrogen increased potassium

1.00 0.00 0.00 renal function abnormal increased creatinine

increased blood urea nitrogen

1.00 0.00

serum cholesterol increased increased cholesterol 1.00

serum creatinine increased increased creatinine 1.00

serum triglycerides increased increased triglyceride 1.00

thrombocythemia increased platelet 1.00

thrombocytopenia decreased platelet 1.00

thyroid function test abnormalities increased triiodothyronine decreased triiodothyronine increased free thyroxine decreased free thyroxine

0.34 0.34 0.34 0.34 transaminases increased increased alanine transaminase

increased aspartate transaminase

1.00 1.00 white blood cell abnormality increased white blood cell

decreased white blood cell

1.00 1.00

*

_{An ADE is converted into all the corresponding laboratory abnormalities in the row.}

검사이상치(Laboratory test abnormality)

들을자동으로 ADE 들로변환하기위한시스템을 Table 10 을이용하여개발하였다.

각 ADE 와매핑된검사이상들은 ADE 에영향을미치는정도에따라점수를부여하였다.

각검사이상들이가지고있는점수의합이 1 이거나그이상이면검사이상들은해당

ADE 로변경된다.hemolytic anemia 에대해예를들면, increased reticulocyte + increased total bilirubin + increased hemoglobin 을계산하면 0.34 + 0.34 + 0.34 = 1.2

의점수를얻게된다.결과적으로합계점수가 1.2 로써 1

만약위의검사이상의 3 개중 2 개만이 positive 였다면, 점수의합이 0.68 이기때문에

hemolytic anemia 로변환되지않는다.이러한방법을적용하여검사이상에서

G. 연구대상건수증가에따른 CERT 알고리듬성능시뮬레이션

연구대상건수(cases) 증가에따른 CERT 알고리듬의성능변화를평가하기위하여연구대상건수를증가시키면서성능시뮬레이션 을수행하였다. 약투여전과후의동일검사를수행한환자들중에대상자들을랜덤으로선택하여 200 케이 스에서 4,000 케이스까지각각 200 케이스씩늘려가면서성능변화를관찰하였다. 성능의평균을구하기위해위의작업을 100 번의랜덤샘플링하여수행하였다.

Fig. 10.Process for

performance simulation of CERT algorithm with increasing

cases.