의약품 자발적 부작용 보고자료의 통계처리 시스템
1가톨릭대학교 의료경영대학원 의료정보학과, 2서울성모병원 약제부,
3가톨릭 의과대학 약리학교실, 4서울성모병원 피부과
김시라1, 왕보람1, 이정선2, 김보리2, 나현오3, 박영민4, 최인영1
=Abstract=
Statistical Analysis System of Spontaneous Adverse Drug Reaction Reports Sira Kim1, Boram Wang1, Jungsun Lee2, Bori Kim2, Hyeno La3, Young Min Park4, Inyoung Choi1
1Graduate School of Healthcare Management and Policy, 2Seoul St' Mary Hospital,
3Dept. of Pharmacology, 4Dept. of Dermatology,
The Catholic of the University, Catholic Medical Center, Seoul, Korea
Background: Spontaneous adverse drug reaction (ADR) reporting data has been used for safety of post-market drug surveillance. A system has been required that is able to detect signals associated with drugs by analyzing the collected ADR data.
Methods: We developed the web-based automated analysis system (ADR-detector). We used the data which reported ADR spontaneously between March 2009 and December 2010 to Korean Food and Drug Administration. We used 3 statistical indicators for evaluating ADR signals: proportional reporting ratio (PRR), reporting odds ratio (ROR), and information component (IC). The ADR reports which were detected as significant signals based on the indicators have been reviewed.
Results: Among 153,774 reports, 9,955 cases were related to 4 analgesics which were most frequently reported analgesic drugs during the study period. The numbers of ADR reports associated with each drug are as follow: 5,623 reports in tramadol (56.5 %), 1,720 reports in fentanyl (17.3 %), 1,463 reports in tramadol-combination (14.7 %), and 1,149 reports in ketorolac (11.5 %). Top 5 ADR were nausea (3,351 reports – 33.7 %), vomiting (1,755 reports – 17.6 %), dizziness (1,130 – 11.4 %), rash (412 reports – 4.1 %), and pruritus (354 reports – 3.6 %). 6,674 ADR reports were significant based on PRR and ROR, and 336 reports were significant based on IC.
Conclusion: By using the automated analysis system, not only statisticians but also general researchers are able to analyze ADR signals in real-time. Also ADR-detector would provide rapid review and cross-check of ADR.
K ey w ords: Automated analysis system, Signal, Data mining, Spontaneous adverse drug reaction reporting
본 연구는 2012년 식품의약품안전청 용역연구개발과제의 연구개발비 지원(12172의약안212)에 의해 수행되었음.
교신저자: 최인영
소 속: 가톨릭대학교 의료경영대학원
주 소: 서울시 서초구 반포대로 222 가톨릭대학교 의과학연구원 1층 1014호 (우 137-701) 전화번호: 02-2258-7870, 팩스: 02-2258-8257, E-mail: iychoi@catholic.ac.kr
접수일자: 2012. 10. 19. 수정일: 2012. 11. 16. 게재확정일: 2012. 11. 20.
서 론
시판 전 임상시험은 제한된 기간 동안 연구 결 과의 타당성을 높이기 위하여 엄격한 연구대상 선정기준을 적용하여 진행된다. 이미 안전성과 유 효성이 인정되어 허가를 받은 시판중인 의약품일 지라도 불특정 다수에 대한 사용 경험에 따른 부 작용 등의 정보를 지속적으로 수집하고 평가하는 것이 필요하다.1-2) 국내·외적으로 시판 후 승인 단 계에서 지역적, 국제적 약물 안전성 평가를 위한 주된 방법으로 의약품 자발적 부작용 보고 자료 가 활용되고 있다.3)
미국의약품안전국(Food and Drug Administration, FDA)에서는 1960년부터 의약품 자발적 보고 제 도에 의한 약물부작용 모니터링 제도를 운영하고 있으며, 매년 46만건 이상의 신고가 접수되고 있 다. 영국에서도 1964년부터 황색카드체계(Yellow Card Scheme)를 구축하여 의사와 제약업계가 약 물유해사례를 보고하고 있다.1)
세계보건기구(World Health Organization, WHO)에서는 1968년 국가적인 약물감시체계를 구축하였으며, 스웨덴의 웁살라 모니터링센터 (Uppsala Monitoring Center, UMC)에서도 약물 감시모니터링을 통해 전 세계로부터 약물유해사 례를 보고받고 있다. 최근 10년 동안 웁살라 모니 터링센터의 데이터베이스에 저장된 약물 유해사 례 건수는 약 300만 건 이상으로 증가하였으며, 최소한 일 년에 4번 이상 검색하여 실마리 정보 를 확인하고 있다.1)
국내에서도 1985년부터 자발적 약물부작용 모니 터링 제도를 운영하고 있으며, 1998년 12월 정부에 서 규제개혁의 일환으로 전국의 4,000개가 넘는 의 료기관을 의약품 부작용 모니터링기관으로 지정하 였던 것을 해제하고 자율적으로 보고하도록 조치
하였다. 이후 식품의약품안전청에서는 약물부작용 신고 활성화를 위해 웹페이지를 만들어 부작용 기 반 보고체계를 위한 기반을 구축하였다. 2000년 10 월부터 전국 15개 대학병원과 종합병원을 대상으 로 약물부작용을 의무보고 하도록 제도를 개선하 였고, 이에 따라 2001년 이후 유해사례 신고건수는 2002년 77건에서, 2006년 2,467건, 2007년 3,750건, 2008년 7,210건으로 급속히 증가하였다.4-5) 그러나 의약품 자발적 부작용 보고 제도가 지닌 한계점도 적지 않다. 주요한 한계점으로 의료진의 미보고 사 례와 수량화되지 않은 부작용 건수가 많다는 것이 다. 그리고 신고 되는 자료의 질이 일정치 않고 결 측치가 많다는 단점이 있다.
의약품 자발적 부작용 보고 자료를 분석하기 위 해 사용되는 대표적인 통계분석방법들은 보고분율 비(Proportional Reportiig Ratio, PRR), 보고오즈비 (Proportional Odds Ratio, ROR), 베이지안신뢰신 경전달망(Bayesian Confidence Neural Network, BCPNN), 정보성분(Information Component, IC) 등이 있다.6) 이 중 어떤 방법이 가장 타당성이 높 은 것인지에 대한 검증결과는 없기 때문에 동시에 여러 가지 방법론을 적용하여 실마리 정보를 검색 하도록 권고하고 있다.7)
약물부작용 실마리 정보를 분석하는데 사용되 는 통계분석기법은 특수하여 약물역학이나 통계 전문가 이외의 연구자들이 데이터를 분석할 경우 어려움이 있다. 또한, 자료의 양이 증가할수록 데 이터 전처리 과정에 따라 상이한 결과가 나올 수 있는 확률이 증가하고, 결과 도출에도 오랜 시간 이 소요된다. 또한 전체 약물처방 정보를 알 수 없기 때문에 분모 정보를 파악하는데 한계를 가 지고 있으며, 약물 복용에 대한 정보가 충분하지 않고 적절한 비교군이 없다는 제한점이 있다. 따 라서 일관적인 기준에 따른 데이터 전처리 과정
동안 실시간으로 결과 분석이 가능한 의약품 자 발적 부작용 보고자료의 통계처리 시스템이 요구 된다.
본 연구에서 실마리정보와 약물간의 인과관계 를 신속하게 평가할 수 있는 정보 체계를 제공하 기 위하여 웹기반의 실마리정보 통계처리 시스템 을 개발하였다. 이 실마리정보 통계처리 시스템을 통해 통계전문가 이외의 일반연구자들도 손쉽게 개별약제 및 복수약제에 대한 실마리정보를 검색 할 수 있는 기반을 제공할 수 있을 것이다.
연구대상 및 방법
1. 연구 대상
본 연구에서는 급성 통증 및 만성 염증 치료 등에 광범위하게 사용되고 있으며,8) 사회경제학적 파급력이 큰 약물인 해열᠊진통᠊소염제를 분석 대상 으로 선정하였다. 소염진통제는 1897년 아스피린 (acetylsalicylic acid)이 출시된 이후 40여종이 넘 는 다양한 종류가 개발되어 왔으며,8) 전문의약품 중에서도 가장 많이 처방되고, 일반의약품 성분도 많아 광범위하게 사용되는 다빈도 약물 중 하나 이다.9) 그러나 광범위한 사용만큼 소염진통제와 관련된 약물 부작용 보고도 적지 않다. 영국에서 는 근골격계 질환자의 치료 중 비스테로이드성 소염제와 관련된 부작용으로 인한 입원이 10,000 여건, 사망은 2,000건에 이르는 것으로 보고되고 있다.9) 국내에서도 단일 병원에서 수집된 약물유 해반응 보고사례의 26.6 %가 소염진통제와 관련 이 있는 것으로 보고되었다.10)
본 연구에서는 개발된 웹기반 통계처리 시스 템을 이용하여 수집된 자발적 부작용신고자료 중 에서 다빈도로 신고된 소염진통제계열 약제의 실
마리 정보를 확인하고자 한다.
2. 자료 수집 방법
본 연구에서는 2009년 3월부터 2010년 12월까 지 식약청에 신고 된 자발적 약물부작용 신고 자 료를 이용하였다. 이 기간 동안 수집된 신고 자료 는 총 80,781건이었으며, 약물-유해사례 조합 건 수는 153,774건이었다. 신고된 자료는 기본정보, 추적보고자, 환자정보, 의약품 정보, 유해사례정보, 중대한 유해사례, 비고(신자료 구분, 품목구분, 안 전성 재심사 동일여부)의 정보로 이루어졌다. 그 중, 유해사례코드(ARRN), 성분명, 유해사례 보고 건수에 대한 정보만을 수집하여 분석하였다. 유해 사례는 WHO-ART (World Health Organization Adverse Reaction Terminology)의 Preferred Term (PT)로 코딩된 자료를 이용하였다.
3. 자료 분석 방법
본 연구에서는 실마리정보 검색을 위한 데이터마 이닝 지표로 보고분율비, 보고오즈비, 정보성분 세 가지 지표를 사용하였다. 보고분율비는 특정 약물보 고건의 특정 유해사례 분율을 다른 약물보고건의 특정 유해사례 분율로 나눔으로써 산출되고, 보고오 즈비는 특정 약물에 의해 발생한 유해사례의 오즈 를 그 약물이 아닌 다른 약물로 인하여 발생한 유해 사례의 오즈를 나눈 것과 같다. 정보성분은 약물과 특정 유해사례가 서로 관련이 없어서 독립적으로 발생하는 경우에 약물과 특정 유해사례가 함께 발 생할 확률[P(E.D)]을 약물 복용의 확률과 특정 유해 사례가 발생할 확률의 곱[P(E)P(D)]으로 나눈 값이 다. 보고분율비, 보고오즈비 및 정보성분의 산출식 은 Table 1에 나타내었다. 보고분율비에 의한 실마
Table 1. Definition and signal detection criteria of implemented data mining indices
No. of reports Specific AE All other AE
Tramadol A B
All other drugs C D
Indices Definition Criteria of signal detection
PRR {A/(A+B)}/{C/(C+D)} PRR≥2, Chi-squared≥4, and A≥3
ROR (A/B)/(C/D) ROR≥2, Chi-squared≥4, and A≥3
IC log2{P(AE, drug)/P(AE)P(drug)} Under limit of 95 % confidence interval≥0
* PRR: proportional reporting ratio, ROR: reporting odds ratio, IC: information component, AE: adverse event.
Figure 1. Database for ADR-Detector.
Figure 2. Process of ADR (Adverse Drug Reaction)-Detector.
리정보 판정기준은 PRR≥2이고, 카이제곱≥4이며 유해사례 발생건수≥3인 경우,11) 보고오즈비는 ROR≥2이고, 카이제곱≥4이며 유해사례 발생건수
≥3인 경우12) 정보성분은 95 % 신뢰구간의 하한치 가 0이상인 경우로 하였다(Figure 1).13)
본 연구에서는 보고분율비, 보고오즈비, 정보성 분 세 가지 지표를 모두 이용하여 실마리정보를 검색하였으며, 각각의 지표에서 실마리정보라고 판정된 유해사례와 모든 지표에서 유의하다고 판 정된 유해사례에 대하여 확인하였다.6)
4. 의약품 부작용 보고자료 통계처리 시스템개발
본 연구에서는 HTML, Javascript, Apache server, PHP, MySQL을 이용하여 웹기반으로 자 동실마리정보 분석이 가능한 ADR-Detector 시스 템을 개발하였다. ADR-Detector 시스템은 실마리 정보 검색을 위하여 우선 의심약물의 성분명과 WHO-ART의 PT 코드로 약물-유해사례 조합 테 이블을 생성하였다. 그리고 생성된 약물-유해사례 조합 테이블과 용어 맵핑 테이블을 변환하여 데 이터베이스를 재구성하고, 실마리정보 검색할 수 있도록 구성하였다. ADR-Detector 시스템의 데이 터 베이스 구조는 Figure 1과 같다.
사용자가 ADR-Detector 시스템에 약물부작용 실마리정보를 확인할 약제를 선택하여 요청하면,
Figure 3. Programming code of ADR-Detector system.
ADR-Detector 서버가 데이터베이스에서 해당 약 제의 정보를 가져와 데이터마이닝을 통해 사용자 에게 해당 약물의 실마리정보를 제공해 주는 프 로세스로는 Figure 2와 같다. Figure 3은 본 연구 에서 개발한 프로그래밍 코드의 일부이며, (Figure 4)는 ADR-Detector 시스템의 웹페이지 메인 화면이다. 시스템 화면의 좌측은 부작용 보 고자료 데이터베이스에 저장되어 있는 모든 의약 품 성분에 대한 부작용 보고내역을 찾아볼 수 있 고, 실행(Go)버튼을 누르면 선택한 약제성분의 실 마리정보를 확인할 수 있다. 선택(→)버튼을 이용 해 화면 우측의 복수약제 표시창에 추가하여 실 마리정보를 확인할 수 있다. ADR-Detector 데이
터베이스에 포함된 모든 약제 성분명은 오름차순 으로 나열되어 있어 문자열 일부를 입력하면 그 문자열을 포함하는 성분이 나타나도록 구성했다.
본 시스템에서는 보고 수에 대한 임계값 (threshold)을 사용자가 임의로 설정하고, 설정한 임계값 이상의 유해사례 보고 수를 확인하는 것이 가능하도록 개발하였다. Figure 5는 ADR-Detector 시스템의 실마리정보 검색 시작 화면이다. 분석하고자 하는 성분을 입력하고 성분 명과 보고건수(Report) 우측의 실행(Go) 버튼을 클릭하면, 해당 성분의 실마리정보를 확인할 수 있는 페이지로 연결된다. 보고분율비와 보고오즈 비 등과 같은 통계지표에는 실마리정보에서 일반
Figure 4. Web main page of ADR-Detector system.
적으로 통용되는 판정기준(PRR≥2, ROR≥2)이 적용된다. 그러나 개발된 시스템에서는 유해사례 의 유연한 판독을 위해 통계지표의 임계값을 사 용자가 임의로 지정할 수 있도록 설계하였다 (Figure 6).
또한 ADR-Detector 시스템에서는 특정 약제군 내에서 단일 성분 간의 유해사례 분석을 통해 실 마리정보의 안정성을 비교할 수 있다. 약제군의 경우 실마리정보를 확인할 때, 유해사례 건수와 통계지표를 합산하여 계산된 통계지표만을 제공 할 경우에는 개별 성분들이 약제군 전체의 이상 반응 특성을 따르는지 여부에 대해 객관적으로 판단하기 어렵다. 이러한 단점을 보완하기 위해 본 시스템에서는 약제군과 개별 약제간의 특성을 한눈에 비교 가능하도록 시스템 화면을 설계하였
다(Figure 7). 개별 성분들의 분석결과를 한 화면 에서 쉽게 비교하기 위하여 보고분율비와 보고수 만을 표시하였고, 보고분율비에 대하여 통계적으 로 유의한 경우는 셀이 노란색으로 표시되도록 하였다. 따라서 개별 성분들의 통계지표 및 통계 적 유의성 비교를 통하여 개별 성분이 전체 성분 군의 유해사례-유의성 특성을 따르는지 여부에 대하여 보다 쉽게 파악할 수 있다.
결 과
2009년 3월부터 2010년 12월까지 식약청에 신 고된 자발적 의약품 부작용 보고자료로부터 얻은 약물-유해사례 조합 총 153,774건 중에서 해열᠊진 통᠊소염제 계열 약품 중 유해사례 보고가 가장 많
Figure 5. Example of signal search with tramadol containing products using ADR-Detector system.
Figure 6. Example of single drug adverse event signal using ADR-Detector system (case of tramadol).
았던 상위 4개 의약품 성분에 대하여 분석하였다.
ADR-Detector 시스템을 이용하여 분석에 사용된 4가지 성분은 tramadol, fentanyl, tramadol- combination, ketorolac이며 4가지 성분으로 보고 된 유해사례 건수는 총 9,955건이다. 성분별로는 tramadol 5,623건(56.5 %), fentanyl 1,720건 (17.3 %), tramadol-combination 1,463건(14.7
%), ketorolac 1,149건(11.5 %)이었다.
실마리정보 판정기준에 따라 보고분율비와 보 고오즈비, 정보성분에서 모두 통계적으로 유의한 약물-유해사례 조합은 총 366건이었다. Tramadol
에 대하여 세가지 지표 모두에서 유의하게 나타 난 대표적인 유해사례 명은 땀증가(sweating increased), 오심(nausea)이었고, fentanyl에서 나 타난 대표적인 유해사례 명은 착란(confusion), 과다근육긴장증(hypertonia), 호흡저하(respiratory depression), 혼미(stupor), 기억상실증(amnesia) 이었다. Tramadol-combinations에 대한 대표적인 유해사례 명은 혼미(stupor), 불수의근육수축 (muscle contractions involuntary), 배뇨곤란 (dysuria)이었고, Ketorolac에 대한 대표적인 유해 사례 명은 감각이상(dysaesthesia)이었다.
Figure 7. Example of multi drug (4 types of an algesics) signal research using ADR-Detector.
고 찰
의약품 부작용 보고 모니터링을 이용한 시판 후 약물감시와 관련된 연구에 따르면 모든 외래 환자의 5 %와 입원환자의 10 - 20 %에서 약물유 해반응이 발생한다고 하였고,14-15) 영국에서는 입 원환자의 약 6.7 %가 입원 중에 심각한 약물부작 용을 경험하며 치명적 약물부작용을 경험하는 환 자도 0.32 %나 되는 것으로 보고하였다. 영국에서 는 약물 부작용으로 인한 평균 재원기간이 8일이 며, 입원비용은 466파운드로 조사되었다.16) 2005년 에서 2009년 동안 체코의 한 대학병원에서 보고 된 총 7,708건의 의약품 자발적 부작용 사례 중 73.6 %가 심각한 약물유해반응이었고, 2.1 %는 약물유해반응으로 인해 사망에 이른 것으로 알려 졌다.17)
최근 다양한 데이터마이닝 기법을 이용하여 의 약품 자발적 부작용 보고 자료로부터 실마리 정 보를 탐색하는 많은 연구가 진행되고 있다. 하지 만 이러한 분석 결과를 알기 위해서는 연구에 필 요한 데이터를 추출하여 전처리 과정을 거친 후 이에 대한 결과를 분석해야 한다. 이 때 모든 자 료를 한꺼번에 전처리하려면 많은 시간과 노력이 필요하기 때문에 일반적으로 특정한 약제나 약제
군을 선별한 후 연구를 진행하는 것이 일반적이 었다. 또한, 실시간으로 유해사례 패턴 변화를 살 펴보는 것은 어려웠으며, 복수 약제간 비교를 하 는 것도 쉽지 않았다. 우리나라에서도 의약품 자 발적 부작용 보고건수가 급증하고 있으며, 축적된 보고 자료를 이용하여 의미있는 실마리정보를 효 과적으로 검색할 수 있는 기반이 마련되고 있으 나, 신고된 실마리정보를 분석하는데 보다 효율적 인 방법이 요구되고 있다.
본 연구에서 개발한 ADR-Detector 시스템은 다음과 같은 장점을 제공한다. 첫째, 자발적 보고 자료의 분석을 자동화할 수 있는 웹시스템을 개 발함으로써 약물부작용을 평가하여야 하는 연구 자 또는 정부 관료들에게 원하는 데이터에 쉽게 접근할 수 있도록 하였고 부작용 여부를 단기간 에 분석할 수 있도록 개선하였다. 따라서, 통계전 문가가 아니라도 쉽게 실마리정보를 검색한다거 나 특정 약제의 유해사례가 차지하는 비율을 확 인할 수 있는 기반을 제공한 것이다. 둘째, 실마 리정보 판정기준인 통계지표 임계값을 사용자가 지정할 수 있어서 보다 유연한 판독이 가능하다.
셋째, ADR-Detector 시스템은 동일 계열 약품군 내 개별 성분들의 실마리정보를 비교분석하여, 개 별 성분들의 통계지표 및 그에 따른 유의도를 비
교하여 개별성분들이 전체 성분군의 유해사례-유 의도 특성을 따르고 있는지 파악이 가능하다. 따 라서, 개별 성분별 분석 뿐 아니라 여러 약 성분 군에 대한 유해사례 별 통계지표를 한 눈에 검토ㆍ 비교 가능하여 보다 신속하고 유효한 유해사례정 보를 알아 낼 수 있고, 이에 따라 약물 이상 반응 에 대한 후속 조치가 더 빨라 질 수 있을 것으로 기대한다.
본 연구와 같은 자발적 약물부작용 보고자료를 이용한 실마리정보 검색연구의 제한점은 다음과 같다. 첫째, 약물이 처방된 환자들에 대한 전체 분 모정보가 없기 때문에 특정 유해사례의 보고건수 가 많다고 하여도 실제 유해사례 발생률이 높을 것 으로 판단할 수 없으며, 통계적 유의성 검정만으로 유의미한 실마리정보라고 단정해서는 안 된다. 통 계처리 결과에 따라 유의성이 있는 정보는, 해당 약물과 유해사례 간의 인과성 여부 검토에 사용될 수 있다. 즉 이 시스템을 적용하여 도출된 결과는 보고된 유해사례와 사용한 약물과의 인과성 여부 나 의학적 의미 등을 중점적으로 판단할 필요가 있 는지의 근거로 활용될 수 있다. 둘째, 자발적 의약 품 부작용 보고 건수는 약물 사용량이나 부작용 보 고 패턴에 따라 변할 수 있으므로, 이를 활용하여 도출한 실마리정보의 정확성을 개선하기 위하여 병원 전자의무기록(EMR; electronic medical record) 등을 활용하는 개선 연구들이 병행되어야 할 것이다.
참고문헌
1. 박병주. 의약품 이상반응 자료의 분석방법 연구.
식품의약품안전청 용역연구사업 연구결과보고서, 2007;7-14.
2. Park S, Chae SM. Social Relief Scheme for Serious Adverse Drug Reactions-Lessons from
other countries for Korea. Kor J Clin Pharmacol Ther, 2008;18(1):18-27. (Korean)
3. Fletcher AP. Spontaneous adverse drug reaction reporting vs event monitoring: a comparison. J R Soc Med, 1991;84(6):341-344.
4. 2007년도 식품의약품통계연보. 제9호, 식품의약품 안전청, 2007;205-207.
5. 김영식. 의약품 유해반응 모니터링 활성화 방안 연 구 사업. 제12권, 식품의약품안전청 연구보고서, 2008;611-612.
6. Seong JM, Choi NK, Jung SY, Kim YJ, Lee JY, Park BJ. Signal Detection of Sildenafil in Korean Spontaneous Adverse Event Reports. Kor Soc Pharmacoepidemiol Risk Manag, 2009;2(1):38- 44. (Korean)
7. Van Puijenbroek EP, Bate A, Leufkens HG, Lindquist M, Orre R, Egberts AC. A comparison of measures of disproportionality for signal detection in spontaneous reporting systems for adverse drug reactions. Pharmacoepidem Dr S, 2002;11(1):3-10.
8. Song YJ, Ha CW. The Use of COX-2 Selective Nonsteroidal Anti-inflammatory Drugs for the Treatment of Osteoarthritis. J Korean Knee Soc, 2009;21(2):84-92. (Korean)
9. Ha JH. Risk signal detection of marketed NSNNAs (non-steroidal and non-narcotic analgesics). Doctoral Dissertation Sungkyun Kwan University, 2011. (Korean)
10. Kim MG, Kang HR, Kim JH, Ju YS, Park SH, Hwang YI, Jang SH, Kim DG, Jung KS. Analysis of adverse drug reactions collected by an electronic reporting system in a single hospital.
Korean J Med, 2009:77(5):601-609. (Korean) 11. Evans SJ, Waller PC, Davis S. Use of
proportional reporting ratios (PRRs) for signal generation from spontaneous adverse drug reaction reports. Pharmacoepidem Dr S, 2001;
10(6):483-486.
12. Egberts AC, Meyboom RH, van Puijenbroek EP. Use of meaures of disproportionality in pharmacovigilance: three Dutch examples.
Pharmacoepidem Dr S, 2002; 25(6):453-458.
13. Lindquist M, Ståhl M, Bate A, Edwards IR, Meyboom RH. A retrospective evaluation of a data mining approach to aid finding new adverse drug reaction signals in the WHO international database. Pharmacoepidem Dr S, 2000;23(6):
533-542.
14. Pirmohamed M, Breckenridge AM, Kitteringham NR, Park BK. Adverse drug reactions. BMJ, 1998;316:1295-1298.
15. Einarson TR. Drug-related hospital admissions.
Ann Pharmacother, 1993;27(7):832-840.
16. Morimoto T, Gandhi TK, Segar AC, Hsieh TC, Bates DW. Adverse drug events and medication errors: detection and classification methods.
Qual Saf Health Care, 2004;13:306-314.
17. Eva Kopečná, Veronika Deščíková, Jiří Vlček, Jana Mladá. Adverse drug reaction reporting in the Czech Republic 2005-2009. Int J Clin Pharm, 2011;33(4):683-689.
