약물부작용 감시를 위한

접수: 2012년 11월 2일, 승인: 2012년 12월 7일 연락처: 최인영, 137-701, 서울시 서초구 반포대로 222

가톨릭대학교 의료경영대학원

Tel: (02) 2258-7870, Fax: (02) 2258-8257 E-mail: iychoi@catholic.ac.kr

Correspondence to: Inyoung Choi, PhD

Graduate School of Healthcare Management & Policy, The Catholic University of Korea, 222 Banpo-daero, Secho-gu, Seoul 137-701, Korea

Tel: +82-2-2258-7870, Fax: +82-2-2258-8257 E-mail: iychoi@catholic.ac.kr

약물부작용 감시를 위한 EHR 기반 약물감시체계

가톨릭대학교 의료경영대학원

노미정ㆍ김시라ㆍ최인영

Pharmacovigilance System Based on EHR for Surveillance of Adverse Drug Reactions

Mijung Rho, PhD, Sira Kim, MS and Inyoung Choi, PhD

Graduate School of Healthcare Management and Policy, The Catholic University of Korea, Seoul, Korea

Objective: Drug safety surveillance have been done based on spontaneous reporting system in South Korea.

However, it have been reported about disadvantages of spontaneous reporting system. As a result, surveillance of adverse drug reactions based on Electronic Health Record (EHR) system is proposed as complementary method.

However, little research has been conducted on surveillance of adverse drug reactions based on EHR system.

Methods: This study reviewed three previously conducted project for surveillance systems including Europe-

In addition, software was developed to analyze safety signal and provide results. Finally, standard vocabulary like ICD-9-CM, ATC, and SNOMED-CT were proposed. Conclusion: Even though Electronic Medical Record (EMR) system is more popular in South Korea, we believe the lessons learned from three projects will be the principal reference to develope the Korean adverse drug even monitoring system in near future. (JPERM 2012;5:137-142)

Key Words: Adverse Drug Reactions; Common Data Model; Europe-Adverse Drug Reaction (EU-ADR); Mini-

서 론

약물부작용 감시는 시판중인 의약품에 대한 안전성 평가 로 국민의 건강과 관련된 사안이어서 전 세계적으로 매우 중요하다. 미국의약품안전국(Food and Drug Administration, FDA)에서는 1960년부터 자발적 약물부작용 신고제도에 의

한 약물부작용 모니터링 제도를 운영하고 있으며, 우리나라 의 경우 1985년부터 의약품 자발적 부작용 보고제도를 통해 서 약물부작용 감시를 진행해 오고 있다. 그러나 자발적 보 고 체계만이 약물부작용 감시에 효과적인 수단이 아니라는 인식과 더불어,¹⁾ 병원에 있는 의료자료를 이용한 약물부작 용 감시에 대한 관심이 증가하고 있다. 그러나 각 병원은 이

질적인 전자건강기록(Electronic Health Record, EHR) 시스템 을 사용하고 있으며, 데이터 형식이나 내용의 이질성으로 인해 일관된 분석은 어려운 상황이다. 이에 전자건강기록 자료를 통합하여 신속히 분석할 수 있는 EHR 기반의 약물 부작용 감시 시스템을 구축하고자 하는 요구는 점차 늘어나 고 있다. 또한 의료 산업 분야에 있어서 EHR 시스템에 대한 관심이 증대되고 있으며, 이를 도입하는 병원이 늘어나고 있는 점을 감안할 때,²⁾ EHR 기반의 약물부작용 감시 시스 템을 구축하는 것은 병원의 중요한 과제이다. 상이한 EHR 시스템을 통합하기 위해서는 공통데이터모델(Common Data Model, CDM)이 개발되어야 한다. CDM은 상이한 EHR 자료 를 통합하고, 약물안전성과 관련된 신뢰성 있는 결과를 도 출할 수 있기 때문이다.

그동안 국내 연구진들도 효과적인 약물부작용 감시 시스 템 요구와 구축에 관한 연구들을 제한적으로 진행해 왔 다.^3-5) 그러나 기존의 연구에서는 다기관의 EHR 시스템 통 합에 의한 약물부작용 감시 시스템에 관한 연구는 아직까지 없었으며, 한국형 CDM 구축을 위한 자료는 턱없이 부족한 현실이다.

본 연구는 이러한 문제점을 인식하고, EHR 기반의 약물 안전성 시스템에 대한 해외의 세 가지 사례를 통해 한국형 CDM을 개발하는데 기초가 되는 체계적인 자료를 제시하고 자 한다.

대상 및 방법

본 연구는 EHR 기반의 약물부작용 감시 시스템 구축의 대표적인 3가지 프로젝트인 Europe-Adverse Drug Reaction (EU-ADR), Mini-Sentinel, Observational Medical Outcomes Partnership (OMOP)을 대상으로 연구를 진행하였다.

본 연구는 첫째, 각 프로젝트에 대한 일반적인 특징과 시 스템적인 특징을 살펴보았다. 둘째, 이러한 각각의 특징을 바탕으로 세 가지 EHR 기반 약물 감시 프로젝트를 비교분 석 하여 결론을 도출하였다.

결 과

1. Europe-Adverse Drug Reaction (EU-ADR)

EU-ADR은 2008년 2월부터 시작되었으며 이태리, 네덜란 드, 영국, 덴마크 등의 유럽 4개국의 18개 파트너 기관들의 참여로 진행된 프로젝트이다. EU-ADR은 EHR 데이터를 기 반으로 약물부작용 감시를 위한 실마리정보를 조기에 감지 하고 이를 검증하기 위한 시스템 개발을 목적으로 한다.⁶⁾ 또한 이 시스템은 3천만 명 이상의 환자들의 인구학적 데이 터와 약물사용데이터, 임상데이터와 같이 EHR 시스템에서

이용 가능한 데이터를 활용하고 있다.⁷⁾ EU-ADR은 전자건 강기록 시스템에 저장되어 있는 진료 기록을 기반으로 데이 터 수집하고 이를 분석하여 약물부작용을 감시할 수 있도록 지원하고 있다.

1) EU-ADR 프로젝트의 특징

EU-ADR 프로젝트는 아래와 같은 특징을 지닌다. 첫째, EU-ADR 프로젝트는 4개국의 8개 EHR 시스템의 데이터베 이스를 분산 네트워크를 통해 연결한다. 또한 이질적인 EHR 데이터베이스를 통일된 구조로 통합하기 위한 시스템 개발 및 검증 모듈을 포함하고 있다. 약물안전성 평가에 사 용되는 데이터는 표준화된 퇴원 코드, 투약, 검사, 처방, 사 망 등에 대한 자료 등이 포함한다.⁶⁾ 둘째, EU-ADR에서 사 용하는 8개의 데이터베이스는 International Classification of diseases Ninth Revision, Clinical Modification (ICD9-CM), International Classification of Primary Care (ICPC), READ CODE (RCD), International Classification of diseases Tenth Revision (ICD-10)과 같이 각각 상이한 용어를 사용한다.

EU-ADR은 통합의학용어시스템(Unified Medical Language System, UMLS)을 이용하여 용어 맵핑 작업을 진행하고 이 를 통해 각각의 용어들에 대한 표준화를 제공한다.⁸⁾ 셋째, EU-ADR은 각 EHR 시스템으로부터 분석을 위해 필요한 데 이터를 추출하는 CDM을 개발하고, 자료 분석을 위한 데이 터 마이닝 알고리즘을 개발하여 제공한다. 한편, EU-ADR은 시스템에 저장된 데이터를 HIPPA의 보안규칙(Security Rule) 에 따라 관리한다. 넷째, EU-ADR은 분석에 필요한 데이터 를 CDM에 따라서 추출하고,⁹⁾ 추출된 데이터를 Longitudinal Gamma Poisson Shrinker와 같은 통계 기법을 통해 분석할 수 있도록 기반을 제공한다.¹⁰⁾ 이러한 기반은 EU-ADR에서 개발한 Jerboa 소프트웨어를 통해 표준화된 정보를 신속하 게 분석하여 실마리정보를 평가할 수 있도록 지원한다.¹¹⁾ 마지막으로, EU-ADR은 분석을 위하여 실마리정보들을 통 합하며, 컴퓨터화된 약물부작용 감시 체계를 제공한다. 그 리고 감시 체계의 신뢰성을 높이기 위해 반복적으로 시스템 에 대한 검증 작업을 실시한다. 또한 EU-ADR은 프로젝트에 서 생성된 지식과 정보를 보급하여 활용할 수 있도록 하고 있다.

EU-ADR은 용혈성 빈혈, 급성 간 손상 등을 포함하는 총 23개의 이상반응 이벤트들에 대해서 사망률을 비롯한 5가 지 기준에 따라 정부 규제 정도와 환자 안전성에 미치는 영향 정도를 평가하였다.¹²⁾ 그 결과 수포성발진(cutaneous bullous eruptions), 급성신부전(acute renal failure), 과민성 쇼크(ana- phylactic shock), 급성심근경색증(acute myocardial infarction), 횡문근융해증(rhabdomyolysis) 등이 중요한 이벤트로 선정되 었다.¹³⁾

이후 EU-ADR과 FDA 및 WHO의 자발적 부작용 보고 시 스템 자료에 대한 보고된 이벤트 비교 연구에 따르면, FDA 와 WHO의 자발적 보고 자료에서 많이 보고된 이벤트는 수 포성발진, 급성신부전, 과민성쇼크 등이며, EU-ADR 자료에 서는 급성심근경색증이 많이 감지된 것으로 보고되었다.¹⁰⁾ 이와 같이 EU-ADR은 약물의 안전성 평가의 기초가 되는 실마리정보를 감지하기 위한 주요한 감시 체계로 발전하고 있다.

2. Mini-Sentinel

Mini-Sentinel은 2008년에 FDA의 지원으로 시작되었는데 FDA에서 허가한 의약품의 안전성을 모니터링하기 위한 능 동적 약물 감시 프로젝트이다.^14,15) Mini-Sentinel은 의료 관련 기관과 대학 등을 포함한 총 19개의 협력 기관들이 참여하 고 있다.¹⁶⁾ Mini-Sentinel은 약물부작용 감시를 위해 필요한 의료 데이터를 원활히 수집하고 분석할 수 있도록 다양한 방법론과 도구들, 자원과 정책, 절차 등을 개발하는 것을 목 적으로 한다.¹⁷⁾

1) Mini-Sentinel 프로젝트의 특징

Mini-Sentinel 프로젝트의 특징은 다음과 같다. 첫째, Mini- Sentinel은 분산형 데이터베이스 구조를 기반으로 한다.¹⁴⁾ 총 4천 3백만 명의 환자의 전자건강기록 데이터를 축적하고 있 으며, 매달 3천 7백만 명의 약품 처방 데이터와 4천만 명의 진료 데이터를 수집하였다. Mini-Sentinel은 HIPAA의 보안 규칙(Security Rule)에 의해서 수집한 데이터를 관리한다.¹⁸⁾ 사용되는 데이터는 보험 청구자료(claims), 입원 및 내원 환 자의 전자건강기록(EHR), 환자 레지스트리(Registry) 등이 있다. 둘째, Mini-Sentinel은 임상 자료에 대해서 표준용어를 사용하고 있는데, 진단코드는 ICD9-CM을 사용하며, 처방코 드는 Current Procedural Terminology (CPT), 약품코드로는 National Drug Code (NDC)를 사용한다.¹⁹⁾ 셋째, Mini-Sentinel 은 CDM을 개발하고, 데이터 파트너들이 원무자료 및 임상 자료를 CDM으로 표준화하는 업무를 수행하고 있다. 이와 같이 표준화된 데이터들은 프로젝트 운영센터와 프로젝트 그룹들이 개발한 프로그램을 이용하여 동일한 방식으로 분 석하고 그 결과를 공유한다. 2012년 현재 Mini-Sentinel의 CDM인 MSCDM V1.1은 등록자료, 인구 통계학적 정보, 진 단, 사망, 사망원인 등의 내용을 포함한 총 8개의 테이블로 구성된다.¹⁹⁾ 넷째, Mini-Sentinel은 PopMedNet^TM소프트웨어 를 개발하였는데 내장된 쿼리툴을 이용하여 분산된 데이터 베이스의 쿼리를 빠르게 처리한다. 보안네트워크에 인증된 사용자가 쿼리문을 작성하여 제공하면, 데이터 파트너들은 쿼리문을 보안네트워크 포털로부터 받는다. 데이터 파트너 들은 쿼리문을 분석하고 그들의 로컬데이터에 대하여 쿼리

를 실행한다. 그리고 데이터 파트너들은 쿼리 요청자가 분 석할 수 있도록 안전한 보안 네트워크 포털을 통해 결과를 전달한다. 마지막으로 인증 받은 사용자는 보안네트워크 포 털로부터 결과를 받게 되고, 이러한 과정을 통해 데이터를 주고받을 수 있다.

Mini-Sentinel은 이러한 특징을 바탕으로, 다양한 성과를 지속적으로 발표하고 있다. 먼저 Mini-Sentinel은 약물부작용 감시를 위해 약물역학 및 다양한 통계적 방법론들을 개발하 고 있다. 현재까지 완료된 5개의 통계적 방법론으로는 1) 시 판 후 안전성 결과물을 위해 분산된 데이터 집합 안에서 인 과관계 위험성 차이를 평가하기 위한 통계적 방법론, 2) 사 례-기반 방법론, 3) 순차적 테스팅 방법론, 4) 백신 안전성 모니터링-부작용 방법론, 5) 관찰연구 디자인의 분류체계 방 법론 등이 있다.

이외에도 Mini-Sentinel은 철저한 약물부작용 감시를 위해 건강결과(Health Outcomes of Interest, HOI)를 식별하고 검증 하는 활동을 하며, 이와 관련된 보고서와 정보 등을 제공하 고 있다. 건강결과로 정해진 정맥혈전 색전증, 과민반응, 심 장세동, 아나플락시스, 뇌졸중, 심부전, 우울증 등 21개의 증 상에 대하여 시스템 리뷰가 진행되었다. 또한 간 장애, 아나 플락시스 사례에 대한 검증이 진행 중이며, 급성 심근경색 증에 대한 검증은 완료된 상태이다.²⁰⁾

Mini-Sentinel의 약물안전성 모니터링 시스템은 실마리정 보 감지를 빠르게 인지하고 평가할 수 있도록 디자인되어 있다. 또한 환자들의 정보와 평가에 필요한 실마리정보들을 규모 있게 관리할 수 있는 장점을 지닌 것으로 평가되고 있 다.²¹⁾

3. Observational Medical Outcomes Partnership (OMOP)

OMOP는 2008년 National Institutes of Health (NIH)의 지원 을 기반으로 FDA, 학교, 제약 산업 간의 협력과 총 39개의 파트너들의 참여로 시작되었다. OMOP는 약물역학 커뮤니 티들과 약물안전성 감시를 위한 관찰 연구 증진을 목적으로 한다. 또한 OMOP는 관찰 데이터베이스 자료의 사용과 그 에 따른 기술을 개발하고자 하는 목적을 지닌다.²²⁾

1) OMOP 프로젝트의 특징

OMOP 프로젝트의 특징은 다음과 같다. 첫째, OMOP는 분산된 어플리케이션들을 일관된 기준에 의해 분석이 가능 하도록 CDM을 개발하였다. OMOP의 CDM에는 환자의 인 구통계학적 정보를 비롯한 약물 투여, 방문기록, 사망 등을 포함하는 18개의 테이블을 포함하고 있다.²³⁾ 둘째, OMOP는 이질적인 애플리케이션들에 따른 상이한 주요 용어를 일관 된 기준에 의해 분석이 가능하도록 표준 용어로 변환한다.

Table 1. Key features of 3 projects

　 EU-ADR Mini-Sentinel OMOP

Periods 2008.2.1.-2012.1.31 (48 month)

2008.5 2008

Fund European Commission FDA NIH

Countries 4 countries in Europe (Denmark, Italy, Netherlands, the UK)

US US

Partners 18 19 39

Databases Distributed 8 database Multi organizational distributed database

Distributed database

Security rule - HIPPA Security Rule HIPPA Security Rule Data type EHR, Standardized Discharge

Codes, Dispensation, Laboratory, Mortality, Prescription

Claims, Outpatient and inpatient EMR, Registries

Administrative claims, EHR

CDM Table - 8 18

Software Jerboa software PopMedNet^TM software OSCAR, GROUCH Terminology Event ICD-9-CM, ICPC, RCD ICD-9-CM ICD-9-CM

Drug ATC, BNF NDC ATC

Prescription - - SNOMED-CT

Procedure - CPT -

Terminology Mapping System UMLS - -

*UMLS, Unified Medical Language System; ICD-9-CM, International Classification of diseases Ninth Revision, Clinical Modification; ATC, Anatominal Therapeutic Chemical; NDC, National Drug Code; CPT, Current Procedural Terminology;

SNOMED-CT, Systematized Nomenclature of Medicine-Clinical Terms; OSCAR, Observational Source Characteristics Analysis Report; GROUCH, Generalized Review of OSCAR Unified Checkin; BNF, British National Formulary; ICPC, International Classification of Primary Care; RCD, READ CODE.

셋째, OMOP는 연구 데이터베이스를 평가하기 위해 소프트 웨어를 개발하여 이를 사용하고 있다. 개발된 소프트웨어로는 Observational Source Characteristics Analysis Report (OSCAR) 와 Generalized Review of OSCAR Unified Checkin (GROUCH) 등이 있다.²³⁾ OSCAR은 상이한 데이터로부터 생성된 통계 자료를 생성하고 이를 유사한 통계자료와 비교할 수 있도록 해준다. GROUCH는 OMOP의 모든 CDM 테이블 내 방대한 자료에 대해 통계적 검증을 수행하고 이를 통해 잠재적 데 이터의 이상치를 발견할 수 있도록 해준다. 이외에도 OMOP 는 유해사례간의 연관성을 검토하거나, 유해사례에 대한 마 이닝을 수행하는 등의 분석 방법 또한 제시하고 있다. 넷째, OMOP는 시스템에 저장된 데이터를 HIPPA의 보안규칙 (Security Rule)에 따라 관리한다. 다섯째, OMOP는 문헌 리 뷰를 기반으로 건강결과(HOI)를 식별하고 정의하는 활동을 하며, 건강결과(HOI)를 식별하기 위한 가이드라인 문서도 제공하고 있다. 마지막으로, OMOP와 관련된 모든 결과물들 은 공개적으로 사용할 수 있도록 제공하고 있다.

현재까지 미국을 비롯한 영국, 덴마크, 스코틀랜드 등에 서 각 나라의 전자건강기록을 토대로 OMOP가 제시한 방법 론에 대해서 검증작업을 진행한 바 있다.²⁴⁾

지금까지 살펴본 바와 같이 OMOP는 관찰 데이터를 통해 약물부작용을 감시하는데 필요한 기술과 방법을 개발하는 데 지속적으로 노력을 기울이고 있다.

4. EHR 기반 약물 감시 프로젝트 특징 비교

지금까지 살펴본 세 개의 프로젝트들은 모두 2008년에 시 작되었으며, 분산된 데이터베이스를 기반으로 하여 이를 표 준화하고 통합하는 과정을 거쳤다. 또한 상이한 EHR 시스 템을 통합하기 위해서 CDM을 개발하였다. 그리고 EHR 데 이터를 검증하고 이를 통해 약물부작용을 감지할 수 있는 각각의 소프트웨어를 개발하였다. 세 프로젝트 모두 다수의 파트너 기관들의 협조와 재정적 지원을 토대로 진행되었다 는 점은 매우 중요한 시사점이라고 할 수 있다(표 1).

고 찰

약물부작용 감시는 약물안전성에 대한 조기 발견과 예측 을 위해 매우 중요한 부분이다. 그렇기 때문에 의약품 자발 적 부작용 보고제도를 보완할 수 있는 약물안전성 시스템의 도입은 시급하다고 할 수 있다. 앞에서 살펴본 바와 같이 선

진화된 약물안전성 시스템들은 EHR을 기반으로 하는 CDM 을 개발하여 지속적으로 연구를 진행하고 있다. 국내에서도 이와 같은 프로젝트를 수행하기 위해서는 한국형 CDM을 개발하여야 하며 이를 위해 미리 고려하여야 사항들이 있 다.

첫째, 국내 EMR 시스템에 적합한 CDM이 개발되어야 한 다. 해외에서 개발된 CDM은 국내 시스템에 적용하기 어렵 다. 특히 국내는 EMR 시스템의 경우 데이터에 대한 표준이 없어서 자료를 통합하는 것이 매우 어려울 것으로 예상된 다. 따라서 먼저 국내에 적용 가능한 CDM의 개발이 반드시 선행되어야 한다. 둘째, 일차적으로 다양한 데이터베이스를 통합할 수 있는 용어의 표준화가 필요하다. 약물부작용 감 시를 위해서는 진단, 약물, 검사 등 주요 항목에 대한 표준 용어가 필요하다. 현재 국내 병원들은 위 항목에 대하여 병 원에서 독립적인 코드를 사용하고 있어 표준 용어로 변환하 지 않으면 자료의 통합이 불가능하다. 특히, 해외 연구 결과 와의 비교 분석을 위해서는 약물부작용 감시에 사용되는 표 준 용어를 국제 표준에 따라 선정하고 맵핑할 수 있는 도구 를 개발하여야 한다. 셋째, 국내 EMR 데이터를 이용하여 약물부작용을 감지할 수 있는 통계적 방법론이 개발되어야 한다. 앞에서 살펴본 바와 같이 EMR 데이터를 통해 약물부 작용을 감지하기 위해서는 다양한 통계적 방법론이 필요하 다. EMR 데이터를 통합 및 표준화 한다하더라도 적절한 방 법론에 뒷받침되지 못한다면 효과적인 약물부작용 감지는 불가능하다. 또한 국내 EMR 데이터 특성을 반영할 수 있는 통계적 방법론에 대한 개발도 병행되어야 한다. 이와 더불 어 데이터 관리에 대한 규칙과 어플리케이션에 대한 연구도 함께 이루어져야 할 것이다.

약물부작용 감시는 환자의 안전성 보호 및 의료비 절감을 위해서 매우 중요한 분야이다. 효과적인 약물부작용 감시를 위해서는 의약품 자발적 부작용 보고제도만으로는 한계를 지니고 있다. 그렇기 때문에 EHR 기반의 약물안전성 시스 템에 대한 개발이 요구되어 진다. 이를 위해 관련된 의료인 들의 지속적 관심과 연구가 필요하며, 정부의 지속적인 지 원이 요구되는 바이다.

참고문헌

1. Jha AK, Kuperman GJ, Teich JM, Leape L, Shea B, Eve R, Burdick E, Seger DL, Vliet MV, Bates DW. Development of a computer-based monitor and comparison with chart review and stimulated voluntary report. J Am Med Inform Assoc 1998;5:305-14.

2. Kim HS, Cho H, Kee IK. Design and Development of an EHR Platform Based on Medical Informatics Standards. J of

Korean Institute of Intelligent Systems 2011;21:456-62 (Korean).

3. Hwang SH, Kim EY, Lee YS, Chung SY, Lee YM, Sohn KH, Choi KE, Lee SH, Kim Y. Implementation and Evalua- tion of the Computerized Surveillance System to Identify Adverse Drug Events: pilot study. J Korean Soc Health-Syst Pharm 2005;22:118-36 (Korean).

4. Lee YH, Kang UG, Park RW. Development of Adverse Drug Event Surveillance System using BI Technology. J Korea Contents Association 2009;9:106-14 (Korean).

5. Lee YH, Yoon YM, Lee BM, Hwang HJ, Kang UG.

Development of Mining model through reproducibility assess- ment in Adverse drug event surveillance system. J Korean Soc Computer and Information 2009;14:183-92 (Korean).

6. Avillach P, Mougin F, Joubert M, Thiessard F, Pariente A, Dufour JC, Trifirò G, Polimeni G, Catania MA, Giaquinto C, Mazzaglia G, Baio G, Herings R, Gini R, Hippisley-Cox J, Molokhia M, Pedersen L, Fourrier-Réglat A, Sturkenboom M, Fieschi M. A semantic approach for the homogeneous identi- fication of events in eight patient databases: a contribution to the European eu-ADR project. Stud Health Technol Inform 2009;150:190-4.

7. Coloma PM, Schuemie MJ, Trifirò G, Gini R, Herings R, Hippisley-Cox J, Mazzaglia G, Giaquinto C, Corrao G, Peder- sen L, Van Der Lei J, Sturkenboom M. Combining electronic healthcare databases in Europe to allow for large-scale drug safety monitoring: the EU-ADR Project. Pharmacoepidemiol Drug Saf 2011;20:1-11.

8. Avillach P, Joubert M, Thiessard F, Trifirò G, Dufour JC, Pariente A, Mougin F, Polimeni G, Catania MA, Giaquinto C, Mazzaglia G, Fornari C, Herings R, Gini R, Hippisley- Cox J, Molokhia M, Pedersen L, Fourrier-Réglat A, Sturken- boom M, Fieschi M. Design and evaluation of a semantic ap- proach for the homogeneous identification of events in eight patient databases: a contribution to the European EU-ADR project. Stud Health Technol Inform 2010;160(Pt 2):1085-9.

9. Avillach P, Coloma PM, Gini R, Schuemie M, Mougin F, Dufour JC, Mazzaglia G, Giaquinto C, Fornari C, Herings R, Molokhia M, Pedersen L, Fourrier-Réglat A, Fieschi M, Stur- kenboom M, Lei Jvd, Pariente A, Trifirò G. Harmonization process for the identification of medical events in eight Euro- pean healthcare databases: the experience from the EU-ADR project. J Am Med Inform Assoc 2012;0:1-9.

10. Trifirò G, Patadia V, Schuemie MJ, Coloma PM, Gini R, Herings R, Hippisley-Cox J, Mazzaglia G, Giaquinto C, Scotti L, Pedersen L, Avillach P, Sturkenboom MC, van der Lei J. EU-ADR healthcare database network vs. spontaneous

reporting system database: preliminary comparison of signal detection. Stud Health Technol Inform 2011;166:25-30.

11. Bonhoeffer J, Sturkenboom M, Johansen K, Kramarz P. New infrastructure for post-licensure vaccine safety research in the EU. Pharmaco Epi & Risk Management 2010;6:7-10.

12. Trifiro G, Fourrier-Reglat A, Sturkenboom MC, Díaz Acedo C, Van Der Lei J. The EU-ADR project: preliminary results and perspective. Stud Health Technol Inform 2009;148:43-9.

13. Trifirò G, Pariente A, Coloma PM, Kors JA, Polimeni G, Miremont-Salamé G, Catania MA, Salvo F, David A, Moore N, Caputi AP, Sturkenboom M, Molokhia M, Hippisley-Cox J, Acedo CD, Van Der Lei J, Fourrier-Reglat A. Data mining on electronic health record databases for signal detection in pharmacovigilance: which events to monitor? Pharmacoepide- miol Drug Saf 2009;18:1176-84.

14. Cook AJ, Tiwari RC, Wellman RD, Heckbert SR, Li L, Heagerty P, Marsh T, Nelson JC. Statistical approaches to group sequential monitoring of postmarket safety surveillance data: current state of the art for use in the Mini‐Sentinel pilot.

Pharmacoepidemiol Drug Saf 2012;21:72-81.

15. Carnahan RM. Mini-Sentinel's systematic reviews of validated methods for identifying health outcomes using administrative data: summary of findings and suggestions for future research.

Pharmacoepidemiol Drug Saf 2012;21:90-9.

16. Behrman RE, Benner JS, Brown JS, McClellan M, Woodcock J, Platt R. Developing the Sentinel System-a national resource for evidence development. N Engl J Med 2011;364:498-9.

17. Platt R, Carnahan RM, Brown JS, Chrischilles E, Curtis LH, Hennessy S, Nelson JC, Racoosin JA, Robb M, Schneeweiss S, Toh S, Weiner MG. The U.S. Food and Drug Administra- tion's Mini-Sentinel program: status and direction. Pharma- coepidemiol Drug Saf 2012;21:1-8.

18. Forrow S, Campion DM, Herrinton LJ, Nair VP, Robb MA,

Wilson M, Platt R. The organizational structure and govern- ing principles of the Food and Drug Administration's Mini- Sentinel pilot program. Pharmacoepidemiol Drug Saf 2012;21:

12-7.

19. Curtis LH, Weiner MG, Boudreau DM, Cooper WO, Daniel GW, Nair VP, Raebel MA, Beaulieu NU, Rosofsky R, Wood- worth TS, Brown JS. Design considerations, architecture, and use of the Mini-Sentinel distributed data system. Pharmacoe- pidemiol Drug Saf 2012;21:23-31.

20. Cutrona SL, Toh S, Iyer A, Foy S, Cavagnaro E, Forrow S, Racoosin JA, Goldberg R, Gurwitz JH. Design for validation of acute myocardial infarction cases in Mini-Sentinel. Pharma- coepidemiol Drug Saf 2012;21:274-81.

21. Rassen JA, Schneeweiss S. Using high-dimensional propensity scores to automate confounding control in a distributed medi- cal product safety surveillance system. Pharmacoepidemiol Drug Saf 2012;21:41-9.

22. Stang PE, Ryan PB, Racoosin JA, Overhage JM, Hartzema AG, Reich C, Welebob E, Scarneccia T, Woodcock J. Advan- cing the science for active surveillance: rationale and design for the Observational Medical Outcomes Partnership. Ann Intern Med 2010;153:600-6.

23. Overhage JM, Ryan PB, Reich CG, Hartzema AG, Stang PE.

Validation of a common data model for active safety surveil- lance research. Am Med Inform Assoc 2012;19:54-60.

24. Lux L, Jarrett N, West S. Systematic evaluation of health outcome of interest definitions in observational studies and clinical definitions for the observational medical outcomes partnership: mortality after myocardial infarction. Available from: http://omop.fnih.org/sites/default/files/RTI%20Mortality%

20after%20MI%20Final%20Report%20110509.pdf [accessed 2012 November 28].