Correspondence to: Byung-Joo Park, MD, PhD

접수: 2019년 1월 30일, 승인: 2019년 2월 26일 연락처: 박병주, 03080, 서울시 종로구 대학로 103

서울대학교 의과대학 예방의학교실 연구동 512호 Tel: (02) 740-7325, Fax: (02) 747-4830

E-mail: [email protected]

Correspondence to: Byung-Joo Park, MD, PhD

Department of Preventive Medicine, Seoul National University College of Medicine, 103 Daehak-ro, Jongno-gu, Seoul 03080, Korea

Tel: +82-2-740-7325, Fax: +82-2-747-4830 E-mail: [email protected]

국내 의학 데이터베이스에 수록된 안전성 관련 체계적 문헌고찰 논문의 질 평가

서울대학교 의과대학 예방의학교실

박경훈ㆍ김선지ㆍ고영진ㆍ박병주

Quality of Systematic Review Papers on Harm Detected at the Korean Medical Database

Kyounghoon Park, MD, Seonji Kim, MSc, Young-Jin Ko, MD and Byung-Joo Park, MD, PhD Department of Preventive Medicine, Seoul National University College of Medicine, Seoul, Korea

Objective: To evaluate the quality of systematic review papers related harm in Korean medical database. Methods: The systematic review papers on adverse events as a main outcome variable were screened and detected at the Korean med- ical database. And we checked quality of papers using the PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) harm checklist, which was created in 2016. Results: Fourteen articles were satisfied with the in- clusion and exclusion criteria of our study. The quality of the papers were evaluated using items 1, 14, 18 and 21 of PRISMA harm checklist. Most papers were satisfying only item 1 (13/14), but item 14 was difficult to evaluate because the large amount of them were observational studies. And most of them were not satisfied with item 18 (2/14) and 21 (0/14). Conclusion: High-quality systematic review studies focusing on safety of medical interventions need to be ac- tively conducted in Korea. (JPERM 2019;11:29-36)

Key Words: Systematic review; Meta-analysis; Drug-related side effects and adverse reactions; Korean medical database

서 론

환자를 치료하는 의료중재(healthcare intervention)는 그 안 전성과 유효성에 관하여 객관적인 평가에 기반한 근거를 생 성하여야 한다. 이러한 근거를 생성하는데 체계적 문헌고찰 은 가장 유용한 도구라고 할 수 있다.

하지만 대부분의 체 계적 문헌고찰은 의료기술의 유효성에 초점이 맞추어져 연 구되고 있고 그 기술의 안전성에 대해서는 평가하는 경우는 드문 실정이다.

또한 의료기술의 안전성에 관련한 연구가 수행 되더라도

그 연구의 질이 낮은 경우가 많다. 모든 연구를 수행함에 있

어서 정확한 노출변수(exposure)와 결과변수(outcome)를 설

정하는 것은 무엇보다 중요하다. 하지만 부작용의 경우 어

떠한 경우를 부작용으로 정의할 것인지 그 자체가 어려우

며, 연구자들의 관심이 아닌 경우가 많다. Golder 등의 연구

에 따르면 부작용을 연구한 체계적 문헌고찰은 1994년 5편

에서 2010년 104편으로 그 사이에 꾸준히 증가하였지만 여

전히 검색이 가능한 연구가 늘어난 것일 뿐 보고의 질이 높

아진 것은 아니었다.

그리고 Zorzela 등이 수행한 연구에

따르면 자체적으로 만든 평가도구로 부작용을 주요 결과변

Items PRISMA checklist contents PRISMA harms checklist contents Item 1 Title: Identify the report as a systematic review,

meta-analysis, or both

Title: specifically mention “harms” or other related terms, or the harm of interest in the systematic review

Item 14 Synthesis of results Describe the methods of handling data and combining results of studies, if done, including measures of consistency (eg, I

) for each meta-analysis

Synthesis of results: specify how zero events were handled, if relevant

Item 18 For each study, present characteristics for which data were extracted (eg, study size, PICOS, follow-up period) and provide the citations

Study characteristics: define each harm addressed, how it was ascertained (eg, patient report, active search), and over what time period

Item 21 Synthesis of results: Present results of each meta-analysis done, including confidence intervals and measures of consistency

Synthesis of results: describe any assessment of possible causality

PRISMA, Preferred Reporting Items for Systematic Reviews and Meta-Analyses.

Table 1. Changing contents of PRISMA harms checklist comparing to PRIMSMA checklist 수로 선정한 연구를 대상으로 평가하였을 때, 최종적으로

선정된 309개의 체계적 문헌고찰연구 중 보고의 질이 높은 연구의 비율은 2009년 0.55, 2010-2011년 0.57로 2008년의 0.56 에 비해 나아지지 않았다.

이러한 연구들을 바탕으로, 부작용에 관련된 체계적 문헌고찰 가이드라인의 개발을 통 하여 보고의 질을 높이기 위해 개발된 것이 기존의 PRSMA (Preferred Reporting Items for Systematic Reviews and Meta- Analyses) checklist 를 2016년에 일부 개정한 PRISMA-harms checklist 이다.

연구목적

국내에서도 체계적 문헌고찰이나 메타분석을 통하여 의 료기술의 근거를 마련하는 것은 드문 일이 아니다. 다만 얼 마나 부작용에 관련된 연구를 실시하고 있고 실시된 연구들 의 질이 어떤 수준인지는 알려져 있지 않다. 또한 국내 연구 자들의 연구 발표는 양적으로 크게 증가하고 있으나 상대적 으로 국내 데이터베이스 등재 저널 보다는 해외 저널에 연 구를 발표하는 비율이 점점 더 높아지고 있다.

우리는 국 내 데이터베이스 검색을 통하여 체계적 문헌고찰의 추세를 확인하고, 부작용을 연구한 체계적 문헌고찰의 수행 빈도를 알아보고, PRISMA harm checklist의 주요한 4개의 항목이 적용된 정도를 확인하여 부작용을 주제로 한 체계적 문헌고 찰의 보고의 질을 높일 필요성을 확인하고자 한다.

연구방법

1. PRISMA harm checklist

기존의 PRISMA checklist는 체계적 문헌고찰을 수행하는 데 도움을 주는 가이드라인이라고 할 수 있다. 체계적 문헌

고찰의 방법론이 발전함에 따라, PRISMA checklist도 연구 목적이나 수행방법에 맞는 세부 가이드라인이 개발되었는 데, 그 중 부작용의 체계적 문헌고찰을 위해 확장된 것이 PRISMA harms checklist 이다. 이 가이드라인은 기존의 개발 된 PRISMA checklist에서 크게 4개의 항목이 변경되었다(표 1).

변경된 항목은 1, 14, 18, 21번 항목으로써, 1번의 경우 연

구의 제목에 반드시 ‘harms’ 혹은 그와 유사한 용어를 사용

하여 체계적 문헌고찰이 부작용에 관하여 연구했다는 것을

밝힐 것을 권장하고 있다. 연구의 제목은 연구의 목적과 방

향을 명확히 제시하는 역할을 하기 때문에 연구의 목적이

부작용에 관한 것이라면 제목에 명확히 기술할 것을 요구하

고 있다. 14번 항목은 결과를 합성하는 과정에서, 부작용이

0 회라고 보고된 것에 대하여 정확하게 기술할 것을 요구하

고 있다. 부작용의 경우 발생할 확률이 낮으며, 연구에서 주

된 관심사가 아닌 경우가 많다. 그렇기 때문에 부작용을 보

고할 때 보고 자체가 없었던 것인지, 실제로 부작용이 일어

나지 않았던 것인지에 대한 명확한 보고가 필요하다. 18번

항목의 경우 체계적 문헌고찰에 포함된 연구의 특징들을 제

시하는 방법을 기술하고 있다. 해당연구에서 부작용의 정의

는 무엇이고, 부작용을 환자가 부작용을 보고한 것인지, 개

별 연구진이 확인한 것인지 제시하고, 부작용을 측정한 방

법이 따로 있는지, 심각한 부작용의 정의는 무엇인지 등에

대해서 구체적으로 보고할 것을 요구하고 있다. 21번 항목

은 부작용의 인과성에 대한 평가가 있는지 확인하라는 것이

다. 이는 체계적 문헌고찰에 포함된 개별연구들이 해당하는

부작용의 인과성에 대해서 기술하였는지, 그렇다면 WHO

causality assessment tool 같은 도구들이 이용했는지 밝히라

는 것이다.

Figure 1. Flow chart of searching systematic review related to primary outcome with adverse events.

Figure 2. Trend of systematic review in Korean Medical database, Koreastudies Information Service System, and DBpia until 2017.

2. 체계적 문헌고찰의 국내 의학 데이터베이스 검색 우리는 국내 의학 문헌의 원문 및 초록을 확인할 수 있는

데이터베이스를 선정하여 검색을 실시하였다. Korea Me-

dical database (KMbase), Koreastudies Information Service

System (KISS), DBpia 3 개의 데이터베이스에서 영문 검색을

A rtic le s Sy st em at ic re vi ew gui d el ine A sse ssm en t th e q u ality A d ver se eve nt s P R IS M A h arm s c h ec k list co n te n ts Ite m 1

It em 1 4

It em 1 8

It em 2 1

H u h , et al . 2 002

N o t m en tio n N o t m en tio n C o m p lic atio n s a fte r v en tila tio n tu b e in se rtio n

M en tio n (C o m p lic atio n s) Incl u ded s tu di es ha ve not 0 ad ver se eve nt *

N o t m en tio n N o t m en tio n Ch an g . 2 006

N o t m en tio n N o t m en tio n C o m p lic atio n s a fte r sin g le toot h i m pl ant M en tio n (C o m p lic atio n s) N o t m en tio n (s om e s tud ies hav e 0 a d ve rs e ev ent )*

N o t m en tio n N o t m en tio n Y oon , et al . 2 013

N o t m en tio n N ew ca stle -O tta w a Sc al e cr it er ia

D ia b ete s m ellitu s r isk u sin g ant id epr es san ts M en ti o n ( R is k) In cl ud ed s tud ie s h av e not 0 ad ver se eve nt *

N o t m en tio n N o t m en tio n Jo , e t a l. 2 014

N o t m en tio n N ew ca stle -O tta w a Sc al e cr it er ia F rac tur e ri sk us in g non st er o idal an ti-in fla m m ato ry d ru g s M en ti o n ( R is k) In cl ud ed s tud ie s h av e not 0 ad ver se eve nt * N o t m en tio n N o t m en tio n B ae , et al . 2 015

N o t m en tio n N o t m en tio n H o rm o n e r ep la ce m en t th er ap y and ri sk of br eas t ca nce r

M en ti o n ( R is k) In cl ud ed s tud ie s h av e not 0 ad ver se eve nt *

N o t m en tio n N o t m en tio n B ae , et al . 2 015

N o t m en tio n N o t m en tio n H o rm o n e r ep la ce m en t th er ap y and ri sk of l un g can cer in wo me n

M en ti o n ( R is k) In cl ud ed s tud ie s h av e not 0 ad ver se eve nt *

N o t m en tio n N o t m en tio n K o, et al . 2 015

P R IS M A N o t m en tio n C o m p lic atio n s a fte r u n ic o m p artm en ta l k n ee ar th rop las ty

M en tio n (C o m p lic atio n s) N o t m en tio n (s om e s tud ies hav e 0 ad ve rs e ev ent )*

N o t m en tio n N o t m en tio n H ea do n , et al . 2 016

N o t m en tio n N o t m en tio n O n co lo g ic al sa fe ty a fte r n ip p le sp arin g m aste cto m y

M en tio n (sa fe ty ) N o t m en tio n (s om e s tud ies hav e 0 ad ve rs e ev ent )*

N o t m en tio n N o t m en tio n So rou sh, et al . 2 016

N ot m ent io n ST R O B E B re as t can cer ri sk us ing o ral co n tr ac ep tiv e p ills

M en tio n (r isk ) In clu d ed stu d ie s h av e not 0 ad ver se eve nt *

N o t m en tio n N o t m en tio n Je on g , et al . 2 016

P R IS M A N o t m en tio n D ru g S afe ty f o r M o lsid o m in e, N ic o ra n d il a n d T rim eta zid in

M en tio n (sa fe ty ) Q u alita tiv e sy ste m atic re vi ew M ent io ned a bou t adve rs e ev ent com par ing w it h dr u g la b el

N o t m en tio n K ang , et al . 2 017

N o t m en tio n S y ste m atic r ev ie w ap p ra isa l sh ee t A sso cia tio n b etw ee n c ita lo p ra m an d c o n g en ita l a n o m alie s M en tio n (a nom al ie s) N o t m en tio n (ad ver se eve nt w as not co unt ed s om e st udi es )*

N o t m en tio n N o t m en tio n

Ta bl e 2 . Ma in topi c o f s y st em at ic revi ew w as adv er se even ts in K or ean M ed ical da taba se, K or eas tud ies I nf or m at io n Ser vi ce S y st em , an d D B pi a u nt il 2 0 1 7

A rtic le s Sy st em at ic re vi ew gui d el ine

A sse ssm en t th e q u ality A d ver se eve nt s

P R IS M A h arm s c h ec k list co n te n ts Ite m 1

It em 1 4

It em 1 8

It em 2 1

K im , et al . 2 017

P R ISM A U si n g s cor ing sy ste m in o th er stu d y

A ss oc iat ion b et w een f ive al p ha red uct as e i nhi b it or an d br eas t can cer r is k

M en tio n (r isk ) Q u alita tiv e sy ste m atic re vi ew M en tio n (how t o ext ract br eas t ca n ce r in fo rm atio n : di ag no si s, p at ie n t repo rt , an d m edi ca l reco rd)

N o t m en tio n L ai , et al . 2 017

M O O S E N ew ca stle -O tta w a Sc al e cr it er ia A sso cia tio n b etw ee n an tie p ile p tic d ru g a n d ca ro tid ar te ry in tim a m ed ia th ic k n ess

N o t m en tio n E stim ate d c h an g e o f ca ro tid a rte ry in tim a m edi a t hi ckne ss *

N o t m en tio n N o t m en tio n A zab , et al . 2 017

PR IS M A G R A D E A ss o ci at io n be tw ee n pro ton pum p i nh ibi tor and r is k o f clo strid iu m d if fic ile in fe ctio n

M en tio n (r isk ) In clu d ed stu d ie s h av e not 0 ad ver se eve nt * N o t m en tio n N o t m en tio n P R IS M A , P re fe rr ed R ep o rtin g Ite m s f o r S y ste m atic R ev ie w s a n d M eta -A n aly se s; S T R O B E , S tr en g th en in g th e R ep o rtin g o f O b se rv atio n al S tu d ie s in E p id em io lo g y ; M O O S E , M eta -a n aly sis o f O b se rv atio n al S tu d ie s in E p id em io lo g y ; G R A D E , G ra d in g o f R ec o m m en d atio n s A sse ssm en t, D ev elo p m en t, an d E v alu ati on . *I n cl ud ed ob ser v at ion al s tudi es . 1 ) P R IS M A h ar m s c h ec k list ite m 1 : title : sp ec ific ally m en tio n “ h ar m s” o r o th er r ela te d te rm s, o r th e h arm o f in te re st in th e sy ste m atic re v ie w . 2 ) P R IS M A h ar m s c h ec k list ite m 1 4 : sy n th esis o f r esu lts: sp ec if y h o w z er o e v en ts w er e h an d le d , if re le v an t. 3 ) P R IS M A h ar m s c h ec k list ite m 1 8 : stu d y c h ar ac te risti cs : d ef in e eac h har m ad dr es sed, h ow i t w as as ce rt ai n ed (eg , pat ie nt r ep or t, act ive se ar ch) , and ov er w hat t im e per iod. 4 ) PR ISM A h ar m s che ckl is t i tem 21: s y n thes is of res ul ts : de scr ib e an y a sse ssm en t o f p o ssib le c au sa lity .

Ta bl e 2 . C o n tin u ed

실시하여 문헌 전체 내에서 ‘systematic review’ 혹은 ‘meta analysis’ 가 포함된 연구들을 선정하였고 추가로 ‘체계적 문 헌고찰’ 혹은 ‘메타분석’을 국문으로도 검색하였다. 2017년 까지 등재된 연구를 대상으로 하였으며, 1차로 선정된 연구 에서 중복된 연구를 제외하고, 또한 한의학 관련 연구를 제 외하였다. 이후 연구 제목과 초록을 통하여 (1) 체계적 문헌 고찰이 아닌 연구이거나, (2) 체계적 문헌고찰의 내용들을 정리한 가이드라인, (3) 학술대회에서 발표한 체계적 문헌고 찰의 초록만 있는 경우를 제외하고 연구자가 의료행위가 실 제 환자에게 미치는 영향을 분석한 체계적 문헌고찰을 실시 한 문헌만을 선택하였다. 해당 문헌의 발행 연도를 확인하 여 국내 의학 데이터베이스에서 체계적 문헌고찰의 추세를 파악하고, 주요 결과변수가 유효성과 부작용을 모두 다룬 문헌은 제외하고, 부작용인 경우에만 최종 분석을 위한 문 헌으로 선정하였다. 해당 문헌에 대하여 PRISMA-harms checklist 의 1, 14, 18, 21 항목이 해당 문헌에서 언급이 되어 있는지 확인하고 언급이 되어 있으면 어떠한 형태로 반영하 였는지 확인하였다. 또한 문헌의 결과변수를 어떤 것으로 하였는지, 체계적 문헌고찰을 수행하기 위해 사용한 가이드 라인은 있는지, 문헌의 질평가는 하였는지 확인하였다. 검 색은 2018년 2월에 실시하였으며, 해당 데이터베이스에서 검색된 문헌은 국문과 영문을 모두 포함하였다.

결 과

1. 국내 의학 데이터베이스 체계적 문헌고찰의 추세 KMbase, KISS, DBpia 를 검색하였을 때 최초로 확인된 문 헌의 개수는 3,273개였으며 중복되는 문헌 598개와 한의학 관련문헌 292개를 제외하고 체계적 문헌고찰이 아닌 단일 연구, 가이드라인이나 초록만 있는 연구 1,397개를 제외했 을 때 체계적 문헌고찰은 2017년까지 986개가 확인되었다 ( 그림 1). 1991년 처음으로 하나의 연구가 확인되었고 2007 년을 기점으로 꾸준히 증가하여 2016년에는 181편, 2017년 에는 188편의 연구가 확인되었다(그림 2). 986개의 체계적 문헌고찰연구 중에서 일차 결과 변수가 부작용인 연구만을 선정하였을 때 최종적으로 14개의 연구가 해당되었다. 2개 의 연구가 질적인 체계적 문헌고찰이었고, 12개의 연구가 관찰연구를 대상으로 하는 체계적 문헌고찰이며 메타분석 을 실시하였다. 2002년, 2006년, 2013년, 2014년에는 각각 1 개의 문헌이,

2015 년과 2016년은 각각 3개,

2017 년은

4 개

의 문헌이 확인되어 부작용을 대상으로 한 연구들이

2015 년 이후에 증가하고 있었다. PRISMA harm checklist 반 영 정도를 보면, 1번 항목의 경우 14개의 연구 중에 13개의 연구가 complication, risk, anomalies, safety를 연구 제목에 넣 어서 만족하였다. 14번 항목의 경우 7개의 연구는 포함된

연구 중 부작용이 0회 발생한 연구가 없었으며, 3개의 연구 는 부작용이 0회 발생한 연구를 포함하였으나 그에 대한 특 별한 설명이 없었다. 포함된 연구의 부작용 횟수를 일부만 표시하거나, 부작용이 발생한 횟수가 아니라 군간의 변화된 차이를 비교한 연구가 1개씩 있었으며, 나머지 2개의 연구 는 질적 연구였다. 18번 항목의 경우에는 1개의 연구가 기 존의 약물허가사항에 있는 부작용을 기준으로 하여 체계적 문헌고찰을 통해 확인된 부작용과 비교하여 서술하였고, 1 개의 연구는 포함된 문헌의 부작용으로 유방암을 기술할 때 조직학적으로 확인한 문헌, 개인적으로 보고하거나 진단에 관한 리포트가 있는 문헌, 보험청구자료나 별다른 기술이 없는 문헌으로 세 군으로 나누어 보고 하였다. 21번 항목의 경우는 반영한 연구는 없었다(표 2).

고찰 및 결론

3 개의 국내 의학 데이터베이스를 통해 확인해 보았을 때, 체계적 문헌고찰의 숫자는 점점 늘어나고 있었고 이는 체계 적 문헌고찰이 세계적으로도 크게 증가하고 있는 추세와 부 합하는 것이다.

부작용을 주요 결과변수로 한 연구 역시 최근 들어 점점 증가하는 추세이며 이는 2013년 이후 연구 가 전체 14개 중 12개를 차지하고 있는 것을 보아 알 수 있 었다.

PRISMA-harms checklist 의 1, 14, 18, 21번 항목의 반영된 정도를 확인하였을 때, 1번 항목만 잘 반영되었고(13/14) 나 머지 항목은 잘 반영되지 않았다고 볼 수 있다. 14번 항목의 경우 관찰 연구를 포함하거나 대상으로 체계적 문헌고찰과 메타분석을 실시하여 연구 참여자 수가 부작용을 관찰하기 에 충분하였다고 볼 수 있다. 이에 부작용이 발생하지 않는 경우에 대한 기술이 없었다고 간주 될 수 있다. 그러나 18번 부작용을 정의하는 항목은 반영이 잘 되지 않고, 21번 인과 성 평가항목의 경우에는 확인된 연구가 없었다. 2016년에 PRISMA-harm checklist 가 발표되었으므로 2016년까지 연구 들과 2017년 연구들의 4개 항목의 반영정도를 비교하였을 때, 반영정도의 차이가 있다고 볼 수 없었다. 다만 2017년 이후의 연구에서는 모두 체계적 문헌고찰의 가이드라인인 MOOSE (Meta-analysis of Observational Studies in Epidemio- logy) 나 PRISMA checklist를 채택하여 연구한 것을 볼 때, 14 개의 연구들의 PRISMA harms checklist를 제대로 반영하지 않았기 때문에 해당 연구들의 질이 낮다고 보는 것은 무리 가 있다. 다만 앞으로 부작용을 대상으로 체계적 문헌고찰 을 실시할 때, 부작용에 관련된 연구는 기존의 효과를 다루 는 연구와는 다른 측면이 있기 때문에 PRISMA harms checklist 의 적극적인 사용이 필요하다.

모든 검색을 통해 실시하는 연구가 그렇듯이 우리의 연구

도 출판 비뚤림을 완전히 배제할 수 있는 연구는 아니며, 또 한 이 연구는 체계적 문헌고찰이 아니라 한명의 연구자가 단독으로 수행한 연구로써 2명의 독립된 연구자가 진행한 연구가 아니기 때문에 선택 비뚤림의 영향 또한 배제할 수 없다. 하지만 국내 의학 데이터베이스에서 체계적 문헌고찰 의 추세와 부작용을 주요변수로 한 연구들을 확인하기 위해 검색 키워드를 최대한의 민감도를 가질 수 있도록 문헌의 모든 부분에서 체계적 문헌고찰 혹은 systematic review를 키 워드로 하는 문헌을 검색하였고 연구를 진행하였다. 또한 국내연구자들이 해외 의학 데이터베이스에 발표하는 체계 적 문헌고찰과 연구의 질을 비교하지는 못했지만, 국내의학 저널의 질을 높이려는 시도가 지속적으로 계속되고 있는 상 황에서 체계적 문헌고찰의 국내 의학 데이터베이스에서 추 세와 부작용 한 분야이지만, 그 연구의 질을 제시한 점에서 의미가 있다.

모든 의학연구의 궁극적인 목적은 환자에게 적용될 의학 적인 행위의 근거를 명확히 함으로써 환자에게 안전하고 유 용한 의료기술을 수행 가능하게 하는 것이라고 할 수 있다.

이러한 관점에서 유효성과 부작용의 균형 잡힌 평가는 필수 적이다. PRISMA checklist의 발표 이후, 체계적 문헌고찰의 질은 향상되었고, 연구의 질을 높이기 위하여 체계적 문헌 고찰 연구에 대하여 PRISMA checklist를 적극적으로 활용할 것을 권고하고 있다.

또한 국내문헌을 대상으로 한 체계 적 문헌고찰의 질평가에서도 QUOROM (The Quality of Reporting of Meta-analyses) statement 와 PRISMA checklist가 배포되기 시작한 2010년이후 국내문헌의 질이 높아진 것으 로 확인 되었다.

앞으로 더 많은 부작용을 주요 결과 변수 로 하는 체계적 문헌고찰이 실시되어야 하고 PRISMA-harm checklist 가이드라인을 이용하여 연구의 질도 높여야 할 것 이다. 또한 PRISMA-harms checklist가이드라인은 체계적 문 헌고찰만을 수행할 때만 참고해야 할 가이드라인이 아니라, 모든 부작용 관련 연구를 진행함에 있어서 연구 하나하나가 중요한 근거 생성의 가치를 가지기 위해서 연구자들이 꼭 참고해야 할 가이드라인이라고 할 수 있다.

이해상충

본 논문의 저자들은 논문의 내용과 관련하여 그 어떠한 재정적인 상충이 없다.

REFERENCES

1. Mulrow CD. Systematic reviews: rationale for systematic reviews. BMJ 1994;309:597-9.

2. Ernst E, Pittler MH. Assessment of therapeutic safety in sys-

tematic reviews: literature review. BMJ 2001;323:546.

3. Vandermeer B, Bialy L, Hooton N, Hartling L, Klassen TP, Johnston BC, Wiebe N. Meta-analyses of safety data: a com- parison of exact versus asymptotic methods. Stat Methods Med Res 2009;18:421-32.

4. Golder S, Loke YK, Zorzela L. Some improvements are ap- parent in identifying adverse effects in systematic reviews from 1994 to 2011. J Clin Epidemiol 2013;66:253-60.

5. Zorzela L, Golder S, Liu Y, Pilkington K, Hartling L, Joffe A, et al. Quality of reporting in systematic reviews of ad- verse events: systematic review. BMJ 2014;348:f7668.

6. Zorzela L, Loke YK, Ioannidis JP, Golder S, Santaguida P, Altman DG, et al. PRISMA harms checklist: improving harms reporting in systematic reviews. BMJ 2016;352:i157.

7. Jang HR, Kang KW, Lee YS, Tak YJ. An analysis of medi- cal articles published domestically and abroad by Korean Researchers from 1960 to 2008. J Korean Libr Inf Sci Soc 2011;45:259-77(Korean).

8. Huh NH, Kim SH, Kim SB, Lee JH, Yoo SH, Back SK, Hong HJ, Kim HJ. A meta-analysis study on the complica- tions after ventilation tube insertion. Korean J Audiol 2002;6:83-7(Korean).

9. Chang MT. A systematic review of the complications of sin- gle implant-supported restorations. J Periodontal Implant Sci 36;4:925-38(Korean).

10. Yoon JM, Cho EG, Lee HK, Park SM. Antidepressant use and diabetes mellitus risk: a meta-analysis. Korean J Fam Med 2013;34:228-40.

11. Jo HS, Cho JS, Yoon HH, Seo YS, Eom CS. Use of non- steroidal anti-inflammatory drugs and risk of fracture: a sys- tematic review and meta-analysis of observational studies.

Korean J Fam Pract 2014;4:61-9.

12. Bae JM, Kim EH. Hormone replacement therapy and risk of breast cancer in korean women: a quantitative systematic review. J Prev Med Public Health 2015;48:225-30.

13. Bae JM, Kim EH. Hormonal replacement therapy and the risk of lung cancer in women: an adaptive meta-analysis of cohort studies. J Prev Med Public Health 2015;48:280-6.

14. Ko YB, Gujarathi MR, Oh KJ. Outcome of unicompartmen- tal knee arthroplasty: a systematic review of comparative studies between fixed and mobile bearings focusing on complications. Knee Surg Relat Res 2015;27:141-8.

15. Headon HL, Kasem A, Mokbel K. The oncological safety of nipple-sparing mastectomy: a systematic review of the liter- ature with a pooled analysis of 12,358 procedures. Arch Plast Surg 2016;43:328-38.

16. Soroush A, Farshchian N, Komasi S, Izadi N, Amirifard N,

Shahmohammadi A. The role of oral contraceptive pills on increased risk of breast cancer in iranian populations: a meta-analysis. J Cancer Prev 2016;21:294-301.

17. Jeong KH, Lee E. A systematic review on drug safety for molsidomine, nicorandil and trimetazidine. Korean J Clin Pharm 2016;26:172-80.

18. Kang HH, Ahn KH, Hong SC, Kwon BY, Lee EH, Lee JS, et al. Association of citalopram with congenital anomalies: a meta-analysis. Obstet Gynecol Sci 2017;60:145-53.

19. Kim MW, Park HS, Park JS, Koh SJ, Cho SY. Five-alpha re- ductase inhibitor and breast cancer risk in men: a systematic review. Ann Dermatol 2017;29:525-8.

20. Lai Q, Shen C, Zheng Y, Zhang Y, Guo Y, Ding M. Effects of antiepileptic drugs on the carotid artery intima-media thickness in epileptic patients. J Clin Neurol 2017;13:371-9.

21. Azab M, Doo L, Doo DH, Elmofti Y, Ahmed M, Cadavona JJ, et al. Comparison of the hospital-acquired Clostridium dif- ficile infection risk of using proton pump inhibitors versus histamine-2 receptor antagonists for prophylaxis and treatment of stress ulcers: a systematic review and meta- analysis. Gut Liver 2017;11:781-8.

22. Ahn HS, Kim HJ. An introduction to systematic review. J

Korean Med Assoc 2014;57:49-59.

23. Tunis AS, McInnes MD, Hanna R, Esmail K. Association of study quality with completeness of reporting: have complete- ness of reporting and quality of systematic reviews and meta- analyses in major radiology journals changed since pub- lication of the PRISMA statement? Radiology 2013;269:413- 26.

24. Liu P, Qiu Y, Qian Y, Chen X, Wang Y, Cui J, et al. Quality of meta-analyses in major leading gastroenterology and hep- atology journals: a systematic review. J Gastroenterol Hepa- tol 2017;32:39-44.

25. Gagnier JJ, Kellam PJ. Reporting and methodological quality of systematic reviews in the orthopaedic literature. J Bone Joint Surg Am 2013;95:e771-7.

26. Panic N, Leoncini E, de Belvis G, Ricciardi W, Boccia S.

Evaluation of the endorsement of the preferred reporting items for systematic reviews and meta-analysis (PRISMA) statement on the quality of published systematic review and meta-analy- ses. PLoS One 2013;8:e83138.

27. Kim JH, Kim AK. A quality assessment of meta-analyses of

nursing in South Korea. J Korean Acad Nurs 2013;43:736-45.