임상연구 문헌 분류도구 및 비뚤임위험 평가도구 개정

(1)

(2)

제 출 문

건강보험심사평가원 원장 귀하

이 보고서를 임상연구문헌 분류도구 및 비뚤임위험 평가도구 개정 과제의 최종 보고서로 제출합니다

년 월

주관연구기관명 한림대학교 산학협력단 연 구 책 임 자 김수영 한림대학교 의과대학 연 구 원 서현주 조선대학교 간호대학 연 구 원 이윤재 분당차병원

연 구 원 박지은 서울대학교 보건대학원

(3)

목 차

서론 방법

가 최근 발표된 분류체계 도구 검토 나 사용자 설문조사

다 국내외 전문가 의견 수렴 라 도구의 수정 및 보완

마 도구의 타당도 신뢰도 평가 결과

가 최근 발표된 분류체계 도구 검토 나 사용자 설문조사 결과

다 국내외 전문가 의견 수렴 라 분류도구의 개정

마 도구의 타당도 신뢰도 평가 고찰

소결

서론 방법

가 의 검토

결과

가 무작위 연구의 비뚤임 위험 평가 도구 개정안

(4)

서론 방법

가 기존 문헌 검토와 추가 도구 검색 나 사용자 조사

다 국내외 전문가 의견조사 라 도구의 개정

마 사용자 설명회 바 신뢰도 타당도 조사

결과

가 기존 도구 검토 및 비교 나 사용자 조사

다 국내외 전문가 의견 조사 라 도구의 개정

마 사용자 설명회 바 신뢰도 타당도 평가

고찰 소결

부록 비무작위연구 비뚤임위험평가 도구 이용자 설문결과 부록 문헌분류도구 매뉴얼 이용자 설문결과

부록 분류도구 관련 타 분류 도구 검토 결과

부록 개정된 의 도구

부록 비무작위연구 비뚤임 위험 평가 타 도구 검토 부록 사용자 조사에 대한 연구진 의견 반영 여부 부록 국외 전문가 의견 및 반영사항

부록 도구에 대한 자문 답변서 정리

부록 비무작위연구 비뚤임 위험 평가도구 자문 내용 부록 신뢰도 타당도 평가에서 이용한 일차 문헌 목록

(5)

표 차례

표 κ

표 무작위배정비교임상연구의 개정 평가 도구 표

표 평가자간 일치도κ 확인 결과 표 비뚤임의 종류와 평가 영역

표 무작위배정비교임상연구의 개정 평가 도구 표 주요 비무작위 연구 비뚤임 위험 평가 도구

표 주요 비무작위 연구 비뚤림 위험 평가 도구의 비교 표 주요 비무작위연구의 비뚤림 위험 평가 영역 비교 표 주요 도구의 비뚤림 위험 평가 항목 비교

표 개정된 비무작위 연구 평가 도구 및 비뚤림 표 평가자간 일치도κ 확인 결과

표 타당도 평가 결과 높음과 불명확 통합 표 타당도 평가 결과 메타회귀분석

그림차례 그림

그림 개정된 문헌 분류 도구

그림 연구 유형 분류도구의 개정 작업 과정 그림 등이 개발한 연구설계 분류도 그림 영국 의 연구설계 분류도

그림 개정 전 분류도구 그림 개정된 문헌 분류 도구

그림 영문

(6)

Executive summary

(7)

(8)

(9)

(10)

Domain Explanation Risk of Bias Basis for Decision (quoted directly from the paper) The possibility of the

target group comparisons

Selection bias due to the selection of inappropriate comparison target group

Low

□ High

□ Unclear

□ Target group selection Selection bias due to

inappropriate intervention or inappropriate selection of exposure group or patient group

Low

□ High

□ Unclear

□

Confounder Selection bias due to inappropriate confounder confirmation and consideration

Low

□ High

□ Unclear

□ Exposure measurement Performance bias due to

inappropriate intervention or inappropriate exposure measurement

Low

□ High

□ Unclear

□ Blinding of assessors Confirmation bias due to

inappropriate blinding of assessors

Low

□ High

□ Unclear

□ Outcome assessment Confirmation bias due to

inappropriate outcome assessment methods

Low

□ High

□ Unclear

□ Incomplete outcome data Attrition bias due to

inappropriate handling of incomplete data

Low

□ High

□ Unclear

□ Selective outcome reporting Reporting bias due to selective

outcome reporting

Low

□ High

□ Unclear

□

(11)

Inter-rater reliability ( )κ Interpretation The possibility of the

target group comparisons 0.37(95% CI 0.23-0.51) fair agreement Target group selection 0.36(95% CI 0.26-0.43) fair agreement

Confounder 0.49(95% CI 0.42-0.59) moderate agreement Exposure measurement 0.32(95% CI 0.20-0.38) fair agreement

Blinding of assessors 0.25(95% CI 0.21-0.30) fair agreement Outcome assessment 0.45(95% CI 0.33-0.55) moderate agreement Incomplete outcome data 0.43(95% CI 0.33-0.54) moderate agreement Selective outcome reporting 0.45(95% CI 0.25-0.58) moderate agreement

κ

(12)

요약

년 건강보험심사평가원에서 발표된 임상연구문헌 분류도구는 중재 관련 연구 유형을 분류할 수 있으며 년에 한국보건의료연구원에서 타당도가 검토된 장 점을 가진 도구이다

그러나 국내에서 연구에 활용되면서 도구의 한계점과 보완점이 발견되어 개정의 필요성이 제기되었다

개정을 위해

개정작업을 참고하여 개정작업의 절차 를 결정하였다 분류도구 개정작업은 최근 발표된 타 분류체계 도구 및 문헌 검토 사용자 설문조사 국내외 전문가 의견 수렴 도구 개정 및 사용자 설명회 도구 신뢰도 및 타당도 검토 순서로 진행하였다

첫째 년 이후에 발표된 국내외 도구 및 문헌 설명문 등을 검토하여 년 개발된 분류도구와 비교하였고 개정 사항을 검토하였다

둘째 연구유형 분류도구는 발표 이후 여러 연구기관에서 사용된 바 있는 만큼 국내 연구자들을 대상으로 현 분류 도구에서의 문제점 및 보완 사항 등에 대한 의견을 설문조사를 통해 수렴하였다 또한 근거중심보건의료 관련 전문가들이 모 이는 포럼에서 연구유형 분류도구에 대해 발표하고 전문가들의 의견을 수 렴하여 개정에 반영하고자 하였다

셋째 국내 전문가에게 현 도구의 한계점과 개정 방향에 대한 의견을 수렴하였다 또한 도구의 해외 출판 시도를 통해 얻게 된 국외 전문가들의 도구 관련 의견들 을 수렴하여 개정하였다

넷째 수렴된 의견을 중심으로 일차적으로 도구를 수정하였으며 재차 전문가들의 의견을 검토하여 를 작성하였다 개정된 분류도구를 대상으로 전문가 자문 회의를 시행하였으며 및 사용자 설명회를 통해 을 완성하였다 또한 이용자 매뉴얼도 사용자가 이해하고 활용하기 쉽도록 자세한 설명을 추가하 여 개정하였다

(13)

개정된 도구 은 다음과 같다 개정된 도구 은

로 명명하였다 가 국외에서도 널리 활용될 수 있도록 영문판 도 개발하였다

개정된 도구 의 실행가능성 신뢰도 타당도 평

가를 시행하였다 비무작위 연구를 활용한 체계적 문헌고찰을 검색한 후 각 체계 적 문헌고찰에 속한 일차 연구들을 분류 정리하였다 실행가능성 평가 를 위해 평가 시간을 기록하였으며 신뢰도 평가를 위해 한 연구당 두 연구자가 독립적으로 평가하여 평가자간 일치도를 산출하였다 타당도 평가를 위하여 의 분류결과와 원래의 체계적 문헌고찰의 저자가 분류한 일차 연구의 디자 인과 비교 분석하였다 총 편의 일차 연구의 연구디자인을 분류하였다 편 의 연구디자인은 각 평가자가 로 평가 합의한 결과 후향적 코호트 편 환 자 대조군 연구 편 코호트내 환자 대조군연구 편 전후 연구 편 전향적 코 호트 연구 편 비무작위배정 비교임상시험 편 비비교 연구 편 무작위배정 비교임상시험 편 단면연구 편이었다 평가된 소요된 시간은 초로 나타나 실행가능성 은 우수한 것으로 판단되었다

로 계산된 평가자간 일치도는 로 상당

한 일치도를 보였다 또한 타당도 평가에서는 편 중 다른 연구자가 분류한 연구디자인이 확인되지 않는 편을 제외하고 편의 분류를 비교한 결과

값이 로 확인되어 상당한 일치도를 보였다

개정된 는 실행가능성 신뢰도 타당도 면에서

적합한 결과를 나타냈다

(14)

년에 발표된 무작위 연구의 비뚤임 위험 평가 도구는 여섯 항목으로 이루어 져 있는 국문 도구였다

그런데 에서 도구를 년에 개정 발표하였다 개정된

도구는 질문형태에서 항목 형태로 변화하였으며 예 아니오 불 확실 에서 낮음 높음 불확실 으로 바뀌었다 또한 평가 자의 눈가림여부를 평가 항목으로 별도로 분리하였다

현재 의 비뚤임 위험 평가 도구가 가장 널리 쓰이면서 국제적인 표 준으로 다루어지고 있는 만큼 국제적인 흐름에 발맞추어 국내 도구를 개정할 필 요가 있었다

개정된 국문 도구는 의 에 부합하도록 하였으

며 도구는 다음과 같다

무작위 배정순서 생성

무작위 순서의 부적절한 생성에 따른 선택 비뚤임 중재 배정 비뚤임( )

(15)

비뚤임 위험 낮음 기준

‘ ’

순서 생성에 무작위방법을 시행한 경우 예를 들어,

난수표 이용 또는 컴퓨터를 이용한 난수 생성

동전던지기 카드나 봉투섞기 꺼낸 카드는 다시 집어넣어야함, ( ), 주사위 던지기 심지뽑기, ,

*최소화법 등 사용 그러나 난수 임이 보장되는 수행과정 확인할 수 있어야 적절한. ‘ ’ 방법으로 볼 수 있음 예를 들어 동전을 던져서 앞면이 나오면 뒷면이 나올 때 까지 다시. , 던지지 않았음을 확인할 수 있어야 함 배정순서 은폐와 연결됨( ).

*최소화법은 엄밀히 말해서 무작위로 순서가 배정 되는 것이라고 볼 수는 없으나 적절한 과정에 의해 수행된 최소화 법은 제대로 수행된 무작위배정으로 간주함.

비뚤임 위험 높음 기준

‘ ’

순서 생성에 무작위방법을 시행하지 않았거나 부적절한 방법을 사용한 경우 예를 들어,

생년월일 내원일 등의 규칙을 이용한 배정,

환자 등록번호 또는 병록번호의 홀수 짝수 등 규칙을 이용한 배정 임상가의 판단에 따른 배정

환자의 선호도에 따른 배정 검사결과에 의한 배정

검사결과 순 또는 약제가 준비되는 순 등 이용가능 순에 의한 배정 배정자가 임의로 배정

비뚤임 위험 불확실 기준

‘ ’

무작위 배정순서 방법에 대한 비뚤임 위험이‘낮음’, ‘높음’중 어디에 해당하는지 불확실한 경우

배정순서 은폐

부적절한 배정순서 은폐에 따른 선택 비뚤임 중재 배정 비뚤임( ) 비뚤임 위험

낮음 기준

‘ ’

적절한 방법에 의해 배정순서가 은폐됨으로써 연구자가 배정내용을 알 수 없는 경우 예를 들어,

독립적인 중앙 무작위배정 및 관리 웹기반 전화 제 의 관리기관에 의한 무작위배정( , , 3 통제 등)

무작위배정순서에 의해 일련번호가 기록되어 있는 동일한 모양의 포장 사용 일련번호가 기록된 불투명하고 봉해진 봉투에 의한 배정순서 보관 및 개봉 비뚤임 위험

높음 기준

‘ ’

배정순서가 은폐될 수 있는 방법을 사용하지 않았거나 부적절한 방법의 사용에 의해 배정순서가 은폐되지 않은 경우

예를 들어,

난수 또는 무작위배정순서가 기재된 표를 이용한 무작위 이행

밀봉되지 않거나 투명하거나 일련번호가 없는 등 안전장치가 없는 무작위배정 봉투를 사용 교대 혹은 순환법 등의 순서를 사용

생일 병록번호 등을 이용,

‘ ’

배정순서 은폐 방법에 대한 비뚤임 위험이‘낮음’, ‘높음’중 어디에 해당하는지 불확실한 경우 예를 들어 봉투에 의해 배정되어 있다고 했으나 일련번호 밀봉 투명 여부에 대한, , , 기술이 없을 때

연구 참여자 연구자에 대한 눈가림,

연구 참여자 연구자가 배정된 중재를 알게 됨으로 인한 실행 비뚤임,

(16)

비뚤임 위험 낮음 기준

‘ ’

다음 중 한 가지 이상에 해당되는 경우

눈가림이 시행되지 않았거나 불완전하나 눈가림이 중재 결과에 영향을 미치지 않을, ( ) 것으로 판단되는 경우

눈가림을 채택하여 수행하였고 연구 참여자와 연구자에 대한 눈가림이 깨지지 않았을 것으로 확신되는 경우

‘ ’

연구 참여자와 연구자에 대한 눈가림이 시도되었으나 눈가림이 유지되지 않았을 것으로 판단되고 눈가림이 결과평가에 영향을 미칠 것으로 판단되는 경우,

눈가림이 중재 결과에 영향을 미칠 수 있는 경우임에도 눈가림을 시행하지 않았거나( ) , 눈가림을 시도하였으나 방법이 부적절한 경우

‘ ’

눈가림에 대한 비뚤임 위험이‘낮음’, ‘높음’중 어디에 해당하는지 불확실한 경우 연구에서 해당 결과를 다루지 않은 경우

결과평가에 대한 눈가림

결과평가자가 배정된 중재를 알게 됨으로 인한 결과 확인 비뚤임 비뚤임 위험

낮음 기준

‘ ’

결과평가에 대한 눈가림을 채택하여 수행하였고 결과평가자에 대한 눈가림이 깨지지 않았을 것으로 확신되는 경우

눈가림이 시행되지 않았으나 눈가림이 결과평가에 영향을 미치지 않을 것으로 판단되는, 경우

‘ ’

눈가림이 결과평가에 영향을 미칠 수 있는 경우임에도 눈가림을 시행하지 않은 경우 결과평가자에 대한 눈가림이 시도되었으나 눈가림이 유지되지 않았을 것으로 판단되고, 눈가림이 결과평가에 영향을 미칠 것으로 판단되는 경우

‘ ’

눈가림에 대한 비뚤임 위험이‘낮음’, ‘높음’중 어디에 해당하는지 불확실한 경우 연구에서 해당 결과를 다루지 않은 경우

불충분한 결과자료

불충한 결과자료의 특성이나 처리로 인한 탈락 비뚤임 비뚤임 위험

낮음 기준

‘ ’

다음 중 한 가지 이상에 해당되는 경우 결측치가 없는 경우

결측치가 결과에 영향을 미치지 않는 경우 생존분석에서는 결측이 절단값으로 다루어짐( ) 결측치가 중재군 간에 유사하게 발생하고 결측치가 발생한 원인도 유사함

이분형 변수의 경우 결측치 분율이 관찰발생위험을 비추어볼 때 중재효과 추정에 임상적으로 유의한 차이를 낼 것으로 보이지 않는 경우

연속형 변수의 경우 결측값들로부터 예견되는 중재효과의 크기가 관찰된 효과의 크기 추정에 임상적으로 유의한 영향을 미칠 것으로 보이지 않는 경우

적절한 통계적 방법을 사용하여 결측치를 대체한 경우

비뚤임 위험 다음 중 한 가지 이상에 해당되는 경우

(17)

높음 기준

‘ ’ 상당수의 결측치가 존재하고 결측치의 원인이 실제 결과에 영향을 미칠 수 있는 경우 - 중재군 간의 불균형한 결측치 수 차이 자체 또는 결측이 생긴 이유가 결과에 비뚤임을 초래할 수 있는 경우

이분형 변수의 경우 결측치 분율이 결과변수의 관찰발생위험에 비추어 상당 수여서 중재효과 추정에 임상적으로 유의한 차이를 낼 것으로 보이지 않는 경우

연속형 변수의 경우 결측 결과로부터 예견되는 군간 중재효과 차이가 평균의 차이 혹은, ( 표준화 평균의 차이 가 효과크기 추정결과에 임상적으로 유의한 비뚤임을 초래하기에) 충분한 경우

무작위 배정된 중재를 받지 않은 사람이 상당수 임에도 중재 받은 대로만 분석을 수행하여(per-procotol analysis) 결과자료를 제시한 경우

부적절한 방법으로 결측치를 대체한 경우 비뚤임 위험

불확실 기준

‘ ’

배제 탈락에 대한 보고가 불충분한 경우 예 무작위수 언급 없음 결측 이유에 대한 언급/ ( , , 없음)

연구에서 해당 결과를 다루지 않은 경우 선택적 보고

선택적 결과 보고로 인한 보고 비뚤임 비뚤임 위험

낮음 기준

‘ ’

프로토콜이 존재하여 연구에서 사전에 정의해놓은 일차 이차 중재 결과들의 정의 및, ( ) 분석이 사전에 정해진 방법대로 다루어졌음을 확인할 수 있는 경우

프로토콜은 없지만 사전에 계획된 것을 포함하여 예상되는 모든 결과를 보고하고 있는 경우

‘ ’

사전에 정해진 중재 결과이었음에도 결과가 보고되지 않은 것이 있는 경우( )

보고된 결과 중 사전에 정한대로 방법으로 측정하거나 분석하지 않은 경우 또는 사전에 정하지 않은 중재 결과를 보고하는 경우 이런 분석과 보고가 이루어진 데 대한 명백한( ) ( 이유와 설명 예를 들어 예상치 못한 부작용 등 이 있는 경우는 예외- , - )

불완전한 결과보고로 인해 메타분석에 포함시킬 수 없는 경우

현 연구에서 당연히 분석되었을 것으로 예상되는 핵심결과에 대한 보고가 없는 경우 비뚤임 위험

불확실 기준

‘ ’

높음 낮음 에 대한 판단을 위한 정보가 충분하지 않은 경우 대다수의 연구들이 이

‘ ’, ‘ ’ (

범주에 포함될 가능성이 있음) 그 외 비뚤임

다른 영역에서 평가하지 못한 문제점으로 인해 발생한 비뚤임 비뚤임 위험

낮음 기준

‘ ’

그 외 비뚤임이 없는 것으로 보임 비뚤임 위험

높음 기준

‘ ’

추가 비뚤임의 위험이 있는 것으로 판단 예를 들어,

특정 연구 설계와 관련된 잠재적 비뚤임 위험이 있음 연구수행에 부정이 있었다는 주장이 제기된 바 있음 기타 다른 문제점을 가지고 있음

비뚤임 위험 추가 비뚤임 가능성에 대한 여지가 있으나 비뚤임의 위험이 어느 정도일지 평가할만한 충분한

(18)

현재 무작위 배정 비교 임상 시험의 비뚤임 위험 평가 도구는 의 도구가 국제적인 표준 도구로 이용되고 있으며 신뢰도 타당도 평가도 이루어진 만큼 향후 무작위 배정 비교 임상 시험의 평가에는 의

도구를 계속 사용하여야 할 것이라 판단된다 따라서 향후에 국내에서는 의 도구를 개정안을 반영하여 번역하여 사용해야 할 것으로 판단된다

년 건강보험심사평가원에서 발표된 비무작위 연구의 비뚤임 위험 평가도구는 여러 가지 연구디자인을 모두 평가할 수 있는 범용성을 가진 도구로 개발된바 있 으며 년 한국보건의료연구원 연구를 통해 타당성이 입증되었다

그러나 국내외 연구자들에게 도구 관련 질의 및 수정요청 등이 있어 연구디자인 별로 비무작위 연구의 비뚤임을 잘 평가할 수 있으면서 사용자 편의성을 높이기 위해 개정작업을 시행하였다

개정을 위해 기존 문헌 및 도구 검토 사용자 조사 국내외 자문진 의견 수렴 도구의 개정 및 영문화 사용자 설명회 타당도 조사의 단계를 거 쳤다

첫째 개정을 위해 의 체크리스트

체크리스트 등의 기존 도구를 검토 및 분석하여 비교하였으며 개정방향을 결 정하였다

둘째 실제 비뚤임 위험 평가 도구를 사용해본 경험이 있는 사용자들을 대상으로 수정이 필요한 부분 이해가 어려운 부분 등을 조사하는 설문조사를 시행하였다 셋째 국내의 자문위원들에게 현 도구에서의 문제점에 대한 의견을 수렴하고 개 정안에 대한 의견을 청취하였다 또한 의 해외 논문 게재 과정에서 수렴된 해외 전문가들의 의견을 수렴하고 개정에 반영하였다

넷째 도구를 여섯 항목에서 여덟 항목으로 개정하였으며 각 항목별로 각 연구디 자인에서 평가할 수 있는 기준을 만들고 자세한 설명을 추가하였다 또한 해외에

불확실 기준

‘ ’ 정보나 근거가 없는 경우

(19)

서도 널리 사용될 수 있도록 도구를 영문화하였다 개정된 비무작위 연구의 비뚤

임 위험 평가 도구를 로 명명하였

다

개정된 도구인 는 다음과 같다

다섯째 개발된 의 사용자 편의성을 높이기 위해 사용자를 위한 설명회를 개최하였다 설명회에서 사용자에게 도구의 사용에 대한 설명 및 예시를 들어 제 시하였다

여섯째 개발된 의 실행가능성 신뢰도 타당도

평가를 시행하였다 신뢰도 타당도 평가를 위해 코호트 연구 환자 대조 군연구 단면연구 전후연구를 이용한 체계적 문헌고찰을 검색하였으며 체계적 문헌고찰에서 확인된 일차 연구 편을 활용하였다 신뢰도 타당도 확인을 위한 편의 문헌은 코호트 연구 편 단면연구 편 환자 대조군 연구 편 전후연

영역 설명 비뚤임 위험 판단 근거 논문에서(

그대로 인용함) 대상군 비교가능성 비교가 부적절한 대상군 선정으로

인해 발생한 선택 비뚤임

낮음

□ 높음

□ 불확실

□ 대상군 선정 부적절한 중재 혹은 노출군 또는

환자군 선정으로 발생한 선택 비뚤임

낮음

□ 높음

□ 불확실

□ 교란변수 교란변수 확인과 고려가 부적절하여

발생한 선택 비뚤임

낮음

□ 높음

□ 불확실

□ 노출 측정 부적절한 중재 혹은 노출 측정으로

인해 발생한 실행 비뚤임

낮음

□ 높음

□ 불확실

□ 평가자의 눈가림 부적절한 평가자 눈가림으로 인해

발생한 확인 비뚤임

낮음

□ 높음

□ 불확실

□ 결과 평가 부적절한 결과 평가 방법로 인해

발생한 결과 확인 비뚤임

낮음

□ 높음

□ 불확실

□ 불완전한 결과자료 불완전한 자료를 부적절하게 다루어

발생한 탈락 비뚤임

낮음

□ 높음

□ 불확실

□ 선택적 결과 보고 선택적 결과 보고 때문에 발생한

보고 비뚤임

낮음

□ 높음

□ 불확실

□

(20)

구 편이었다 실행가능성 은 평가에 소요된 시간을 계산하여 평가하였다 한 편당 평가에 소요되는 시간은 초로 나타났 다 신뢰도 확인을 위한 평가자간 일치도는 가중 카파 통계방법

를 이용하여 분석하였다 평가자간 일치도 결과는 표 과 같으며 전체적 으로 타당한 에서 보통의 한 일치도를 나타냈다 타당도 평가를 위해 전후 연구를 제외하고 결과값 추출이 가능한 문헌 편의 결과값을 오즈비

로 전환하고 각 항목의 평가결과별 오즈비를 분석하여

을 도출하였다 값은 유의하지 않은 결과를 나타내지 않았으며 메타회귀분석에서는 일부 항목에서 약간의 유의한 결과가 나타났다

평가자간 일치도( )κ 해석 결과

대상군 비교가능성 0.37(95% CI 0.23-0.51) fair agreement 대상군 선정 0.36(95% CI 0.26-0.43) fair agreement

교란변수 0.49(95% CI 0.42-0.59) moderate agreement 노출 측정 0.32(95% CI 0.20-0.38) fair agreement 평가자의 눈가림 0.25(95% CI 0.21-0.30) fair agreement

결과 평가 0.45(95% CI 0.33-0.55) moderate agreement 불완전한 결과자료 0.43(95% CI 0.33-0.54) moderate agreement 선택적 결과 보고 0.45(95% CI 0.25-0.58) moderate agreement

κ

(21)

제 1 장 문헌의 분류도구 개정

체계적 문헌고찰을 시행하기 위해서는 문헌검색을 통해 검색된 문헌들을 분류하여 체계적 문헌고찰의 선택 배제 기준에 적합한지 검토하는 작업이 필요하다 각 연구 자나 평가자에 따라 문헌을 분류하는 방식이나 기준이 다르다면 연구 유형 분류 결 과가 다르기 때문에 어려움이 발생할 수 있다 그러나 기존의 문헌 분류도구로는 활 용성 등에 한계점이 있어 년 건강보험심사평가원의 임상연구 문헌의 질평가 도구 개발 연구 를 통해 임상연구문헌 분류도구가 개발된 바 있다 김수영 등

임상연구문헌 분류 도구는 기존의 도구와 달리 중재 관련 연구유형을 분류할 수 있으며 타당도가 검토되었다 김수영 등

개발 당시에는 체계적 문헌고찰 연구 진행시에 참고할 수 있는 연구유형 분류 도구 가 많지 않았으며 있다고 하더라도 타당도가 입증된 연구가 없었다 그러나 최근 등에 의해 새로운 분류도구가 개발된 바 있으며 타당도 평가도 이루어진 바 있다 이 외에도 등도 분류도구를 발표한 바 있어

국외 발표도구와 현재의 분류도구를 새롭게 비교 검토하여 개정할 필요 가 있었다 뿐만 아니라 한국에서 개발된 문헌 분류 도구가 국내에서도 다양하게 사 용되면서 도구의 한계점과 보완점이 발견되고 있어 개정의 필요성이 제기된 바 있 다

본 연구에서는 기존에 발표된 분류도구를 최근 발표도구와 비교하여 한계점을 검 토하고 사용자 의견 조사를 통해 수정함과 동시에 사용자 편의성을 고려한 도구로 개정하고자 한다

(22)

연구유형 분류도구 개정을 위해 개정작업을 참고하여 연구유형 분류도 구 개정방법의 절차를 결정하였다

연구유형 분류도구 개정은 최근 발표된 분류체계 도구 및 문헌 검토 사용자 설문조사 도구의 수정 및 보완 도구 개정안 및 전문가 의견 수렴 순서로 진 행하였다

최근에 발표된 연구유형 분류 관련 연구를 검토하였다 년 연구에서 기존 연구 유형 분류도구에 대해 검토를 한 바 있는 만큼 이번 개정연구에서는 최근 발표된 문헌 및 현재까지 사용되고 있는 분류도구의 설명문 등을 검토하였다 또한 논문으 로 출판된 형태가 아니더라도 유형분류와 관련되어 발표된 보고서나 기타 논문 등 도 검토하였다 검토한 문헌 및 도구는 아래와 같다

(23)

연구유형 분류도구는 년 발표 이후 건강보험심사평가원 한국보건의료연구원 등의 여러 연구기관에서 사용하였다 따라서 이를 사용해본 경험이 있는 국내 연구 자 체계적 문헌고찰 경험이 있는 관련 기관 연구원 등 들을 대상으로 현재의 분류도 구를 제시하고 문제점이나 보완 사항 등에 대한 의견을 제시하도록 하였다

근거중심보건의료 관련 연구자 및 전문가들이 모이는

포럼에서 연구유형 분류도구에 대해 발표하고 연구자 및 전문가들의 의견을 수렴하였다 또한 연구유형 분류도구 의 해외 저널 투고 과정에서 수렴된 국 외 전문가 의 의견을 확인하고 개정에 반영하였다 또한 설문조사 등에서 수렴된 의견을 바탕으로 개정 필요 사항을 정리하여 국내 근거중심의학 전문가이면 서 역학 통계 등의 전문가에게 개정 방향 및 개정안 등에 대한 자문을 구하여 개정 에 반영하고자 하였다

수렴된 의견을 중심으로 차로 도구를 수정하였으며 국내외 전문가들의 의견을 검 토하여 도구에서 추가하거나 수정해야 할 사항 그리고 추가 시 고려해야 할 점 등

(24)

을 검토하여 를 작성하였다 개정된 분류도구를 대상으로 전문가 자문회 의를 거쳤으며 등을 통해 를 완성하였다

개정된 으로 사용자를 위한 설명회를 개최하였다 실제 사용자들에게 개 정된 도구에 대한 의견을 수렴하였으며 실제 적용에 용이하도록 예시 문헌과 함께 설명회를 개최하여 개정안의 이해 및 사용을 돕고자 하였다

도구의 실행가능성 는 두 명의 평가자가 한 문헌을 독립적으로 평가하는데 소요되는 시간 초 을 측정하여 확인하고자 하였다 총 명의 연구자가 도구의 타당 도 신뢰도 평가에 참여하였으며 명의 연구자들은 개정된 도구에 대해 숙지하였 으며 예비 평가 를 시행한 상태였다 도구의 신뢰도는 평가대상인 일차 연 구를 두 명의 연구자가 개정된 도구를 이용하여 각각 평가 후 분류 결과의 평가자 간 일치도를 κ 방법을 이용하여 확인하였다 통계 프로그램으로

는 를 사

용하였으며 로 유의성을 확인하였다 일치도는 은

은 은 은

은 로 해석하였다

현재 연구분류도구는 로 인정되는 도구가 없어서 타당도를 평가 하기 어려웠기 때문에 타 연구자에 의해 분류된 연구디자인과 개정 도구에서의 분 류결과를 κ 을 활용하여 비교하여 타당도를 평가하고자 하였다 평가문헌 확보를 위해 건강보험심사평가원의 부의 연구보고서 한국보건의료연 구원의 연구보고서 신의료기술평가사업본부의 연구보고서에서 평가된 일차연구들을 확인 검토하였다 또한 국외에서 비무작위연구로 시행된 체계적 문헌고찰을 검색하 여 그에 포함된 일차 문헌들을 확보하였다 이 문헌들을 한 문헌당 두 명의 평가자 가 분류하도록 무작위배정 하여 개정 도구로 분류하였으며 타당도 신뢰도 평가를 진행하였다

(25)

검토 결과 각 도구별로 특성이 있었으며 현재의 연구유형 분류도구에서 적용할 수 있는 부분을 검토하여 도구 개정에 참고하고자 하였다 특히 등의 연구 알

고리즘에 존재하는 등의 참고가

필요하다고 생각되었다 그러나 등에서도 의도된 중재로 인한

등은 구별이 어려우며 비비교연구와도 뚜렷한 구분이 없는 단 점이 있었다 각 도구별 자세한 분석 결과는 부록 에서 확인할 수 있다

(26)

분류도구를 실제로 사용하였거나 검토한 사용자 및 전문가들의 의견을 정리하면 다음과 같았다

전후연구와 비비교 연구의 구분이 명확하지 않음 특히 전 후연구의 명확한 분류기준을 제시할 필요가 있음

이용자 매뉴얼에는 가 이용자 매뉴얼에만 있고 알고리 즘에 없어 추가 필요함

의미가 불명확한 전향적 환자 대조군 연구 삭제 필요함 연구를 구분할 필요가 있음

연구 추가 필요 있음

(27)

는 분류하기 어려운 점이 있어 수정이 필요함

그 외 표현의 난해함이나 이해하기 어려운 표현 예시나 상세한 부연 설명 추가에 대한 요청 등이 있어 이번 개정작업 때 보완하기로 하였다 사용자 설문조사를 통해 수렴된 사용자들의 자세한 의견은 부록 에서 확인할 수 있으며 사용자 조사가 개정안에 어떻게 반영되어있는지는 부록 에서 확인할 수 있다

포럼에서 수렴된 의견은 다음과 같다 추가

대신 을 사용

에서 주관심 결과변수의 비교가 서로 다른 집단사이에서 이루어졌 는가 대상집단은 이 가해진 집단이고 집단내에서의 특성에 의해 구분된 두 세부 집단간 결과의 비교인 경우에 해당되는지 아닌지 명확했으면 좋 겠음

일반적 코호트라면

은 인지

의 경우 일반적으로 군내 비교만 함

국외 전문가 의견은

가이드라인에는 전향적 후향적 코호트를 구분하지 않도록 되어있음 또한 전향적 후향적 환자 대조군 연구를 구분해서 쓰지 않음

흐름도가 분명하지 않으며 쓰이지 않는 연구디자인이 포함되어 있음 등이었다

상기 사항과 관련하여 일차적으로 연구진에서 개정 때 반영여부를 결정하였고 반영 결정 사항과 방향에 대해서는 국내 자문 위원들과 함께 논의하여 개정안을 결정하 였다 국내 전문가들에게 자문받은 내용과 개정 도구 반영여부는 부록 에서 확 인할 수 있다

(28)

여러 의견을 종합하여 개정한 분류도구는 다음과 같으며 아래의 순서로 제시하였다

용어사전 분류도구 소개

매뉴얼 이용자를 위한 주의사항 연구 설계의 한글명과 영문명 문헌 분류도구

분류도구 이용자 매뉴얼

용어사전

본 도구에서 사용하는 용어의 이해를 돕기 위해 아래의 설명을 추가한다

주요결과 평가자 관점의 용어로 평가자의 연구 질문에 따른 주요 관심결과이

(29)

분류도구 소개

다음은 문헌에 대한 연구설계를 분류하기 위한 도구이다 중재의 효과를 보는 연구 이외의 연구 예 역학연구 에 본 도구를 적용하고자 하는 경우에는 해당 연구 설계 의 특성을 고려하여 적용하거나 전문가로부터 자문을 받고 사용 여부를 결정할 수 있다

매뉴얼 이용자를 위한 주의사항

해당 논문의 제목 또는 본문에서 특정 연구설계를 명시한 경우라 하더라도 본 도구 를 통해 평가한 연구설계는 달라질 수 있다 이는 연구를 분류하고자 하는 자의 주 요결과에 따라 연구설계가 달라질 수 있기 때문이다 예를 들어 연구설계는 무작위 배정 비교임상시험이지만 평가자의 관심 결과가 비교되지 않은 경우에는 단일군 연 구로 분류될 수 있다

다

대체로 주요결과 중 중요한 것 개를 일차결과 로 구분한다 이차결과 는 주요결과 중 일차 결과를 제외하고 부가적인 일부 결과를 추가한 것이다

결과 특별한 언급이 없는 한 매뉴얼 전반에서 결과는 를 의 미한다

일차연구를 수행한 개별 연구자는 연구자 라고 하며 수행된 연 구에 대해 문헌 고찰을 수행하는 자는 이와 구별하여 평가자 라고 한다

중재에 대한 노출 본 문헌 분류도구는 중재의 효과를 보기 위한 연구에 대한 것이며 중재에 대한 노출은 환자가 특정 중재시술에 대해 노출 혹은 폭로 되었 다는 의미이다

(30)

또한 이용자의 이해를 돕기 위해 연구 설계의 한글명과 영문명을 제시한다

한글명 영문명

간섭 시계열 연구 단면연구

무작위배정 비교임상시험 비비교연구

비교전후연구

비교 간섭 시계열 연구 비동시적 코호트 연구 비무작위배정 비교임상시험 전향적 코호트 연구

전후연구

코호트 내 환자 대조군 연구 환자 대조군 연구

후향적 코호트 연구

(31)

개정된 문헌 분류도구

(32)

분류도구 이용자 매뉴얼

주요결과를 중재 에 대한 노출 혹은 질병 여부에 따라 서로 다른 군끼리 비교 하거나 동일한 군내에서 두 번 이상의 시점을 비교한 경우는 비교 연구로 구분 하고 그렇지 않은 경우는 비비교 연구로 구분한다

주요결과는 현재 평가자의 연구 질문에 따른 주요결과이며 해당 일차 연구를 수 행한 연구자의 일차연구에 해당하는 것이 아니다 따라서 문헌의 종류가 무작위 배정 비교임상시험 이라고 해도 해당 문헌이 일차 결과 에 대해 무작위 배정을 하지 않았으면 예를 들어 서로 다른 약물에 따라 무작위 배정을 하지 않고 동일 약제에 대해 용량별로 무작위 배정을 한 경우 배제하거 나 단일군 연구 로 분류할 수 있다

비비교 연구에는 증례연구 와 환자군 연구 가 있다 일반적 으로 환자 명 이하의 임상 경과 등을 서술한 연구를 증례연구라 하며 여러 명 명 이상 의 환자에 대하여 임상 경과 등을 서술한 연구를 환자군 연구라 한다 단일군 연구 중 전후 값을 비교하였으면 비교연구인 전후연구로 본다 전후값을 비교했다는 것은 전후 값이 있고 통계 분석을 시행한 경우 혹은 전후 값은 없 어도 통계분석 결과를 제시한 경우 예 다이어트 약 복용 전후의 감소 정 도는 통계적으로 유의하였다 에 해당된다 사망 시술 성공 등 이분형 결과의 경우 전후 값을 제시할 수 없기 때문에 전후 연구로 보지 않는다 다만 연구의 경우 이분형 결과여도 전후값이 있 을 수 있기 때문에 예외가 될 수 있다

다음과 같은 경우 예 에 해당된다

주요결과에 대해 서로 다른 군끼리 비교하거나 동일한 군 내에서 두 번 이상의 시점을 비교한 경우

다음과 같은 경우 아니요 에 해당된다

서로 다른 군 혹은 다른 시점을 비교하지 않은 경우

(33)

주요결과가 서로 다른 군에서 이루어졌는지 군 간 비 교 예 치료법 적용군 치료법 적용 군 아니면 동일한 군 내에서 여러 시점을 비교하였는지 군 내 비교 예 당뇨병 환자에게 약제 투여 전 개월 후 개월 후 시점에서의 공복혈당 수치 비교 를 확인한다 군내비교와 군간비교가 모두 있는 경우 주된 비교가 무엇인지를 판단하여 결정 한다 군내비교와 군간비교 중 주된 비교가 무엇인지 불확실한 경우에는 동일 에서 두 군을 선정한 경우 같은 병원 혹은 지역사회에서 두 군을 선정 는 군 간비교로 보는 것이 합당하며 다른 에서 두 군을 선정한 경우 다른 병원 혹 은 다른 지역사회 에는 두 군을 직접 비교하기가 어렵기 때문에 군내비교로 간 주한다

교차시험 의 경우 일부 군내비교가 이루어지기도 하지만 주관심 사항은 군간 비교이기 때문에 군내비교 연구로 보지 않는다

여러 결과에 대해 군간비교 군내비교 결과 모두를 제시한 경우 주요결과를 기 준으로 어디에 해당 하는지를 판단한다

서로 다른 집단에서 주요결과를 비교한 경우 군간비교

주요결과를 동일 집단 내에서 비교한 경우 군내비교

동일군에서 중재 전후로 주요결과를 비교하였다면 전후연구로 구분한다 전후연 구의 연구 결과의 확신도를 높이기 위하여 전 후 모두 회 이상 결과를 측정한 경우를 간섭 시계열 연구 라고 한다

중재 전 혹은 후의 측정이 회 이상이라고 해도 전 혹은 후 모두 각각 회 이상 결과 측정을 하지 않았으면 전후연구로 구분한다

중재 전과 후에 연구 대상자는 같을 수도 있고 다를 수도 있다 예를 들어 특정

(34)

지역 의사회에서 특정 임상진료지침을 보급한 이후에 의사들의 행동 변화를 관 찰한다고 했을 때 동일 의사들을 대상으로 전후 비교를 할 수도 있으며 전과 후에 따로 동일 지역의 다른 의사들을 대상으로 표본을 추출하여 전후 비교를 할 수도 있다

전 후 모두 회 이상 주요결과를 측정한 경우

전 혹은 후의 주요결과 측정 횟수가 회 이하인 경우

중재에 대한 노출의 전후 결과 측정이 두 군 이상에서 이루어진 경우를 비교전 후연구 라고 한다 이 경우 연구군은 특정 요인에 노 출되었거나 특정 중재를 받은 군이 되고 대조군은 특정 요인에 노출되지 않았 거나 중재를 받지 않은 군이 된다 중재는 연구자가 배정하는 실험적인 경우도 있고 예 수술적 처치 연구자가 배정할 수 없는 관찰적인 경우 예 안전벨트 법 제화와 같은 제도적인 요인 도 있다 두 군 사이에 결과 측정시점과 결과변수는 동일하다

모든 군에서 중재에 대한 노출 전후에 각각 회 이상 결과를 측정한 경우를 비

교 간섭 시계열 연구 라고 한다 중재는 연

구자가 배정하는 실험적인 경우도 있고 예 수술적 처치 연구자가 배정할 수 없는 관찰적인 경우 예 안전벨트 법제화와 같은 제도적인 요인 도 있다 두 군 사이에 측정시점과 결과변수는 동일하다

전 후 결과 측정이 두 군 이상에서 이루어진 경우

(35)

전 후 결과 측정이 한 군에서만 이루어진 경우

연구 대상자가 중재를 받는지의 여부가 연구자의 의도에 따라 배정된 경우를 실 험연구 라고 한다 이 경우 연구자는 중재의 시점 과정 배정 등을 직접적으로 통제한다 연구 대상자가 중재를 받거나 특정 중재에 노출되는 것이 연구자의 통제 없이 이루어지는 경우를 관찰연구 라고 한 다

연구자가 중재의 시점 과정 배정 등을 전적으로 통제하지 못하는 경우를 유사

실험 연구 라고 한다

연구자가 중재를 배정했는지 여부가 불확실한 경우에는 기본적으로 평가자 간에 합의로 결정한다 이때 중재가 실험적인 성격이 있는지가 주요 기준이다

연구자가 연구 대상자를 각 집단에 배정한 경우

연구자가 연구 대상자를 각 집단에 배정하지 않은 경우

중재군 혹은 대조군 위약 혹은 다른 중재 에 무작위로 배정되는 연구를 무작위

배정 비교임상시험 이라고 한다

배정의 단위는 개인일 수도 있고 집단 일 수도 있는데 집단인 경우를 집단 무

작위 배정 비교임상시험 이라고 한다

배정이 환자나 연구자의 선호도에 의해 배정된 경우를 비무작위 임상시험 이라고 한다 비무작위 임상시험 역시 배정 단위가 집단인 경우가 있다

무작위로 배정했다고 기술되어 있지만 출생일 병원 내원일에 따라 배정되는 등 무작위배정의 원칙에 부합하지 않는 준무작위배정 비교임상시험

(36)

의 경우는 비무작위 임상시험으로 간주한다 다음과 같은 경우 예 에 해당된다

연구대상자가 중재군 혹은 대조군 위약 혹은 다른 중재 에 무작위로 배정된 경 우

연구대상자가 중재군 혹은 대조군 위약 혹은 다른 중재 에 비무작위적인 방법으 로 배정된 경우

연구에서 중재에 대한 노출과 주요결과에 대한 정보 수집이 동시에 이루어졌는 지 동시에 이루어지지 않았는지 예 전향적 혹은 후향적으로 이루어졌는지 를 판단한다 중재에 대한 노출과 주요결과를 동시에 수집하였다는 의미는 이들 둘 을 동시에 관찰하였다는 의미이며 중재에 대한 노출이 발생한 시점과 결과가 발 생한 시점 사이에 시간 간격이 없고 대상자에 대한 추적관찰이 이루어지지 않았 다는 의미이다

연구에서 중재에 대한 노출과 주요결과에 대한 정보 수집이 동시에 이루어졌다 면 단면연구 로 구분한다 예 설문조사

군내비교와 군간비교 중 주 된 비교가 무엇인지 불확실할 경우에는 동일 에 서 두 군을 선정한 경우 같은 병원 혹은 지역사회에서 두 군을 선정 는 군간비 교로 보는 것이 합당하며 다른 에서 두 군을 선정한 경우 다른 병원 혹은 다 른 지역사회 는 두 군을 직접 비교하기는 어렵기 때문에 군내비교로 보는 것이 합당하다

군간 통계비교를 하였는지로 군내비교와 군간비교를 구분하면 안된다

중재에 대한 노출과 주요결과에 대한 정보수집이 동시에 이루어진 경우

중재 노출과 주요결과에 대한 정보수집이 동시에 이루어지지 않은 경우

(37)

각 집단을 특정 중재에 노출되었는지에 따라 구성하고 각 군별로 결과 발생의 차이를 연구하는 경우를 코호트연구 라고 한다

각 집단을 특정 결과 예 질병 발생 여부에 따라 구성하고 각 군별로 중재에 대 한 노출 여부를 비교하는 연구를 환자 대조군 연구 라고 한다

각 집단을 특정 중재에 노출되었는지에 따라 구성하고 각 군별로 결과 발생의 차이를 연구하는 경우

각 집단을 특정 결과 질병 발생 여부에 따라 구성하고 각 군별로 중재에 대한 노출 여부를 비교하는 경우

코호트 연구가 수행되는 중에 연구 대상자에서 환자 대조군을 구성한 경우를 코 호트 내 환자 대조군 연구라고 한다 환자군과 대조군은 모두 해당 코호트내에서 선택하여야 한다

코호트 내 환자 대조군 연구는 전향적 코호트 후향적 코호트 모두에서 구성 가 능하다

코호트 내에서 결과 여부에 따라 각 집단이 구성된 경우를 예 로 평가하고 그렇지 않은 경우에는 아니요 로 평가한다

동일한 시점에서 중재를 받은 두 군에서 결과를 비교하는 경우를 동시적 코호트 연구 라고 한다 서로 다른 시점에서 노출 여부에 따라

(38)

집단을 구성하고 군간의 결과를 비교하는 연구를 비동시적 코호트 연구 혹은 역사 대조군 코호트 연구

라고 한다

일반적으로 코호트 연구는 전향적 후향적에 관계없이 동시적 코호트 연구를 지 칭한다

비교군은 과거에 중재에 노출된 경우로 구성하는 경우가 대부분이다 중재군 구 성은 전향적 후향적 모두 가능하다

비교하려는 중재에 대한 노출 시점이 동일한 경우

비교하려는 중재에 대한 노출 시점이 다른 경우

중재에 대한 노출 자료 수집 시점에 자료의 결과 자료가 이미 존재하고 있고 과거에 중재에 대한 노출에 따라 집단이 구성되어 현 시점에서 결과여부를 비교 하는 경우를 후향적 코호트 연구 라 한다 행정자료나 의무기록 등 자료원을 이용하는 경우가 많다

결과 발생 이전에 중재에 대한 노출을 측정하고 이후 결과를 관찰한 경우를 전 향적 코호트 연구라고 한다

전적으로 후향적으로 관찰한 경우에만 후향적 코호트 연구로 평가하며 일부라 도 전향적으로 관찰한 경우에는 전향적 코호트 연구로 평가한다

결과 발생 이후에 결과 발생 이전 자료로 중재에 대한 노출을 측정한 경우

결과 발생 이전에 중재에 대한 노출을 측정하고 결과 발생을 관찰한 경우

(39)

영문도구 및 설명문은 다음과 같다

(40)

Literature Classification Tool (Study Design Algorithm for Medical Literature of Intervention, DAMI)

1. Introduction of DAMI

Study Design Algorithm for Medical Literature of Intervention (DAMI) is the tool to categorize study designs for intervention literature.

If one wishes to use this tool for the study other than assessing the effectiveness of interventions (e.g., epidemiological studies), whether or not to use the tool can be decided with the consideration of specific study’s study design characteristics or the advice from experts.

2. Precautions for the Manual Users

Even when the paper’s specific study design was written in the title or body, Glossary

Below explanations were added to help the understanding of the terms in this tool.

Primary outcomes: This is the term from the perspective of assessors. It also shows the primary outcomes based upon the study questions of the assessors. Generally, 2 or 3 important ones from main outcomes are classified as the primary outcomes.

Secondary outcomes: The outcomes after the removal of the primary outcomes from the main outcomes with some additional outcomes added.

Outcomes: Unless stated otherwise, in this manual, outcomes listed as ‘outcomes’.

Investigators: researchers who conducted a primary study.

Assessors: reviewers who conducted systematic review

Exposure to interventions: This literature classification tool was designed for the study assessing the effectiveness of interventions. The ‘exposure to interventions’

means that the patient was exposed (or received) to specific interventional procedures.

(41)

this tool might assess the study design differently.

This happens because a study assessor’s primary outcomes can make differences on the study design.

For example, if the interested outcomes of the assessor were not compared, then it can be categorized as a single-arm study, even though the study design was randomized controlled trial.

<DAMI User Manual>

1) Were primary outcomes compared based upon the intervention (exposure to) or the existence of a disease?

If primary outcomes were compared between different groups based on the interventions (exposure to) or the existence of a disease or comparisons were done more than once in the same group Comparative study. Otherwise casesà are noncomparative study.

A primary outcome is the primary outcomes based upon the study questions of current assessors and does not mean the primary study of investigators who conducted the study. Therefore, even though the type of literature is randomized controlled trial, if the literature were not randomized for primary outcomes (for example, when randomization was omitted per different medication but was conducted per dosage for the same medication), then can be excluded or classified as a single-arm study.

Case report and case series are the 2 types of noncomparative study.

Generally, when the study has described clinical outcomes of less than 4 patients, it is case report. If the study has described clinical outcomes for 4 or more number of patients, it is case series.

If before and after values were compared during a single-arm study, it is a before-after study, which is also a comparative study. Comparing before and

(42)

after values means either there were before and after values and statistical analysis was performed on them or there was no before and after values but the outcome of statistical analysis was presented (e.g., the reduction ratio of BMI before and after the intake of diet medication was statistically significant).

In case of dichotomous outcomes, such as death or procedural success, it is impossible to present before and after values and as a consequence, they are not considered a before-after study (the exception to the rule is a self-controlled case series study, which can have before and after values although it has dichotomous outcomes).

Following case is considered ‘YES’.

Regarding primary outcomes, if the comparisons were made between different groups or more than one comparison were conducted on the same group.

Following case is considered ‘NO’.

If the comparisons were not made between different groups or more than one comparison were not conducted on the same group.

2) Was the comparison of primary outcomes conducted between different groups?

Confirm whether the primary outcomes were compared between different groups (between group comparison, e.g., A treatment applied group vs. B treatment applied group), or compared on the same group (within group comparison, e.g., the comparison of fasting blood glucose levels conducted at premedication period, 1^st month and 3^rd month for diabetic patients).

If both of within group comparison and between group comparison coexist, then decide the category by assessing which comparison is more prevalent.

(43)

Although crossover trial has cases of partial within group comparison, its main interest is between group comparisons and thus it is not considered within group comparison.

If both of between group comparison and within group comparison were conducted for various outcomes, then determine the category based on the primary outcomes.

If comparison of primary outcomes was conducted between different groups (between group comparison).

If primary outcomes were compared within the same group (within group comparison).

3) Were primary outcomes measured 3 times or more for both of before and after intervention?

If primary outcomes were compared before and after intervention within the same group, it is classified as a before-after study. If outcomes were measured 3 times for both of before and after to increase the certitude of study outcomes, it is named as an interrupted time series.

Even if 3 measurements were conducted for before or afte rintervention, unless 3 measurements were conducted for both of before and after intervention, it is categorized as a before-after study.

Study participants for before and after intervention can be either identical or different. For example, if the observation of doctors’ behavioral changes was

(44)

conducted after the dissemination of specific clinical practice guidelines to the specific area’s medical association, before and after comparison can be conducted on the same doctors. Also, before and after comparisons can be conducted separately from the sample of other doctors in the same area for both of before and after intervention.

If primary outcomes were measured 3 times before and after intervention.

If before or after measurements of primary outcomes were done less than 3 times.

4) Besides within group comparison, were between group comparisons conducted?

Controlled before-after study is the case where before and after outcomes of the exposure to interventions was measured on more than 1 group. In such cases, study group means the group is either exposed to specific cause or received specific intervention. And control group means the group is not exposed to specific cause or not received specific intervention. In case of interventions, some experimental cases are allocated by investigators (e.g., surgical intervention), and some experimental cases do not allow allocation by investigators (e.g., institutional factors such as seatbelt legislation). The time of measurement of outcomes and outcome variables are the same between 2 groups.

If outcomes were measured more than 2 times in all groups before and after the exposure to interventions, then it is an interrupted time series with comparison. In case of intervention, some experimental cases are allocated by

(45)

investigators (e.g., surgical intervention) and some experimental cases do not allow allocation by investigators (e.g., institutional factors such as seatbelt legislation). The time of measurement of outcomes and outcome variables are the same between 2 groups.

Outcome measurements for before and after were conducted on more than 1 group.

Outcome measurements for before and after were conducted on 1 group.

5) Did investigators allocate study participants to each group?

If investigators allocated whether or not study participants would receive interventions, then it is an experimental study. In such cases, investigators directly control the time of intervention, process, and allocation. If study participants have received interventions or exposed to specific interventions, without the control of investigators, then it is an observation study.

If investigators cannot entirely control the time of intervention, process, and allocation, then it is a quasi-experimental study.

If it is uncertain whether interventions were allocated by investigators, then it is determined by the agreement among assessors. In such cases, the main criterion is whether interventions have experimental characteristics.

If investigators have allocated study participants to each group.

(46)

If investigators have not allocated study participants to each group.

6) Was it randomized?

If intervention group or control group (placebo or other interventions) was randomized, it is a randomized controlled trial.

The unit of allocation can be an individual or a group and if it’s a group, then it is group randomized controlled trial.

If allocation was done by the preferences of patients or investigators, then it is a nonrandomized trial. Some nonrandomized trials also have a group as the unit of allocation.

Although described as ‘randomized’, if allocation was done by birth date or hospital admission date, such cases do not fit to the standard of randomization and thus considered a quasi-randomized controlled trial, which we regard as a nonrandomized trial.

If study participants were randomized to the intervention group or the control group (placebo or other interventions).

If study participants were allocated to the intervention group or the control group (placebo or other interventions) without using randomization.

7) Were the data for the exposure to interventions and primary outcomes collected concurrently?

(47)

Determine whether the data for the exposure to interventions and primary outcomes were collected concurrently or nonconcurrently (e.g., done prospectively or retrospectively).

If the data for the exposure to interventions and primary outcomes were collected concurrently in the study, then categorize it as a cross-sectional study (e.g., survey).

If the data for the exposure to interventions and primary outcomes were collected concurrently.

If the data for the exposure to interventions and primary outcomes were collected nonconcurrently.

8) Was each group organized based upon the exposure to interventions?

If the study has organized each group based upon the exposure to specific interventions, and studied differences of occurrence between each groups, then it is a cohort study.

If the study has organized each group based upon the specific outcome (e.g., disease) occurrence, and compared the exposure to interventions per each group, then it is a case-control study.

If each group was organized based upon the exposure to specific interventions and differences of outcome occurrence between each groups were studied.

(48)

If study has organized each group based upon the specific outcome (e.g., disease) occurrence, compare the exposure to interventions per each group.

9) Was each group organized based upon the outcome within cohort?

If a patient group and a control group were organized from study participants during cohort study, then it is a nested case-control study.

Nested case-control study can be organized for both of prospective cohort and retrospective cohort.

If each group was organized based upon the outcome within cohort, it is

‘YES’. If not, it is ‘NO’.

10) Were the times of the exposure to interventions (to be compared) the same?

If outcomes were compared for the 2 groups, which received interventions at the same time, then it is a concurrent cohort study. If each group was organized based on the exposure at the different times, and then the outcome comparisons between different groups were conducted, then the study is called as a nonconcurrent cohort study or sometimes called differently as a historical controlled cohort study.

Generally, ‘cohort study’ means a concurrent cohort study, regardless of prospective or retrospective.

In most cases, a control group is organized with the cases of the exposure to

(49)

interventions in the past. Organizing intervention group is possible for both of prospective and retrospective cases.

If the times of the exposure to interventions to be compared are the same.

If the times of the exposure to interventions to be compared are not the same.

11) Was the exposure to interventions measured after the occurrence of outcomes with the data previously existed before the event?

A retrospective cohort study needs to meet 2 criteria: 1. At the point of collecting the data for the exposure to interventions, targeted outcome data already existed for the data 2. Current outcome comparisons are conducted based on the groups that were organized in the past per the exposure to interventions. This type of study usually uses the data source such as administrative data and medical records.

If the exposure to interventions was measured before the occurrence of outcomes, and after that, the outcomes were observed, it is a prospective cohort study.

It can be considered a retrospective cohort study only when it was observed entirely retrospectively. If some part was observed prospectively, then it is considered as a prospective cohort study.

The exposure to interventions was measured after the occurrence of outcomes with the data previously existed before the event.