가. 자료의 코딩
자료를 코딩하기 위해 코딩시트와 코딩 기본정보를 작성하여 진행하였다. 코딩 관 련 내용은 황성동(2020)의 분석기준을 참고하였다. 코딩은 연구팀에서 작성한 코딩 시트와 코딩 기본정보에 근거하여 연구자와 교육학 석사 2명이 진행하였다. 코딩 과정 에 불일치가 있는 경우 연구팀과 협의하여 의사 결정하였다. 자료입력 분류항목은 표
Ⅲ-2와 같고, 코딩시트는 부록 3에, 코딩 기본정보는 부록 4에 제시하였다.
표 Ⅲ-2. 자료입력 및 분류항목
항목 세부 입력항목
기본정보 연구번호ID, 저자명, 발행연도, 논문제목, 발행처, 주저자 전공 독립변인 회복탄력성 증진을 위한 프로그램 명
종속변인 회복탄력성
조절변인 프로그램 설계 특성, 참여자 특성, 프로그램 운영 특성 통계적 수치 두 집단(사전-사후)의 평균, 표준편차, 두 집단 표본 수
검사도구 회복탄력성을 측정하기 위한 검사도구
나. 자료의 질 평가
1) 무작위통제시험연구(RCT)의 질 평가
포함된 연구 중 무작위통제시험연구(RCT)의 질 평가는 무작위 대조군 실험연 구에서 사용하는 질 평가도구인 Cochrane의 Risk of Bias 2(RoB 2: version 2 of the cochrane tool for assessing risk of bias in randomized trials)로 평가하였 다. Bias는 비뚤림(김수영 등, 2020)으로 번역하였다. 비뚤림은 체계적 오류를 칭 하며, 동일한 연구를 여러 번 반복해도 평균적으로 잘못된 결과에 도달한다는 것 을 의미한다(김수영 등, 2020). 비뚤림 위험(Risk of Bias) 평가는 진정한 중재효 과를 과소평가 또는 과대평가할 위험이 있는지를 체계적으로 검토하는 방법이다.
결과에 대한 전반적인 비뚤림 위험은 해당 영역에서 가장 낮은 평가에 기초하여 평가한다(김수영 등, 2020). RoB 2의 평가영역은 표 Ⅲ-3으로 제시하였다.
표 Ⅲ-3. RoB 2에 포함된 비뚤림 영역
출처: 의료기술평가방법론: 체계적 문헌고찰 매뉴얼 (p. 89), 김수영 등 저, 2020, 서울: 한국보건의료연구원.
비뚤림 종류 다루어지는 이슈
무작위배정 과정에서 생기는 비뚤림
Ÿ 배정순서가 무작위배정인지 여부 Ÿ 배정순서는 적절히 은폐되었는지 여부
Ÿ 중재군 간 기저 상태의 차이가 있어서 무작위배정 과정의 문제를 시사 하는지 여부
의도한 중재에서 이탈로 인한 비뚤림
Ÿ 연구대상자는 임상시험 중 배정된 중재에 대해 알고 있었는지 여부 Ÿ 간병인과 중재 제공자는 임상시험 중 배정된 중재에 대해 알고 있었는
지 여부
중재 결과 자료의 결측으로 인한 비뚤림
Ÿ 해당 중재 결과에 대한 자료가 무작위 배정된 연구대상자 전부 혹은 거 의 전부에 대해 이용 가능한지 여부
Ÿ (해당하는 경우) 중재 결과 자료의 결측으로 인해 비뚤림이 일어나지 않는다는 근거가 있는지 여부
중재 결과 측정의 비뚤림
Ÿ 중재 결과 측정 방법이 부적절한지 여부
Ÿ 중재 결과의 측정 혹은 확인이 중재군별로 다를 수 있는지 여부 Ÿ 결과 평가자가 연구대상자의 중재군이 무엇인지 알 수 있는지 여부
보고된 연구 결과 선택 비뚤림
Ÿ 해당 연구가 미리 결정된 계획에 따라 자료의 눈가림이 풀리기 전에 분 석되었는지 여부
Ÿ 평가된 수치형 연구 결과가 연구 결과에 비추어 다중 중재 결과 측정치 중에서 선택되었을 가능성이 큰지 여부
평가영역은 무작위배정 과정에서 생기는 비뚤림, 의도한 중재에서 이탈로 인한 비뚤림, 중재결과 자료의 결측으로 인한 비뚤림, 중재결과 측정의 비뚤림, 보고된 연구결과 선택 비뚤림의 다섯 가지 영역이다. 이 연구에 포함된 전체 RCT 연구 의 질 평가 결과를 그림 Ⅲ-3으로 제시하였고, 개별 RCT 연구의 질 평가 결과 는 그림 Ⅲ-4로 제시하였다.
그림 Ⅲ-3. 연구에 포함된 전체 RCT 연구의 질평가 RoB 2(n=27)
그림 Ⅲ-4. 연구에 포함된 개별 RCT 연구의 질평가 RoB 2(n=27)
질 평가 분석을 위해 RevMan 5.4 프로그램을 사용하였고, RevMan 5.4 프로그 램에 범례로 제시된 기준에 따라 3수준(low, unclear, high risk)으로 평가하였다.
연구에 포함된 RCT 개별연구의 질평가 사유는 부록 5로 제시하였다. 그림 Ⅲ-3 에서 전체 RCT 연구의 질 평가 결과 중 ‘중재 결과 측정의 비뚤림 영역’은 100%가 높은 위험(high risk)을 보이고 있었다. ‘중재 결과 측정의 비뚤림 영역’
이 높은 위험으로 평가된 이유는 결과변수 측정이 모두 자기보고식 설문지를 사 용하였다는 점과 프로그램 진행자와 결과 평가자가 동일하여 평가자가 연구대상
자의 중재군이 무엇인지 알 수 있었다는 점이 위험요인으로 평가되었다.
2) 비무작위연구(NRS)의 질 평가
또한 이 연구는 비무작위연구(NRS)를 포함한다. 이 연구에서 비무작위연구는 중재 효과를 추정하는 정량적 연구로, 연구대상자를 무선 배정하지 않은 연구이 다. 이는 일반적으로 사회과학에서 실험설계조건을 엄격하게 갖추기가 쉽지 않다 는 점을 반영한 것이다. 비무작위연구의 질 평가는 RoBINS-Ⅰ(Risk Of Bias In Non-Randomized Study of Interventions)을 사용하였다. RoBINS-Ⅰ에 포함된 비뚤림 영역은 아래 표 Ⅲ-4와 같다. 평가영역은 교란으로 인한 비뚤림, 연구대 상자 선택 비뚤림, 중재 분류의 비뚤림, 의도한 중재에서 이탈로 인한 비뚤림, 자 료결측으로 인한 비뚤림, 중재 결과 측정의 비뚤림, 보고된 연구 결과 선택의 비 뚤림의 일곱 가지 영역이다. 개별 비뚤림 영역에 대한 비뚤림 위험은 정보 없음, 낮음, 중등도, 심각함, 매우 심각함으로 판단한다. 정보 없음은 해당 영역에서 위 험을 판단할 정보가 없는 경우이다. 낮음일 때는 해당 영역에 대한 잘 수행된 무 작위배정 임상시험에 해당한다. 중등도일 때는 해당 영역에서 비무작위연구로서, 잘 수행된 무작위배정 임상시험에는 미치지 못한다. 심각함일 때는 해당 영역에 서 일부 중요한 문제가 있다. 매우 심각함일 때는 해당 영역에서 중재 효과에 대 한 어떠한 의미 있는 근거도 제시하지 못한 경우이다. 이 연구에 포함된 전체 NRS 연구의 질 평가 결과를 그림 Ⅲ-5로 제시하였고, 개별 NRS 연구의 질 평 가 결과는 그림 Ⅲ-6으로 제시하였다. 질 평가 분석을 위해 RevMan 5.4 프로그 램을 사용하였는데 범례는 RevMan 5.4 프로그램에 제시된 기준에 따라 3수준 (low, unclear, high risk)으로 평가하였다. 이 연구에 포함된 NRS 개별연구의 질 평가 사유는 부록 6으로 제시하였다.
전체 NRS 연구의 질 평가 결과에서도 RCT와 동일하게 ‘중재 결과 측정의 비 뚤림 영역’은 100%가 높은 위험(high risk)을 보이고 있었다. ‘중재 결과 측정의 비뚤림’은 ‘결과 평가자가 중재 상태를 인지하고 있는 경우’ 발생한다. 이 영역에 서 포함된 연구 100%가 높은 위험으로 평가된 이유는 프로그램 진행자와 결과 평가자가 동일인이라는 점에서 결과 평가자가 중재 상태를 인지하고 있다는 점 이 위험요인으로 평가되었다.
표 Ⅲ-4. RoBINS-Ⅰ에 포함된 비뚤림 영역
출처: 의료기술평가방법론: 체계적 문헌고찰 매뉴얼 (p. 106), 김수영 등 저, 2020, 서울: 한국보건의료연구원.
비뚤림 종류 다루어지는 이슈
교란으로 인한 비뚤림 (교란: confounder))
Ÿ 기저상태 교란 요인은 하나 이상의 예측변수(관심 결과를 예측하는 요인) 에 의해 기저상태에서 받게 되는 중재가 예측될 때 발생한다.
Ÿ 여기서 시간 변동 교란 요인도 다루는데, 이것은 비교 중인 다른 중재로 전환되는 것과 기저 상태 후 예측변수에 의해 기저상태 후 받은 중재가 영 향을 받는 경우 발생한다.
연구대상자 선택 비뚤림 (선택 비뚤림)
Ÿ 일부 적격 연구대상자 배제, 일부 추적관찰 시점, 또는 일부 결과사건이 배 제되는 것이 중재와 중재결과 모두에 관련된 경우, 중재의 영향이 동일하 더라도 중재와 중재결과 사이에 연관성이 발생한다. 이는 교란요인과는 구 별된다.
Ÿ 예로는 신규 사용자가 아닌 기존 사용자가 중재에 포함됨으로 발생하는 비 뚤림이 있다.
중재 분류의 비뚤림 (정보 비뚤림)
Ÿ 중재 상태의 차등적 또는 비차등적 오분류에 의해 발생하는 비뚤림이다.
Ÿ 비차등적 오분류는 중재결과와 무관하며 일반적으로 중재의 추정 효과를 무효점으로 향하게 한다.
Ÿ 차등적 오분류는 중재상태의 오분류가 중재결과 또는 중재결과 위험과 관 련이 있을 때 발생한다.
Ÿ 중재결과 위험 또는 중재결과에 대한 지식에 의해 중재 분류가 영향을 받 는지 여부
의도한 중재에서 벗어나 발생하는 비뚤림
(교란)
Ÿ 실험 중재군과 대조군 사이에 제공된 관리가 체계적으로 다를 때 발생하는 비뚤림이다. 이는 의도된 중재에서 이탈을 의미한다.
Ÿ 중요한 공동 중재가 중재군 간 균형을 이루었는지 여부
Ÿ 이 영역의 평가는 관심효과(중재에 배정된 효과 또는 중재 시작 및 준수의 효과)에 따라 달라진다.
자료결측에 의한 비뚤림 (선택 비뚤림)
Ÿ 포함 연구대상자에 대한 추적관찰 결측에 의해 발생하는 비뚤림(예: 예측 요인에 의해 영향을 받는 추적관찰의 차등적 차이)이다.
Ÿ 혹은 중재 상태에 대한 정보나 교란 변수 등의 변수가 누락되어 발생한 비 뚤림이다.
중재결과 측정의 비뚤림 (정보 비뚤림)
Ÿ 중재결과의 측정에서 차등적 또는 비차등적 오류에 의해 발생하는 비뚤림 Ÿ 결과 평가자가 중재상태를 인지하고 있거나, 다른 중재군의 결과를 평가하
기 위해 다른 방법을 사용하거나, 측정 오류가 중재상태 또는 효과와 관련이 있는 경우 발생한다.
보고된 연구결과 선택의 비뚤림 (보고 비뚤림)
Ÿ 중재결과, 분석 또는 하위집단 분석에 대한 여러 측정 중에서 결과에 따라 연구결과를 선택적 보고
그림 Ⅲ-5. 연구에 포함된 전체 NRS 연구의 질평가 RoBINS-I(
n
=8)그림 Ⅲ-6. 연구에 포함된 개별 NRS 연구의 질평가 RoBINS-I(