그림 Ⅲ-5. 연구에 포함된 전체 NRS 연구의 질평가 RoBINS-I(
n
=8)그림 Ⅲ-6. 연구에 포함된 개별 NRS 연구의 질평가 RoBINS-I(
n
=8)확인, 이상치 확인, 효과크기 계산, 출판편향 분석, 이질성 검증, 조절효과 분석을 실시하였다. 다음으로 네트워크 메타분석으로 개입 간 차이 분석을 실시하였다.
가. 메타분석
1) 독립성 가정
메타분석에서 하나의 연구가 하나 이상의 효과크기를 산출할 때 독립성 가정 을 위반한다. 이 경우 메타분석의 각 효과크기가 독립적이라는 핵심 가정을 위반 하는 것이다(Borenstein et al., 2009). 만일 이 가정이 충족되지 않는다면 분석단 위 문제를 다루어야 한다. 독립성 가정 위반은 1차 분석대상 연구를 선택하거나 분석할 때 연구에 표본이 중복되어 사용되는 경우와 2차 한 연구 내에서 동일 대상에 대해 여러 결과치를 보고한 연구의 경우 발생한다(신인수, 2022). 이 경우 중복해서 보고한 효과크기 간에 상관관계가 발생하는데, 그 상관관계를 무시하고 결과치들이 서로 독립적이라고 가정하게 되면 효과크기의 정밀도(표준오차)를 과 대평가하게 된다. 그 결과로 평균 효과크기의 표준오차가 실제보다 작게 계산되 어 메타분석에서 효과에 부여하는 가중치를 부풀리고 궁극적으로 결과를 왜곡하 게 된다. 즉, 사실은 통계적으로 유의하지 않은데, 유의하다고 할 확률이 커지게 된다는 것이다. 독립성 가정 위반을 해결하는 방법으로 한 연구물 안에서 하나의 효과크기 만을 선택할 수 있고, ‘분석의 단위 이동(Cooper, 2017)’ 방법을 대안으 로 사용할 수 있다. ‘분석의 단위 이동’은 전체 효과크기를 구할 때는 개별연구물 을 분석단위로 분석하고, 하위집단 분석에서는 효과크기를 분석단위로 하는 방법 이다. 이 연구에서는 한 연구물에서 하나의 효과크기를 산출(
N
=k
=35)하는 방법 을 선택하여 독립성 가정을 충족하였다.2) 이상치 처리
이 연구에서 효과크기로 사용된 값은 표준화된 평균 차이를 나타내는 SMD(standardized mean difference)이다. 이는 개별연구의 효과크기가 다를 때 이들을 표준화시켜 상호비교할 수 있도록 만든 것이다(심성률, 2019). 효과크기의 해석은 Hedges의
g
값 .2, .5, .8을 small, medium, large로 해석하는데, 메타분석에서 SMD 값의 이상치는 ±2.5~3 표준편차 값을 기준으로 평가한다(신인수, 2022). 본 연구에서는 Hedges의
g
값이 3 이상인 값을 이상치로 처리하여 메타분 석과 네트워크 메타분석에서 제외하였다.3) 효과크기의 산출
개별연구에서 추출된 통계치는 효과크기로 변환하여 분석한다. 효과크기는 개 입의 효과크기 또는 변수 간의 관계의 크기를 수량으로 표현한 값을 말하는데, 효과크기는 메타분석의 분석단위이다(황성동, 2020). 이 연구에서 효과크기는 실 험집단과 통제집단의 실험 전, 후의 평균 차이와 표준편차 차이를 코딩한 후 CMA 2.0 프로그램에서 산출하였다. 이 연구에서 분석에 사용된 효과크기는 표 준화된 평균 차이(standardized mean difference: SMD)이다. 이 값은 프로그램을 시행한 후 실험군이 대조군과 비교하여 얼마나 효과를 보았는지 그 평균치를 나 타내는 것으로, 표준편차 ‘Z’ 척도를 사용하여 나타낸다. 이 연구에서는 표본이 작을 때 효과크기를 과대 추정하는 경향이 있는 Cohen의
d
값 대신 표준화된 평 균 차이에 표본크기에 따른 가중치를 부여한 Hedges의g
값으로 효과크기를 산 출하였다(Hedges & Olkin, 2014; Littell et al., 2008). Hedges의g
값은 Cohen(1988)이 제시한 해석 기준을 적용하여, 표준화 평균 차이에서 효과크기가 0.2 이하는 작은 효과크기, 0.2~0.8은 중간 효과크기, 0.8보다 크거나 같으면 큰 효과크기로 해석하였다. 효과크기의 유의성은 95% 신뢰구간으로 검증하였다. 아 래 수식은 Cohen의d
값을 구하는 수식과 Hedges의g
값을 구하는 수식이다.′ 교정된 효과크기
× 효과크기
주.n1 실험집단 표본수, n2 통제집단 표본수, preM1 실험집단 사전평균, postM1 실험집단 사후평균, preM2 통제집단 사전평균 postM2 통제집단 사후평균, preS1 실험집단 사전표준편차, postS1 실험집단 사후표준편차 , preS2 통제집단 사전표준편차, postS2 통제집단 사후표준편차, Corr1 실험집단 상관계수 Corr2 통제집단 상관계수
4) 출판편향 분석
메타분석에 포함된 개별연구가 연구주제에 대한 전체 연구결과를 대표할 수 있는지 출판편향의 존재를 검토하였다. 출판편향의 일반적인 의미는 연구 결과의 속성이나 방향에 따라 연구 결과가 출판되거나 출판되지 못하는 편향(bias)을 의 미한다(Higgins & Green, 2011). 하지만 메타분석에서 ‘출판(publication)이 의미 하는 바는 체계적 리뷰에 포함될 연구를 선정하는 전체과정을 의미한다’(Copas
& Shi, 2000, p.418)라는 주장이 있다. 따라서 출판편향은 연구 선정과정에서의 편향이나 메타분석에 포함된 데이터 편향으로 해석하는 것이 필요하다(황성동, 2020).
현재 메타분석에 포함된 연구에서 나타난 분석 결과가 분석에 포함되어야 할 연구들이 모두 포함되었을 때 나타나는 분석 결과와 체계적으로 다르다면 출판 편향이 존재하는 것으로 볼 수 있다(황성동, 2020). 이와 관련하여 ‘small-study effects’는 출판편향으로 인해 나타난 하나의 결과로 메타분석에 포함된 연구들에 서 표본크기가 작은 연구들이 상대적으로 큰 효과크기를 보이려는 경향을 의미 한다(Sterne, Gavahan, & Egger, 2000). 만일 메타분석에 포함된 연구 중에서 표 본크기가 작은 연구의 효과크기가 상대적으로 크다면 이것은 출판편향이 존재하 는 근거로 볼 수 있다(황성동, 2020).
출판편향의 존재 여부를 확인하기 위해 효과크기와 표준오차에 대한 funnel plot의 대칭성을 시각적으로 검증하였다. 만일 이 funnel plot에서 출판편향이 없 다면 평균을 중심으로 좌우대칭(symmetry)의 모습을 보일 것이다. 반면에 비대 칭(asymmetry)의 모습을 보인다면 출판편향이 있음을 보여주는 것이다(황성동, 심성률, 2018). 또한 통계적으로 비대칭 여부를 확인하기 위하여 Egger의 회귀분 석(Egger’s regression)을 통해 효과크기와 표본크기 관계의 유의미성을 검토하 였다.
다음으로, 민감성 분석(sensitivity analysis)을 실시하였다. 민감성 분석은 메타 분석을 수행하는 과정 중 각 단계에서 행해진 분석의 기준이나 내용에 따라 효 과크기가 쉽게 변화되는지를 검토하는 분석 방법이다(Higgins & Green, 2008).
이 분석은 주 분석에 이어 부수적으로 수행되는 추가 분석이라고 할 수 있다. 이 러한 민감도 분석은 서로 다른 조건에서 도출된 연구 결과가 일관성을 보이는지
검증하는 방법으로 사용된다(황성동, 심성률, 2018).
5) 이질성 검증
메타분석의 목표는 단순히 효과크기의 평균을 도출하는 것이 아니라 효과크기 의 전체 패턴을 이해하는 데 있다(황성동, 2020). 일반적으로 메타분석을 하면 각 개별연구로부터 도출된 효과크기는 서로 다르게 나타나는데, 이러한 효과크기 간 의 차이를 효과크기의 이질성(heterogeneity)이라고 부른다(황성동, 2020). 이 연 구에서 개별연구 효과크기의 이질성 검증은
Q
값과 값을 통해 확인하였다.Q
통계치는 효과크기의 동질성을 검증하는 데 사용되지만,Q
통계치는 영가설(H0: 모든 연구의 모집단 효과크기는 동일하다)을 검증할 뿐이다(황성동, 2020).Q
>df
이면 개별연구의 모집단의 효과크기는 서로 동일하지 않고,Q
<df
이면 개별 연구의 모집단의 효과크기는 동일하고 연구 간 실제 분산은 0이다(황성동, 2020).값(총분산에 대한 실제 분산의 비율)은 개별연구에서 산출된 효과크기의 이질 성 정도를 나타내며, 통계적 이질성으로 인한 효과크기의 차이를 백분율로 나타 낸 비율이다. Higgins, Thompson, Deeks와 Altman(2003)에 의하면 값이 25%
이면 이질성이 작고, 50%이면 이질성이 중간이고, 75% 이상이면 이질성이 큰 것 으로 평가한다. 일반적으로 값이 50% 이상이고 동질성 검증의 유의확률이 0.10 보다 작은 경우 효과크기의 이질성은 상당(substantial)하다고 판단한다(Higgins and Green, 2011).
×
Q=관찰된 분산 df=k-1(k: 포함된 연구의 수)
6) 조절효과 분석: 하위집단 분석과 메타회귀분석
메타분석의 목적이 단순히 개별연구를 통합하여 전체 효과크기를 계산하는 데
있다면 그 의미는 제한적일 것이다(황성동, 2020). 메타분석에서는 이론적 토대에 기초하여 효과크기에 영향을 줄 만한 변수를 찾아서 이 변수들이 효과크기에 미 치는 영향력을 검토한다는 것이 또 다른 중요한 목적이다(황성동, 2020). 여기에 메타분석의 설명적 역할이 있다.
메타분석에서 조절효과 분석은 하위집단 간의 효과크기 차이를 보다 직접적으 로 검증하며 평균 효과크기에 영향을 주는 변수인 조절변수의 영향력을 검증할 수 있게 한다(황성동, 2020). 조절변수는 독립변수와 종속변수의 관계에 영향을 주는 변수로서 메타분석에서는 연구 수준의 변수를 말한다(황성동, 2020). 조절효 과 분석은 효과크기를 설명하는 연구 수준의 변수인 조절변수를 통해 분석한다.
이는 변수의 수준에 따라 두 가지 방법으로 분석하는데, 조절변수가 범주형일 경 우 하위집단 분석으로, 조절변수가 연속형 변수일 경우 메타회귀분석으로 분석한 다. 이 연구에서 사용한 조절변수는 프로그램의 설계 특성, 참여자의 특성, 프로 그램 운영 특성이다.
가) 프로그램의 설계 특성 (1) 일반적 설계 특성
집단프로그램 설계와 관련한 특성으로는 연구설계 유형(RCT, NRS), 실험진행 자의 특성, 회복탄력성 측정에 사용한 척도이다. 연구설계 유형의 구분은 무선배 치 여부이다. 무선배치가 명시된 경우 RCT로, 명시되지 않은 경우 NRS로 분류 하였다. 실험진행자는 연구자가 직접 진행한 경우, 다른 전문가가 진행한 경우, 연구자와 다른 전문가와 함께 진행한 경우를 조절변수로 구분하였다. 회복탄력성 측정에 사용된 척도는 우선 연구자가 제시한 척도를 코딩하여, 원척도를 기준으 로 구분하였다. 다음으로 사용된 척도의 타당화 여부에 따라 구조화된 척도와 비 구조화된 척도로 구분하여 하위집단 분석으로 조절효과 분석을 실시하였다.
(2) 프로그램 개입유형
프로그램의 개입유형에 따른 하위집단으로 예술치료 접근, 상담이론 접근, 교육 집단으로 분류하였다.
(3) 프로그램 목적에 따른 유형
이 연구에서 프로그램 목적에 따른 분류는 치료집단과 예방집단이다. 분류된 치료집단과 예방집단을 하위집단으로 효과크기를 분석하고, 전체 효과의 이질성 을 설명하는 조절변인으로 사용하였다.
나) 집단프로그램 참여자 특성
참여자의 일반적 특성은 학교급과 역경 여부로 분석하였다. 우선 발달 단계의 차이가 결과에 영향을 주는지 살펴보기 위해, 중학교, 고등학교, 중고등학교 혼합 으로 분류하여 하위집단 분석을 실시하였다. 다음으로 역경 여부에 따른 하위집 단 분석을 실시하였다.
다) 집단프로그램 운영 특성
집단프로그램 운영 특성으로는 총회기 수, 프로그램 운영 기간, 참여자 수를 분 석하였다. 총회기 수와 참여자 수는 연속변수로 코딩한 조절변수로 메타회귀분석 을 실시하였다. 프로그램 운영 기간은 4주 이하, 5-8주, 9-12주, 13주 이상으로 범주화하여 하위집단 분석을 실시하였다.
나. 네트워크 메타분석
이 연구에서 청소년의 회복탄력성 증진을 위한 집단프로그램의 유형 간 효과 비교를 위한 네트워크 메타분석을 실행하는 통계적 접근은 빈도주의(frequentist) 방법을 채택하였다. 네트워크 메타분석 분석 도구는 R version 4.2.1, “netmeta”
패키지(Rücker, 2012)를 활용하였다. 네트워크 메타분석에서 실시한 분석은 네트 워크 메타분석 summary, 네트워크 지형도, 네트워크 forest plot, 개입유형 간 비 교우위 선정을 보여주는 p-score 분석이다.
유형 간 효과크기를 비교하기 위해 우선 상위 위계의 집단 분류로 개입유형에 따라 예술치료 접근, 상담이론 접근 개입 집단으로 분류하였다. 개입유형으로 분 류된 예술치료 접근과 상담이론 접근 집단에 대하여 각각 하위집단으로 전체집 단, 치료집단, 예방집단별로 개입유형 간 네트워크 메타분석을 실시하였다.
1) 네트워크 메타분석을 위한 개입유형 구분
개입유형을 예술치료 접근, 상담이론 접근으로 분류한 두 상위집단에서 하위집 단으로 전체집단, 치료집단, 예방집단별로 각각 접근 유형을 분석하였다. 예술치 료 개입은 사용한 예술 매체(미술치료, 원예활동, 댄스치료, 음악치료, 공예치료 등)에 따른 유형으로 분석하였고, 상담이론 개입은 사용한 상담이론(인지행동치 료, 해결중심상담, 아들러개인심리학, 긍정심리학, 인간중심, 통합적 상담 등) 유 형으로 분석하였다.
2) 네트워크 지형도
네트워크 지형도(network plot)는 네트워크의 구조를 시각적으로 제시해 준다.
노드(node)는 처치이며 연결된 선(edge)은 처치 간 비교와 비교의 양에 대한 정 보를 담고 있다(심성률, 2019). 노드 간 직접 연결된 선은 변인 간 직접비교 가능 여부를 확인할 수 있으며, 선의 굵기에서는 두 변수 간 효과비교를 위한 정보의 양을 확인할 수 있다(심성률, 2019). 선이 굵으면 두 변수 간 직접 비교를 위한 표본수가 많거나 관련 논문이 많아 연구의 정밀성이 높아진다(심성률, 2019). 이 연구는 예술치료접근, 상담이론접근에서 전체집단, 치료집단, 예방집단별로 네트 워크 지형도를 제시하였다. 네트워크 지형도에서 공통대조군인 통제집단과 비교 한 개입방식의 하위 접근유형을 분석하여 네트워크의 구조를 확인하였다.
3) 일관성 검증
일관성 검증(consistency test)은 네트워크 지형도에서 노드 간 직접효과와 간 접효과의 일치성을 알아보기 위한 통계적 검정 절차이다(심성률, 2019). 혼합비교 에서 일관성 검증은 Wald test로 실시하며, 전체 네트워크 모델의 일관성은
Q
값에 대한p
값의 유의성에 따라 판단하며Q
값에 대한p
값이 .05보다 클 때 전체 모델의 일관성을 지지한다고 볼 수 있다(Higgins et al., 2012). 이는 전체 네트워 크 모델의 직접 효과와 간접효과의 차이가 없다는 것을 의미한다. 개별 유형별 일관성 검증은 분석모형을 선택한 후 고정효과모형이나 랜덤효과모형으로 분석 하며 모든 유형별p
값이 통계적으로 유의하지 않으면 비일관성을 나타내지 않으 므로 일관성 모델을 지지하는 것으로 해석할 수 있다.이 연구는 공통대조군을 제외하고는 개입 방법 간 직접비교가 하나도 없는 개 방형 네트워크 분석이어서 통계적으로 일관성 검증을 실시할 수 없었다. 이에 대 안으로 제안되는 정성적인 평가를 실시하였다(신인수, 2022; 심성률, 2022). 연구 팀은 연구팀 협의 과정과 전문가 자문을 통한 정성적 평가과정을 거쳐 일관성 가정이 충족되었다고 평가하였다.
4) 네트워크 forest plot
개입유형 간 효과크기 차이를 보여주는 네트워크 forest plot은 네트워크 메타 분석을 통해 개입유형 간 효과크기를 한눈에 알아볼 수 있도록 도식화하여 비교 한다(심성률, 2019). 이 연구에서는 공통대조군인 무처치통제집단(control group) 의 효과크기를 0으로 하여 비교한 효과크기차이(SMD, Hedges의
g
값) 값을 plot 으로 제시하였는데 이는 무처치통제집단과 비교한 해당 개입의 효과크기를 의미 한다.5) 개입유형 간 비교우위 선정
개입유형 간 비교우위 선정(net ranking)은 네트워크 메타분석의 중요한 기능 이다(심성률, 2019). 비교우위 선정은 R 프로그램 “netrank” 패키지의 netrank 함 수를 사용하여 확인하였다(Rücker & Schwarzer 2015). P-scores(Probability score)는 네트워크 추정치의 효과크기와 표준오차에 기반하여 모든 접근법에 대 해 평균을 낸 접근법이 다른 접근법보다 더 나을 것이라는 확신의 정도를 확률 값으로 나타낸다(심성률, 2022). 이 값은 최우선 순위에서 최하위 순위까지로 해 석할 수 있다.