메타분석 연구자가 선행연구 모두 수집하지 못하고 일부 연구만으로 사용할 경우 발생하는 출판편의는 분석결과의 신뢰성과 타당성에 문제가 생기므로 결과분석을 하기 전에 메타분석에 사용될 표본의 편향성을 살펴보는 것은 중요하다(심의보, 2015). 출판 편의가 있는 경우 전체효과크기가 과대 추정되어 연구결과의 타당성을 저해하게 되고 표집 된 연구들이 좌우대칭이 되지 않는 문제가 발생한다(Borenstein et al, 2009).
Duval과 Tweedie(2000)의 Trim and Fill은 깔때기 도표에서 표준오차에 따른 효과크 기기의 분포와 비대칭적일 경우, 보고되지 않은 효과크기를 추정하여 채워 넣음으로써 대칭적인 분포를 만들어 편향되지 않은 효과크기를 추정할 수 있는 방법이다. Funnel Plot을 이용한 Trim and Fill 방법은 표본크기가 작아질수록 한쪽으로 효과크기가 강 해지는 경향이 있는지를 파악하는 것으로 출판 편의 문제가 없다면 그래프는 좌우대칭 이 된다(정영미, 조한익, 2015). 메타분석에 포함한 연구가 모든 연구를 포함되었거나 대상이 되는 표본이 모집단의 특성을 제대로 반영되지 못하면 분석결과는 출간된 연구 의 결과가 모든 연구의 결과를 대표하지 못한다는 것을 의미한다(황성동, 2014;
Rothstein, 2008). 본 연구에서는 전체효과크기를 분석하기 전에 연구 자료의 타당성을 확보하기 위해 Duval과 Tweedie(2000)의 Trim and Fill의 방법을 사용하여 출판편의 문제 여부를 확인하였다. 출판편향에 대한 결과는 다음 <그림 3>과 같다.
<그림3 > Funnel plot
메타분석 결과의 타당성 확보를 위해 먼저 위에 [그림 ]에서 제시된 Funnel plot을 통해서 시각적인 편향의 가능성을 살펴보았다. 그 결과 비교적 안정적인 분포를 보였 다.
앞서 시각적인 편향여부의 탐색과 더불어 추가적으로 수치화된 방법으로 출판편향 을 검증하였다. Duval & Tweedie(2000)의 추정치 가감법(trim & fill)을 실시한 결과에 서도 조율된 연구물의 보정 값과 관찰 값이 같아서 출판편향이 존재한다고 보기 어려 웠다.
추정치 가감법(trim & fill)은 만약 표본수가 적은 연구가 요약 크기 왼쪽보다 오른 쪽에 많으면 왼쪽에 있어야 할 연구들이 없어진 것이라는 것이다. trim & fill 방법은 없어진 연구들이 존재하는 것으로 여기고 분석에 그 연구들을 추가하여 요약 효과크기 를 다시 계산하는 것이다. 분석결과 보정 값과 관찰 값이 동일하였으며 따라서 출판편 향이 존재하지 않는 것을 추정할 수 있다.
<표 17> 추정치 가감법(trim and fill)검증 결과
보정된
연구물 효과크기
95% 신뢰구간
하한값 상한값
관찰 값 - 0.878 0.685 1.072
보정 값 0 0.878 0.685 1.072
각 연구별 효과크기의 값을 한 눈에 알아볼 수 있도록 forest plot으로 나타낸 결과 는 <그림 4> 와 같다.
<그림 4> 각 연구별 효과크기의 forest plot
제 3절. 하위유목에 따른 효과의 크기
1. 프로그램 구성에 따른 효과크기
가. 프로그램 구성이론에 따른 효과크기
<표 18> 전체변인의 효과크기
K ES
95% CI
p-value Lower
limit
Upper limit
예술치료 30 1.083 0.824 1.341 0.000
인지치료 21 0.883 0.604 1.161 0.000
절충적 상담이론 21 0.692 0.427 0.958 0.000
* K 효과크기 수, ES 효과크기, 95% CI - 95% 신뢰구간
예술치료의 효과크기가 1.083, 인지치료의 효과크기가 0.883, 절충적 상담이론의 효과 크기가 0.692로 분석되어, 예술치료의 효과크기가 가장 큰 것으로 분석되었으며 절충적 상담이론의 효과크기가 가장 작은 것으로 분석되었다. 또한 이러한 효과크기는 신뢰구 간이 모두 0을 포함하지 않으므로 통계적으로 유의한 것으로 분석되었다.
나. 프로그램 전공영역에 따른 효과크기
<표 19> 연구자의 전공 영역에 따른 효과크기
K ES
95% CI
p-value Lower
limit
Upper limit
예술치료 19 1.140 0.789 1.492 0.000
혼합 11 0.913 0.518 1.308 0.000
상담심리 18 0.875 0.555 1.195 0.000
간호학 13 0.851 0.522 1.180 0.000
사회복지 7 0.836 0.302 1.369 0.002
교육학 4 0.461 -0.104 1.026 0.110
* K 효과크기 수, ES 효과크기, 95% CI - 95% 신뢰구간
간호학의 효과크기가 0.851, 교육학의 효과크기가 0.461, 사회복지의 효과크기가 0.836, 상담심리의 효과크기가 0.875, 예술치료의 효과크기가 1.140, 혼합의 효과크기가 0.913으로 분석되어, 예술치료의 효과크기가 가장 큰 것으로 분석되었다. 또한 상담심 리의 경우 효과크기가 0.875로 나타나 0.8을 상회하는 높은 수준의 효과크기가 나타났 다. 교육학의 경우 신뢰구간이 0을 포함하고 있으므로 통계적으로 유의하지 않은 것으 로 분석되었다. 간호학, 사회복지, 상담심리, 예술치료, 혼합의 경우 신뢰구간이 모두 0 을 포함하지 않으므로 통계적으로 유의한 것으로 분석되었다.