수량적 연구결과들의 통합을 위한 메타분석의 시도는 단순히 연구결과에 대한 통 계적 분석만을 시도하는 것을 말하는 것은 아니다. 메타분석을 위해서는 통계적인 분 석 이전에 거쳐야 할 여러 단계들이 있다. Jackson(1980)은 메타분석의 5가지 단계 를 다음과 같이 제시하고 있다.
<그림 1> 메타분석의 절차
1) 연구를 위한 가설이나 질문의 설정단계
통합연구에서 영가설(null hypothesis)5)이나 대립가설(alternative hypothesis)6)의 설정은 사전에 반드시 설명이 되어야 하는가? 이 같은 물음에 대해 한결같은 대답 은 없지만 일반적으로 영가설이나 대립가설의 설정은 바람직한 것이라 할 수 있다.
그것은 영가설 하에서 라면 집단 간의 차가 우연에 의해 발견될 가능성이 어느 정 도인지를 규명할 수 있기 때문이다. 뿐만 아니라 영가설이나 대립가설의 설정 즉, 일반검증에 있어 연구결과에 관한 알파수준과 메타수주을 미리 정해 놓을 수 있다 는 것이다. 그러나 만약에 연구자가 메타분석에 있어서 통계결과의 추리에 별다른 관심이 없다고 한다면 연구의 형식적인 영가설이나 대립가설을 반드시 설정할 필요 는 없다고 할 수 있다.
2) 연구 자료의 범위선정 및 수집단계
통합연구의 성패는 연구하고자 하는 주제와 관련하여 얼마나 많은 양의 자료 즉 연 구결과들을 수집했는가에 의해 좌우된다고 할 수 있다. 다시 말해서 선정된 주제와 관련된 발표 혹은 미발표연구물들을 가능하면 하나도 빠짐없이 수집함으로써 통합연 구가 의도하는 보다 신뢰성 있고 객관성 있는 대결론을 내릴 수 있는 논리를 제공하 기 때문이다. 만약, 이 단계에서 연구자가 의도적이든 그렇지 않든 기존에 발표된 연 구물들을 수집하는 일을 게을리 하거나 연구자의 취향에 맞는 연구물들만을 수집하 게 된다면 자료의 편향(bias)과 더불어 통합분석의 의미를 함께 상실하는 결과를 초 래하게 된다.
따라서 메타분석의 과제 중 하나는 연구하고자 하는 주제와 관련된 연구논문들이 어느 곳에 소장되어 있는가를 알아내는 일로부터 시작된다. 예컨대 국내에서는 국회
5)실험연구의 결과예측과 관련된 통계학 용어로,실험집단에서 나타난 결과와 통제집단에서 나 타난 결과 사이에는 통계학적으로 유의한 차이가 없다는 예측을 포함하고 있는 가설로 귀무가설 (歸無假說)이라고도 부른다.
6)통계학에서 영가설에 대립하여 “모집단에서 독립변수와 결과변수간에 관련이 있다”라고 기술 하는 명제를 말한다.연구가설 또는 유지가설,대안가설이라고도 하며 어떤 가능성에 대해 확률 적인 가설검정을 할 때 영가설과 함께 사용된다.이 가설은 영가설처럼 검정을 직접 수행하기는 불가능하며 영가설을 시작함으로써 받아들여지는 반응의 과정을 거쳐 받아들여질 수 있다.
도서관이 대표적인 자료수집의 출처라 할 수 있는데, 매년 정기적으로 간행되는 석․
박사 학위논문 목록집을 비롯하여 각 학회에서 발간하는 문헌총람 등이 데이터베이 스화되고 있다.
메타분석에서 리뷰(review)해야 할 기존의 연구결과들을 선정하는 일은 종전의 문 헌리뷰방식과 큰 차이점은 없다. 다른 일반연구나 마찬가지로 참고문헌이나 서적이 나 연구물들의 목록들 그리고 컴퓨터를 이용한 데이터베이스의 활용 등을 들 수 있는 데, 이 같은 공식적인 채널을 통해서는 미발표논문이나 가설이 부정되어 출판되지 못 한 많은 수의 논문들을 찾아내는 데에는 부적합하다.
메타분석과 같은 통합분석에서 이 같은 미발표 문헌들을 찾아내는 데에 실패하면 결과적으로 제기되는 문제는 자료수집의 편포(bias)의 문제를 피할 수 없게 된다. 연 구논문의 선정문제와 관련해서 생각해야 할 또 다른 문제는 한 연구의 결과를 몇 개 의 서로 다른 학술지나 학회에 발표한 경우를 들 수 있다.
흔히 동일한 연구의 내용을 학술지의 성격이나 학회의 주제에 따라 조금씩 시각을 달리하는 제목으로 발표하여 각기 다른 연구로 간주되어 이중․삼중으로 한 편의 연구 가 분석됨으로 인해서 연구결과를 어느 한쪽으로 유리하거나 불리하게 만드는데 일 익을 담당하는 오류를 범하게 된다. 따라서 메타분석을 위해 선정된 자료의 내용들은 그 중복가능성을 배제하기 위해 엄밀하게 검토되어야 할 필요성이 있다.
또한 Rosenthal(1966)은 일방적인 연구의 결과들만을 수집하여 분석함으로써 결 국 전체 유의도 검증이나 전체의 효과크기를 계산하는데 과대평가되는 결과를 초래할 가능성을 경계해야 한다고 주장한다. Rosenthal(1966), 그리고 Greewald(1975) 등 이 조사한 바에 따르면 학술지에 발표되거나 학회에서 발표된 논문들은 유의도 수준 이 긍정적인 결과가 발견된 논문들에 국한된 경우가 많기 때문에 메타분석에서 학술 지 논문위주로 논문 선정이 편중되면 종합적인 의사결정에 문제가 될 수 있다는 점을 지적하고 있다.
또한 Rosenthal(1966)은 일반적으로 석사학위나 박사학위 논문들은 다른 연구의 결 과에 비해 다소 적은 효과크기를 보이는 경향이 있다는 연구결과를 제시하였는데, 이 같은 결과는 석․박사학위논문들이 보다 보수적이고 엄밀성을 띄고 있기 때문인 것으로
생각된다. 가능한 한 객관성 있는 메타분석의 결과를 도출하기 위해서는 분석 자료의 수 집 및 선정에서 각종 연구출처를 포괄적으로 이용하는 것이 필요하다는 것을 염두에 두어 야 한다. 하지만 자료가 너무 방대한 경우에는 적정규모를 선정할 수밖에 없는데, 가장 흔 히 쓰이는 방법이 무선 표집에 의해 제한된 수의 연구논문을 표집 하는 것이다. 또한 연 대순에 따라 일정기간으로 연구범위를 제한하는 것도 한 가지 방법이 될 수 있다.
3) 분석 자료의 특정변인 코딩작업 단계
메타분석에 사용될 연구논문들의 수집이 끝나면 연구의 특성들을 파악하고 메타분 석의 결과에 영향을 미칠만한 변인이나 특성들을 코딩하는 작업이 이어진다. 이를 위해서는 먼저 연구특성의 선택이 필요한데, 연구특성들을 수량화하는데 주로 포함 되는 속성들은 연구논문의 발표일자, 연구대상의 연령계층, 남녀 간의 표집비율, 표 집의 크기 등이 나열될 수 있다. 이 같은 연구특성의 선택에는 분명한 준거가 있어야 하고 가급적 한 사람 이상의 평가자에 의해 분류 및 코딩작업이 이루어지는 것이 바람 직하다.
코딩작업에서 고려할 다른 한 가지 점은 메타분석을 위한 코딩메뉴얼과 코딩표의 개발이 필요하다는 것이다. 그리고 메타분석으로 선정된 연구의 특성들이 코딩메뉴 얼에 따라 코딩되고 나면 어떤 변인들이 매개변인으로 작용되어 유의성 검정이나 그 렇게 함으로써 메타분석을 통해 얻어진 결과가 연구의 특성변인에 따라 어떤 관계를 갖고 있는지 밝힐 수 있다.
4) 메타통계분석단계
논문수집이 끝나고 연구를 통해 규명하고자 하는 분석 가능한 특성변인들의 코딩 이 이루어지면 코딩된 자료를 가지고 통계적 분석을 시도하는 단계에 이른다. 이 단 계에서는 선행연구결과들이 제시하고 있는 다양한 통계값들로 부터 메타분석이 가능 한 통계값으로 변환시키는 작업이 중요하다.
5) 분석결과의 제시 및 해석단계
분석결과의 제시와 해석에 있어서 가장 중요한 개념은 효과크기라 할 수 있다. 효 과크기의 지수를 쉽게 이해할 수 있도록 표현하는 방법에 대해 연구가 이루어졌는데, 현재는 대체로 Cohen(1992)이 제시한 기준에 따라 해석하고 있다. 이것은 표준화된 효과크기의 해석 기준이라 할 수 있는데 주요내용은 다음과 같다.
․ ESsm ≤ 0.20 : 작은효과크기 ․ ESsm = 0.50 : 중간효과크기 ․ ESsm ≥ 0.80 : 큰효과크기
이 기준은 쉽게 말해서 계산된 효과크기가 0.2이하일 때는 별로 효과가 없는 것으 로 해석되며, 0.5에 근접할 경우에는 중간정도의 효과가 있는 것으로 해석되며, 0.8 이상일 경우에는 큰 효과가 있는 것으로 해석되는 것이다.