Glass(1976)는 자료 분석방식을 1차 분석, 2차 분석과 메타분석으로 구분하고 있 다. 1차 분석은 연구에서 얻은 원자료(raw data)들을 분석하는 것을 말하고, 2차 분 석은 1차 분석에서 제기되었던 연구문제를 보다 나은 통계적 방법을 사용하여 해답 을 얻으려 하거나 기존의 자료들을 새로운 연구문제에 해답을 구하려는 목적으로 흔
3) 오성삼(2007)에 따르면 메타분석 이전의 통합연구방법에는 화술적 방법(the narrative method),평균법(theaveragingmethod),투표식방법(thevotingmethod),군집접근법(thecluster approach)등이 있었다.
히 이용된다. 그리고 메타분석이란 분석들의 분석(analysis of analyses)을 한다는 의미로 사용되고 있는데, 이것은 개별연구결과들을 통합할 목적으로 많은 수의 개별 적 연구결과들을 통계적 방법으로 통합 분석하는 것을 말한다.
이지훈(1993)은 메타분석을 일정한 주제, 가설 등을 연구 초점으로 삼아 그와 관련된 기존의 여러 별개의 연구들을 대상으로, 사용된 분석방법과 그 과정상의 기 본전제들을 면밀히 검토하고 그들 연구결과들을 요약, 정리하여 서로 관련된 것들 을 통합함으로써 보다 포괄적인 일반화를 시도하거나 결론을 모색하는 분석이라고 설명하고 있다.
이와 같은 정의들은 메타분석이 통합적 통계연구방법이며 특히 제한적이고 편파적 일 수 있는 개별연구결과들을 통계적 기법을 사용하여 포괄함으로써 더욱 객관적인 결론을 도출하는 연구방법임을 밝혀주고 있다.
Glass(1976)는 메타분석방법에 대해 설명하면서 메타분석의 특징을 세 가지로 요 약하고 있다. 첫째, 메타분석은 수량적이다. 다시 말해서 단순한 자료들을 나열해놓 는 것이 아니라 다른 방법에 의존해서는 거의 파악하기 어려울 정도의 수많은 연구결 과들을 함축성 있게 분류하고 계량적, 통계적 방법을 사용하여 새로운 의미를 도출하 는 것이다.
둘째, 효과크기(effect size)4)를 계산하기 위해 서로 상이한 연구들이 한데 모아진 다는데 있다. 따라서 많은 수의 연구결과들을 통합함에 있어서 어떤 연구결과가 기대 하는 결과와 다르다거나 대다수의 다른 연구결과와 차이가 있다는 이유로 분석대상에 서 제외되지 않는다는 점이다. 오히려 서로 상이한 연구결과들을 통합적인 결론을 도 출해 내기위해 분석대상에 포함시키는 것이다. 따라서 메타분석에서는 개별연구들을 연구자의 주관적 판단에 의해 연구에 포함시킬지의 여부를 사전에 결정하지 않는다.
셋째, 메타분석은 일반적이고 객관적인 결론을 도출해 낼 수 있다는 점이다. 어떤
4) Glass와 그의 동료학자들에 의해 제안된 효과크기(ES)개념은 메타분석을 가능하게 해주는 단위로 메타분석의 핵심개념이라고 할 수 있다.효과크기는 분석대상이 되는 선행연구의 다양한 형태의 결과들을 통합 혹은 비교가 가능하도록 공통의 단위로 변환시켜 놓은 것이다.다시 말해 각기 다른 통계적 방법에 의해 이루어진 연구결과들을 수량적으로 통합할 때 서로 다른 척도와 방법을 사용하여 얻은 연구결과를 의미 있게 비교할 수 있도록 하나의 공통척도로 나타내는 집 단간 표준화된 평균치의 차이를 표시하는 단위이다(오성삼,2007).
한 분야의 연구결과에 대해 일정수의 연구결과들이 긍정적인 효과를 산출해 낸다고 하더라도 그 효과크기가 각기 다른 경우에 서로 상이한 방향과 서로 다른 효과크기에 대해 일반적 결론을 찾기 위해서는 각각의 단편적인 연구들 사이에 존재하는 작은 차 이는 무시되어도 무방하다는 전제하에서 일반화가 가능한 것이다. 그러므로 메타분 석은 일반화와 실제적 간결성의 두 조건을 동시에 충족시키는 함수를 찾아내려는 노 력이라고 말할 수 있다.
수집된 자료들이 메타분석에 쓰여 지기 위해서는 우선 몇 가지 전제조건이 충족되 어야 한다(오성삼, 2007).
첫째, 선행연구결과들을 한데 모아 보다 신뢰할 수 있고 타당성 있는 결론을 도출 해 내기위한 통합연구방법으로서 메타분석을 하기 위해서 무엇보다 요구되는 조건은 통합하고자 하는 주제와 관련된 선행연구물의 수가 충분하며 이 같은 연구물들을 수 집하는 데에 어려움이 없어야 한다. 이와 같은 문제는 일반 수량적 연구에서 제기되 는 연구대상의 표본 수와 같은 맥락에서 이해될 수 있다. 선정된 연구주제와 관련하 여 충분한 선행연구들을 수집할 수가 없다면 표본수의 부족으로부터 오는 검정력의 약화와 대결론(big decision)을 위한 메타분석 본래의 취지를 상실하게 된다. 표본 수의 불충분 문제는 특히 메타분석 과정에서의 변인과 변인 간의 관계규명을 위한 분 석 단계에서 셀(cell)의 크기에 치명적인 결함을 초래하는 원인이 된다.
둘째, 메타분석에 사용될 선행연구의 연구설계방식은 통제집단과 실험집단이 존재 하는 실험연구여야 한다. 따라서 메타분석을 위해 선정된 주제와 관련이 있는 연구들 이라 하더라도 그 연구자체가 통제집단과 실험집단을 가진 실험연구가 아닌 질적연 구, 이를테면 사례연구나 면접에 의한 기술적 연구들의 경우는 일단 메타분석의 대상 에서 제외되게 된다.
셋째, 통제집단과 실험집단에 공히 평균점수와 표준편차 그리고 사례 수 및 유의도 수준이 밝혀진 연구들이 메타분석에 알맞은 형태의 연구결과들이라 할 수 있다.
넷째, 비록 위에서 제시한 실험집단과 통제집단의 평균치, 표준편차 및 사례수와 유의도 등에 대한 정보가 제시되지 않더라도 T검정(T-Test), F검정(F-Test), 상 관계수(r) 등에 의한 통계값이 제시된 경우라면 통계적인 변환공식에 의해 각종 통
계값의 결과를 효과크기(ES)로 고쳐서 사용할 수 있다.
이를 요약 정리해 보면 메타분석에 사용될 적합한 자료는 이론적인 자료이기보다 실증적인 자료이어야 하며, 결과를 질적인 형태보다는 수량적인, 통계적 형태로 제시 된 것으로서 동일한 구인(construct)이나 관계성(relationship)을 검정한 것이어야 한다는 것이다. 또한 상호비교가 가능하도록 연구결과를 제시하는 통계적 방법이 효 과크기(effect sizes), 상관계수(correlation coefficients), 승산비(odds-Ratios), 비율(proportions) 등으로 나타낼 수 있는 것이어야 한다는 것이다.
메타분석은 아직 국내학계에서 보편화되지 못하고 지엽적으로 활용되고 있지만 여러 상황에서 활용가치를 인정받고 있다. 메타분석방법의 정립과정에 결정적 역 할을 했던 Glass(1983)는 메타분석이 다른 통계방법으로는 결론을 내릴 수 없는 연구에 적합하다고 하였다. 또한 Pillemer와 Light(1980), Green과 Hall(1984) 등도 Glass와 마찬가지로 메타분석이 기존의 통합연구방법보다 활용가치가 높다 는 사실을 지적하고 있다.
이 같은 맥락에서 메타분석의 장점을 4가지로 제시할 수 있다(송혜양, 2011).
첫째, 메타분석으로 종합된 연구결과는 폭넓고 강력한 증거가 된다. 연구를 시행함 에 있어서 여러 제약조건 즉, 작은 표본 수, 한정된 대상자, 연구실행과정에서의 여러 한계 등에서 영향을 받는 개별연구결과는 매우 미약한 증거일 수 있지만, 같은 목적 을 가지고 시행한 여러 연구들의 병합된 결과는 좀 더 확실한 증거자료로서 하나의 종합수치를 제시할 수 있다.
둘째, 메타분석으로 종합된 연구결과는 비교적 덜 치우친(less biased) 표본으로 부터 얻은 결과라 할 수 있다. 연구결과의 인용에 있어 통제되지 않은 마구잡이 표본 추출을 하여 종합하게 되면 매우 치우친 결과를 제시하기 쉽다. 다시 말하면, 자칫 자 신들의 주장을 뒷받침해주는 일부 연구결과에만 초점을 맞춘 다음 이를 종합하여 제 시하는 경우에는 여러 연구결과들의 일부분만을 강조하게 된다. 그렇지만 메타분석 에서는 연구 자료의 선정에서 치우치지 않은 연구표본이 되도록 함으로써 객관적 추 론을 가능하게 한다.
셋째, 메타분석으로 여러 연구에서 나온 정보를 종합하게 되면 통계적 검정력이 증 가된다.
넷째, 메타분석의 종합방법은 여러 연구로부터 증거를 축적하는 방법으로서 정식 표준적인(formal standards)과정이라 할 수 있다.
과학적 지식의 형성은 개별 연구자가 실험적인 증거를 제시할 목적으로 실행한 실 험으로부터 시작된다. 그리고 반복적으로 행해진 여러 관련 연구들의 증거를 종합함 으로써 새로운 연구가 발생될 수 있는 것이다. 따라서 개별연구의 실험결과도 중요하 겠지만, 과거연구들을 적절히 종합하고 해석하는 과정도 중요한 의미를 갖고 있는데, 이러한 종합방법으로서 메타분석은 탁월한 방법이라 할 수 있다.
이와 같이 메타분석은 여러 가지 장점을 갖고 있지만, 모든 연구방법들이 그렇듯이 메타분석의 몇 가지 제한점에 대한 지적도 있다. 메타분석은 많은 통계학자들로부터 지나치게 결과에 초점을 맞추며 중재변인의 개입이나 상호작용효과를 무시함으로써 한 연구의 결과를 지나치게 단순화시킨다는 비판을 받아왔다. 메타분석을 통하여 상 호작용의 존재여부를 실증적으로 규명하기 위하여 연구의 특성을 코딩하고 있으나, 실제로 대부분의 메타분석은 상호작용 효과를 거의 무시했다는 비판을 받는다.
메타분석에 관한 일반적인 비판으로 Eysenck(1978)와 Glass(1982)의 견해를 요약하면 다음과 같다.
첫째, 마치 사과와 오렌지를 한데 섞는 것과 같이 메타분석에서는 서로 비교할 수 없는 다른 성질의 연구결과들을 종합하려는데 문제가 있다고 비판한다.
둘째, 소위 ‘우수한’ 연구와 ‘열등한’ 연구의 결과를 구별하지 않고 그대로 종합하는 데 메타분석의 문제가 있다고 비판한다.
셋째, 종합할 연구는 수집할 때 대개 출판된 연구만을 표집대상으로 하기 때문에 연구물 표집의 대표성이 문제된다고 비판한다. 그러나 메타분석을 옹호하는 사람들 은 이러한 비판에 대해 반론을 제기한다. 이들은 서로 다른 연구이기 때문에 오히려 종합의 필요성이 있는 것이지 같은 연구라면 구태여 종합할 필요가 없다는 논리이다.
그러나 연구의 성격이나 방법이 현격하게 서로 다른 연구의 결과들을 한데 섞어서 종 합하는 것은 무리이므로, 극단적인 자료는 제외시키는 것이 바람직하다고 생각된다.
두 번째 비판에 대해서는 ‘우수한’ 또는 ‘열등한’ 연구란 해당연구의 실험설계, 표집, 측정치의 타당도, 신뢰도 자료 분석의 적절성 등 몇 가지 준거에 비추어 구별하는 것