실험 설계

14

실험 설계

실험(experiment)이란 결과를 유발하는 것으로 추정되는 원인 요소를 조직적, 체계적 으로 조작, 변화시킨 다음 결과요소를 관찰․측정하여 원인요소와 결과요소간의 관계(인 과관계)를 확인하는 작업이라고 할 수 있다. 그렇다면 실험 설계를 하는 목적은 독립변 인의 효과를 정확하게 추정할 수 있는 조건을 설정하기 위한 것이다. 독립변인만의 효 과를 얻는다는 것을 다르게 말해서 오염효과가 개입되지 않도록 하는 확인 장치를 한 다는 것이기도 한다. 다시 말해 실험을 설계하는 것은 종속변인의 측정에서 확인된 효 과가 독립변인으로 인한 효과라는 것을 확인할 수 있는 기본 장치를 마련하는 것이다.

이를 위해서는 기본적으로 갖추어야 하는 두 가지 조건이 있다. 이것은 실험설계의 최소조건이기도 하다. 하나는 실험집단(experimental group) 외에 통제집단(control group), 즉 비교집단(comparison group)을 두어야 하고, 다른 하나는 집단의 특성을 되 도록 같게 하는 것이다. 이를 위해서 피험자를 선정할 때 무선화(randomization) 방법 을 취하여 집단 간에 균질성(homogeneity)을 확보해야 한다.

실험설계를 설명하기 위해서는 설명에 필요한 도형을 기호로 표시하여 쉽게 나타낼 필요가 있다. 이 책에서 사용될 기호로는 다음과 같은 것들이 있다. 실험을 위한 독립변 인의 처치를 하는 것은 X, 아무런 처치를 하지 않고(no treatment) 통제하는 것은 빈칸 으로, 종속변인의 측정(관찰)은 O, 집단의 선정이 무선화(randomization)되었다면 R, 두 집단의 성질이 같다고 보장할 수 없는 경우에 있는 그대로의 집단, 즉 기존집단(intact group)일 경우는 점선(----), 그리고 준거집단(criterion group)일 경우는 C로 표시한다.

또한 계속하여 언급되겠지만 처치를 하는 집단을 실험집단이라 하고, 처치를 하지 않 은 집단을 통제집단이라고 한다.

실험 설계는 크게 실험전설계(pre-experimental designs), 진형실험설계(true ex- perimental designs), 준실험설계(quasi-experimental designs), 사건 후 설계(ex post facto designs)로 구분할 수 있다(Tuckman, 1999).

실험 설계에 대한 이름은 학자마다 여러 가지로 사용하고 그 분류도 다를 수 있지만 이 책에서는 Tuckman이 분류한 실험 설계를 기준으로 설명한다. 그리고 실험설계라고 해도 반드시 실험실에서 행해지는 것만을 의미하는 것은 아니다. 실험이 이루어지는 장소와 독립변인의 조작가능 여부에 따라 실험설계를 분류하면 다음과 같다.

독립변인의 조작

가능 불가능

실험 상 황

실험실 진형실험설계 -

현장 준실험설계 사후설계

<그림 14-1> 실험상황과 독립변인의 조작 여부에 따른 실험설계

(1) 실험 전 설계(pre-experimental designs)

실험 전 설계는 비설계(non- designs) 또는 예비실험설계라고도 한다. 이것은 말 그 대로 본 실험을 하기 전에 예비로 한번 해보는 성격이 강하다. 여기에는 1회 사례연구 (one-shot case study), 단일집단 사전-사후검사 설계(one-group pretest-posttest de- sign), 자연집단비교(intact-group comparison)가 있다(Tuckman, 1999).

① 1회 사례연구(one-shot case study)

1회 사계연구는 한 집단에게 처치를 한 후에 측정을 해보는 것이다. 예를 들어 두통 을 호소하는 환자들에게 실험 처치로 A약을 투여한 후 두통이 계속 있는지 없는지를 보는 것이다. 여기에서 A약을 투여하는 것이 처치(X)이고, 이후에 두통의 유무를 보는 것이 측정(O)이다.

X O

<그림 14-2> 1회 사례연구

그러나 이 설계는 실험집단만 있고 통제집단이 없으며 집단의 선발이 무선화 되었는 지를 알 수 없다. 또한 A약을 주지 않는 통제집단이 없어서 실험집단에게 두통이 없어 졌더라도 그 이유가 A약 때문인지 다른 이유 때문인지를 알 수 없으므로 A약(X)으로 두통이 없어졌다(O)는 인과관계의 결론을 내릴 수 없다.

② 단일집단 사전-사후검사 설계(one-group pretest-posttest design)

단일집단 사전-사후검사 설계는 1회 사례연구처럼 한 집단을 대상으로 하는 실험설

계이다. 단지 처치를 하기 전에 사전 측정이 이루어지는 것이 다르다. 그러나 여기서도 통제집단이 없으므로 순수한 처치 효과의 정도는 알 수가 없다. 이 설계에서는 처치 후의 측정 값(O2)에서 처치 전의 측정 값(O1)을 제하여 분석할 수 있다.

O1 X O2

<그림 14-3> 단일집단 사전-사후 검사

③ 자연집단비교(intact-group comparison)

자연집단비교는 정적집단비교(static-group comparison)라고도 하며 자연집단이라 는 말에서 알 수 있듯이 두 집단을 무선화로 선정한 것이 아니라 처치를 한 집단과 처 치를 하지 않은 다른 집단을 기존 집단(예를 들면 학급)을 단위로 선정, 비교하는 것이 다. 그래서 두 집단을 같다고 보장할 수 없으므로 점선으로 표시한다.

X O1

- - - - O2

<그림 14-4> 자연집단비교

예를 들어 두통을 호소하는 환자에게 A약을 주고 이후의 증상을 보는 것과 두통이 있지만 A약 없이 지내는 환자를 비교하는 것이다. 그러므로 A약을 준 이후의 집단(O1) 과 A약 없이 지낸 집단(O2) 간에 차이가 있다는 것을 보여주면 처치의 효과를 설명할 수 있지만, 사전검사가 없고 집단 간의 균질성도 보장할 수 없으므로 효과의 정도에 대해서는 확실성이 없다.

(2) 진형실험설계(true experimental designs)

진형실험설계에는 사후검사 통제집단 설계(posttest-only control group design), 사 전-사후검사 통제집단 설계(pretest- posttest control group design), 그리고 요인설계 (factorial designs)가 있다(Tuckman, 1999).

진형실험설계는 통제집단도 있고 집단의 선정도 무선화로 이루어진 실험설계의 최 소 두 가지 기본 조건을 모두 갖추고 있는 올바른 실험실계이다.

① 사후검사 통제집단 설계(posttest-only control group design)

사후검사 통제집단 설계는 사전검사 없이 처치를 한 후에 검사를 실시하는 것이므로 집단간의 균질화가 보장될수록 처치의 효과를 더 정확히 알 수 있다. 이 설계에서는 실험집단의 측정치(O1)와 통제집단의 측정치(O2)가 다르다는 것을 보여주면 처치의 효 과가 있었음을 증명하게 된다.

R X O1

R O2

<그림 14-5> 사후검사 통제집단 설계

② 사전-사후검사 통제집단 설계(pretest- posttest control group design)

사전-사후검사 통제집단 설계는 사후검사 통제집단 설계에서 사전검사를 추가한 설 계이다. 그래서 연이은 검사로 인하여 검사오염효과가 개입될 가능성이 있다. 이 설계 에서는 두 집단의 사전검사 측정치가 같을 때(O1=O3)는 (O2-O1)의 값이 (O4-O3)의 값과 다르지 않다는 것을 보여주거나 실험집단의 사후검사 측정치(O2)가 통제집단의 사후검 사 측정치(O4)와 다르다는 것을 증명하면 된다. 그러나 두 집단의 사전검사 측정치가 다를 때(O1≠O3)는 통계적인 기법인 공변량분석(analysis of covariance)(ANCOVA)을 사 용해서 분석해야 한다.

R O1 X O2

R O3 O4

<그림 14-6> 사전-사후검사 통제집단 설계

③ 요인설계(factorial designs)

요인설계는 두 가지 이상의 독립변인이 개입되는 설계이기 때문에 다양한 형태를 취 하며, 그 이름도 다양하다. 요인설계의 이름은 독립변인의 수와 각 독립변인의 조건(처 치) 수, 그리고 각 독립변인의 성질, 즉 피험자간 독립변인인지 피험자내 독립변인(반복 측정 요인)인지에 따라서 달라진다.

앞에서 본 사후검사 통제집단 설계와 사전-사후검사 통제집단 설계는 독립변인이 하

나인 경우의 일요인설계(one factor design)이다. 그러나 실제 이루어지는 많은 연구에 서는 독립변인이 두 개 이상인 경우가 대부분인 요인설계를 한다. 예를 들어 첫 번째 독립변인을 X, 두 번째 독립변인을 Y라 할 때 이요인설계(two factor design)를 도식화 하면 다음과 같다.

R X1 Y1 O1 R X1 Y2 O2

R X2 Y1 O3

R X2 Y2 O4

또는

R O1 X1 Y1 O2

R O3 X1 Y2 O4

R O5 X2 Y1 O6

R O7 X2 Y2 O8

<그림 14-7> 이요인설계

위의 그림에서는 각 독립변인의 수준이 두 개인 이요인설계이며 이런 요인설계를 2×2 요인설계라고 쓸 수 있다. 2×2에서 숫자 2는 각 독립변인의 수준(level)의 수을 말 한다. 수준은 각 독립변인의 조건 또는 처치 종류(수)를 말하는 것으로 예를 들면 어느 연구에서 첫 번째 독립변인이 운동종류(유산소운동, 무산소운동)이고, 두 번째 독립변 인이 성별(남, 여)이면 여기에서 운동종류를 두 가지로 나누었으므로 첫 번째 독립변인 의 수준은 2가 되고, 성별도 두 개이므로 두 번째 독립변인의 수준도 2가 된다. 또한 각각의 독립변인은 모두 피험자간 비교를 하는 피험자간 변인이다. 그래서 2×2라는 것 은 첫 번째 독립변인의 2가지 수준과 두 번째 독립변인의 2가지 수준에서 나오는 조건 (처치)의 경우 수, 또는 집단의 수는 4라는 것이다.

운동종류

유산소운동 무산소운동

성

남 유산소운동

/ 남

무산소운동 / 남

여 유산소운동

/ 여

무산소운동 / 여

<그림 14-8> 2×2 요인설계(피험자간 설계)에서 처치(집단)의 경우

만일 독립변인의 수가 3개이면 삼요인설계(three factor design)이고, 4개이면 사요인 설계(four factor design)가 되는 것이다.

그리고 각각의 독립변인의 성질이 피험자간 변인 또는 피험자내 변인인가에 따라 설 계명을 다르게 사용할 수 있다. 예를 들어 각각의 수준이 2개인 2개의 독립변인이 모두

피험자간 변인이라면 2×2 요인설계 또는 2×2 피험자간 설계(between-subject design) 라고 한다. 여기서는 그러므로 4집단이 필요하다. 2개의 독립변인이 모두 피험자내 변 인이라면 2×2 요인설계 또는 2×2 피험자내 설계(within-subject design)라고 한다. 피 험자내 설계의 경우는 모든 피험자에게 4가지의 처치를 모두 하는 것이므로 실험에 필 요한 실제 집단은 1집단이다. 하나의 독립변인은 피험자간 변인이고 다른 독립변인은 피험자내 변인인 경우는 2×2 요인설계 또는 2×2 혼합설계(mixed design)이라고 하며 연구에 필요한 집단은 2집단이다.

다음부터 열거되는 연구 예들을 보면서 실험설계명과 통계기법을 같이 연습해보면 쉽게 이해할 수 있을 것이다.

자극종류(시각, 청각)와 연령(10대, 20대, 30대)에 따른 반응시간의 변화

제 1독립변인(자극종류)의 수준(시각, 청각)은 2이고 피험자내 변인이다. 그 리고 제 2독립변인(연령)의 수준(10대, 20대, 30대)은 3이고 피험자간 변인이 다. 그러므로 정확한 설계명은 2×3 요인설계(2×3 factorial design) 또는 2×3 혼합설계(2×3 mixed design)이다.

<그림 14-9> 실험설계명 예(1)

자극종류(시각, 청각, 촉각)와 반응기관(손, 발)에 따른 반응시간의 변화

제 1독립변인의 수준은 3이고 피험자내 변인이다. 그리고 제 2독립변인의 수준은 2이고 피험자내 변인이다. 따라서 3×2 요인설계(3×2 factorial design) 또는 3×2 피험자내 설계(3×2 within-subject design)이다.

<그림 14-10> 실험설계명 예(2)

만일 운동종류(2)와 성별(2)에 따른 건강효과에서 5회에 걸쳐 반복 검사하였다면 독 립변인 한 가지(5회의 검사)가 추가되는 것이다. 따라서 3가지의 독립변인 중에 1가지 만 반복 측정되는 것이므로 혼합설계가 된다.

4회 5회 2회 3회

1회 검사

운동종류 근력 지구력

남

여 성

근력

/ 남 지구력 / 남

지구력 / 여 근력/ 여

<그림 14-11> 검사요인이 반복 측정된 2×2×5 요인설계(혼합설계)

하나의 독립변인이라도 반복 측정되면 이 변인은 피험자내 변인이 되어 동일한 피험 자에게 측정을 반복하는 것이다. 그래서 피험자간 변인의 경우는 처치의 수와 집단의 수가 동일하지만 피험자내 변인의 경우는 처치의 수와 관계없이 집단의 수는 한 집단 이 된다. 다음의 실험 설계명을 보고 연구에 필요한 집단의 수를 알아보자.

마지막 요인을 반복측정한 2×3×4 요인설계

3번째 독립변인만 피험자내 변인이므로 필요한 집단의 수는 6(2×3) 집단이다.

<그림 14-12> 집단 개수의 예(1)

모든 요인을 반복측정한 2×3×4 요인설계

모든 독립변인이 피험자내 변인이므로 필요한 집단의 수는 한 집단이다.

<그림 14-13> 집단 개수의 예(2)

마지막 2 요인에 대해서 반복측정한 2×3×4 요인설계

첫 번째 독립변인만 피험자간 변인이므로 두 개의 집단만 연구에 필요하다.

그림 14-14. 집단 개수의 예(3)

2×3×4 피험자내 설계(2×3×4 within-subject design)

모든 독립변인들이 피험자내 변인이으로 한 집단만이 연구에 필요하다. 그리고 피험자내(within-subject)라는 것은 동일한 집 단에게 여러 가지의 종류 또는 정도의 처치를 했다는 것, 달리 말해서 동일한 집단에게 수준만 다르게 하고 반복해서 측정 (repeated measures)했다는 것을 의미한다.

<그림 14-15> 집단 개수의 예(4)

이상의 내용을 이해하면 연구문제를 보고 실험설계명을 유추할 수 있고, 실험설계명 만 보고도 독립변인의 개수, 각 독립변인의 수준, 그리고 연구에 필요한 집단의 개수까 지 알 수 있으며 더 나아가 다음에 하게 될 통계기법을 유추할 수 있게 된다.

(3) 준실험설계(quasi-experimental designs)

준실험설계는 현장실험설계(field experimental design)라고도 한다. 이 설계는 현실 적으로 진형실험설계를 쓸 수 없는 제약점이 있을 때, 그리고 오염효과에 대한 완벽한 통제가 어려울 때에 사용한다. 준실험설계로는 시간계열실험(time-series design), 동등 시간표본설계(equivalent time-samples design), 비동등 통제집단설계(non-equivalent control group design), 별도표본 사전-사후검사설계(separate-sample pretest-posttest design), 미봉설계(patched-up design)가 있다(Tuckman, 1999).

① 시간계열실험(time-series design)

시간계열실험은 한 집단만으로 반복 측정을 하다가 어느 순간에 처치를 주고 다시 반복측정을 하는 것이다. 그래서 처치 후에만 측정치가 변화하고 다시 반복측정 했을 때 이전의 측정값으로 돌아간다면 처치의 효과가 있었다고 본다.

O1 O2 O3 O4 X O5 O6 O7 O8

<그림 14-16> 시간계열실험

O1 O2 O3 O4 O5 O6 O7 O8

<그림 14-17> 시간계열실험에서의 예상 결과

이 설계에서는 처치 전의 반복 측정치들(O1, O2, O3, O4)이 통제집단의 역할을 하는 것으로 성숙, 역사, 검사 오염효과가 개입되는지를 어느 정도 확인 가능하다. 그러므로 근접한 측정치의 값(O2=O1; O3=O2; O4=O3)이 같고, 처치 전․후의 측정값이 다르다(O5≠ O4)는 것으로 분석한다.

② 동등시간표본설계(equivalent time-samples design)

한 집단만으로 계속적인 측정을 하는 또 다른 실험설계인 동등시간표본설계는 실험 처치를 하고(X1), 안하고(X0)를 반복하게 된다.

X1 O1 X0 O2 X1 O3 X0 O4

통제집단의 역할

<그림 14-18> 동등시간표본설계

O1 O2 O3 O4

<그림 14-19> 동등시간표본설계에서의 예상 결과

그래서 실험처치를 하지 않는 때(X0)가 통제집단의 역할을 하는 것이다. 그러나 계속 적인 측정으로 인해서 검사 오염효과가 발생할 수 있고, 처치마다의 차이를 통제하는 것이 힘들며 피험자가 처치에 대해서 적응할 우려가 있다.

③ 비동등 통제집단설계(non-equivalent control group design)

비동등 통제집단설계는 기존에 있는 두 집단으로 이루어지나 애초에 집단의 성질이 다르므로 선발오염효과가 개입된다. 그러므로 반드시 두 집단의 처음 수준이 같다 (O1=O3)는 것을 증명(확인)해야 하므로 사전검사를 필수적으로 사용해야 한다. 예를 들 어 400명의 피험자를 선발할 때 실험집단 200명은 A지역에서, 그리고 통제집단 200명 은 B지역에서 선발하는 것이다.

O1 X O2

- - - - O3 O4

<그림 14-20> 비동등 통제집단설계

④ 별도표본 사전-사후검사설계(separate-sample pretest -posttest design)

별도표본 사전-사후검사설계는 여건상 시간적으로 동시에 두 집단을 처치할 수 없으 므로 집단의 처치를 일정 간격을 두고 하는 실험에서의 설계이다.

O1 X O2

- - - - O3 X O4

<그림 14-21> 별도표본 사전-사후검사설계

⑤ 미봉설계(patched-up design)

미봉설계는 첫 집단에 대한 사전검사를 할 수 없고, 별도표본 사전-사후검사설계에 서처럼 두 집단 간에 시간적으로 동시에 처치를 할 수 없을 경우에 사용한다.

X O1

- - - - O2 X O3

<그림 14-22> 미봉설계

(4) 사건 후 설계(ex post facto designs)

사건 후 설계는 종속변인에 대한 결과와 그 원인으로 추정되는 독립변인에 대한 처 치(측정치)가 이미 나와 있으나 정확한 원인을 추론하고자 할 때 사용하는 것으로 간단 히 말해서 결과는 나와 있고 원인을 모르는 경우에 하는 설계이다. 예를 들어 의사들이 환자를 진찰하는 경우가 여기에 속한다. 이미 병이 들어온 환자의 증상을 보고 병명을 진단하는 것인데 이때는 그 병의 원인이 무엇 때문인지를 정확하게 알 수는 없고, 가장 가능성이 높은 원인을 추론하는 것이다.

그래서 사건 후 설계는 원인요소인 독립변인을 변화・조작하지 않는다. 즉 처치 후에 그 효과를 보는 것이 아니므로 인과관계의 결론을 도출하는 것이 불가능하여 엄격히 말해서 실험이라고 할 수 없다. 이 설계에는 상관연구(co-relational study)와 준거집단 설계(criterion-group design)가 있다(Tuckman, 1999).

① 상관연구(co-relational study)

변인에서 설명하였듯이 상관연구에서의 원인요소를 독립변인이라고 하지 않고 예측 변인으로, 결과요소를 종속변인이라 하지 않고 준거변인이라고 한다. 말 그대로 이미 나와 있는 결과를 보고 원인을 예측하는 것으로 이해하면 변인의 용어를 쉽게 이해할 수 있을 것이다. 그러므로 상관연구에서는 결과를 먼저 측정(O1)하고 원인을 다음에 측 정(O2)한다. 가장 단순하게 생각하면 한 피험자에게서 두 개의 자료가 나오고, 이 두 가지 자료간의 상관정도를 보는 것이 그 한 예이다.

체중 증가 왜 일까?

O2 O1

<그림 14-23> 상관연구

② 준거집단 설계(criterion-group design)

준거집단 설계는 기존하는 이미 다른 성질의 집단을 대상으로 그 집단의 성질이 다 른 원인을 유추한 후 두 집단에게서 유추한 원인이 다르다는 것을 증명하는 것이다.

예를 들어 우수선수가 되는 이유를 밝히기 위해서 우수 선수집단(준거집단)의 특징과 비우수 선수집단(비교집단)의 특징을 비교하여 그 특징이 다르다는 것을 보는 것이다.

비우수 선수 이유 ?

우수 선수 이유 ?

∦

C O1

O2

또는 O1 C O2

- - - - O3 O4

또는 C O1

- - - - C O2

<그림 14-24> 준거집단설계

이상의 실험설계 외에도 단일-피험자 연구설계(single- subject research design)라는 것이 있다. 이것은 다수의 피험자에게서 균질성을 발견할 수 없을 때, 즉 개인차가 뚜렷 할 때 사용하는 설계로 주로 특수교육분야에서 많이 사용하고 있으며 개인에 대한 심 도 있는 분석을 위해서 행해진다. 주로 한명의 피험자를 대상으로 처치를 한 후 그 결 과를 보고 질적인 분석을 하게 된다. 그러나 설계명에서 처럼 반드시 한 명을 대상으로 하는 것이 아니다. 한사람에게서 처치 후에 나온 경향성이 다른 피험자에게도 동일하 게 나오는 것을 반복하여 보고 이를 종합하여 처치의 효과를 분석하는 것이다. 그러므 로 여러 피험자를 대상으로 반복(replication)하는 것이 바람직하다.

가장 대표적인 단일-피험자 실험설계로는 실험심리학사에서 유명한 1928년에 행해 진 Pavlov의 조건반사에 대한 연구이다. Pavlov는 개를 대상으로 하였고 다른 연구자들 이 이후에 다른 동물들에게 반복해서 실시하여 동일한 처치 효과가 나오는 것을 증명 하였던 것이다. 이러한 실험설계에는 반전/역설계(withdrawal/reversal design), 중다기 초선 설계(multiple baseline design), 중다탐침설계(multiple-probe design), 전환준거 설계(changing criterion design), 교대처치설계(alternating treatment design) 등이 있 다(Christensen, 1997; Tawney와 Gast, 1984).