준실험설계(quasi-experimental design)는 진실험설계와 거의 동일하다. 두 설계의 차이점 가운데 준실험설계의 핵심요소는 무작위 추출이다. 예를 들어, 전체집단 또는 하나의 조직이 처리집단으로 사용되면 동일한 산업 내에서 다른 집단 혹은 타 조직이 통제집단이 된다. 무작위 추출의 약점은 하나의 집단이 다른 집단에 비해 특정 내용을 많이 가짐으로써 모집단에서 표본추출의 집단 간 동일하지 않는 선택편향(selection bias)의 문제를 가진다. 따라서 준실험설계는 위협에 연관된 선택의 다양성 때문에 내부 타당성 면에서 진실험설계의 수준에 미치지 못한다. 위협에는 선택-성숙 위협(비율에서 성숙되는 처리집단과 통제집단), 선택-과거사건의위협(외부 요인이나 역사적인 사건에 따라 영향을 받는 처리집단과 통제집단), 선택-회귀위협(비율에 따라 사전검사와 사후검사 간의 평균으로 회귀하는 처리집단과 통제집단), 수단위협(측정법에 따른 처리집단과 통제집단), 선택-검사(사전검사에 따른 처리집단과 통제집단), 선택-피험자탈락(차등이 있는 중퇴율에 따른 처리집단과 통제집단)이 존재한다. 일반적으로 이러한 선택위협의 가능성이 존재할 경우 준실험설계를 피하는 것을 따른다.
진실험설계가 무작위 추출을 생략함으로써 준실험설계로 변환될 수 있다. 예를 들어, 사전사후검사통제집단설계의 준 동질화 상태를 비동등집단설계(nonequivalent groups design:
NEGD)라고 하며 무작위 추출 R 은 비임의적 추출 N 으로 교체된다(그림 10.8). 이처럼 전환반복설계의 준실험설계를 비동등전환반복설계(non-equivalent switched replication design)라고 한다(그림 10.9).
<그림 10.8> NEGD 설계
<그림 10.9> 비동등전환반복설계
이 밖에 진 실험 설계에는 해당하지 않는 특유의 비동등설계가 몇 가지 있다. 이러한 설계들에 해 알아보자.
불연속회귀분석 설계(regression-discontinuity design). 이것은 비동등한 사전사후검사설계이다. 대상은 사전 측정을 통한 최종허용 점수를 바탕으로 처리집단과 통제집단으로 구분한다. 예를 들어 심각하게 아픈 환자는 신약의 효과를 검사하기 위해 처리집단에 할당되고 증상이 가벼운 환자는 통제집단에 할당 될 것이다. 다른 예를 들자면, 시험점수가 평균 이하인 학생들은 그들의 성적 향상을 위한 보충학습프로그램에 참가하는 처리집단으로 선택되고 평균 이상의 높은 점수를 받은 학생들은 보충학습프로그램에 선택되지 않는다. 이 설계의 표기는 다음과 같으며 C 는 최종허용점수를 나타낸다.
<그림 10.10> 불연속 회귀분석 설계
최종허용점수로 인하여 관찰된 결과는 내부 타당성에 영향을 미치는 새로운 위협함수가 될 수 있다.
하지만 최종허용점수를 사용하는 것은 제한적이기 때문에 비용이 높은 자원들을 모집단 내에서 임의추출보다 그것들을 가장 필요로 하는 집단에게 배정하는 것으로 준실험처리와 동시에 이루어 진다. 불연속회귀분석설계에서의 통제집단 점수는 처리집단 점수를 비교한 기준이 아니다. 만약 통제집단에서 사전검사와 사후검사 점수 사이에 불연속성이 없고 처리집단에서 불연속성이 존재한다면, 불연속성은 처리효과의 증거로 본다.
대리사전검사(proxy pretest design). 그림 10.11 에서 보듯이 대리 사전검사는 사전검사 점수의 처리가 적용된 후에 측정된다는 한 가지 중요한 차이점을 제외하고는 비동등집단설계(NEGD)와 매우 유사하다. 연구자가 사전검사 데이터를 측정할 수 없는 경우 혹은 어떤 프로그램의 효율성을 측정하기 위한 연구에서 그것이 이미 시작한 후에는 일반적으로 적용하여 사용된다. 이런 상황에서 연구자가 대처할 수 있는 가장 최선의 선택은 서로 다르게 측정된 사전기록을 이용하는 것이다. 예를 들어, 교육 프로그램의 효율성을 측정하고자 할 경우, 사전에 기록 된 학생들의 평점이 사전검사 데이터가 될 수 있다. 하지만 대리사전검사의 변동은 대상의 사전검사 데이터의 사후검사의 재수집 된 데이터를 사용할 지도 모른다. 이것은 사전검사 데이터를 기억하는 것이 소환경향(recall bias)을 가져올 수 있지만 그럼에도 불구하고 대리사전검사의 변화는 종속변수의 변화를 측정할 수 있도록 도와준다.
<그림 10.11> 대리사전검사설계
독립표본사전사후검사설계(separate pretest-posttest samples design). 동일한 대상으로부터 사전검사와 사후검사를 측정한 데이터를 수집하기 어려울 때 유용하다. 그림 10.12 에서 보듯이, 이 설계의 네 집단 가운데 두 집단은 하나의 단일 비동등 집단이며, 다른 두 집단은 또 다른 하나의 비동등집단으로 구성된다. 예를 들어, 한 도시에서만 시행되는 새로운 온라인 서비스에 대한 소비자 만족을 검사하고자 할 경우, 온라인 서비스를 시행하는 도시의 소비자는 처리집단이 되고 그렇지 않은 도시의 소비자는 통제집단이 된다. 만약, 동일 소비자들로부터 사전검사와 사후검사의 측정이 어렵다면, 소비자 만족을 서로 다른 소비자 집단으로 나눈다. 그리고 새로운 프로그램을 시행한 후, 동일한 시점에서 소비자 만족을 측정한다. 소비자 만족은 처리집단이기도 하며 통제집단으로도 측정된다. 이 설계는 어떤 특정한 소비자 만족의 변화를 시행 이전과 이후의 측정을 할 수 없고 소비자 만족의 평균 값만을 알 수 있기 때문에 강력한 실험설계 방법은 아니다. 하지만 이 설계는 내부 타당성이 낮음에도 불구하고 여전히 동일한 대상으로부터 사전 사후검사로부터 측정된 데이터를 수집하는 것이 불가능 할 경우 유용한 방법이다.
<그림 10.12> 독립표본 사전사후검사 설계
비동등종속변수설계(nonequivalent dependent variable design; NEDV). 종속변수에 대해 두 개의 측정방법을 가지고 있는 단일-집단 사전사후준실험설계이다. 이론적으로 하나의 측정은 처리에 의해
영향을 받고 다른 측정은 그렇지 않는 것이다. 예를 들어, 고등학생들을 위한 새로운 미적분학 교육과정을 만들고자 한다면 이 교육과정의 사후검사 결과는 대수학 점수가 아닌 미적분학 점수와 관계가 있을 것이다. 하지만 대수학 점수의 사후검사 역시 과거 사건과 성숙 위험요소와 같은 외부 요소들 때문에 경과에 영향을 미칠 가능성이 있다. 그러므로 대수학의 사전사후검사 결과는 통제 측정 값으로 사용하고 미적분학의 사전사후검사는 처리 값으로 사용한다. 그림 10.13 에서 보듯이 단일집단은 N 으로 나타내고 동일집단의 미적분학과 대수학의 사전검사는 , 사후검사는 로 나타낸다. 이 설계는 내부 타당성 측면에서 약하지만 독립된 통제집단을 사용하지 않는다는 것이 장점이다.
비동등종속변수설계의 변동성은 다수의 결과변수와 각각의 변수가 처리에 의해 얼마나 영향을 받는지 설명하는 이론을 적용한 패턴을 결합한 설계이다. 이것은 연구자가 이론적 예측 값이 실제 관측 값과 일치되는지 여부를 검사할 수 있다. 따라서 패턴매칭기술(pattern-matching technique)은 이론과 실제 관찰된 패턴 사이의 일치하는 정도를 바탕으로 본래 비동등 종속변수 설계의 낮은 내부 타당성에 대한 염려를 완화시키는 강력한 방법이다.
<그림 10.13> NEDV 설계