지필검사와 인터넷 검사 상의 하위영역별 평균 점수를 보면, 일관되게 인 터넷 검사가 지필검사보다 다소 높았다. 그 차이를 대응표본 t검증한 결과 통계적으로 유의미한 경우들이 있으나, 그 효과 크기18)는 대부분 .2 내외로 작은 편이었다(<표 Ⅴ-1> 참조).
<표 Ⅴ-1> 지필검사와 인터넷 검사 평균
인터넷 검사
실시 방법 하위영역 지필 인터넷
t P
평균 표준편차 평균 표준편차
집단
신체운동 23.34 4.33 24.10 4.83 -3.97 0.00*
손재능 9.28 2.44 9.54 2.48 -1.63 0.10
공간시각 34.11 6.16 34.19 6.87 -0.44 0.66
음악 30.42 5.89 31.18 6.41 -1.57 0.12
창의 23.76 4.84 24.70 5.19 -3.64 0.00*
언어 39.25 6.87 40.07 7.66 -1.61 0.11
수리논리 32.46 7.29 32.95 7.81 -2.30 0.02*
자기성찰 29.63 4.67 30.33 5.34 -1.98 0.05*
대인 35.73 5.57 36.77 6.15 -3.23 0.00*
자연친화 28.22 5.42 29.14 6.02 -2.88 0.00*
개인
신체운동 22.69 4.27 23.34 4.12 -5.21 0.00*
손재능 9.29 2.40 9.75 2.23 -3.64 0.00*
공간시각 34.03 6.01 34.31 6.02 -2.23 0.03*
음악 29.94 6.04 30.95 6.09 -2.82 0.01*
창의 24.04 4.86 24.37 4.57 -1.83 0.07
언어 38.16 6.76 39.13 6.26 -2.06 0.04*
수리논리 31.26 7.78 32.71 7.69 -2.90 0.00*
자기성찰 29.21 5.08 29.79 4.88 -1.28 0.20
대인 35.17 5.62 35.67 5.42 -2.90 0.00*
자연친화 27.63 5.65 27.86 5.50 -0.23 0.81
18) 효과 크기는 관계 혹은 차이의 정도를 나타내는 것으로 통계적 유의도가 사례수에 영향을 받는 점, 이분법적인 판단 등의 한계를 보완하는 지표이다. 두 집단간의 평균 차이를 표준편차로 나눈 값으로서 통상적으로 .8이상일 경우 효과 크기가 크며, .5 정도일 경우 보통, .2 이하일 경우 효과 크기가 낮은 것으로 본다.
인터넷 검사에서 학생들이 지필검사보다 점수가 더 높은 경향이 매체의 차이로 인한 것인지, 아니면 지필검사를 먼저 실시한 후에 인터넷 검사를 실 시하였기 때문인지를 알아보기 위하여 지필검사와 인터넷 검사를 동시에 실 시한 집단과, 앞에서 적성검사 효과분석을 위한 조사에 참여한 실험집단 학 생 728명의 적성검사 점수를 세 쌍으로 조합하여 평균비교를 하였다.
<표 Ⅴ-2>에서 첫 번째 열은 실험 집단과 지필검사만 실시한 집단의 평균 비교이며, 두 번째 열은 실험집단과 지필검사와 인터넷 검사를 동시에 실시 한 집단의 인터넷 검사 성적을 비교한 것이다. 세 번째 열은 실험집단의 지 필 점수와 인터넷 검사 집단의 평균 비교이다.
만약 순서 효과가 아니라 매체로 인한 차이가 두드러진다면, 세 번째 열에 서 평균 차이가 드러나야 한다. 즉, 세 번째 열은 지필검사와 인터넷 검사 모두 실험집단 내에서 처음 실시된 경우이므로 순서 효과를 배제한 순수한 매체효과를 비교할 수 있기 때문이다. 수리논리력에서만 통계적으로 유의미 한 차이가 있었으며, 지필검사 점수가 오히려 인터넷 점수보다 높게 나온 결 과를 볼 때, 매체로 인한 점수 차이는 없는 것으로 볼 수 있다.
반면에, 순서 효과가 있다면 두 번째 열이 통계적으로 유의미한 차이가 있 어야 한다. 즉, 두 검사를 2주 간격으로 실시한 B집단이 더 높게 나와야 하 지만, 이러한 가정을 지지해 줄 만한 결과가 나오지 않았다.
이와 같은 결과에 기초하여 종합적으로 판단하자면, 지필검사와 인터넷 검 사에서의 평균값의 차이는 매체로 인한 차이와 순서 효과로 인한 차이가 결 합된 것으로 둘 중의 어느 하나라고 단정지을 수 없다.
<표 Ⅴ-2> 처치유형별, 시험방식별, 하위영역별 적성검사 평균점수 차이비교 A집단
(지필) B집단
(지필) P A집단 (인터넷)
B집단
(인터넷) P A집단 (지필)
A집단 (인터넷) P 신체
운동
평균 23.48 23.34 .69
23.54 24.10 .20
23.48 23.54 표준편차 4.01 4.33 4.81 4.83 4.01 4.81 .89
인원수 266 271 244 241 266 244
손재능
평균 9.62 9.28 .11
9.18 9.54 .13
9.62 9.18 표준편차 2.57 2.44 2.66 2.48 2.57 2.66 .06 인원수 266.00 271 244 241 266 244 공간
시각
평균 35.35 34.11 .02*
34.29 34.19 .87
35.35 34.29 표준편차 6.01 6.16 7.01 6.87 6.01 7.01 .07 인원수 266.00 271 244 241 266 244 음악
평균 30.29 30.42 .81
30.39 31.18 .17
30.29 30.39 표준편차 6.20 5.89 6.40 6.41 6.20 6.40 .86 인원수 266.00 271 244 241 266 244 창의
평균 24.41 23.76 .12
24.18 24.70 .27
24.41 24.18 표준편차 4.88 4.84 5.20 5.19 4.88 5.20 .61 인원수 266.00 271 244 241 266 244 언어
평균 37.82 39.25 .02*
38.72 40.07 .06
37.82 38.72 표준편차 7.42 6.87 8.12 7.66 7.42 8.12 .19 인원수 266.00 271 244 241 266 244 수리
논리
평균 33.48 32.46 .12
31.30 32.95 .02*
33.48 31.30 .00**
표준편차 7.96 7.29 8.08 7.81 7.96 8.08 인원수 266.00 271 244 241 266 244 자기
성찰
평균 29.75 29.63 .77
29.56 30.33 .13
29.75 29.56 표준편차 5.37 4.67 5.96 5.34 5.37 5.96 .70 인원수 266.00 271 244 241 266 244 대인
평균 35.02 35.73 .14
35.53 36.77 .04*
35.02 35.53 표준편차 5.75 5.57 7.08 6.15 5.75 7.08 .37 인원수 266.00 271 244 241 266 244 자연
친화
평균 28.53 28.22 .54
28.92 29.14 .71
28.53 28.92 표준편차 6.30 5.42 6.37 6.02 6.30 6.37 .49 인원수 266.00 271 237 227 266 237 1) A집단 : 지필검사와 인터넷 검사 중 하나의 방식으로만 검사를 치른 집단 2) B집단 : 지필검사와 인터넷 검사를 중복으로 실시한 집단
3) A집단(277명)은 B집단(728)과 사례 수를 맞추기 위해 전체 1,176명 중에서 무선 표집을 하였음