국내에서 활용되고 있는 적성검사의 신뢰도 관련 정보들을 비교하기 위하 여 각 검사 요강에서 제시하고 있는 신뢰도의 종류 및 신뢰도 계수의 범위
8 측정의 표준오차를 계산하는 방식은 sd 1 - rxx , 여기서 sd는 표준편차이며, rx x 는 신뢰
도 지수이다. 검사의 신뢰도가 .86이며, 표준편차가 10인 경우, 측정의 표준오차는 10 1 - .86 = 3 . 7이다.
9 진점수를 추정하는 공식은 T ' = ( 1 - rxx)
-X + rxxX 이다. T'는 추정된 진점수이며 rx x 는 신뢰도, x-bar는 평균, x는 개인의 점수이다.
10 95%의 신뢰구간이란 한 개인이 수많은 동형검사를 치를 경우 그 점수들의 95%가 이 범위 안에 들어온다는 의미를 갖는다.
를 검토하였다(<표 Ⅱ-2>참조). 모든 검사가 내적 일치도 계수인 계수를 제 시하고 있으나, 「성인용 직업적성검사」(탁진국 외, 2000)와 「일반적성검 사」(중앙고용정보관리소, 1997)는 반분 신뢰도를 제시하고 있다. 「종합진로 적성검사」(박도순 외, 2000)를 제외하고는 능력형 적성검사들의 계수가 .27, .35 등으로 매우 낮다. 이는 내적 일치도 계수가 가정하고 있는 문항별 오차 의 독립성 의 가정이 충족되지 않은 데 기인하는 것으로 판단된다. 다시 말 해, 검사의 난이도가 높고 시간 제한이 있어 뒷부분의 문제들을 풀지 못할 경우, 문항별 오차의 독립성의 가정이 충족되지 않는다(Cronbach, 1990)는 것이다. 이에 따라 내적 일치도가 과소 평가된 것도 하나의 원인일 수 있다 고 판단된다.
내적 일치도 계수와는 달리 시간에 따른 검사 점수의 일관성을 나타내는 검사-재검사 신뢰도는「적성검사」(현주 외, 1998)를 제외하고는 대부분의 검 사가 제시하고 있지 않음을 알 수 있다. 그 이유는 재검사를 실시하는 것이 표준화 작업을 위한 본 검사에 추가로 검사를 실시해야 하는 부담 때문인 것으로 사료된다. 아울러, 동형의 검사들간의 상관의 정도를 나타내는 동형 검사 신뢰도를 보고하고 있는 검사도 「적성검사」(현주 외, 1998)가 유일하 다. 이는 동형의 검사를 제작・실시하고 있는 유일한 적성검사인 때문이다.
국내의 적성검사 중에서 측정의 표준오차를 계산하여 제시하고 있는 것은 '적성검사 (현주 외, 1998) 뿐이다. 그러나 측정의 표준오차를 활용하여 각 개 인의 점수의 신뢰구간을 제시하고 있지 않다.
<표 Ⅱ-2> 국내 적성검사에서 제시하고 있는 신뢰도 계수
검사종류 개발자 연도 대상 신뢰도 계수 및 범위
성인용
직업적성검사 탁진국 외 2000 성인 반분신뢰도 .35～.96 종합진로
적성검사
박도순 성태제 하대현
2000 고 계수 .70～.81
적성검사 송인섭
박정옥 1996 고
대 계수
직업능력검사 .78～.90 직업인성검사 .44～.87 직업선호검사 .78～.95
적성검사 현주 외 1998
초 중 고
계수
재검사신뢰도
동형검사
초: A형(.61～.90)/ B형(.56～.89) 중: A형(.59～.88)/ B형(.53～.89) 고: A형(.49～.96)/ B형(49～.94) 초: A, B형(.60～.81)
중: A, B형(.61～81) 고: A, B형(.60～.83) 고등학교(.21～.58) 일반직업
적성검사
중앙고용
정보관리소 1997 만13세
이 상 반분신뢰도 .52～.96 .52～80
종합적성 및 진로
검사 문용린 1996
유아 초 중 고
계수
초등저학년: .51～.68 초등고학년: .71～.84 중등: .72～.8 진로 및 적성탐색
검사 안창규 1995
중 고 대
계수*
중등: .70～.83 고등: .69～.84 대학: .69～.84 KAT-A
적성검사
한국행동
과학연구소 1995 고 계수
재검사신뢰도
.50～.91 .61～.78 KAT-M
적성검사
한국행동
과학연구소 1995 중 계수 .63～.86
* 안창규의 진로 및 적성탐색검사에서 가치, 성격, 유능감, 활동, 직업 검사 중 유능감 검사의 6개 하위영역에 한정된 자료임.
2. 타당도의 개념 및 국내 적성검사의 타당도 가. 타당도의 개념
검사의 타당도에 대한 고전적 정의는 검사가 측정하고자 하는 것을 충실 히 재고 있는 정도로서, 통상적으로 내용타당도, 준거관련타당도, 구인타당도 로서 구분하여 논의된다. 내용타당도는 검사 문항이 검사가 측정하려는 것을 담고 있는가를 확인하는 것이며, 준거관련타당도는 다양한 준거와 검사와의 상관의 정도를 통해서 검사의 타당도를 확인하는 방법으로, 공인타당도와 예 언타당도가 이에 속한다. 구인타당도는 그 검사가 측정하려는 구인의 속성과 목적에 얼마나 적합한가를 이론적인 근거에 비추어 경험적으로 확인하는 과 정을 통해서 얻은 타당도 근거이다.
타당도는 검사 자체의 속성만이 아니라 그것의 활용과 관련된 것으로서 1985년 미국 교육 연구회11), 미국 심리학회12), 교육 측정 위원회13)가 공동 작업으로 제시한 『교육 및 심리 검사의 표준』에 의하면, 타당도는 검사 점 수로부터 만들어진 추론의 적합성, 유의미함, 유용성과 관련된다고 정의한다.
1999년에『교육 및 심리 검사의 표준』에서 새로이 제시한 타당도는 기존의 내용・구인・준거와 관련된 타당도의 근거들에서, 나아가 반응과정에 기초한 근거, 검사의 결과에 기초한 근거 등이 추가되었다(성태제, 2000에서 재인용).
Gronlun d와 Linn (1995)은 타당도 논의에서 주의할 점을 다음과 같이 제시 하였다. 첫째, 타당도는 결과 해석의 적절성에 관한 것이며, 검사의 과정 자 체에 관한 것은 아니다. 둘째, 타당도는 정도의 문제로서, 타당도가 전혀 없 거나 완벽한 경우는 없다. 셋째, 타당도는 언제나 특정한 목적과 해석에 비 추어 논의되어야 하며, 일반화되어 모든 목적에 대한 타당도를 논의할 수는 없다. 넷째, 타당도와 관련된 정보들이 다양하다 하더라도 타당도 개념 자체 는 그것들의 총합으로서 총체적인 개념이다.
11 AERA: American Educational Research Association 12 APA: American Psych ological Association
13 NCME: National Council on Measurement in Education
타당도의 개념을 위와 같이 검사 자체의 속성만이 아니라 결과 해석의 적 절성이라는 개념으로 볼 때, 검사의 개발자는 단순히 검사의 기본적인 속성 을 밝혀주는 것만이 아니라 검사의 목적을 명확히 제시하고 그에 적합한 결 과 해석이 가능하도록 사용자와의 적극적인 의사소통을 할 필요가 있다.