고전 이론

고전이론에서는 문항의 난이도, 변별도, 문항반응 분포도 등의 변인에 의 해 문항을 분석하였다. 따라서 여기서는 고전 이론이 제시하는 세 가지 변인 에 따른 문항 분석의 방법을 검토하고자 한다.

먼저, 각 변인별 문항 양호도를 분석・판정하는 기준을 살펴보면 <표

II-2>와 같다.

<표 II-2> 문항 분석 변인별 문항 양호도

판정기준

분석변인 양 호 대체로 양호 불 량 비 고

난이도 40%-60% 20%-40%

60%-80%

0%-20%

80%-100%

변별도 .40 이상 .20-.40 .19 이하

반응분포

정답지와 오답 지의 반응이 비슷하여 오답 지 반응이 고 르게 분포되고 있는 경우

정답이 너무 뚜렷하지 만 오답지의 반응 분포 가 비숫한 경우 정답지 와 오답지의 반응이 비 슷하지만 오답지 반응 이 고르지 못한 경우

정답보다 오답이 많으면 서 오답이 한편에 매우 또렷한 반응분포를 보이 는 경우 오답 문항 중 한 개의 문항이라도 반응이 나타나지 않는 경우

선택형 문항만 선택

전체 양호도

문항 분석 방 법 중에서 (양 호)판정이 많 은 경우

문항 분석 방법 중에서 (대체로 양호) 한 판정 이 많은 경우

문항 분석 방법 중에서 한 개 이상 (불량)하다고 판정된 것이 나타날 경우

가) 문항 난이도

문항 난이도란 어떤 문항의 어려움의 정도를 나타내는 지수로서, 한 문항 에 있어서의 전체 반응자 수에 대한 정답자의 비율을 백분율로 나타낸 치수 로서 아래의 공식에 의하여 구할 수 있다.

P = R N 100 P: 문항 난이도 N : 전체 반응자의 수 R: 정답자 수

위의 공식을 살펴보면, 정답자 수가 많아질수록 P의 갑이 커진다는 것을 알 수 있다. 따라서, P값이 클수록 쉬운 문항이다. 그러나 때로는 전체 반응 자의 수를 분모로 하여 난이도를 계산하는 방법은 매우 간편하지만 적절하지 못한 측면도 있다. 왜냐하면 반응을 하지 않은 문항은 마치 수검자들이 풀다

가 틀리게 답한 문항인 양 간주되고 있기 때문이다. 한 문항에 정답을 한 응 답자 수는 그 문항을 풀려고 시도한 수검자 수에 대한 백분율로 표시해야만 좀 더 정확한 난이도 지수가 된다. 이를 계산하는 공식은 다음과 같다.

P = R

N - N R 100 P: 문항 난이도 N : 전체 반응자 수 R: 정답자 수

NR: 반응을 하지 않은 사람의 수(미달항)

따라서, 시간이 모자라서 미처 풀지 못한 사람이 많을 경우에 위의 공식을 사용해야 한다. 문항이 선택형인 경우, 정답 반응에는 추측에 의하여 우연히 맞히게 된 정답도 포함되어 있을 가능성이 있다. 예를 들면, 답지가 다섯인 선택형 문항에서 순전히 추측에 의해 정답을 고를 수 있는 확률은 1/ 5이고, 네 개의 오답지 가운데 어느 하나를 택할 확률은 1/ (5-1)이 된다. 만약 정답 반응 총 수 가운데 추측에 의하여 우연히 맞히게 된 답이 포함되어 있을 확 률은 오답 반응 총 수에 비례할 것이라는 전제를 세우면 그 비율은 비교적 간단히 찾을 수 있다. 즉, W를 오답 반응 수, K를 선택 지수로 하였을 경우 추측을 잘못하여 가려잡게 된 오답 반응 수는 확률적으로 W/ K-1이 되고, 또 바로 그 만큼 정답 반응 수에도 추측에 의한 정답 반응이 포함되어 있으리 라는 가정을 세울 수 있다. 따라서, 추측 요인과 미달항 수를 동시에 고려한 난이도 계산은 다음의 공식과 같다.

P =

R - W

K - 1 N - N R 100

그러나 이 계산 방법은 다른 공식에 비하여 계산이 번거롭기 때문에, 문항 분석을 위한 예비 검사를 실시할 때 오답은 감점한다고 지시하였으면 이용

하지 않아도 된다.

나) 문항 변별도

문항 변별도는 어떤 문항이 그 검사가 측정하고자 하는 능력의 상하를 얼 마나 예리하게 변별해 주느냐 하는 정도, 즉, 문항 변별력의 크기를 말한다.

예를 들어 어떤 검사의 총점에 따라 피검사자를 상위집단과 하위집단으로 나누었을 때, 어떤 문항의 정답율에 있어서 상위집단이 하위집단보다 월등히 높았다면 그 문항은 문항 변별력이 높은 것이다. 만약에 어떤 문항의 정답율 에 있어서 상위 집단과 하위 집단간에 하등의 차이가 없었다면, 그 문항은 문항 변별력이 없는 것이다. 그리고 만약에 어떤 문항의 정답율에 있어서 하 위 집단이 상위집단보다 월등히 높았다면 그 문항은 어딘가 심하게 잘못된 문항이다. 문항 변별력의 정도, 즉, 문항 변별도 지수는 다음의 공식을 적용 하여 산출한다.

DI = R u - R L f

DI : 문항 변별도 지수 Ru : 상위 집단의 정답자 수 RL : 하위 집단의 정답자 수

f : 상위 또는 하위 집단의 총 사례 수

문항 변별도 지수는 -1.00 ～+1.00 사이에 분포된다. -부호가 붙은 것은 아 예 쓸모 없는 문항이고, 0의 지수도 좋지 않다. 문항 변별도 지수는 최저 .20 이어야 하고, .30이상이면 만족스러운 수준이다. 그러나 절대 기준 평가의 입 장에서는 문항이 목표 능력을 타당하게 측정해 주기만 한다면 문항 변별도 에 신경을 쓸 필요가 없다. 다만, 문항 변별도 지수가 음수인 경우에는 그 문항이 어딘가 잘못되어 있기 때문이므로, 이를 적절히 수정하거나 그 문항 을 검사에서 제외시켜야 한다.

문항 변별도 지수는 문항 곤란도의 크기에 심하게 영향을 받는다는 단점 을 지니고 있다. 즉, 문항 난이도가 50%일 때는 DI = 1.00이 될 가능성이 있 지만, 문항 난이도가 50%에서 떨어질수록 DI가 취할 수 있는 최대값이 작

아진다. 예를 들어, 문항곤란도가 60%이면 DI가 취할 수 있는 최대값은 .80 밖에 안된다. 즉 각 문항의 변별도 지수는 문항 난이도와 밀접한 관계를 갖 고 있는데, 문항 변별도 지수와 가능한 최고 문항 난이도 지수와의 관계를 보면 <표 II-3>와 같다.

<표 II-3> 문항 난이도와 변별도와의 관계

문항 난이도(%) 가능한 최고의 변별도 100

90 80 70 60 50 40 30 20 10 0

.00 .20 .40 .60 .80 1.00

.80 .60 .40 .20 .00

따라서, 문항 난이도가 서로 다른 문항들의 문항 변별도 지수의 크기를 비 교함에 있어서는 위의 표에 나타나 있는 것과 같이 문항 난이도 수준에 따 른 차이를 고려해야 한다.

다) 문항반응 분포

선택형 문항을 분석할 때 한 문항에 대한 응답자의 반응을 답안지별로 나 타낸 것을 문항반응 분포라고 한다. 이것은 오답자의 이론 빈도와 실제 반응 빈도를 비교함으로써 오답의 매력도와 그에 따른 정답자의 기능을 조사하기 위한 것이다. 즉, 답지의 반응 분포를 가지고 선택형 문항이 갖추고 있어야 할 조건 중의 하나인 오답지의 능률성을 점검하려는 것이다. 한 문항에서 오 답지의 이론 빈도 계산은 총 사례수에서 정답자 수를 뺀 다음, 문항의 오답 지 수로 나누면 된다.

문항반응 분포를 분석하는 것은 오답지의 매력도를 조사해서, 만약 어떤 결함이 있으면 오답지가 제대로 능률을 발휘할 수 있도록 문항을 수정하는 데에 목적이 있다.