19장신뢰도

(1)

교육평가

김 종 민

1

(2)

강의개요

19장 신뢰도  정의와 종류

 신뢰도에 영향을 주는 요인

 재검사신뢰도

 동형신뢰도

 내적일관성신뢰도

20장 채점자내, 채점자간 신뢰도

 채점자내 신뢰도

 채점자간 신뢰도

 기본가정

 추정방법

(3)

19장 신뢰도

3

 검사의 신뢰도 정의  종류

 피험자들에게 동일한 검 사를 반복 실시하였을 때 측정의 일치성

 검사-재검사, 동형검 사 접근

 고전검사이론 접근

 재검사 신뢰도

 동형검사 신뢰도

 반분검사 신뢰도

 내적일관성 신뢰도

(4)

19장 신뢰도

 신뢰도의 적용과 영향을 주는 요인

 적용:

재검사 신뢰도>동형검사 신뢰도>

반분검사신뢰도>내적일관성신뢰도

 영향을 주는 요인

• 문항 수

• 문항의 난이도

• 문항의 변별도

• 측정 내용 좁은 범위

• 검사시간

(5)

재검사신뢰도

5

 정의  추정절차

 동일한 검사를 동일한 피험자 집단에 일정시간 간격을 두고 두번 실시 하여 얻은 두 검사점수 의 상관계수

 동일검사 동일 집단에게 두 번 실시

 두 검사점수 간의 상관계 수 추정

(6)

재검사신뢰도

장단점

 장점:추정방법이 간단

 단점

• 시험 간격 설정(기억효과 배제): 3개월, 6개월

• 두 번 검사 시행 어려움

(7)

동형검사신뢰도

7

 정의  추정절차

 두개의 동형검사 제작 후 동일 피험자 집단에 게 검사 실시

 평행검사 신뢰도

 두 개의 동형검사 동일 집 단에게 두 번 실시

 두 검사점수 간의 상관계 수 추정

(8)

동형검사신뢰도

장단점

 장점:시험 간격 문제 해결, 신뢰도 계수 추정 용이

 단점

• 동형검사 제작이 어려움

• 두 번 검사 시행 어려움

(9)

내적일관성신뢰도

9

 반분검사신뢰도

 한번 실시한 검사를 두 부분으로 나누어 두 부분검사 점수의 상관계수 계산

 문제점:신뢰도 과소 추정

 해결방안:Spearman-Brown 공식 사용

 2*반분된 검사점수의 상관계수/(1+반분된 검사점 수의 상관계수)

 반분방법: 기우법, 전후법, 단순무작위법, 문항특성에 의한 반분

 장점: 시험간격 동형검사 문제해결

 단점: 검사양분 방법에 따라 신뢰도 변화

(10)

내적일관성신뢰도

 문항내적일관성신뢰도

 문항 하나하나를 하나의 검사로 간주하여 문항들 간 의 유사성 혹은 측정의 일치성을 추정

 KR-20, Hoyt 신뢰도, Cronbach α

 Cronbach α: 관찰점수 분산과 진점수 분산 비율에 근 거

 장점: 검사를 양분하지 않아도 됨; 문항간의 일관성에 의하여 단일한 신뢰도 추정

(11)

퀴 즈

11

재검사신뢰도의 장단점은?

동형검사신뢰도 검증절차은?

(12)

20장 채점자내 채점자간 신뢰도

 채점자내 신뢰도  채점자간 신뢰도

 한 채점자가 모든 측정 대상에 대하여 계속적으 로 일관성 있게 측정하 였는지

 채점 결과가 채점자들 사 이에서 얼마나 유사한가;

채점자들의 채점 결과의 유사성

(13)

20장 채점자내 채점자간 신뢰도

13

 기본 가정과 추정방법

 기본가정

• 연구대상은 동일한 행위나 같은 문항에 응답

• 채점자는 상호독립적

• 채점자는 동일 대상 평정

 추정방법

• 상관계수법

• 일반화가능도 이론

• 일치도 통계

(14)

퀴 즈

채점자내 신뢰도란?

채점자간 신뢰도란?

(15)

토론 주제

15

 교사들은 학생들의 비인지적 기질과 능력을 평가하는데 주로 학생들의 자기평가나 자기보고 형식을 이용하거나 비구조적인 방법을 활용한다.

 태도나 믿음, 가치 등을 평가하는데 있어 교사의 비구조 적 관찰이나 학생들의 자기평가로도 충분히 할 수 있다고 주장하는 쪽과 이러한 특성을 측정함에 있어 신뢰도가 낮 거나 타당도의 근거가 부족하다고 주장하는 쪽이 있는데 어떻게 생각하는가?