교육평가연구

(1)

교육평가연구

(2)

1. 측정이론의 적용

2. 도구의 선정 및 개발

3. 자료의 정리 및 분석

4. 주요 통계적 개념

(3)

가. 주요 측정 개념 및 이론(p.400~p.406) 나. 검사도구의 본질(p.407~p.408)

다. 검사 이론의 기본 개념(p.408~p.409)

라. 검사 도구 및 측정 방법의 분류(p.409~p.410)

마. 측정 대상자 표집(p.410~p.418)

(4)

1. 측정이론의 적용

가. 주요 측정 개념 및 이론

 특정 준거에 관한 프로그램으로 인한 변화나 결과를 입증하는 실증적 자료 제시하고 , 그를 판단근거로 삼아 가치판단(평가적 판단) 을 하는 것

평가의 중심 기능

평가 자료 수집 및 측정  평가 전반에 걸쳐 핵심적인 활동

프로그램의 효과나 가치를 입증하거나 정당화하기 위한 목적으로 활용

체계적인 측정활동

평가에서의 측정의 기능: 심리측정의 특성

태도의 변화

기술 및 지식의 변화 능력의 변화

성취 및 업적의 변화

(5)

자료의 출처 및 근원 가. 주요 측정 개념 및 이론

1. 측정이론의 적용

필요한 자료의 종류와 출처 파악 평가 목적, 평가대상, 평가내용

평가목적 프로그램의 어떤 측면이나 내용, 결과나 영향

평가대상 평가내용

 수집하거나 측정할 자료의 성격은 측정 대상의 성격에 따라 크게 좌우

 평가자는 이점을 인식하고 어떤 자료를 어떤 대상을 근원으로 삼아 측정하거나 수집할 것인가를 체계적으로 계획하고 준비

(6)

자료의 종류

가. 주요 측정 개념 및 이론

1. 측정이론의 적용

기술적 자료, 비교적 자료, 설명적 자료 질적 자료, 양적 자료

1. 수량화한 자료

원 점수, 등급점수, 백분율점수, 표준점수, 서열점수, 척도동간 점수 등

2. 측정 도구를 이용하여 간접적으로 측정한 심리적 상태에 관한 자료 3. 도구의 사용 없이 측정자가 직접 관찰하여 얻은 자료

4. 상품이나 물건을 수량화한 자료

5. 기록물이나 기술된 내용으로부터 분석된 자료 등

6. 측정 도구나 방법인 척도 및 검사의 성격에 따른 자료

명명적 자료, 서열적 자료, 동간적 자료, 비율적 자료

어떤 자료를 수집 해야 할 것인가를 평가 준거 에 입각하여 결정

또는

(7)

자료의 체계적인 수집 방법 및 분류체계 가. 주요 측정 개념 및 이론

1. 측정이론의 적용

1. 개인을 대상으로 직접 수집할 자료

- 자기 보고(self-reports) 중심의 방법 - 개인적 산물 중심의 방법

2. 독자적 관찰자가 수집한 자료

- 서면 기록보고

- 체계적 관찰

3. 기계 장치를 이용하여 수집한 자료

- 녹음 테이프

- 녹화 테이프

- 미속도 사진 촬영 - 기타 장치

4. 무관여(불개입) 측정법을 이용하여 수집한 자료

5. 기존하는 정보 출처나 자료 보관소로부터 수집한 자료

- 공공적 기록물의 고찰

- 기관 및 집단의 자료철의 고찰 - 개인적 자료철이 고찰

- 기존의 데이터베이스의 고찰

(8)

가. 주요 측정 개념 및 이론

1. 측정이론의 적용

경성자료 측정 용이, 수량화 가능,

경제적 가치 부여 용이, 객관적, 신뢰도가 높음 교육프로그램 실시, 결과 측정 및 평가

경성자료 (hard data) 연성자료 (soft data)

연성자료 경성자료로 표현할 수 없는 속성이나 내용

대응할 수 있는 내용영역이나 그 범위 및 심도가 훨씬 넓고 깊음

효과나 변화가 광범위, 심오한 속성과 수량화 하기

어렵고, 측정하기 어려운 특성까지 포괄적으로 표현

가능

(9)

경성적, 수량적 수행지표 가. 주요 측정 개념 및 이론

1. 측정이론의 적용

1. 산출적 측면

2. 비용적 측면

3. 시간적 측면

4. 질적 측면

생산(산출)단위, 제작 톤수, 조립 항목수, 수금액, 판매 항목수, 처리한 형태(형식)숫자, 승인된 대부액, 교체 목록(inventory turnover), 방문한 고객수, 처리한 신청건수, 졸업생 수, 완성한 과업수, 1인 시간당 산출, 생산성, 잔무량(work backlog), 업적 중심 상여금, 선적량 등

예산 변용액, 단위 경비, 산정 비용(variable costs), 고정 비용, 총경비, 조작비용(operating costs) 비용 절감 건수, 사업 비용 저축액(project cost savings), 사건 비용, 프로그램 운영비용(program costs), 판매 경비(sales expense) 등

설비 중단 시간, 초과 근무시간, 적시 선적량, 프로젝트 완료 소요시간(time to project Completion), 처리 시간, 감독 시간, 신참자를 위한 휴식시간, 훈련 시간,모임 계획,보수 시간,효율성,작업 중단 횟수,주문 응답수(order response),지각 보고(late reporting), 휴무일(lost time days) 등

폐기물,낭비,거부,오류 율,재 작업,부족 율, 생산품 결손(product defects),기준 이탈 정도, 실패작품(product failures), 재고 조정수(inventory adjustments),시간표 수정 횟수, 적정과업 완성율, 사고 숫자 등

(10)

연성적, 질적 지표

가. 주요 측정 개념 및 이론

1. 측정이론의 적용

1. 작업습관 면

2. 작업분위기면

3. 감정 및 태도면

4. 신기술 면

5. 개발 및 진보면

6. 진취적인 면

결근(absenteeism),시간 위반(bad timekeeping),수술실 방문(visit to the surgery), 응급 처치, 안전 규칙 위반,의사소통 단절,과도한 작업중단(excessive breaks)

소청(청원) 횟수(number of grievances),차별대우 호소(number of discrimination charges), 직무만족도,노동조합 활동 회피(unionization avoidance),고용자 교체(exployee turnover)

호의적 반응,태도 변화 직무 지각,성취상의 지각된 변화, 고용자 충심성

의사결정, 문제해결, 분쟁 회피(conflicts avoided), 불평 해결, 상담해결, 경청기술 (listening skils), 독서 속도,해결한 차별대우 호소(discrimination charges resolved), 신기술 사용 의도,신기술 사용빈도

승진 및 진급,보수(봉급)인상, 훈련프로그램 참여자,이동 요청,성과가치평점,직무효과 증진 정도

새로운 구상의 실천,프로젝트의 성공적 완수,제시된 제언,실천된 제언 등

(11)

가. 주요 측정 개념 및 이론

1. 측정이론의 적용

교육프로그램평가 목적을 달성하기 위해서

타당하고 신뢰로운 자료를 통하여 평가적 판단에 이르기 위해서 특정 자료에만 의존하기 보다는 이들 두 가지 종류의 자료를 종합적인 관점에서 수집하기 위해 노력- 양질의 평가자료

수치화된 경성적 자료 문자로 기술된 연성적 자료

(12)

나. 검사도구의 본질

1. 측정이론의 적용

1. 행동 전집의 표집

2. 표준화

3. 타당도와 신뢰도의 확보

인간을 측정

심리검사를 과정

핵심적인 수행하는

측정대상인의

심리적 특성을 직접 측정할 수 없기 때문에, 그 특성과 관련된 행동, 그 특성으로 인하여 유발되는 행동을 측정대상

그 행동 특성을 대표할 수 있는 행동만을 표집, 표집된 행동만을 중심으로 특정 활동을 전개, 그 측정 결과를 이용하여 특성의 다소를 추론

검사 실시 과정을 동일하게 규정하고 통일 하며 측정 결과를 점수화하는 일을 동일한 방법과 절차로 통일

검사도구를 표준화하여 사용함으로써 측정상의 오류를 최소화하고 그 결과를 객관적으로 활용할 수 있게 됨

검사도구가 측정하기로 한 내용을 실제로 측정해 주는 정도를 타당도 측정결과의 일관성을 어느 정도로 유지하느냐를 나타내는 지표를 신뢰도

(13)

라. 검사 도구 및 측정 방법의 분류

1. 측정이론의 적용

측정대상 내용, 수행수준, 구조화 정도, 문항형태, 강조하는 반응특성, 측정방법

측정대상 내용

학력검사, 수행검사(performance), 태도검사, 상호작용검사, 지능검사, 인성검사, 적성검사, 흥미검사

반응자의 수행 수준

최대수행검사(maximal performance): 최대한의 능력을 발휘할 것을 요구

지능검사, 학력검사, 체력검사

전형적 수행검사(typical performance): 있는 그대로를 표현할 것을 요구 인성검사, 태도검사구조화 정도(검사 및 문항) ,흥미검사

선택형 표준화검사(철저하게 구조화된 객관식 강제),자유반응형 검사(구조화 되어 있지 않은)

(14)

라. 검사 도구 및 측정 방법의 분류

1. 측정이론의 적용

문항 형태- 객관식 강제 선택형 문항으로 구성된 표준화 학력검사

주관식 자유반응형 문항으로 구성된 수필식 학력검사, 자유형 면접도구

강조하는 반응 특성-

속도와 능력으로 구분하여 시간제한을 중시한 속도 위주의 적성검사, 지능검사

최대한의 능력 발휘를 중시 여기는 학력검사, 체력검사 측정방법- 감독관이 주도하여 실시하는 검사- 다양한 표준화 검사

감독관이 필요없이 스스로 실시하는 검사- 질문지, 태도 척도

규준지향검사(norm-referenced)

 지필검사

 수행검사

 언어검사와 비언어검사

 인지적 검사와 정의적 검사

 표준화 검사와 비 표준화 검사 등

준거지향검사(criterion-referenced test)

 학력검사

 의사면허시험

 운전면서시험

(15)

마 . 측정 대상자 표집

1. 측정이론의 적용

1. 분석 단위의 결정

2. 표집 전략 및 방법

분석 단위는 곧 수집한 자료를 분석하기 위한 기본 틀의 역할

분석 단위가 다르면 다른 종류의 자료를 수집할 필요가 있고 그 자료 분석의 초점도 다르게 되며 그 결과를 해석하고 탐구할 결론도 각기 달라지게 됨

확률적 표집방법

프로그램 참여자 집단의 규모가 큰 경우에 큰 규모의 표집 대상으로부터 모든 개인이 표집 될 가능성이 동일하다는 전제하에서 임의로 표집하는 접근방법

 단순 무선 표집

 유층표집

 행렬표집

 체계적 표집

 군집 표집

(16)

마 . 측정 대상자 표집

1. 측정이론의 적용

 할당 표집

 극단적 사례 표집

 전형적 사례 표집

 최대 변산 표집

 결정적 사례 표집

 주요 정치적 사례 표집

 편의주의적 표집

 포도덩굴식 표집

 눈덩이 굴리기식 표집

 준거 중심 표집

 기회적 표집

 동질적 표집

 이론 중심 표집

 확증 및 비확증적 사례 표집

 조합 및 혼합 표집

 집중 표집

 무작위 의도적 표집

 유층화 목적적 표집 목적적 표집방법

평가 대상 집단의 규모가 작고 그 속성에 대하여 파악하고 있는 경우에

평가자가 판단할 때 집단의 속성을 잘 나태내는 핵심적인 경우나 극단적인

경우를 주로 표집하는 접근방법

(17)

마 . 측정 대상자 표집

1. 측정이론의 적용

자료의 표집

어떤 관점에서 어떤 종류의 자료를 수집 할 것인가에 관한 뚜렷한 계획을 사전에

수립할 필요가 있음 (활동, 개인, 기관, 시간, 상황, 현장 등을 중시하여 분석단위를 결정)

 시간 차원 에서의 표집

수집할 자료와 관련된 시기(언제), 기간(얼마 동안), 간격(단위: 시간, 일, 월등)을 사전에 정확하게 파악하고 먼저 시간 중심의 표집을 한 다음에 그에 입각하여 필요한 자료를 수집 및 표집

 행동의 표집: 특정 준거 관련 변화를 측정하거나, 의미있는 변화 파악

 상황의 표집: 의도하는 행동 및 태도가 특정 상황에서만 나타나거나 관찰

 시간의 표집: 평가 대상행동을 어느 시간대, 시점에서 관찰해야 적절

 현장의 표집: 광범위하게 진행되는 많은 현장 중 어느 현장을 평가대상 선정

 양질의 근거자료를 수집하기 위해서

(18)

가. 측정도구의 선정(p.418~p.424) 나. 측정도구의 예(p.425~p.428) 다. 도구의 개발(p.428~p.434) 라. 도구의 활용(p.434~p.435)

마. 수집된 자료의 분석 및 활용 계획 수립(p.434~p.435)

(19)

가 . 측정도구의 선정

2. 도구의 선정 및 개발

타당도

1. 구인 타당도

2. 내용 타당도

검사가 목적 달성 면에서 제 기능을 제대로 수행 할 수 있는가, 목적 달성에 유용한가라는 측면을 나타내주는 지표

측정하고자 하는 추상적인 개념이 실제로 측정도구에 의해 제대로 측정 되었는지의 정도를 의미 (예: 동기, 태도, 성격 등 추상적인 것)

검사문항이 측정하려고 하는 내용을 얼마나 적절하고 대표성 있게 나타내거나 구현하고 있는지를 의미

(20)

가 . 측정도구의 선정

2. 도구의 선정 및 개발

타당도

3. 준거관련 타당도

4. 업무관련 타당도

검사결과를 의도하는 준거 상황에서 얼마나 유용하게 활용할 수 있는지를 의미

 공인타당도: 새로운 검사 도구를 제작하였을 때 제작한 도구의 타당성을 검증하기 위하여 기존에 타당성을 보장받고 있는 검사와의 유사성 혹은 연관성 등을 비교하는 것

 예언타당도: 검사도구로 측정한 결과가 미래 시점의 준거 변인을 얼마나 제대로 예언 및 예측해 줄수 있느냐는 정도를 의미

특정 업무에 관련된 능력이나 소양이 어느 정도인가를 진단해 내는것

앞에 3가지 타당도 개념을 종합하여 실제 상황에 효과적으로 적용하기 위하여 구안한 개념 (직업 현장에서 주로 활용)

(21)

가 . 측정도구의 선정

2. 도구의 선정 및 개발

신뢰도

1.검사- 재검사 신뢰도 2. 동형검사 신뢰도 3. 반분 신뢰도

4. KR 신뢰도

5. 채점자간 일치도

특정 검사를 이용하여 측정 대상을 일관성 있게 측정해 주는 정도

- 즉 측정 결과가 어느 정도로 정확하고 믿을 만 한가를 말해 주는 정도

동일인에 대한 여러 차례의 검사실시

내용이나 형태가 동일한 두 검사를 동일인에 대하여 두 시기에 실시하고 두 결과간의 상관

검사를 1회 실시하고 동등하게 양분하여 두 부분에 대한 검사결과 간의 상관계수

한 검사 내의 문항들에 대한 반응상의 일관성 정도나 합치성 정도를 측정

채점자 간의 채점 결과의 일치도를 측정

(22)

계약 수립 5 4 3 2 1 0

고객 관리 5 4 3 2 1 0

(27)

다 . 도구의 개발

2. 도구의 선정 및 개발

주요 절차 및 방법

 도구 내용의 상세화

 내용 제시 형태 및 수준 결정

 도구의 체제 및 문항 형태 결정

 각 문항 근거 확인 및 문항 배경 결정

 초안 작성

 초안 검토 수정

 실험적 시행

 문항분석

 수정보완

 확정 및 인쇄

 측정자는 정당하고 공정한 측정활동을 전개 해야 함

 대상자의 익명을 지켜 주어야 함

 검사 결과를 다른 목적으로 사용되지 않고 오직 평가 목적만으로 사용

도구의 활용 주의사항

(28)

가. 질적인 자료의 코딩(p.438~p.438)

나. 양적인 자료의 코딩(p.438~p.439)

다. 주의 사항(p.439~p.4439)

(29)

가 . 질적인 자료의 코딩

3. 자료의 정리 및 분석

면접 내용, 기록 내용, 상황을 기술한 내용 등은 내용을 분류하기 위한 분류 체계와 분류 방식을 먼저 결정

정해진 분류 양식에 각기 다른 코드를 부여하고 각 코드 별로 정리하고 분석함

수량화한 자료의 의미와 자료의 성격을 고려하여 각 자료를 어떤 범주로 분류하고 조직해야 할 것인가를 결정

나 . 양적인 자료의

코딩

(30)

다 . 주의사항

3. 자료의 정리 및 분석

 자료에 대한 코딩과정에서 주의할 점은 코딩 계획과 과정을 정확히 기록해 두는 일

 자료의 점검 및 확인

 반응자들의 반응이 얼마나 성실하고 진지한 것이며 신뢰로운 것인가를 변별

 불성실하고 신뢰롭지 못한 반응, 오류로 인하여 왜곡된 내용, 불완전한 반응 결과 등을 선별

(31)

가. 통계적 논리(p.440~p.441) 나. 자료의 성격(p.441~p.444)

다. 주요 통계적 방법(p.444~p.452)

라. 적합한 통계적 방법의 선정(p.452~p.455)

마. 컴퓨터 통계 프로그램의 활용(p.455~p.458)

(32)

다 . 주요 통계적 방법

4. 주요 통계적 개념

추리적 통계방법 상관관계 분석법 가설

검정방법 (t검증,f검증,u검증) 중다변수 분석법

(중다회귀분석, 요인분석, 변별분석 등)

기술적 통계방법 집중경향

변산도

표준점수

정규분표

상관계수

(33)

다 . 주요 통계적 방법

4. 주요 통계적 개념

기술적 통계

집중경향: 측정겨과를 점수화 하여 한 집단의 특성을 하나의 수치로 대표해서 나타내고자 하는 경우

평균: 산술평균

최빈치: 가장 많은 빈도를 보이는 값

중앙치: 중앙값, 자료를 순서대로 배열할 때 가운데에 위치하는 값

(정규분포) (정적편포) (부적편포)

(34)

다 . 주요 통계적 방법

4. 주요 통계적 개념

기술적 통계

정규분포곡선

하나의 꼭지를 가지며, 평균점수, 중앙치, 최빈치가 일치하고 좌우 대칭을 이루는 연속적 변수에 관한 분포를 나타내는 분포곡선

(정규분포곡선)

(35)

다 . 주요 통계적 방법

4. 주요 통계적 개념

기술적 통계

변산도

측정 집단의 구성원의 점수들이 집중경향치를 중심으로 얼마나 밀집 또는 분산되어 있는가를 나타내기 위함

범위: 최대값과 최소값의 차이를 나타내는 범위

표준편차: 평균으로 부터 퍼져 있는 정도를 나타냄 (분산)

상관계수: 두 변수나 두 현상 간에 존재하는 관계를 수치로 나타낸 것

상관계수는 -1 에서 1 사이의 값, 절대값이 클수록 상관이 크고, 0에 가까워질수록 상관이 적음

(표준편차)

(36)

다 . 주요 통계적 방법

4. 주요 통계적 개념

추리적 통계

T 검증법

두 집단 간의 성취도의 차이나 업적 등 집단간의 평균이 통계적으로 유의한 차이를 보이고 있는지의 여부를 검증

 단일표본 t검증: 하나의 모집단에서 추출된 하나의 표본에 대하여 검증

 독립표본 t검증: 두 집단 간의 평균 차이가 통계적으로 유의미한지를 파악

 대응표본 t검증: 동일한 모집단으로 부터 추출된 두 변수의 평균값을 비교 분석

예) 독립표본 t검증: 중학교와 초등학교 학교만족도

예) 대응표본 t검증: 프로그램 적용이 학업성취도 향상에 효과( 사전검사, 사후검사)

 T 검증법

 F 검증법

 카이제곱 검증법

 회귀분석방법

 요인분석방법 등

(37)

다 . 주요 통계적 방법

4. 주요 통계적 개념

추리적 통계

F 검증법

독립변수를 몇 개의 수준 또는 범주로 나누어 각 수준에 따라 나누어진 집단 간의 평균 차이를 검증

T 검증은 두 집단이나 한 집단의 두 상황을 비교할 때 적용

F 검증은 세 집단 이상, 또는 한 집단의 세 가지 이상의 조건 등을 일시에 비교할 때 적용

카이제곱 검증법

이론적으로 기대했던 빈도와 실제로 관찰된 빈도가 같은지 다른지, 또는 그 차이가 의미있는 것인지 우연적인 것인지를 분석

자료의 성격이 명명적이고 유목적인 경우에 사용

U 검증법

두 집단을 독립표집하여 두 집단 간의 차이를 비교 검증 수집된 자료가 연속적인 서열적 자료일 경우에 사용

(38)

다 . 주요 통계적 방법

4. 주요 통계적 개념

추리적 통계

고차적 추리 통계적 방법

평가 설계가 복잡해지고 여러 변수 간의 관계를 규명해야 하는 경우

 중다회귀 분석법

 요인 분석법

 정통상관 분석법

 변별 분석법

 구조방정식 모형 등

(39)

마 . 컴퓨터 통계 프로그램의 활용

4. 주요 통계적 개념

자료의 코딩

직종별: 1=사무직 2=영업직 3=생산직 등 성별: 1=남성

2=여성 근속연수별: 1=1년 미만

2=1년 이상~2년 미만 3=2년 이상~3년 미만 등 직위별: 1=일반사원

2=계장급 3=과장급 4=차장급 5=부장급 6=이사급 등 연수 경험별: 1=경험 유

2=경험 무 연수 회수별: 1=전혀 없음

2=1회 3=2회

4=3회 이상 등

성취도별 (정답수: 50문항의 경우): 1=20개 미만 2=21~30개 3=31~40개 4=41~50개 등 등급멸: 1=90점 이상

2=80~89 3=70~79 4=60~69 5=59점 이하

월급여 수준별: 1=100만원 미만 2=100이상~150미만 3=150이상~200미만 4=200이상~300미만 5=300이상~400미만 6=400이상~500미만 7=500만원 이상

자료의 성격, 변수의 종류, 평가설계 및 측정 설계, 측정수준 등에 따라 유목화, 코드화

연속적 자료인 경우, 여러 각도로 분석하기 위해 연속적 명명자료로 코드화

(40)