1차시. 과학교육평가과학교육평가

1차시. 과학교육 평가

1.1 과학학습 목표분류체계

학습목표

학습방법

학습내용 학습평가

(이화국, 1995)

• 학습목표분류체계는 교수학습 성과의 본질을 밝힘

• 학습목표 분류 틀이 평가목표의 작성과

선정에 이용될 때 평가목표 분류 틀이라

불림

1. 교육 평가의 개념적 발달

(1) 초기 : 학생, 집단의 규준 산출 → 규준에 비추어 비교

(2) 타일러(Tyler, 1964) : 본질적으로 교육 목표가 교육과정이나 수업 프로그램에 의하여 실제로 어느 정도나 성취되었는가를 결정하는 과정

⇒ 비교가 아닌 목표를 기준으로 평가를 실시해야 함을 의미

(3) 크론바하(Cronbach, 1964) : 교육평가란 교육프로그램에 대한 의사결정을 내리기 위하여 정보를 수집하고 이를 이용하는 과정

⇒ 목표달성도+교육과정 개선으로도 실시 가능

1.2 과학교육 평가의 의미

2. 교육 평가의 목적 : 교육 평가의 정의에 따라 평가의 목적이 달라짐

• 학생들의 성취도 평가에 목적

(1) 학습 증진에 대한 기록 및 보관

(2) 학생들의 학습 증진에 대한 학부모 및 관련된 곳에 정보 제공

• 교수 내용에 교정이 필요한지에 대한 정보 제공이 목적 (1) 교육계획과 교수 활동을 위한 정보 수집

(2) 교육과정 및 교수 활동에 대한 피드백 자료 수집

1.2 과학교육 평가의 의미

1.3 과학교육 평가의 기능

3. 교육 평가의 기능

• 형성적 기능(formative function) ~ 전향적 기능(proactive function)

(1) 진단 + 과학 교수, 학습 개선 + 과학교육적 요구사정(needs assessment)

• 총괄적 기능(summative function) ~ 후향적 기능(retroactive function)

(1) 목적

- 교육의 최종 성과 평가

- 자격 인정, 선발, 교육을 계획하고 실행한 당사자의 책무 밝히기 (2) 과학 교수․학습 개선+비교+목표도달도 확인+선발

• 정략적 기능(strategical function) = 심리적, 사회적, 정치적 기능

(1) 목적

- 학생들의 주의 환기, 학습동기 유발

- 자격 인정, 선발, 교육을 계획하고 실행한 당사자의 책무 밝히기

- 교육요구 사정, 교육목표 선정, 교육정책 수립, 학급집단 편성에 필요한 정 보 수집을 위한 평가

- 프로그램 개발, 교육방법 개선, 피드백 제공, 교정지도 실시, 특별활동 운 영에 필요한 정보를 수집하기 위해 실시하는 평가

- 최종 프로그램의 효율성을 확인․검증하기 위한 평가

- 일정기간 교육 후 개개 학생들의 성취도를 측정하는 평가 → 중간고사, 기말고사

- 자격판정, 일정인원 선발, 교육성과에 대한 교사의 책무성을 밝힐 목적으로 실시하는 평가

- 수업시간에 주의집중을 하도록 쪽지시험을 보는 경우

- 자연보호/불조심에 대해 주의를 환기시킬 목적으로 글짓기 경연이나 포스터를 그리는 경우

2차시. 과학교육 평가

1. 교육 평가의 유형

• 평가의 유형 : 기준에 따라 다르게 분류 → 평가 영역, 평가 기능, 평가 준거

(1) 평가 영역을 기준으로 한 유형 : 블룸, 클로퍼, APU, SAPA 등 (2) 평가 기능을 기준으로 한 유형 : 진단 평가, 형성 평가, 총괄 평가

- 진단 평가(diagnostic evaluation) : 어떤 단원의 학습을 위해 수업 전에 학습자가 반드시 알고 있어야 할 기초 지식이나 기술을 갖고 있는지 점검하는 출발점 행동 평가

(evaluation of entry behavior) 또는 투입 행동 평가(evaluation of input behavior)를 의미 (예) 학년․학기 초, 매 단원 시작 전, 수업 관련 선행지식과 오개념 확인

- 형성 평가(formative evaluation) : 수업이 진행되는 도중 수업방법을 개선하고 교수, 학습을 최적화하는데 필요한 정보를 수집하기 위한 활동 → 쪽지시험, 수업시간 중 질문, 숙제 등

(예) 학습 안내를 위한 자료나 수업에 대한 피드백 자료로 활용 가능

- 총괄 평가(summative evaluation) : 교수학습이 끝난 후 학습자의 성취도를 평가하는 것

→ 학생․학부모에게 알려주는 교육 자료와 입학시험 사정자료로 활용할 수 있음

과학교육평가

1. 교육 평가의 영역 유형

• 평가의 유형 : 기준에 따라 다르게 분류 → 평가 영역, 평가 기능, 평가 준거

(3) 평가 준거를 기준으로 한 유형 : 준거를 교육목표로 하는지 또는 학습자들이 받은 점수의 평균으로 하는지

- 규준 기준 평가(Norm-Referenced Evaluation, NRE) : 학생들이 받은 점수의 평균을 기준 으로 평가 = 규준 지향 평가 = 상대 평가(relative evaluation)

 규준 : 점수의 평균 또는 사전에 할당해 놓은 평점 배당 비율(수, 우, 미, 양, 가)

 교육관 : 선발적 교육관에 기초 → 성취도를 변별하여 능력에 맞는 내용/수준의 교육을 해야 한다.

- 준거 기준 평가 평가(Criterion-Referenced Evaluation, CRE) = 준거 지향 평가 = 절대 평가 (absolute evaluation) : 학습 목표를 준거로 하여 학습 목표의 도달 여부와 그 정도를

확인, 점검하는 평가

 교육관 : 발달적 교육관에 기초 → 충분한 학습 조건, 학습 시간이 있으면 누구나 학습 목표에 도달할 수 있고, 그것이 교육의 목적이다.

 평정 방식 : 목표 도달 – 목표 미달의 2진법적 방식

 평가의 기준이 되는 학습 목표의 수가 중요 : 비교적 좁은 범위의 특정 내용 또는 단원에 한정시켜 평가해야 수집된 정보가 의미 있음

과학교육평가

2. 교육 평가의 영역

• 평가의 영역 = 과학교육 평가 틀 = 과학학습 평가 틀과 목표 : 과학교육목표에 따라 평가 영역이 결정됨

→ 학습 목표 틀을 약간 변형시켜 평가 틀로 이용

 학습목표와 평가 내용을 연관시켜주어 균형 잡힌 평가를 가능하게 해줌

(1) 과학학습 평가 틀의 개념

1) 학습 목표 분류 체계 → 평가 목표(=과학학습 평가 틀)의 분류 틀이 됨

2) 과학학습 평가 틀의 형태 : 작성에 이용하는 분류 기준의 가짓수에 따라 구분

 일차원적 평가 틀 : 1가지 기준

 이차원적 평가 틀(=이원목적 분류표) : 2가지 기준 - 행동(behavior) : 학자마자 여러 범주를 제시

- 내용(content) : 교육과정에 있는 과목, 소단원, 장, 절 등 - 다른 차원 : 달성도, 맥락(context), 태도 등

내용 행동

과학교육평가

(2) 블룸(Bloom, 1956)의 평가목표 분류 틀 → 가장 흔히 사용

: 인지적(cognitive) 영역, 정의적(affective) 영역, 심체운동적(psychomotor) 영역의 세 행동 범주 사용 1) 인지적 영역 : 사고 작용(기억, 이해, 추론 등)을 통해 획득해야 하는 지적 학습목표의

달성 여부와 그 정도를 측정하는 영역

과학교육평가

(2) 블룸(Bloom, 1956)의 평가목표 분류 틀 → 가장 흔히 사용

: 인지적(cognitive) 영역, 정의적(affective) 영역, 심체운동적(psychomotor) 영역의 세 행동 범주 사용 1) 정의적 영역 : 보통 흥미나 태도로 명명되는 교육적 성과

3) 심체운동적 영역 : 과학의 실험․실습 능력과 연관 → 발표되지 않음 4) 문제점 : 너무 일반적

 과학 교육에 적용하기 적절치 않음

 학년 등의 특성 고려가 없음

과학교육평가

(2) 클로퍼(Klopfer)의 평가목표 분류 틀 : 과학교과에 맞게 개선한 분류 틀

1) 블룸의 분류학에 이론적 기반을 둠 → 블룸의 견해(필요성, 목적, 방법, 일반원칙 등)에 덧붙임

 과학수업에서 추구하는 거의 모든 범위의 학생 행동 수용

‘과학적 탐구수행’과 관련된 학생 행동이 특히 강조됨

 과학교육에 특이하게 연관된 학생들의 행동 포함 : 실험 수행기능, 과학에 대한 태도, 과학의 본질에 대한 경향성(지향, orientation) 등

 전통적 과학 수업과 현대적 과학 교육 프로그램의 목적들을 함께 포함

‘행동’과 ‘내용’의 분류체계 → 과학교육 프로그램 전체 또는 한 단원의 구조 분석에 이용 가능 2) 2차원적 평가 틀 : ‘행동’, ‘내용’

 행동 차원 : 블룸의 것을 변형

 내용 차원 : 생명과학, 물상과학(화학, 물리학, 지구와 우주과학), 과학 일반

과학교육평가

(2) 클로퍼(Klopfer)의 평가목표 분류 틀 : 과학교과에 맞게 개선한 분류 틀 3) 행동 차원의 자세한 내용

A.0 지식과 이해(A.1~A.11) A.1 특정 사실에 관한 지식 A.2 과학 용어에 관한 지식 A.3 과학의 개념들에 관한 지식 A.4 형식적인 지식

A.5 경향과 계열의 지식 A.6 분류, 범주와 준거의 지식 A.7 과학적 기술과 절차에 관한 지식 A.8 과학적 원리와 법칙에 관한 지식 A.9 이론 또는 주요 개념 체계에 관한 지식 A.10 새로운 상황에서의 지식의 확인 A.11 다른 형태로 지식을 나타내기 B.0 탐구과정 Ⅰ: 관찰과 측정

B.1 사물과 현상의 관찰

B.2 관찰 사실을 적절한 언어로 표현 B.3 사물과 변화의 측정

B.4 적절한 측정 도구의 선택

B.5 측정 도구의 합당성과 오차의 한계 인식 C.0 탐구과정 Ⅱ: 문제 발견과 해결 방안 모색

C.1 문제의 인식 C.2 수행 가설의 설정

C.3 가설 검증을 위한 적절한 방법의 선택 C.4 실험 과정의 설계

D.0 탐구과정 Ⅲ: 자료의 해석과 일반화 D.1 실험 결과의 처리

D.2 실험 결과를 함수적 관계로 나타내기 D.3 실험과 관찰 결과의 해석

D.4 외삽과 내삽

D.5 실험 결과로 가설을 검증 D.6 얻어진 결과에 의한 일반화

E.0 탐구과정 Ⅳ: 이론적 모델의 설정, 검증 및 개선 E.1 이론적 모델의 필요성 인식

E.2 알고 있는 현상과 원리에 적절한 이론적 모델의 설정 E.3 이론적 모델이 만족되는 현상과 원리의 구체화 E.4 이론적 모델로부터의 새로운 가설의 도출 E.5 이론적 모델의 검증을 위한 해석과 평가

E.6 이론적 모델의 수정, 개선 또는 확장된 모델의 형성 F.0 과학의 지식과 과학적 방법의 적용

F.1 과학의 같은 분야에서 새로운 문제의 응용 F.2 과학 외에서 새로운 문제의 응용

F.3 과학 외에서 문제의 응용(기술적 응용을 포함) G.0 수공적 실험 기능

G.1 일반 실험 기구를 사용하는 기능의 개발 G.2 조심스럽고 안전한 실험의 수행

H.0 태도와 흥미

H.1 과학과 과학자에 대한 호의적 태도 표명 H.2 사고의 방법으로 과학적 탐구의 수용 H.3 과학적 태도의 채택

H.4 과학 학습 경험을 즐김

H.5 과학과 관계있는 활동 및 과학에 대한 흥미의 증진 H.6 과학과 과학에 관련된 직업에 종사하려는 흥미의 증진 I.0 과학에 대한 경향성

I.1 과학에서 다양한 진술 형태간의 관계

I.2 과학적 설명에 대한 한계와 철학에서 과학적 탐구의 영향 인식 I.3 역사적 전망 : 과학의 역사적 배경에 대한 인식

I.4 과학의 진보, 기술의 발달, 경제 개발 사이의 관계 인식 I.5 과학 탐구와 그 결과의 사회적, 도덕적 관계의 인식

과학교육평가

블룸(Bloom, 1956)

인지적 영역

정의적 영역

심동적 영역

지식의 이해

지식의 적용

Klopfer

1. 지식과 이해 2.

3.

4.

5.

6. 과학적 지식과 방법의 적용

①

⑥

⑦ 조작적 기능(수공적 기능)

⑧ 태도와 흥미

⑨ 인식(경향성) I. 관찰과 측정

II. 문제인식 및 해결방법 탐색 III. 데이터 해석 및 일반화

IV. 이론적 모델의 설정, 검증 및 수정

(수공적 기능) (정서 / 감정)

문제인식

가설설정

자료수집 실험설계

수행(관찰측정분류)

자료해석

결론도출 일반화

가설의 수정 이론적 모형 형성 이론적 검토비평

II

I

III

IV 평가도구 및 문항분석

1. 타당도 (일치여부): 문항 (what) 2. 신뢰도 (정밀도): 문항도구 (how) 3. 객관도 (평정자): 교사 채점시 4. 실용도 (시간 / 경비): 효율성

과학에 대한 경향성(I) : 메타과학(상위과학) 포함 → 과학의 본질, 구조, 기능을 다룸

과학교육평가

3차시. 타당도와 신뢰도

-개념: 측정의 정밀성(측정 오차의 최소화) +일관성(반복 측정의 가능성) -신뢰성과 타당성

신뢰도와 타당도

(1) 신뢰도와 타당도는 항상 정의 관계(positive relationship)를 갖는 것은 아니다.

(2) 신뢰도가 있다 하더라도 타당도는 결여될 수 있다.

즉, 타당도 없이 신뢰도를 확보할 수 있다.

(3) 타당도가 있다면 일반적으로 신뢰도가 있다고 볼 수 있다.

“신뢰도와 타당도는 측정도구가 과학적으로 강력하다는 것을 보여 주는 증거”

신뢰도와 타당도의 관계

신뢰도와 타당도

1. 평가문항 및 도구의 양호도 분석

• 타당도(validity) : 평가의 유형 :

• 타당도의 유형

1) 내용타당도 : 교수․학습에서 설정했던 학습목표를 얼마나 충실히 측정하는지 여부

→ 출제문항이 이원분류표와 일치하는지 확인

 요소

(1) 검사 전에 의도했던 학습목표에 비추어 타당한가?

(2) 문항 내용을 교과 내용의 주요 부분을 보편적으로 빠뜨리지 않고 포괄적으로 포함하고 있는가?

(3) 문항의 난이도는 학생 집단의 성질에 비추어 타당한가?

(4) 문항의 표본이 모집단을 잘 대표하고 있는가?

타당도

1. 평가문항 및 도구의 양호도 분석

• 타당도의 유형

2) 구인(construct)타당도 : 인간의 심리적 특성․성질을 심리적 구인으로 분석하여 조작적 정의 부여 → 검사 점수가 심리적 구인들을 제대로 측정하였는가를 검증

<이 특성을 가진 사람은 X라는 상황에서 Y의 행동을 보일 것이다.>

 구인(construct) : 직접 관찰될 수 없으나 검사의 성취에 반영되어 있다고 짐작되는 심리적 속성

3) 준거타당도

(1) 공인타당도 : 검사의 결과를 동시에 같은 목표를 측정하는 다른 검사 결과와 비교했을 때 공통된 요인의 정도

(2) 예언타당도 : 검사결과가 얼마나 피험자의 미래 행동․특성을 정확하고 완전하게 예언하는지의 여부

4) 안면타당도 : 문항들이 검사 제작자나 피험자에게 얼마만큼 친숙하게 보이는지의 여부

타당도

1. 평가문항 및 도구의 양호도 분석

• 타당도를 높이는 방법

1) 불명확한 지시사항을 없앤다 : 문항에 대한 답안 작성 방법이 명확해야 함

2) 어휘와 문장 구조를 어렵지 않게 한다 : 독해력, 지능 측정이 아니므로 복잡한 어휘나 문장 구조를 쓰지 않음

3) 검사 문항 난이도를 적절히 조절한다 : 너무 쉽거나 어려우면 변별이 없고 타당도를 낮춤 4) 모호성 : 검사 문항을 모호하게 작성하지 않도록 함 → 모호하면 높은 수준의 학생에게

혼란을 줌

5) 시간의 제한 : 검사에 충분한 시간을 제공해야 함 6) 문항 배열 :  쉬운 것 → 어려운 것 순

 어려운 것부터 배치하면 문제를 푸는데 시간이 많이 걸릴 수 있음

 정답을 체계적으로 배열하지 않도록 주의 : (1, 2, 3, 4, 1, 2, 3, 4, …) 순으 로 정답 배치 시 학생들이 답을 쉽게 추측할 수 있음

타당도

1. 평가문항 및 도구의 양호도 분석

• 신뢰도 : 측정하려 하는 것을 얼마나 안정적으로 일관성 있게 측정하는지를 나타내는 정도

→ 측정의 일관성(얼마나 오차 없이 측정하는가?) (1) 요소

1) 안정성 : 측정 시간에 관계없이 일정 → 주어진 도구의 검사-재검사로 측정 2) 동형성 : 평가 방법에 관계없이 일정 → 유사한 형태의 두 개의 검사로 측정 3) 동질성 : 한 번 실시한 검사 내에서는 모두 같게

(2) 신뢰도 측정 및 이해법

 측정의 표준 오차 : 단일한 측정 대상(지능, 성적, 신장 등)을 같은 측정도구를 가지고 여러 번 반복 측정했을 때 같은 결과가 나오는 정도

신뢰도

1. 평가문항 및 도구의 양호도 분석

(3) 종류 : 채점자 신뢰도, 검사-재검사 신뢰도, 동형검사 신뢰도, 내적 일치(일관성) 신뢰도 (= 문항 내적 합치도), 반분 신뢰도

 검사-재검사 신뢰도(retest reliability) 1) 한 집단의 피험자에게 2번의 측정 실시

→ 첫 번째와 두 번째의 측정치의 상대적 순서가 일관성이 있나 알아봄 2) 난점

 전후 검사의 실시 간격에 따라 오차가 생길 수 있음 → 2~4주가 적정

 평가 도구의 표본이 되는 문항의 오차변량이 진짜 변량으로 다루어짐

 전후의 검사 실시에서 여러 조건(수험 태도, 검사 지시, 검사 속도 등)을 똑같이 통제하기 어려움

신뢰도

1. 평가문항 및 도구의 양호도 분석

 동형검사 신뢰도 : 미리 두 개의 동형검사를 제작 → 같은 피험자에게 실시

→ 두 동형검사에서 얻은 점수 사이의 상관 산출 1) 동형검사

 표면적, 외형적 내용은 다름

 측정이론에서 보아 동질적이며 동일하다고 추정할 수 있는 문항으로 구성된 검사

 반분 신뢰도(self-half reliability)

1) 과정 : 한 개의 평가도구를 피험집단에 실시 → 적절한 방법으로 두 부분의 점수로 분할

→ 두 부분을 독립된 검사로 생각하여 둘 사이의 상관을 계산

2) 나누는 방법 : 앞뒤로 꼭 반이되게 나눔, 기우법(odd-even method)으로 나눔, 난수표로 나눔, 의식적으로 비슷한 것끼리 짝지어 반분

3) 순수한 속도검사에서는 사용 불가

 내적 일치 신뢰도(inter-item consistency) : 검사를 구성하는 각 문항의 일관성을 측정 1) 방법 : 쿠더-리처드슨(Kuder-Richardson) 20․21, Hoyt의 신뢰도,

Cronbach α(가장 많이 쓰임) 등

신뢰도

-문항내적 합치도(item internal consistency)

검사를 두 번 실시하기 어렵거나 동형문항을 제작하기 어려운 일반적인 현장연구와 실험연구 상황에서 많이 활용되는 방법

한 검사 내에서 문항에 대한 반응이 얼마나 일관성이 있는가에 대한 것을 오차의 관점에서 파악하고자 하는 것

K-R

, K-R

, Cronbach’s alpha coefficient

신뢰도

K-R

: 검사가 측정하고자 하는 요인이 비교적 단일 요인일 경우에 적합 -문항내적 합치도(item internal consistency)

신뢰도

- Cronbach’s alpha coefficient: 한 검사에 포함되어 있는 문항들이 얼마나

서로 일치하고 있는가를 나타내는 계수. 따라서 한 검사를 구성하고 있는 문항들이 서로 동질적이면 동질적일수록 알파계수는 커짐

- K-R

과의 관계: K-R

이 일반적으로 정답이면 1점, 오답이면 0점을 부여하는 방식으로 채점하는 문항들로 구성된 검사에만 적용할 수 있으나 알파계수는

리커르트 척도, 객관식, 주관식 채점하는 문항에도 적용할 수 있다는 강점이 있기 때문에 일반적인 사회과학 연구에서 가장 많이 쓰이는 방법 중 하나임

- K-R

과의 관계: 논리적 접근방식이 동일하므로 같은 값이 나옴; 수식이 복잡하여 잘 쓰지 않음

-신뢰도에 영향을 주는 요인

신뢰도

5. 평가문항 및 도구의 양호도 분석

• 신뢰도를 높이기 위한 방법

1) 검사의 길이가 늘수록 신뢰도는 증가 : 그러나 무제한적으로 늘어나진 않음 (증가의 폭 감소)

2) 속도검사의 경우 검사-재검사 신뢰도를 사용(반분 신뢰도 사용불가) 3) 부정행위 감시 필요 : 부정행위를 하는 피험자가 있으면 신뢰도가 낮아짐 4) 검사 속의 문항이 동질적일수록 신뢰도가 높음

5) 변별도가 높거나 적절한 난이도의 문항이 신뢰도를 높임 6) 점수 변산의 폭이 클수록 신뢰도가 높음

7) 피험자 집단이 이질적일수록 신뢰도가 높음 8) 피험자의 동기가 적절히 높을 때 신뢰도가 높음

신뢰도

2. 난이도와 변별도

• 난이도(item difficulty, 곤란도) : 특정 문항을 맞춘 사람의 비율

1) 규준 지향 검사 시 0.5가 바람직함

2) 다른 답지를 선택할 확률이 비슷해야 함

• 변별도(discrimination index) : 검사가 재려고 하는 능력이 높은 학생과 낮은 학생을 잘 구별 해주는 정도

1) 상위집단과 하위집단의 난이도 차이로 구분하는 방법

2) 각 문항의 점수와 전체 점수의 상관계수로 구하는 방법

과학교육평가

난이도 = 정답자 수 전체 응답자 수

변별도 = (상위집단의 정답자 수) – (하위집단의 정답자 수)

한 집단의 학생 수(상위집단 또는 하위집단)

• 평가문항 제작시 타당도와 신뢰도를 높이는 방안에 대해 논의해 보고, 실제 지구과학I의 내 용과 지구과학II의 내용을 중심으로 평가 문항 을 제작하여 이에 대한 타당도와 신뢰도에 대 해 각각 논의해 봅시다.

♣ Self Smart Learning