1차시. 과학교육평가과학교육평가

전체 글

(1)
(2)

1차시. 과학교육 평가

(3)

학습목표

학습방법

학습내용 학습평가

학습목표분류체계는 교수학습 성과의 본질을 밝힘

학습목표 분류 틀이 평가목표의 작성과 선정에 이용될 때 평가목표 분류 틀이라 불림

과학학습목표분류체계

(4)

1. 교육 평가의 의미

• 교육 평가(evaluation) : 어떤 결정을 내리기 위해 관찰, 측정, 실험, 조사 등으로 자료를 수집하고, 그것을 분석․종합․판단하 는 과정

• 평가와 유사한 용어

(1) 사정 또는 총평(assessment) : 개인, 집단, 프로그램 등에 대한 정보와 자료를 수집하여 분석하는 절차(판단 없음)

(2) 측정(measurement) : 일정한 법칙에 의거하여 어떤 사물이나 속성에 수치를 부과하는 것(분석, 종합, 판단 없음)

(3) 검사(testing) : 평가의 바탕이 되는 자료를 객관적으로 수집하는 수단 (학교 시험과 유사)

과학교육평가

(5)

• 교육평가의 개념적 발달

(1) 초기 : 학생, 집단의 규준 산출 → 규준에 비추어 비교

(2) 타일러(Tyler, 1964) : 본질적으로 교육 목표가 교육과정이나 수업 프로 그램에 의하여 실제로 어느 정도나 성취되었는가를 결정하는 과정

⇒ 비교가 아닌 목표를 기준으로 평가를 실시해야 함을 의미

(3) 크론바하(Cronbach, 1964) : 교육평가란 교육프로그램에 대한 의사결정 을 내리기 위하여 정보를 수집하고 이를 이용하는 과정

⇒ 목표달성도+교육과정 개선으로도 실시 가능

과학교육평가

비교하고자 하는 집단의 검사점수의 분포

(6)

2. 교육 평가의 목적 : 교육 평가의 정의에 따라 평가의 목적이 달라짐

• 학생들의 성취도 평가에 목적 (1) 학습증진에 대한 기록 및 보관

(2) 학생들의 학습 증진에 대한 학부모 및 관련된 곳에 정보 제공

• 교수 내용에 교정이 필요한지에 대한 정보 제공이 목적 (1) 매일의 교육계획과 교수 활동을 위한 정보 수집 (2) 교육과정 및 교수 활동에 대한 피드백 자료 수집

과학교육평가

(7)

3. 교육 평가의 기능

• 형성적 기능(formative function) ~ 전향적 기능(proactive function)

(1) 진단 + 과학 교수, 학습 개선 + 과학교육적 요구사정(needs assessment)

• 총괄적 기능(summative function) ~ 후향적 기능(retroactive function)

(1) 목적

- 교육의 최종 성과 평가

- 자격 인정, 선발, 교육을 계획하고 실행한 당사자의 책무 밝히기 (2) 과학 교수․학습 개선+비교+목표도달도 확인+선발

• 정략적 기능(strategical function) = 심리적, 사회적, 정치적 기능

(1) 목적

- 학생들의 주의 환기, 학습동기 유발

- 자격 인정, 선발, 교육을 계획하고 실행한 당사자의 책무 밝히기

• 교육요구 사정, 교육목표 선정, 교육정책 수립, 학급집단 편성에 필요한 정보 수집을 위한 평가

• 프로그램 개발, 교육방법 개선, 피드백 제공, 교정지도 실시, 특별활동 운영에 필요한 정보를 수집하기 위해 실시하는 평가

• 최종 프로그램의 효율성을 확인․검증하기 위한 평가

• 일정기간 교육 후 개개 학생들의 성취도를 측정하는 평가 → 중간고사, 기말고사

• 자격판정, 일정인원 선발, 교육성과에 대한 교사의 책무성을 밝힐 목적으로 실시하는 평가

• 수업시간에 주의집중을 하도록 쪽지시험을 보는 경우

• 자연보호/불조심에 대해 주의를 환기시킬 목적으로 글짓기 경연이나 포스터를 그리는 경우

과학교육평가

(8)

4. 교육 평가의 영역 및 유형

• 평가의 유형 : 기준에 따라 다르게 분류 → 평가 영역, 평가 기능, 평가 준거

(1) 평가 영역을 기준으로 한 유형 : 블룸, 클로퍼, APU, SAPA 등 (2) 평가 기능을 기준으로 한 유형 : 진단 평가, 형성 평가, 총괄 평가

- 진단 평가(diagnostic evaluation) : 어떤 단원의 학습을 위해 수업 전에 학습자가 반드시 알고 있어야 할 기초 지식이나 기술을 갖고 있는지 점검하는 출발점 행동 평가

(evaluation of entry behavior) 또는 투입 행동 평가(evaluation of input behavior)를 의미 (예) 학년․학기 초, 매 단원 시작 전, 수업 관련 선행지식과 오개념 확인

- 형성 평가(formative evaluation) : 수업이 진행되는 도중 수업방법을 개선하고 교수, 학습을 최적화하는데 필요한 정보를 수집하기 위한 활동 → 쪽지시험, 수업시간 중 질문, 숙제 등

(예) 학습 안내를 위한 자료나 수업에 대한 피드백 자료로 활용 가능

- 총괄 평가(summative evaluation) : 교수학습이 끝난 후 학습자의 성취도를 평가하는 것

→ 학생․학부모에게 알려주는 교육 자료와 입학시험 사정자료로 활용할 수 있음

과학교육평가

(9)

4. 교육 평가의 영역 및 유형

• 평가의 유형 : 기준에 따라 다르게 분류 → 평가 영역, 평가 기능, 평가 준거

(3) 평가 준거를 기준으로 한 유형 : 준거를 교육 목표로 또는 학습자들이 받은 점수의 평균으로 구분

- 규준 기준 평가(Norm-Referenced Evaluation, NRE) : 학생들이 받은 점수의 평균을 기준 으로 평가 = 규준 지향 평가 = 상대 평가(relative evaluation)

 규준 : 점수의 평균 또는 사전에 할당해 놓은 평점 배당 비율(수, 우, 미, 양, 가)

 교육관 : 선발적 교육관에 기초 → 성취도를 변별하여 능력에 맞는 내용/수준의 교육을 해야 함

- 준거 기준 평가 평가(Criterion-Referenced Evaluation, CRE) = 준거 지향 평가 = 절대 평가 (absolute evaluation) : 학습 목표를 준거로 하여 학습 목표의 도달 여부와 그 정도를 확인, 점검하는 평가

 교육관 : 발달적 교육관에 기초 → 충분한 학습 조건, 학습 시간이 있으면 누구나 학습 목표에 도달할 수 있고, 그것이 교육의 목적

 평정 방식 : 목표 도달 – 목표 미달의 2진법적 방식

 평가의 기준이 되는 학습 목표의 수가 중요 : 비교적 좁은 범위의 특정 내용 또는 단원에 한정시켜 평가해야만 수집된 정보가 의미가 있음

과학교육평가

(10)

4. 교육 평가의 영역 및 유형

• 평가의 영역 = 과학교육 평가 틀 = 과학학습 평가 틀과 목표 : 과학교육목표에 따라 평가 영역이 결정됨

→ 학습 목표 틀을 약간 변형시켜 평가 틀로 이용

 학습목표와 평가 내용을 연관시켜주어 균형 잡힌 평가를 가능하게 해줌

(1) 과학학습 평가 틀의 개념

1) 학습 목표 분류 체계 → 평가 목표(= 과학학습 평가 틀)의 분류 틀이 됨 2) 과학학습 평가 틀의 형태 : 작성에 이용하는 분류 기준의 수에 따라 구분

 일차원적 평가 틀 : 1가지 기준

 이차원적 평가 틀(=이원목적 분류표) : 2가지 기준 - 행동(behavior) : 학자마자 여러 범주를 제시

- 내용(content) : 교육과정에 있는 과목, 소단원, 장, 절 등 - 다른 차원 : 달성도, 맥락(context), 태도 등

내용 행동

과학교육평가

(11)

2차시. 타당도와 신뢰도

(12)

-개념: 측정의 정밀성(측정 오차의 최소화) +일관성(반복 측정의 가능성) -신뢰도 & 타당도

과학교육평가

가 나 다

(13)

(1) 신뢰도와 타당도는 항상 정의 관계(positive relationship)를 갖는 것은 아니다.

(2) 신뢰도가 있다 하더라도 타당도는 결여될 수 있다.

즉, 타당도 없이 신뢰도를 확보할 수 있다.

(3) 타당도가 있다면 일반적으로 신뢰도가 있다고 볼 수 있다.

신뢰도와 타당도의 관계

과학교육평가

(14)

5. 평가문항 및 도구의 양호도 분석

• 타당도(validity) : 평가의 유형 :

평가도구가 측정하려고 하는 내용 자체를 재고 있는 충실성의 정도

→ 학습목표와 학습평가가 얼마나 일치하는지를 나타내는 것

• 타당도의 유형

1) 내용타당도 : 교수·학습에서 설정했던 학습목표를 얼마나 충실히 측정하는지 여부

→ 출제문항이 이원분류표와 일치하는지 확인

 요소

(1) 검사 전에 의도했던 학습목표에 비추어 타당한가?

(2) 문항 내용을 교과 내용의 주요 부분을 보편적으로 빠뜨리지 않고 포괄적으로 포함하고 있는가?

(3) 문항의 난이도는 학생 집단의 성질에 비추어 타당한가?

(4) 문항의 표본이 모집단을 잘 대표하고 있는가?

과학교육평가

(15)

5. 평가문항 및 도구의 양호도 분석

• 타당도의 유형

2) 구인(construct)타당도 : 인간의 심리적 특성·성질을 심리적 구인으로 분석하여 조작적 정의 부여

→ 검사 점수가 심리적 구인들을 제대로 측정하였는가를 검증

<이 특성을 가진 사람은 X라는 상황에서 Y의 행동을 보일 것이다.>

 구인(construct) : 직접 관찰될 수 없으나 검사의 성취에 반영되어 있다고 짐작되는 심리적 속성 3) 준거타당도

(1) 공인타당도 : 검사의 결과를 동시에 같은 목표를 측정하는 다른 검사 결과와 비교했을 때 공통된 요인의 정도

(2) 예언타당도 : 검사결과가 얼마나 피험자의 미래 행동·특성을 정확하고 완전하게 예언하는지의 여부

4) 안면타당도 : 문항들이 검사 제작자나 피험자에게 얼마만큼 친숙하게 보이는지의 여부

과학교육평가

(16)

5. 평가문항 및 도구의 양호도 분석

• 타당도를 높이는 방법

1) 불명확한 지시사항을 없앤다 : 문항에 대한 답안 작성 방법이 명확해야 함

2) 어휘와 문장 구조를 어렵지 않게 한다 : 독해력, 지능 측정이 아니므로 복잡한 어휘나 문장 구조를 쓰지 않음 3) 검사 문항 난이도를 적절히 조절한다 : 너무 쉽거나 어려우면 변별이 없고 타당도를 낮추게 됨

4) 모호성 : 검사 문항을 모호하게 작성하지 않도록 함 → 모호하면 높은 수준의 학생에게 혼란을 줌 5) 시간 : 검사에 충분한 시간을 제공해야 함

6) 문항 배열 :

 쉬운 것 → 어려운 것 순

 어려운 것부터 배치하면 문제를 푸는데 시간이 많이 걸릴 수 있음

 정답을 체계적으로 배열하지 않도록 주의 : (1, 2, 3, 4, 1, 2, 3, 4, …) 순으로 정답 배치 시 학생들이 답을 쉽게 추측할 수 있음

과학교육평가

(17)

5. 평가문항 및 도구의 양호도 분석

• 신뢰도 : 측정하려 하는 것을 얼마나 안정적으로 일관성 있게 측정하는지를 나타내는 정도

→ 측정의 일관성(얼마나 오차 없이 측정하는가?) (1) 요소

1) 안정성 : 측정 시간에 관계없이 일정 → 주어진 도구의 검사-재검사로 측정 2) 동형성 : 평가 방법에 관계없이 일정 → 유사한 형태의 두 개의 검사로 측정 3) 동질성 : 한 번 실시한 검사 내에서는 모두 같게

(2) 신뢰도 측정 및 이해법

 측정의 표준 오차 : 단일한 측정 대상(지능, 성적, 신장 등)을 같은 측정도구를 가지고 여러 번 반복 측정했을 때 같은 결과가 나오는 정도

과학교육평가

(18)

5. 평가문항 및 도구의 양호도 분석

(3) 종류 : 채점자 신뢰도, 검사-재검사 신뢰도, 동형검사 신뢰도, 내적 일치 신뢰도 (= 문항 내적 합치도), 반분 신뢰도

 검사-재검사 신뢰도(retest reliability) 1) 한 집단의 피험자에게 2번의 측정 실시

→ 첫 번째와 두 번째의 측정치의 일관성을 확인 2) 단점

 전후 검사의 실시 간격에 따라 오차가 생길 수 있음 → 2 ~ 4주가 적정

 평가 도구의 표본이 되는 문항의 오차변량이 진짜 변량으로 다루어짐

 전후의 검사 실시에서 여러 조건(수험 태도, 검사 지시, 검사 속도 등)을 똑같이 통제하기 어려움

과학교육평가

(19)

5. 평가문항 및 도구의 양호도 분석

 동형검사 신뢰도 : 미리 두 개의 동형검사를 제작 → 같은 피험자에게 실시

→ 두 동형검사에서 얻은 점수 사이의 상관 산출 1) 동형검사

 표면적, 외형적 내용은 다름

 측정이론에서 동질적이며 동일하다고 추정할 수 있는 문항으로 구성된 검사

 반분 신뢰도(self-half reliability)

1) 과정 : 한 개의 평가도구를 피험집단에 실시 → 적절한 방법으로 두 부분의 점수로 분할

→ 두 부분을 독립된 검사로 생각하여 둘 사이의 상관을 계산

2) 나누는 방법 : 앞뒤로 꼭 반이 되게 나눔, 기우법(odd-even method)으로 나눔, 난수표로 나눔, 의식적으로 비슷한 것끼리 짝지어 반분

3) 순수한 속도검사에서는 사용 불가

 내적 일치 신뢰도(inter-item consistency) : 검사를 구성하는 각 문항의 일관성을 측정 1) 방법 : 쿠더-리처드슨(Kuder-Richardson) 20과 21, Cronbach α (가장 많이 쓰임) 등

과학교육평가

(20)

- K-R

20

: 정답이면 1점, 오답이면 0점을 부여하는 방식으로 채점하는 문항들로 구성된

검사에만 적용되나 알파계수의 리커트 척도, 객관식, 주관식 채점하는 문항에도 적용 - K-R

21

: 논리적 접근방식이 동일하므로 같은 값이 나옴. 수식이 복잡함

• 신뢰도에 영향을 주는 요인

과학교육평가: 신뢰도

(21)

5. 평가문항 및 도구의 양호도 분석

• 신뢰도를 높이기 위한 방법

1) 검사의 길이가 늘수록 신뢰도는 증가 : 그러나 무제한적으로 늘어나지는 않음 2) 속도검사의 경우 검사-재검사 신뢰도를 사용

3) 부정행위를 하는 피험자가 있으면 신뢰도가 낮아짐 4) 검사의 문항이 동질적일수록 신뢰도가 높음

5) 변별도가 높거나 적절한 난이도의 문항이 신뢰도를 높임 6) 점수 변산의 폭이 클수록 신뢰도가 높음

7) 피험자 집단이 이질적일수록 신뢰도가 높음 8) 피험자의 동기가 적절히 높을 때 신뢰도가 높음

과학교육평가: 신뢰도

(22)

5. 평가문항 및 도구의 양호도 분석

• 난이도(item difficulty, 곤란도) : 특정 문항을 맞춘 사람의 비율

1) 규준 지향 검사 시 0.5가 바람직함 2) 다른 답지를 선택할 확률이 비슷해야 함

• 변별도(discrimination index) : 검사가 재려고 하는 능력이 높은 학생과 낮은 학생을 잘 구별해 주는 정도

1) 상위집단과 하위집단의 난이도 차이로 구분하는 방법

2) 각 문항의 점수와 전체 점수의 상관계수로 구하는 방법

과학교육평가

난이도 = 정답자 수

전체 응답자 수

변별도 = (상위집단의 정답자 수) – (하위집단의 정답자 수)

한 집단의 학생 수(상위집단 또는 하위집단)

(23)

3차시. 과학지식의 평가

(24)

1. 지식 평가 방법 : 보통 지필 평가 방법을 많이 사용

• 지필 평가의 유형

선택형

조합형 연결형

진위형 선다형

서답형

논술형 완성형 단답형

과학지식의 평가

(25)

1. 지식 평가 방법

• 선택형 : 주어진 답지 중 정답을 선택 → 응답이 고정된 형태 1) 선다형(multiple-choice) : 여러 개의 답지 중 정답 선택

예) 5지 선다형

 정답지의 성격에 따른 구분

- 정답형(correct answer form) : ‘~중 옳은 것은?’ → 정답은 1개 - 최선답형(best answer form) : ‘~중 가장 옳은 것은?’ → 정답은 1개 - 다답형(multi response type) : 정답이 두 개 이상

- 부정형 : ‘~중 틀린 것은?’ → 정답은 1개

 문두의 형태에 따른 구분 : 미완성 문장형, 불완전 답지형, 복합형 등

2) 진위형(true/false) : O, X 문제

3) 연결형(matching) : 전제부와 답지부에서 가장 적합한 항목끼리 서로 연결 4) 조합형 : 3~4개의 <보기> 중 몇 개를 조합하여 답지를 구성

 구성 : 문두+<보기>+답지부(보기 항목의 다양한 조합으로 이루어짐)

 고부담(high-stake) 시험에서 많이 활용 : 수능 등

과학지식의 평가

(26)

1. 지식 평가 방법

• 선택형 : 주어진 답지 중 정답을 선택 → 응답이 고정된 형태 5) 선택형 문항의 장단점

장점 단점

 시험에서 풀 수 있는 문항이 많아 적용 범위와 신뢰도가 높 다.

 성취도가 글쓰기 실력에 의존하지 않는다.

 채점의 신뢰도가 높다.

 점수에 대한 통계적 분석이 쉽다.

 사전 검사를 통해 문항의 질을 높게 유지할 수 있다.

 학생들이 정답을 선택한 이유에 대한 직접적 증거가 없다.

 추측(guess)을 통해 정답을 얻을 가능성이 있다.

 복잡한 지식의 구조나 이유는 평가할 수 없다.

 문장 제작이 어렵고, 만들어야 하는 문항 개수도 많다.

과학지식의 평가

(27)

1. 지식 평가 방법

• 서답형 : 학생이 직접 답안 내용을 위한 정보를 제공하거나 서술 1) 단답형 : 짧은 답안을 직접 쓰는 형태

2) 완성형 : 불완전한 문장이나 도표 등을 완성시키는 형태

3) 서술형 : 어떤 주제에 대해 학습한 내용을 문장 형태로 답하기

 특성

개인의 생각․주장을 넣지 않음 → 학습 내용, 객관적 사실을 서술, 반응의 자유도는 매우 높음

 장단점

장점 단점

 복잡한 구조의 지식과 추리를 요구한다.

 학생들의 지식·이해를 선택, 통합, 구성하는 능력을 설명할 수 있 다.

 형성 평가에서 사용하면 피드백을 하기 용이하다.

 학생들이 불확실한 것을 숨기거나 지정된 주제에 대해 간과하거나 무시할 수 있다.

 채점자의 신뢰도를 높게 유지하기 어렵다.

과학지식의 평가

(28)

1. 지식 평가 방법

• 서답형

3) 서술형(content essay) : 어떤 주제에 대해 학습한 내용을 문장 형태로 답하기

 서술형 문항의 분류 ㄱ. 응답 제한형

a. 내용 제한형 : 응답의 내용을 특정 범위로 제한

예) 누대구조의 형태를 고용체의 생성으로 설명하시오.

b. 분량 제한형 : 응답의 글자 수, 행 수, 문장 수 등을 제한 예) 중성자별의 물리적 특징을 2가지만 드시오.

c. 서술방식 제한형 : 서술하는 방법을 제한

예) 적운과 적란운의 공통점과 차이점을 비교하시오.

ㄴ. 응답 자유형 : 논의할 사항이나 조직의 형태 등에서 어떠한 제한도 가하지 않음

a. 장점 : 지식의 종합력, 평가력 등 고등 정신 능력의 평가에 효과적 b. 단점 : 학생들의 응답 방식의 예측이 어려움, 채점이 어려움

과학지식의 평가

(29)

2. 지필 평가 문항 작성의 유의점

• 명확성 : 학생들의 평가 문항을 평가자의 의도대로 이해할 수 있도록 해야 함

• 정확성 : 1) 문항은 과학적으로 올바른 개념과 이론을 담고 있어야 함 2) 정답도 과학적으로 정확해야 함

예) 고기압에서 바람은 어떻게 불어나가는가? ⇨ 북반구에 있는 고기압에서 바람은 어떻게 불어나가는가

• 편의성 : 평가 목표 이외의 다른 요인의 영향 최소화 → 학생들이 친숙한 형태나 방식으로 문제와 답지를 제공

• 간결성 : 문제 해결에 꼭 필요한 부분만 남기고 나머지는 모두 없앰 1) 이유 : 불필요한 부분이 문항에 포함

→ 독해력 등과 같이 평가 목표와 무관한 요인 때문에 오답할 소지가 있음 2) 답지부에 같은 말이 되풀이되지 않도록 함

• 평가 준거를 미리 작성 : 문항이 가지고 있는 문제점이나 개선점을 찾아낼 수 있음

• 추측 가능성 배제

1) 선택형 문항에서 특히 고려해야 함

2) ‘반드시’, ‘절대로’등과 같이 절대적 속성을 표현하는 답지를 사용하지 않음 3) 문제에서 정답을 추측할 수 있는 부분이 없도록 함

과학지식의 평가

(30)

♣ Self Smart Learning

• 타당도는 평가도구가 측정하려고 하는 내용 자체를 재고 있는 충실성의 정도

이며, 신뢰도는 측정하려 하는 것을 얼마나 안정적으로 일관성 있게 측정하는

지를 나타내는 정도이다. 타당도와 신뢰도를 높이는 방법에 대해 각각 논의해

봅시다.

수치

Updating...

참조

Updating...

관련 주제 :