고등학교 통합과학 평가도구 개발의 실제 - 선택형 평가도구 개발 -
선택형 평가의 종류와 활용
선택형 평가도구의 개발 원리(선다형 문항 중심)
1 선택형 평가의 종류와 활용
1) 선택형 평가의 종류
선택형 평가 문항은 크게 진위형, 배합형, 선다형으로 분류할 수 있다. 각 평가 문항의 종류에 따른 성격과 장단점은 다음과 같다.
(1) 진위형(예: OX 문제)
① 진위형 문항은 수업 시간에 이용되는 학생 활동지에서 쉽게 찾아볼 수 있다. 이 문항 은 제시된 진술문에 학생이 옳은지 그른지를 응답하는 문항 형태로, 제작이 용이하여 교사들이 비교적 쉽게 이용하는 문항 형태이다.
② 장단점 : 진위형 문항은 초등학교에서부터 수강생이 많은 대학교 교양 과목에 이르기 까지 비교적 폭넓게 사용된다.
장점 단점
Ÿ 문항 제작이 간편하다. 간단한 진술문으로 구성되므로 도구 개발 시간이 짧다.
Ÿ 채점 결과의 시비가 매우 적다. 문항의 답이 비교적 명확하여 객관성을 확보하기 용이하다.
Ÿ 제한된 평가 시간 동안 다수의 문항으로 많은 교과 내용을 측정할 수 있다.
Ÿ 고급 사고력보다는 암기 중심의 단순 사고력을 측정할 가능성이 높다.
Ÿ 추측에 의하여 문항의 답을 맞힐 가능성이 높은 편이다
Ÿ 학업 성취도에 따른 변별도를 확보하기 어렵다.
(2) 배합형(예: 연결형 문제)
① 배합형이란 일련의 문제군과 답지군을 배열하여 질문들에 대한 정답을 답지 군에서 찾아 연결하는 문항 형태이다. 따라서 배합형은 선다형 문항의 특수한 형태로 볼 수 도 있다. 이 문항에서는 그림, 그래프, 도표 등을 사용할 수 있다.
② 장단점
장점 단점
Ÿ 명확한 정답이 명확하므로 채점이 용이하다.
Ÿ 시간 순서, 일련의 과정, 분류하는 능력 등을 측정하기 쉽다.
Ÿ 유사한 사실을 비교하고, 선택하는 능력을 측정하기에 좋은 형태이다.
Ÿ 문항 제작의 경험이 풍부하지 않으면 문항의 질을 확보하기 어렵다.
(요령만으로 쉽게 답을 찾을 수도 있다.) Ÿ 단순한 사실을 주로 묻는 경우가 많아
고급 사고력을 측정하기가 어렵다.
Ÿ 단순 지식 및 암기 위주의 교육을 유도할 수 있다.
(3) 선다형
① 선다형 문항의 특징과 종류
- 선다형 문항은 선택형 문항 유형 중 가장 많이 쓰이는 문항으로 일반적으로 답지가 4 개 혹은 5개로 이루어진다. 선다형 문항은 매우 쉬운 문항에서부터 어려운 문항까지 제 작할 수 있어 학업 성취도 검사에 흔히 사용된다. 선다형 문항의 종류에는 정답형, 부 정형, 최선답형, 다답형, 합답형으로 구분할 수 있다.
구분 특징 문항의 예
정답형 - 옳은 답지를 선택하는 형식
- 여러 개의 답지 중 한 개만 옳은 진술 ~에 대한 설명으로 옳은 것은?
부정형 - 옳지 않은 답지를 선택하는 형식
- 여러 개의 답지 중 한 개만 옳지 않은 진술 ~에 대한 설명으로 옳지 않은 것은?
최선답형 - 가장 적절한 답지를 선택하는 형식
- 논쟁이 가능하므로 문항 제작이 다소 어려움 ~에 대한 설명으로 가장 적절한 것은?
다답형 - 답지 중 정답이 여러 개인 형식 - ‘여러 개 골라야 한다’는 점을 명시함
~에 대한 설명으로 옳은 것을 2개 고 르시오.
합답형 보기에서 제시된 여러 개의 진술문 중 하나 혹은 그 이상의 조합으로 정답을 구성하는 형식
~ 옳은 것만을 <보기>에서 있는 대로 고른 것은?
② 장단점
장점 단점
Ÿ 주어진 시간 동안 많은 문항을 이용하여 광범위한 학습 영역을 평가할 수 있어서 내용 타당도를 증진시킬 수 있다.
Ÿ 다른 문항 유형에 비해 교수학습의 핵심 내용을 추출하여 측정하기가 용이하다.
Ÿ 문항의 모호성을 배제할 수 있으며, 채점자의 주관성을 배제할 수 있다.
Ÿ 양질의 문항은 고급 사고력을 측정할 수 있다.
Ÿ 주어진 답지 내에서 하나를 선택하게 하므로 창의성, 문제해결력 등의 복합적 인지 능력 향상을 제한할 수 있다.
Ÿ 주어진 답지에서 정답을 선택하므로 문항의 답을 모를 때 추측에 의하여 답을 맞힐 확률이 존재한다.
Ÿ 양질의 문항을 제작하기 위해 많은 훈련과 노력이 필요하다.(매력적인 오답지 제작이 어렵고, 문항 제작 시간이 길다.)
구분 특징
진단 평가
성격 및 의의
Ÿ 학생의 기초 능력이나 본시 학습 전에 관련 학습에 대한 이해 정도를 진단하는 평가이다.
Ÿ 교수학습 전략을 세우기 위한 기초 자료를 얻을 수 있다.
기능 및 목적
Ÿ 선행 학습의 결손을 진단하고 이에 대한 교정 및 보충을 위한 평가→ 주요 학습 요소에 대한 결함 발견
Ÿ 학습하고자 하는 내용 요소를 학습자가 미리 달성한 정도 평가 → 평가 결과에 따라 심화 또는 보충을 통해 학습효과를 극대화 Ÿ 학습자의 흥미, 성격, 적성 등을 고려한 적절한 교수를 위한 평가 → 학습 방해 요인 해결을 위한 전략 수립
형성 평가
성격 및 의의
Ÿ 교수학습이 진행되는 동안 학습 목표와 관련된 사항을 확인함으로써 학습자들에게 피드백을 주고, 학습 행동을 강화하고 교사의 학습 지도 방법 등을 개선하기 위해 실시되는 평가이다.
Ÿ 학습 목표에 기초하여 평가하며, 학습 개선을 목적으로 하여 절대 평가 도구를 제작한다.
기능 및 목적
Ÿ 평가 결과를 통해 학습활동의 문제점을 진단하고, 학습지도 방법의 개선에 대한 즉각적 결정을 내리는데 유용하다.
Ÿ 학습자에게 평가를 통한 목표 달성에 대한 성취감을 제공해줌으로써 다음 학습에 대한 적극적 동기를 유발한다.
Ÿ 소단원 단위로 교수학습의 진행 과정에서 자주 실시하면 학습 결손의 누적 현상을 줄일 수 있다.
2) 선택형 평가의 활용
학교에서 선택형 평가가 주로 활용되는 경우는 크게 3가지로 나눌 수 있다. 첫 번째는 교수학습 활동 과정에서 활용하는 경우이고, 두 번째는 내신 성적 산출을 위해 활용하는 정기 고사(중간고사, 기말고사 등)의 경우이다. 세 번째는 우수 학생 선발을 위해 경시대 회 등에서 활용하는 경우이다.
(1) 수업 시간에 이루어지는 선택형 평가
교수학습 단계에 따라 진단 평가, 형성 평가, 총괄 평가로 구분할 수 있다.
총괄 평가
성격 및 의의
Ÿ 학생의 학습 성취 수준을 종합적으로 확인하려는 평가이다.
Ÿ 전체적인 교과학습 내용에 대한 교수의 효과와 학생의 성취 수준을 평가한다.
기능 및 목적
Ÿ 교수방법 개선이나 교수학습 효과를 판단할 수 있으며, 평가 결과를 활용하여 진로 지도 자료로 이용할 수 있다.
Ÿ 성적을 결정하거나 석차를 산출할 수 있으며, 집단 간의 학습 효과를 비교할 수 있다.
Ÿ 이원목적 분류표를 작성하고 평가를 실시하므로 학습 목표의 달성도를 정량적으로 비교할 수 있다.
(2) 정기 고사에 이루어지는 선택형 평가
① 교육과정에서 제시되어 있는 성취기준을 바탕으로 이원목적 분류표를 작성하여 평가 가 이루어져야 한다.
② 성취기준에 도달한 정도를 파악하는 것이 중요한 핵심이나, 현실적으로 내신 성적을 산출해야 하므로 성취 수준에 따른 변별도 확보도 중요하다. 그러나 평가 목적이 석 차 산출로 치우치면 교육 과정을 벗어나는 것을 쉽게 용인하는 경우가 발생할 수 있다는 점을 주의해야 한다.
③ 대부분의 학교에서는 정기 고사에서 선다형 문항과 서술형 문항을 제작하여 평가한 다. 특히 선다형 문항의 경우, 자료 분석이나 결론 도출 등의 탐구력을 측정하는 문 항으로 재구성할 수 있으므로 문항 제작에 시간과 노력을 투자할 필요가 있다.
④ 양질의 문항 개발과 더불어 내용 타당도와 평가 신뢰도를 확보하기 위한 노력이 중 요하다. 기출 문항(수능 문항, 학력평가 문항 등)을 단순하게 변형하여 활용하기보다 는 학습자의 특성과 평소 수업 시간에 이루어진 교수학습 활동을 고려한 문항 제작 이 이루어져 한다.
(3) 선발 고사에 이루어지는 선택형 평가: 경시대회 등
① 학교 현장에서는 우수 학생 선발을 위한 고사(경시대회 등)를 선택형 평가 도구를 이 용하여 실시하는 경우도 많다. 이 경우에는 주로 최상위권 변별이라는 목적으로 평가 가 이루어진다.
② 선발을 위한 평가에서 가장 주의할 점은 교육과정을 벗어난 고난도 문항을 사용하지 않도록 주의해야 한다. 특히 선행 학습을 통해 고득점을 받을 수 있다는 시그널을 학 습자와 학부모에게 주지 않아야 한다. 이는 선행 학습을 유발하는 주요 원인이 된다.
쉽지 않은 일이지만, 교사의 전문성을 살려 철저하게 교육과정 내에서 고난도 문항을 제작해야 한다.
3) 선택형 평가의 장단점과 유의 사항
○ 선택형 평가의 장점
문항 형식의 융통성이 매우 큽니다. 특히 선다형 문항의 경우 약간의 문항 변형을 통해 단순 정보나 지식뿐 아니라, 실생활이나 특정한 상황에 기반하여 응용력이나 문제 해결 력 등도 측정할 수 있다. 또한 채점이 쉽고 객관성이 높아 초등학교부터 대학교 수준의 평가 시험, 일반 기업체의 선발 고사까지 유용하게 이용되며, 교육 효과를 파악할 수 있 는 정량적인 통계 자료를 획득하기에 매우 유리합니다.
○ 선택형 평가의 단점
선택형 평가로는 고등 사고력을 정확하게 측정하기에 한계가 있습니다. 특히 정답을 고 르는 요령을 배우는 것만으로도 성취도 결과를 높일 수 있다는 점도 평가의 단점 중 하 나입니다. 이러한 한계점을 줄일 수 있는 양질의 평가 문항을 제작하려면, 평가 도구 제 작자가 문항 제작의 지식 및 기술 습득을 위해 많은 훈련과 경험이 필요합니다. 더불어 문항 제작 과정에서 좋은 오답지를 만드는 일이 쉽지 않다는 단점도 있습니다.
○평가 결과의 활용 방법
선택형 평가는 평가 결과를 정량적으로 분석하여 교수학습의 효과를 판별하고 학습자와 교수자가 피드백을 받기에 용이한 평가입니다. 즉, 학습자의 학습 목표 도달 정도와 학 습 집단의 성취도 등의 통계적 비교가 용이합니다. 또한 정답지가 아닌 오답지를 어떻게 제작하느냐에 따라 학습자의 오개념 파악도 가능합니다. 이와 같이 교수학습 결과와 관 련된 통계적인 수치가 산출되면 이를 활용하여 교수학습 방법 개선에 직접적으로 이용 할 수 있습니다.
2 선택형 평가도구의 개발 원리(선다형 문항 중심) 1) 선택형 평가 문항의 종류별 제작 원리와 유의 사항
선택형 문항의 종류(진위형 문항, 배합형 문항, 선다형 문항)에 따른 제작 원리와 유의
사항에 대해 알아보자.
(1) 진위형 문항
① 진위형 문항(true and false type)은 제시된 진술문이 맞는지 틀리는지를 판단하는 문 항 형태이다. 이 문항은 문항 제작이 쉽고 즉각적인 피드백이 용이하기 때문에 학교 현장에서 흔하게 이용되고 있다.
② 제작 원리 및 유의사항
○ 진술문에 주요 학습 내용(핵심 내용, 주제어 등)을 포함하도록 한다.
(예) 펜지어스와 윌슨은 빅뱅 우주론의 증거가 되는 복사를 최초로 관측하였다. ( O, X ) → 우주 배경 복사는 빅뱅 우주론이 옳다는 관측 증거이다. ( O, X )
○ 하나의 진술문에 하나의 내용만 포함되도록 구성한다.
(예) 시간이 흐를수록 우주의 크기와 밀도는 계속 증가하였다. ( O, X ) → 빅뱅 이후 현재까지 우주의 밀도는 계속 증가하였다. ( O, X )
○ 일반화하기 어려운 내용에 대해 옳고 그름을 묻지 않도록 한다.
(예) 별의 중심부에서는 수소 핵융합 반응이 일어난다. ( O, X )
→ 주계열성의 중심부에서는 수소 핵융합 반응이 일어난다. ( O, X )
○ 이중 부정은 사용하지 않으며, 부정문보다는 긍정문으로 진술한다.
○ 옳은 진술문과 틀린 진술문의 문항 수 비율이 비슷하도록 조절한다.
(2) 배합형 문항
① 배합형 문항은 연결형 문항이라고도 하는데, 일련의 문제군과 답지군을 배열하여 해 당 문제에 대한 정답을 답지군에서 찾아 연결하는 문항 형태이다. 이 문항에서는 그 림, 사진, 도표 등의 자료를 사용하여 문항을 구성할 수도 있다.
② 제작 원리 및 유의 사항
○ 문제군과 답지군에 각각 동질성이 유지되어야 한다.
○ 답지군의 답지 수는 문제군의 문제 수와 같거나 많아야 한다.
○ 문제군의 문제들은 왼쪽(또는 위쪽), 답지군의 답지들은 오른쪽(또는 아래쪽)에 배 열하고 번호를 각기 다르게 부여한다.
○ 문제에 대한 지시문이 명확하게 전달되도록 해야 한다.
* 배합형 문항의 제작 원리와 유의 사항을 고려한 예시 문항은 다음과 같다.
(예시 1) 다음은 천문학자와 그들의 주장을 순서 없이 나열한 것이다.
옳게 연결하시오.
(가) 허블 ◦ ◦ ㉠ 우주에서는 새로운 물질이 계속 생성되어 있다.
(나) 가모프 ◦ ◦ ㉡ 외부 은하들이 서로에게서 멀어지고 있다.
(다) 호일 ◦ ◦ ㉢ 모든 원소들은 빅뱅 이후에 만들어졌다.
(가)-( ), (나)-( ), (다)-( )
(예시 2) 그림은 물질을 구성하는 입자를 나타낸 것이다.
A, B, C에 해당하는 입자를 <보기>에서 찾아 기호를 쓰시오.
<보기>
㉠ 쿼크 ㉡. 전자 ㉢ 이온 ㉣ 원자핵
A - ( ), B - ( ), C - ( )
(3) 선다형 문항
① 선다형 문항은 2개~5개의 답지 중에서 해당 문항에서 요구하는 답지를 선택하는 문 항으로 선택형 문항 유형 중에서 가장 많이 활용되는 문항이다. 선다형 문항은 쉬운 문항부터 어려운 문항까지 난이도 조절이 가능하며, 단순한 용어 또는 지식에서부터 원리나 이론까지 물어볼 수 있다.
② 제작 원리 및 유의 사항 (문항 제작 과정의 세부적인 내용은 14차시에서 다룸)
○ 중요한 학습 내용을 묻고 있는 문항이어야 한다.
→ 교육과정에서 제시된 성취기준을 바탕으로 선다형 문항이 구성되어야 한다.
○ 질문의 내용이 단순, 명쾌하게 구조화되어야 한다. 문항이나 답지의 서술이 간단하고
명확한 단어로 서술되어야 한다.
→ 무엇을 묻고 있는지 명확해야 한다. 즉, 문항에서 묻고 있는 내용 요소에 대한 이 해 여부가 문항 해결의 열쇠가 되어야 하는데 문항의 표현이 모호하여 국어적 해석 이 명료하지 못해 문항 해결에 실패하지 않도록 해야 한다.
○ 문항의 질문 형태가 가능하면 긍정문이어야 한다.
→ 학생들의 착각이나 실수를 줄여줄 수 있다.
○ 문항의 질문 내용 중 답을 암시하는 내용이 포함되어 있지 않아야 하며, 문항의 답 지들의 내용이 상호 독립적이어야 한다.
→ 학생들이 답지를 선택하는 데 있어 학습 내용 이외의 단서를 제공하지 말아야 한 다. 즉, 학습 내용이 아닌 문항 풀이 요령만으로 문제를 해결하지 못하도록 해야 한 다.
○ 각 답지에 똑같은 단어들이 반복되는 것을 피하고, 필요 없는 정보는 문항에서 제시 하지 않도록 한다.
→ 불필요한 문항 풀이 시간을 줄여 주고, 깊이 생각할 수 있는 시간을 늘려주도록 한다.
○ 답지들의 형태를 유사하게 하여야 한다.
→ 답지 배열이나 서술 방식의 차이만으로 정답을 추정할 수 없도록 해야 한다. 따라 서 답지의 길이를 가능하면 비슷하게 하는 것이 좋고, 길이가 다른 경우 짧은 길이의 답지부터 배열하는 것이 좋다.
* 선다형 문항의 제작 원리 및 유의 사항을 고려하여 문항을 수정한 사례
(수정 전 문항)
그림은 어느 별의 진화 과정을 나타낸 것이다.
이에 대한 설명으로 옳은 것만을 <보기>에서 있는 대로 고른 것은?
＜보기>
ㄱ. (가) → (나) 과정에서 별의 주요 에너지원은 중력 수축 에너지이다.
ㄴ. 철보다 무거운 원소는 (다)에서 생성된다.
ㄷ. 별의 진화 과정을 통해 다양한 원소가 생성된다.
① ㄱ ② ㄱ, ㄴ ③ ㄱ, ㄷ ④ ㄴ, ㄷ ⑤ ㄱ, ㄴ, ㄷ
(수정 후 문항)
그림은 성운에서 탄생한 별이 다시 성운으로 되돌아가는 과정을 나타낸 것이다.
이에 대한 설명으로 옳은 것만을 <보기>에서 있는 대로 고른 것은?
＜보기>
ㄱ. (가) → (나) 과정에서 중심부 온도가 하강한다.
ㄴ. (나)의 주계열성은 태양보다 질량이 크다.
ㄷ. 성운에서 철보다 무거운 원소의 비율은 (라)가 (가)보다 높다.
① ㄱ ② ㄴ ③ ㄱ, ㄷ ④ ㄴ, ㄷ ⑤ ㄱ, ㄴ, ㄷ
* 제시된 그림 자료에 부합하는 표현으로 문두를 수정함
* 교육과정을 고려하여 보기 ㄱ의 내용을 수정함
* 보기 내용의 중복을 고려하여 보기 ㄴ, ㄷ의 내용을 수정함
* 답지에 제시된 보기 개수를 동일하게 수정함
2) 선택형 평가 결과의 분석
(문항 분석, 피드백에 대한 구체적인 사례는 14차시에서 다룸) (1) 문항 분석의 필요성
① 문항 분석을 통해 오답이 있거나 문제의 소지가 있는 문항을 확인하고, 정답률과 변 별도 및 답지 분포에 대한 분석을 통하여 평가 문항의 타당성을 검토하고, 향후 평가 도구 제작의 개선 방향을 모색할 수 있다.
② 문항 분석을 통해 학생들이 성취기준에 도달한 정도를 파악하고, 성취수준에 따른 이 해 및 발달 정도의 차이를 파악할 수 있다.
③ 학생들의 성취기준 도달 정도가 낮거나 정답률이 낮은 성취기준에 대해 교수법을 검 토하고, 성취수준에 따라 보충 혹은 심화가 필요한 영역을 확인할 수 있다. 즉 문항 분석은 교수 학습 개선을 위한 피드백을 제공하는 역할을 한다.
(2) 문항 분석 방법
① 문항 정답률(문항 난이도): 문항의 어렵고 쉬운 정도, 전체 응답자 중 정답을 맞힌 학 생의 비율을 %로 나타낸 것이다. 정답률이 낮은 문항과 높은 문항까지 고르게 포함 되도록 하는 것이 좋다.
② 변별도: 평가에 참여한 집단을 상위 집단과 하위 집단으로 나누었을 때 상위 집단의 정답률과 하위 집단의 정답률을 비교한 것이다. 만약 두 집단 사이의 정답률 차이가 거의 없다면 해당 문항은 성취 수준의 차이를 변별하는 기능이 없는 문항이다. 문항 변별도는 보통 정답률이 50%일 때 높게 나올 가능성이 크다.
③ 문항 반응 분포: 문항에서 제시된 답지에 학생들이 어떻게 반응했는지 분석하는 것이 다. 이를 통해 정답지와 오답지의 역할과 기능을 확인할 수 있다.
(3) 피드백
평가 결과를 통해 학생은 현재 성취수준과 학생이 도달해야 할 성취수준 간의 차이를 알 수 있다. 따라서 피드백은 교사와 학생에게 매우 중요한 역할을 한다.
① 평가 결과의 피드백을 통해 교사는 자신의 교수학습 및 평가의 질을 개선할 수 있다.
○ 평가 결과를 수업에 환류하여 교수학습 방법 개선에 활용한다. 예를 들어 평가 결 과에서 과학 용어에 대한 이해 부족, 그래프 해석 능력 부족 등이 두드러졌다면 이를 보완할 수 있도록 학생 활동지를 활용하여 교수학습 방법을 개선할 수 있 다.
○ 학습자의 성향을 파악하여 이를 고려한 교수학습을 계획한다. 예를 들어 평가 결 과로부터 학급 간 성취도 차이가 클 때 학급의 성향을 고려한 교수학습을 적용해
야 한다. (예) 과학중점학교의 경우 과학중점학급과 일반학급을 동일한 교수학습 방법으로 수업을 하고 있다면 학습자를 고려한 교수학습에 대해 검토할 필요가 있다.
② 평가 결과의 피드백을 통해 학생은 학습 개선을 위한 구체적인 정보를 제공받는다.
또한 학습 동기를 향상시켜 주는데 도움을 준다. 효과적인 피드백이 되기 위해서는 다음에 주의해야 한다.
○ 학생에게 피드백이 적시에 제공되어야 한다.
○ 경쟁보다는 학생들의 학습 동기를 촉진시키는데 중점을 두어야 한다.
○ 개인별 특성을 고려한 맞춤형 피드백이 이루어져야 한다.
○ 피드백의 내용은 학생의 성장을 고려한 것이어야 한다.