· ( )
·
오늘의 키워드
문항 이원목적분류표
문항 제작 전에 각 문항에 대한 성취 기준과 관련된 내용 요소 및 행동 영역을 조합 -
한 표
진단평가
교수 학습을 시작하기 전에 학생들이 학습수준 정도를 파악하기 위한 평가 - ·
형성평가
교수 학습의 진행 중간 중간에 학생들이 학습의 내용을 잘 이해하고 학습 진도를 잘 - ·
따라가고 있는지를 확인하기 위한 평가 총합 총괄 평가( )
한 학기 혹은 한 학년이 끝나는 시점에 이루어지는 평가 -
학생들이 교육과정을 통해 의도된 성취기준에 어느 정도 도달하고 있는지를 확인하는 -
평가
1 문항 제작의 일반적인 절차
문항 제작의 일반적 절차 1)
사실 문항의 개발은 반드시 정해진 절차를 따라야 하는 것은 아닙니다 그러나 논리적으로. 세분화된 절차를 따라 개발하게 되면 문항 개발에 있어 논리적 오류나 실수를 줄일 수 있 습니다 대체로 평가목표를 설정하고 설정한 목표에 따라 문항을 제작한 다음 문항을 검토. , 하여 수정하는 과정을 거칩니다 다음의 평가 문항 제작 절차를 각 단계별로 확인해 보겠. 습니다.
|
평가 문항 제작 절차|
1.
2.
3.
4.
5.
6.
7.
8.
각 단계별로 살펴봅시다.
첫 번째 평가 목적의 설정 단계입니다 이 단계에서는 평가의 목적이 무엇인지 확인하고, . 이에 맞게 평가 문항의 평가 요소와 난이도를 고려하여 문항 유형과 내용을 선정하게 됩니 다 평가는 평가의 목적에 따라 크게 진단평가 형성평가 총합 총괄 평가로 구분될 수 있습. , , ( ) 니다 진단평가는 교수 학습을 시작하기 전에 학생들이 학습수준 정도를 파악하기 위한. · 평가로서 이 경우 평가 문항의 평가 요소는 선수학습 내용이 되고 문항은 대체로 쉽게 출, , 제됩니다 형성평가는 교수 학습의 진행 중간 중간에 학생들이 학습의 내용을 잘 이해하. · 고 학습 진도를 잘 따라가고 있는지를 확인하기 위한 평가입니다 따라서 문항의 평가 요. 소는 현재 학습하고 있는 내용들로 이루어지며 현재 학생들의 절대적 수준을 확인하기 위, 한 문항들을 출제하게 됩니다 반면에 총합 총괄 평가의 경우는 한 학기 혹은 한 학년이 끝. ( ) 나는 시점에 이루어지는 평가로 학생들이 교육과정을 통해 의도된 성취기준에 어느 정도, 도달하고 있는지를 확인하는 평가입니다 따라서 문항들의 평가요소 또한 한 학기나 학년. 전반의 내용을 성취기준으로 삼아 문항을 선별 제작합니다, .
두 번째 평가 대상 집단의 특징 및 수준을 파악하는 단계입니다 이 단계에서는 시험을 치, . 르게 될 학생들의 특징과 통과 수준을 파악합니다 수험자 집단의 특성을 파악하여 성취수. 준을 어느 정도 예측하고 문항 내용이나 난이도를 적절하게 구성합니다 또한 학생들의 성. 취수준에 맞게 문항 수와 배점 그리고 응답 시간 등을 조절합니다, .
세 번째 출제 계획표를 작성하는 단계입니다 이 단계에서는 출제자간의 협의를 통해 평가, . 의 목적과 교수 학습 상황을 고려하여 문항의 유형 문항 수 배점 등을 설정합니다 또한· , , . 문항에 따라 출제자를 배정할 수도 있습니다.
네 번째 성취 기준과 평가 기준을 분석하는 단계입니다 교수 학습 상황에서 교수 학습, . · · 목표를 설정하는 것처럼 평가의 상황에서는 문항마다 성취 기준을 설정할 수 있습니다, . 즉 성취 기준이란 문항을 통해 측정하고자 하는 특성을 의미합니다 그리고 평가기준은 성, . 취기준을 상 중 하 혹은 여러 단계의 수준으로 기술한 것으로 평가기준을 통해 성취 기, , , 준의 도달 정도를 파악할 수 있습니다 평가 기준에 따라 문항의 난이도나 채점 기준을 조. 절하는 것이 가능합니다 가령 우리나라 자연재해의 종류 및 대책을 탐색하고 그와 관련. , , 된 생활 안전 수칙을 실천하는 태도를 지닌다라는 성취기준을 설정할 수 있습니다 그리고. 이 성취기준의 도달 정도를 세 단계로 구분하여 우리나라 자연재해의 종류와 그에 따른, 대책을 제시할 수 있다를 ‘ ’하 수준 우리나라 자연재해의 종류와 그에 따른 대책을 열, 거하고 관련된 생활 안전 수칙을 제시할 수 있다를, ‘ ’중 수준 그리고 우리나라 자연재, 해의 종류와 그에 따른 대책을 설명하고 그와 관련된 생활 안전 수칙의 실천 방안을 제시, 할 수 있다를 ‘ ’상 수준으로 설정할 수 있습니다 수준이 올라갈수록 학생들이 성취해야. 하는 요소들이 하나씩 늘어납니다. [박은아 외. 2015 개정 교육과정에 따른 초중학교 사회 과 평가기준 개발 연구. 2016. 56 ]쪽
다섯 번째 문항 이원목적분류표를 작성하는 단계입니다 문항 이원목적분류표는 문항 제작, . 전에 각 문항에 대한 성취 기준과 관련된 내용 요소 및 행동 영역을 조합한 표입니다 이. 원목적분류표를 통해 문항제작자는 무엇을 어떻게 평가할 것인지를 일목요연하게 파악할 수 있고 이를 통해 평가가 학습의 주 내용요소를 고르게 반영하고 있는지 혹은 특정 행동, 영역에 치우치지 않도록 계획되었는지를 확인할 수 있습니다 이원목적분류표를 작성할 때. 에는 평가를 통해 측정하고자 하는 지식 기능 태도를 상세하고 명료하게 진술하여 각 문, , 항의 측정 내용을 확인하고 구체화하는 데 도움이 될 수 있도록 작성해야 합니다 다음은. 이원목적분류표 양식의 예입니다.
|
이원목적분류표 양식의 예시|
여섯 번째 문항을 구상하여 초안을 작성하는 단계입니다 이 단계에서는 성취기준에 맞는, . 문제 상황을 결정하고 문항의 체계를 구상한 후에 문항의 초안을 작성합니다 문항 초안을, . 작성할 때에는 다양한 차원에서의 능력을 측정할 수 있도록 다양한 상황을 설정하고 참고 자료를 수집하도록 합니다 문항이 어떠한 과제 혹은 상황을 통해 측정될 수 있는지 가장. 적절한 평가방안을 고려해서 작성하도록 합니다.
다음은 문항 초안 작성 시 유의해야 할 사항들입니다
주변적 지식 단순 지식보다는 창의적 문제해결력 측정의 문항을 개발합니다
1. , , .
교육 내용에 대한 흥미를 유발하며 호기심과 도전의식을 유발하는 문항을 개발합니다
2. , .
평가내용 지식 기능 태도 을 측정하는데 적합한 문항을 개발하여 교수 학습 개선에 필
3. ( , , ) ·
요한 정보를 추출할 수 있어야 합니다.
문항풀이에 요구되는 능력이 측정하고자 하는 능력과 일치하도록 하여 문항의 타당도를 4.
높여야 합니다.
교과서의 자료를 그대로 활용하기보다는 참신한 자료를 활용하여 새로운 상황에서의 문 5.
제해결 능력과 적용 능력을 측정할 수 있도록 자료를 구성합니다.
문두는 출제의도가 분명히 드러나도록 명료하게 작성합니다
6. .
출제자가 의도하는 방향의 답안이 나올 수 있도록 지문이나 자료 그림 표 등 등을 계획
7. ( , )
한다.
학문적 오류나 사실적 오류는 없는지 정치적 사회적으로 논란이 될 만한 소지는 없는
8. , ·
지를 점검합니다.
문항 번호
내용 영역
성취 기준
행동영역 난이도
지식 이해 적용 어려윰 보통 쉬움 배점
일곱 번째 기본 답안 및 채점 기준을 작성하는 단계입니다 문항 유형에 따라 이 과정이, . 다소 복잡해 질 수도 있습니다 예를 들어 서 논술형 문항의 경우에는 수험생의 다양한. , · 답안을 채점자가 주관적인 판단 하에 채점하기 때문에 채점의 신뢰도를 높일 수 있도록, 타당하고 명확한 채점 기준을 마련하고 이 기준이 채점과정에서 일관되게 적용되도록 해야 합니다 이 부분에 대해서는 학습하기 에서 다루도록 하겠습니다. 2 .
여덟 번째 문항을 검토하고 수정하는 단계입니다 문항에 대한 검토는 타당하고 공정한 평, . 가를 위해 반드시 거쳐야 하는 작업입니다 문항 검토는 출제자가 개별적으로 수행할 수도. 있지만 동료 교사와 상호 검토를 하는 것이 훨씬 효과적입니다 동료교사 간 상호 검토를, . 통해 본인의 출제 의도를 타인이 분명히 파악할 수 있는지를 확인할 수 있으며 문항의 내, 용상 형식상 오류는 없는지 등을 다각도로 점검할 수 있습니다 검토 의견을 바탕으로 문· . 항의 초안을 수정하고 수정된 문항을 재검토하여 검토 사안이 제대로 반영되었는지를 확인 한 후 문항을 재수정하는 과정을 거쳐서 문항을 최종 확정합니다 이 과정은 일회에 그칠, . 수도로 있지만 경우에 따라 여러 번의 검토와 수정이 이루어질 수도 있습니다, .
다음은 문항을 검토하는 단계에서 살펴보아야 할 내용입니다.
|
문항 검토 체크리스트|
먼저 교수 학습이 이루어진 교육 내용 범위에 적합한 성취기준이 선정되어 문항이 만들, · 어졌는지를 확인해야 합니다 출제 범위나 수준에서 벗어난 문항이 출제되지 않아야 합니. 다 다음으로 교수 학습 개선에 필요한 정보를 주는 중요한 학습 목표를 측정하는 문항인. , · 지 확인합니다 단편적인 지식이나 정보보다는 사고력이나 문제 해결력을 측정하는 문항이. 바람직합니다 또한 평가 또한 교육의 과정으로 교육 내용에 대한 흥미를 유발하며 호기. , ,
해당 학기의 학습 내용을 대표할 만한 성취 기준이 선정되었나?
●
교수 학습 개선에 필요한 정보를 주는 중요한 학습 목표를 측정하고 있는가· ?
●
단편적인 지식이나 정보보다는 사고력이나 문제 해결력을 측정하는 문항인가?
●
교육 내용에 대한 흥미를 유발하며 호기심과 도전의식을 유발하는 문항인가, ?
●
제작된 문항은 이원목적분류표에 충실한가?
●
문항은 분명하고 애매하지 않은가 문두가 분명하여 출제 의도를 쉽게 파악할 수 있는가? ?
●
교과서의 자료를 그대로 사용하기보다는 교육적으로 의미 있고 참신한 자료를 활용하여 문항을 제
●
작하였는가?
학생들의 능력 수준에 비추어 문항의 난이도는 적당한가?
●
문항은 서로 독립적인가 중복이 되는 문항은 없는가? ?
●
문항에 학문적 오류나 사실적 오류는 없는가 혹은 정치적 사회적으로 논란이 될 만한 소지는 없? ·
● 는가?
의도한 시간 내에 충분히 답할 수 있는 문항인가?
●
심과 도전의식을 유발하는 문항을 제작하는 것이 좋습니다 다음으로 이원목적분류표와 비. 교하여 출제된 문항들이 내용 영역 행동 영역 난이도 측면에서 한 쪽에 치우지지 않게 고, , 르게 출제되었는지 확인합니다 각 문항별로는 문두가 분명하여 출제 의도를 쉽게 파악할. 수 있는지를 확인하여 학생들이 문제를 푸는 과정에서 오해의 소지를 없애 주어야 합니다.
문항 제시 자료를 선정하거나 제작할 때는 교육적으로 의미 있는 내용인 동시에 참신하며, 문두 및 출제 의도에 부합하는 방향으로 제시되었는지를 확인합니다 문항의 난이도는 학. 생들의 능력 수준에 비추어 적절해야 하며 중복되는 문항이 없어야 합니다 그리고 문항에. 학문적 사실적 오류는 없는지 혹은 정치적 사회적으로 논란이 될 만한 소지는 없는지도· , · 확인합니다 마지막으로 의도한 시간 내에 충분한 답변이 이루어질 수 있는 수준의 문항인. 지도 확인합니다.
2 서 논술형 문항 제작의 특징적 절차 ·
서 논술형 평가 문항도 일반적인 문항 제작의 절차를 따라 제작하게 됩니다 다만 서 논술· . , · 형 평가의 경우는 문항 제작 시에 기본 예시 답안과 채점 기준 상세화의 단계가 추가되고 시, 험을 치룬 다음에는 초벌 채점을 하여 채점 기준을 보완하여 최종적으로 채점 기준을 마련하 여 채점하는 단계가 추가됩니다.
|
평가 문항 제작 절차|
기본 예시 답안의 작성 및 채점 기준 상세화 1)
서 논술형 문항을 제작할 때에는 선다형 문항과 달리 문항 작성 후에 문항의 기본 답안과· 채점 기준 그리고 부분 점수 답안의 예시와 오답 사례 등을 작성해야 합니다 서 논술형, . · 문항은 수험생의 다양한 답안에 대해 채점자가 주관적인 판단 하에 채점하기 때문에 채점
평가 목적 설정 1.
평가 대상의 특징 및 수준 파악 2.
출제 계획표 작성 3.
성취기준과 평가기준의 분석 4.
문항 이원목적분류표 작성 5.
문항 구상 및 초안 작성 6.
기본 예시 답안의 작성 및 채점 기준의 상세화 7.
문항 기본 답안 채점 기준 검토 및 수정 8. , ,
평가 시행 9.
초벌 채점 및 채점 기준 보완 10.
채점 11.
자에 따라 평가 결과가 달라지는 문제가 발생할 수 있습니다 따라서 신뢰도를 높이기 위. 해 타당하고 상세화된 채점 기준을 개발하여 그것이 채점 과정에서 일관되게 적용되도록 하여야 합니다.
먼저 출제자가 의도한 기본 예시 답안을 작성하는데 정답으로 인정할 수 있는 다양한 경, 우의 수를 고려하여 만점 답안의 예시들을 작성합니다 이 기본 예시 답안을 작성하는 과. 정에서 문항의 오류 가능성을 점검할 수 있습니다 그리고 기본 예시 답안을 작성한 후에. 는 부분 점수를 부여할 수 있도록 채점 기준을 상세화합니다 기본 예시 답안이 출제자가. 의도한 평가 요소를 포함한 답의 예시라고 한다면 부분 점수 답안는 기본 답안이나 인정, 답안과 달리 불완전한 답안이라고 판단되는 답안입니다 불완전한 답안이므로 기본 답안보. 다 낮은 배점을 부여합니다 따라서 채점 기준을 설정할 때 기본 답안과 인정 답안에 대. , , 해서는 배정한 점수를 온전히 부여하고 그 핵심 평가요소를 채점 기준 란에 객관적이고 정 확하게 기술합니다 그리고 기본 답안 이외에 예상되는 불완전한 답안에 대해서는 기본 답. 안에 대해 채점 기준으로 제시한 평가요소를 중심으로 가능한 한 최대한 객관적이고 분명 한 부분 점수 배점 기준을 채점 기준 란에 제시합니다 이렇게 기본 답안과 부분 점수의. 기준을 작성하는 과정에서도 문항 발문과 형식 내용 기술상의 오류 가능성을 점검할 수, 있기 때문에 채점 기준 작성은 문항 점검과 수정 작업 자체에도 필수적인 절차입니다.
그럼 서 논술형 문항의 기본 답안과 채점 기준표의 예시를 보겠습니다· .
|
서 논술형 문항의 기본 답안과 채점 기준표의 예시·|
[ ] ‘ ’ .
. , . [4 ]
○○
출처 박은아 외 개정 교육과정에 따른 초중학교 사회과 평가기준 개발 연구
[ : , 2015 ,
연구보고 CRC 2006-2-4, 한국교육과정평가원]
이 문항에서는 학급 신문에 실린 교통수단의 발달과 그 영향에 대한 두 개의 읽기 자료를 제시하고 있습니다 서 논술형 문항의 유형 중 자료제시형 문항입니다 교통수단이 발달하. · . 기 전의 생활모습에 대한 글과 오늘날 교통수단이 발달한 후의 생활모습을 묘사한 다른 글 을 함께 제시하였습니다 그리고 이 두 개의 자료를 읽고 교통수단의 발달에 따라 달라진. 옛날과 오늘날의 생활모습을 비교하여 정리하도록 하고 있습니다 이처럼 관련 자료를 제. 시하고 그와 관련된 내용을 질문하는 문항은 선택형 문항들에서도 많이 볼 수 있습니다.
다만 이것을 서 논술형 문항으로 제작하는 경우에는 선택형 문항들을 제작할 때와 달리· , 문항을 통해 평가하고자 하는 평가 요소를 상세화한 채점기준을 만들고 그것을 충족하는, 기본 예시답안 또한 작성해야 합니다 아래에서 완성된 채점기준과 기본 예시답안을 확인. 할 수 있습니다.
|
채점 기준|
평가요소 배점 채점 기준
교통수단의 변화에 따른 생활 모습의
비교
4 교통수단의 발달에 따라 달라진 오늘날의 생활 모습을 옛날과 비교하여 설명 하였다.
2 교통수단의 발달에 따라 달라진 오늘날의 생활 모습을 비교하지 않고 단순히 교통수단의 비교만 설명하였다.
|
기본 예시 답안|
○○
채점기준에는 과거와 현재의 교통수단의 특징을 이해하고 교통수단의 변화에 따라 달라지, 는 생활모습을 비교할 수 있는지가 평가요소 제시되어 있고 부분 점수 기준으로 교통수단, 의 특징은 비교하였으나 그에 따른 생활모습의 변화를 비교하지 않은 경우를 제시하고 하, 여 부분 점수 2점을 배정하였습니다 이어서 과거와 현재의 교통수단의 특징을 기술하고. , 동시에 그로인해 변화한 생활모습을 비교한 예시답안을 작성하여 채점 시 활용할 수 있도 록 만들었습니다.
초벌 채점 및 채점 기준 보완 2)
이 단계는 선다형 문항과 달리 서 논술형 문항의 경우에 추가적으로 필요한 단계입니다· . 시험이 끝난 뒤에 학생들의 답안 중에서 일부를 임의로 추출하여 학생들의 반응을 살피고 문항 제작 당시에 예상하지 못했던 부분을 기본 답안과 채점 기준에 수용하여 이를 보완합니다 이를 통해 기본 예시 답안과 채점 기준이 시험 시행 이전보다 더 정교해지고. 예시 또한 풍부해 집니다. 이때 수정된 채점 기준을 학생들에게 공개하고 이에 대한
이의신청을 받아서 채점 기준을 더욱 보완할 수 있습니다.
예를 들어 앞서 제시한 초등학교 사회과 서 논술형 문항의 예시에서 만일 임의로 추출한· , 학생의 답안 중에서 교통수단의 비교는 기술하지 않았으나 생활모습의 변화만을 맞게, 기술한 경우가 있을 수 있습니다 이러한 경우는 문항제작의 단계에서는 예상하지 못했던. 답안으로 이에 상응하는 부분점수 기준을 마련하여 채점 기준을 보완할 수 있습니다, . 이렇듯 현장에서는 문항 제작 시에 예상하지 못한 답안이 발견되는 경우가 많기 때문에, 초벌 채점을 통해 채점 기준을 보완하는 단계는 서 논술형 문항의 제작과정에서 매우· 중요합니다.
채점기준 제작 시 유의점 3)
그럼 서 논술형 문항 제작에서 이처럼 중요한 채점기준 제작 시 유의해야 할 점을 정리해· 보겠습니다.
첫째 채점 기준은 교육과정의 성취기준을 기반으로 채점 결과가 학생이나 교사에게 학습, 성취도에 대한 적절한 정보를 제공할 수 있도록 제작해야 합니다 따라서 채점 기준은. 평가 목표의 달성 정도가 포함되도록 개발하여야 합니다.
둘째 채점 척도는 저학년의 경우에는 등급을, 3~4개 이하로 나누어 등급을 단순화시키지만 학생의 학습에 대한 동기가 저하되지 않는 범위에서 평가하고자 하는 능력을 변별할 수 있도록 구성합니다. 반면 고학년인 경우는 등급을 5~6개 이상으로 나누어 능력구분이 용이하게 제작합니다 여기서 주의해야 할 점은 채점자의 일반적 경향성입니다 즉. . 3점 척도(1~3)나 5점 척도(1~5)를 사용하는 경우, 대부분의 채점자들이 중앙값을 선택하는 경향을 보입니다 따라서 명확한 채점 기준과 사전 채점자 훈련을 통해 이러한 경향성이. 일어나지 않도록 주의해야 합니다.
셋째 채점 척도는 급간 능력 구분이 분명하도록 각 등급을 차별화하여 기술합니다 필요에, . 따라 채점 영역별 척도를 달리 적용하거나 배점을 다르게 배정할 수 있습니다 예를 들어. , 영어과 서 논술형 평가의 경우 언어의 쓰기 능력을 측정하기 위해 보통· , ‘과제완성’, 내용 구성 언어사용 의 요소별로 채점 기준을 제작합니다 이때 모든 평가
‘ ’, ‘ ’, ‘ ’ . ,
요소들의 채점 척도가 일치할 필요는 없습니다. ‘과제완성 이나’ ‘언어사용 의 경우’ , 내용 이나 구성 의 평가 요소에 비해 다양한 등급 구별이 필요하지 않을 수도 있기
‘ ’ ‘ ’
때문에 보다 단순한 채점 척도를 사용할 수 있습니다, .
마지막으로 채점기준과 척도는 채점자가 이해하기 쉬우면서도 숙지가 쉽도록 간단하고, 명료하게 기술해야 합니다.
출처 신동광 외 서술형 논술형 중심 지필평가의 학교현장 활성화 방안 모색
[ : (2016), · , 2016
교육정책 네트워크 교육정책 컨설팅 개별주제 광주교육청( - ), pp. 22-24.]
서 논술형 문항 제작 시 유의점 4) ·
끝으로 서 논술형 문항을 제작할 때 유의할 점을 알아보겠습니다· .
첫째 평가 대상의 인지 및 학습 발달 수준을 고려하여 출제합니다 예를 들어 발문의 어휘, . 순은 가급적이면 일반 피험자의 어휘 수준 이하로 쉽게 출제합니다.
둘째 논술형 문항의 경우 피험자가 자신의 견해를 논리적으로 전개할 수 있도록 지시문은, , 구체적이고 명료하게 제시해야 합니다 질문의 요지에 대해 모호성이 없도록 구조화해야. 합니다.
셋째 질문의 범위가 협소해지더라도 해석이 여지가 큰 발문은 지양해야 합니다 왜냐하면, . 피험자의 해석 방식의 차이에 따라 답안의 범위와 분량이 달라질 수 있기 때문입니다.
예를 들어, “~에 대해 논하라 라는 형식의 큰 발문대신” “~에 대해 ~~측면에서 비교하시오.”라는 형태의 발문을 사용합니다.
넷째, 적절한 응답 시간을 고려하여 출제합니다. 지필평가의 한 유형으로 서 논술형· 문항을 출제할 경우 전체적인 난이도와 문항풀이 시간을 고려하여야 합니다, .
다섯째, 피험자들에게 가능하면 채점기준 및 문항의 점수를 미리 제시합니다. 이는 피험자가 답안을 작성할 때 채점기준을 고려하여 답안을 기술할 수 있는 기회를 공평하게, 부여하기 위해서입니다.
여섯째 구조화된 답안을 제시하기 힘든 논술형 문항의 경우라도 문항제작 시 예시 답안을, 작성합니다 예시 답안을 출제자가 직접 작성해 봄으로써 예상 답안 작성 시간 난이도. , , 문항 오류를 검토할 수 있습니다.
출처 신동광 외 서술형 논술형 중심 지필평가의 학교현장 활성화 방안 모색
[ : (2016), · , 2016
교육정책 네트워크 교육정책 컨설팅 개별주제 광주교육청( - ), pp. 19-20.]
