사고력을 키워주는 서·논술형 평가(중등)
문항 제작의 일반적 절차
서술형·논술형 문항 제작의 특징적 절차
1 문항 제작의 일반적 절차
1) 문항 제작의 일반적 절차
사실 문항의 개발은 반드시 정해진 절차를 따라야 하는 것은 아닙니다. 그러나 논리적으로 세분화된 절차를 따라 개발하게 되면 문항 개발에 있어 논리적 오류나 실수를 줄일 수 있습니다. 대체로 평가목표를 설정하고 설정한 목표에 따라 문항을 제작한 다음, 문항을 검토하여 수정하는 과정을 거칩니다. 다음의 평가 문항 제작 절차를 각 단계별로 확인해 보겠습니다.
평가 문항 제작 절차
1. 평가 목적 설정
2. 평가 대상의 특징 및 수준 파악 3. 출제 계획표 작성
4. 평가준거 성취기준과 평가기준의 분석 5. 문항 이원목적분류표 작성
6. 문항 구상 및 초안 작성 7. 기본 답안 및 채점 기준 작성
8. 문항, 기본 답안, 채점 기준 검토 및 수정 9. 평가 시행
각 단계별로 살펴봅시다.
첫 번째, 평가 목적의 설정 단계입니다. 이 단계에서는 평가의 목적이 무엇인지 확인하고 이에 맞게 평가 문항의 평가 요소와 난이도를 고려하여 문항 유형과 내용을 선정하게 됩니다. 평가의 목적에 따라 크게 진단평가, 형성평가, 총합평가로 구분될 수 있습니다.
진단평가는 교수·학습을 시작하기 전에 학생들이 학습수준 정도를 파악하기 위한 평가로서, 이 경우 평가 문항의 평가 요소는 선수학습 내용이 되고, 문항은 대체로 쉽게 출제됩니다. 형성평가는 교수·학습의 진행 중간 중간에 학생들이 학습의 내용을 잘 이해하고 학습 진도를 잘 따라가고 있는지를 확인하기 위한 평가입니다. 따라서 문항의 평가 요소는 현재 학습하고 있는 내용들로 이루어지며, 현재 학생들의 절대적 수준을 확인하기 위해 문항들을 출제하게 됩니다. 반면에 총합평가의 경우는 한 학기 혹은 한 학년이 끝나는 시점에 이루어지는 평가로, 학생들이 교육과정을 통해 의도된 성취기준에 어느 정도 도달하고 있는지를 확인하는 평가입니다. 따라서 문항들의 평가요소 또한 한 학기나 학년 전반의 내용을 성취기준으로 삼아 문항을 선별, 제작합니다.
두 번째, 평가 대상 집단의 특징 및 수준을 파악하는 단계입니다. 이 단계에서는 시험을
치르게 될 학생들의 특징과 통과 수준을 파악합니다. 수험자 집단의 특성을 파악하여 성취수준을 어느 정도 예측하고 문항 내용이나 난이도를 적절하게 구성합니다. 또한 학생들의 성취수준에 맞게 문항 수와 배점, 그리고 응답 시간 등을 조절합니다.
세 번째, 출제 계획표를 작성하는 단계입니다. 이 단계에서는 출제자간의 협의를 통해 평가의 목적과 교수, 학습 상황을 고려하여 문항의 유형, 문항 수, 배점 등을 설정합니다.
또한 문항에 따라 출제자를 배정할 수도 있습니다.
네 번째, 평가준거 성취기준과 평가기준을 분석하는 단계입니다. 교수·학습 상황에서 교수·학습 목표를 설정하는 것처럼, 평가의 상황에서는 문항마다 평가의 준거가 되는 성취기준을 설정할 수 있습니다. 평가의 준거가 되는 성취기준은 평가 활동에서 판단의 기준이 될 수 있도록 학생들이 학습을 통해 성취해야 할 지식, 기능, 태도의 특성을 진술한 것입니다. 즉, 평가준거 성취기준이란 문항을 통해 측정하고자 하는 특성을 의미합니다.
그리고 평가기준은 평가준거 성취기준을 상, 중, 하의 수준으로 기술한 것으로, 평가기준을 통해 성취기준의 도달 정도를 파악할 수 있습니다. 평가기준에 따라 문항의 난이도나 채점 기준을 조절하는 것이 가능합니다. 가령, 지구 곳곳에서 일어나는 자연재해에 대해 가르치고 난 뒤에 자연재해로 인한 피해가 증가하거나 감소한 지역을 비교하여, 자연재해로 인한 피해를 줄일 수 있는 방안을 모색할 수 있다라는 평가준거 성취기준을 설정합니다. 그리고 이 성취기준의 도달 정도를 세 단계로 구분하여, 자연재해로 인한 피해는 인간 활동에 의해 증가하거나 감소할 수 있음을 파악할 수 있다를 ‘하’ 수준, 자연재로 인한 피해가 증가하거나 감소한 지역의 사례를 제시할 수 있다를 ‘중’ 수준, 그리고 자연재해로 인한 피해가 증가하거나 감소한 지역을 조사 비교하고, 자연재해로 인한 피해를 줄일 수 있는 방안을 제시할 수 있다를 ‘상’ 수준으로 설정할 수 있습니다.
[박은아 외. 2015 개정 교육과정에 따른 초중학교 사회과 평가기준 개발 연구. 2016. 56쪽]
다섯 번째, 문항 이원목적분류표를 작성하는 단계입니다. 문항 이원목적분류표는 문항 제작 전에 각 문항에 대한 평가 기준과 관련된 내용 요소 및 행동 영역을 조합한 표입니다.
이원목적분류표를 통해 문항제작자는 무엇을 어떻게 평가할 것인지를 일목요연하게 파악할 수 있고, 이를 통해 평가가 학습의 주 내용요소를 고르게 반영하고 있는지 혹은 특정 행동 영역에 치우치지 않도록 계획되었는지를 확인할 수 있습니다. 이원목적분류표를 작성할 때에는 평가를 통해 측정하고자 하는 지식, 기능, 태도를 상세하고 명료하게 진술하여 각 문항의 측정 내용을 확인하고 구체화하는 데 도움이 되도록 작성해야 합니다. 다음은 이원목적분류표 양식의 예입니다.
이원목적분류표
문항
번호 내용영역 성취기준
행동영역 난이도
지식 이해 적용 어려움 보 배점
통 쉬움
여섯 번째, 문항을 구상하여 초안을 작성하는 단계입니다. 이 단계에서는 성취기준에 맞는 문제 상황을 결정하고 문항의 체계를 구상한 후에, 문항의 초안을 작성합니다. 문항 초안을 작성할 때에는 다양한 차원에서의 능력을 측정할 수 있도록 다양한 상황을 설정하고 참고 자료를 수집하도록 합니다. 문항이 어떠한 과제 혹은 상황을 통해 측정될 수 있는지 가장 적절한 평가방안을 고려해서 작성하도록 합니다.
다음은 문항 초안 작성 시 유의해야 할 사항들입니다
주변적 지식, 단순 지식보다는 창의적, 문제해결력 측정의 문항을 개발합니다.
긍정적 자아 개념을 형성하도록 하고, 교육 내용에 대한 흥미를 유발하며, 호기심과 도전의식을 유발하는 문항을 개발합니다.
평가내용(지식, 기능, 태도)을 측정하는데 적합한 문항을 개발하여 교수·학습 개선에 필요한 정보를 추출할 수 있어야 합니다.
문항풀이에 요구되는 능력이 측정하고자 하는 능력과 일치하도록 하여 문항의 타당도를 높여야 합니다.
교과서의 자료를 그대로 활용하기보다는 참신한 자료를 활용하여 새로운 상황에서의 문제해결 능력과 적용 능력을 측정할 수 있도록 자료를 구성합니다.
문두는 출제의도가 분명히 드러나도록 명료하게 작성합니다.
출제자가 의도하는 방향의 답안이 나올 수 있도록 지문이나 자료(그림, 표 등) 등을 계획한다.
학문적 오류나 사실적 오류는 없는지, 정치적·사회적으로 논란이 될 만한 소지는 없는지를 점검합니다.
일곱 번째, 기본 답안 및 채점 기준을 작성하는 단계입니다. 문항 유형에 따라 이 과정이 다소 복잡해 질 수도 있습니다. 예를 들어, 서·논술형 문항의 경우에는 수험생의 다양한 답안을 채점자가 주관적인 판단 하에 채점하기 때문에, 채점의 신뢰도를 높일 수 있는 타당하고 명확한 채점 기준을 마련하고 이 기준이 채점과정에서 일관되게 적용되도록 해야 합니다. 이 부분에 대해서는 Lesson 2에서 다루도록 하겠습니다.
여덟 번째, 문항을 검토하고 수정하는 단계입니다. 문항에 대한 검토는 타당하고 공정한 평가를 위해 반드시 거쳐야 하는 작업입니다. 문항 검토는 출제자가 개별적으로 수행할 수도 있지만, 동료 교사와 상호 검토를 하는 것이 훨씬 효과적입니다. 동료교사 간 상호 검토를 통해 본인의 출제 의도를 타인이 분명히 파악할 수 있는지를 확인할 수 있으며, 문항의 내용상, 형식상 오류는 없는지 등을 다각도로 점검할 수 있습니다. 검토 의견을 바탕으로 문항의 초안을 수정하고 수정된 문항을 재검토하여 검토 사안이 제대로 반영되었는지를 확인한 후, 문항을 재수정하는 과정을 거쳐서 문항을 최종 확정합니다. 이 과정은 일회에 그칠 수도로 있지만, 경우에 따라 여러 번의 검토와 수정이 이루어질 수도 있습니다.
다음은 문항을 검토하는 단계에서 살펴보아야 할 내용입니다.
문항 검토 체크리스트
해당 학기의 학습 내용을 대표할 만한 성취 기준이 선정되었나?
단편적인 지식이나 정보보다는 사고력이나 문제 해결력을 측정하도록 문항이 제작되었나?
전반적으로 내용 영역, 행동 영역, 난이도 면에서 문항들이 고르게 출제되었나?
문두가 분명하여 출제 의도를 쉽게 파악할 수 있는가?
자료는 교육적으로 의미 있는 내용이고 참신하며, 문두 및 출제 의도에 부합하는 방향으로 제시되 었나?
의도한 시간 내에 충분히 답변할 수 있도록 문항이 제작되었나?
먼저, 교수·학습이 이루어진 교육 내용 범위에 적합한 성취기준이 선정되어 문항이 만들어졌는지를 확인해야 합니다. 출제 범위나 수준에서 벗어난 문항이 출제되지는 않았는지 확인합니다. 또한 단편적인 지식이나 정보보다는 사고력이나 문제 해결력을 측정하는 문항인지를 확인합니다. 다음으로 출제된 문항들이 내용 영역, 행동 영역, 난이도 측면에서 한 쪽에 치우지지 않게 고르게 출제되었는지 확인합니다. 이는 평가도구의 전반적인 질적 타당도를 검토하는 과정입니다. 각 문항별로는 문두가 분명하여 출제 의도를 쉽게 파악할 수 있는지를 확인하여 학생들이 문제를 푸는 과정에서 오해의 소지를 없애 주어야 합니다. 문항 제시 자료를 선정하거나 제작할 때는 교육적으로 의미 있는 내용인 동시에 참신하며, 문두 및 출제 의도에 부합하는 방향으로 제시되었는지를 확인합니다. 마지막으로 의도한 시간 내에 충분한 답변이 이루어질 수 있는 수준의 문항인지도 확인합니다.
아홉 번째, 평가 시행 단계입니다. 평가 시행 단계에서는 시험이 공정하게 이루어 질 수 있도록 관리, 감독해야 합니다.
2 서술형·논술형 문항 제작의 특징적 절차
서·논술형 평가 문항도 일반적인 문항 제작의 절차를 따라 제작하게 됩니다. 다만, 서·논술형 평가의 경우는 문항 제작시에 기본 예시 답안과 채점 기준 상세화의 단계가 추가되고, 시험을 치룬 다음에는 초벌 채점을 하여 채점 기준을 보완하여 최종적으로 채점 기준을 마련하여 채점하는 단계가 추가됩니다.
평가 문항 제작 절차
1. 평가 목적 설정
2. 평가 대상의 특징 및 수준 파악 3. 출제 계획표 작성
4. 평가준거 성취기준과 평가기준의 분석 5. 문항 이원목적분류표 작성
6. 문항 구상 및 초안 작성
7. 기본 예시 답안의 작성 및 채점 기준의 상세화 8. 문항, 기본 답안, 채점 기준 검토 및 수정 9. 평가 시행
10. 초벌 채점 및 채점 기준 보완 11. 채점
1) 기본 예시 답안의 작성 및 채점 기준 상세화
서·논술형 문항을 제작할 때에는 선다형 문항과 달리 문항 작성 후에 문항의 기본 답안과 채점 기준, 그리고 부분 점수 답안의 예시와 오답 사례 등을 작성해야 합니다. 서·논술형 문항은 수험생의 다양한 답안에 대해 채점자가 주관적인 판단 하에 채점하기 때문에 채점자에 따라 평가 결과가 달라지는 문제가 발생할 수 있습니다. 따라서 신뢰도를 높이기 위해 타당하고 상세화된 채점 기준을 개발하여 그것이 채점 과정에서 일관되게 적용되도록 하여야 합니다.
먼저 출제자가 의도한 기본 예시 답안을 작성하는데, 정답으로 인정할 수 있는 다양한 경우의 수를 고려하여 만점 답안의 예시들을 작성합니다. 이 기본 예시 답안을 작성하는 과정에서 문항의 오류 가능성을 점검할 수 있습니다. 그리고 기본 예시 답안을 작성한 후에는 부분 점수를 부여할 수 있도록 채점 기준을 상세화합니다. 기본 예시 답안이 출제자가 의도한 평가 요소를 포함한 답의 예시라고 한다면, 부분 점수 답안는 기본 답안이나 인정 답안과 달리 불완전한 답안이라고 판단되는 답안입니다. 불완전한 답안이므로 기본 답안보다 낮은 배점을 부여합니다. 따라서, 채점 기준을 설정할 때, 기본 답안과 인정 답안에 대해서는 배정한 점수를 온전히 부여하고 그 핵심 평가요소를 채점
기준 란에 객관적이고 정확하게 기술합니다. 그리고 기본 답안 이외에 예상되는 불완전한 답안에 대해서는 기본 답안에 대해 채점 기준으로 제시한 평가요소를 중심으로 가능한 한 최대한 객관적이고 분명한 부분 점수 배점 기준을 채점 기준 란에 제시합니다. 이렇게 기본 답안과 부분 점수의 기준을 작성하는 과정에서도 문항 발문과 형식, 내용 기술상의 오류 가능성을 점검할 수 있기 때문에 채점 기준 작성은 문항 점검과 수정 작업 자체에도 필수적인 절차입니다.
그럼 서·논술형 문항의 기본 답안과 채점 기준표의 예시를 보겠습니다.
서·논술형 문항의 기본 답안과 채점 기준표의 예시
[서술형] ‘농업의 기업화와 세계화, 어떻게 볼 것인가?’라는 주제로 신문 사설을 쓰려고 한다. (가), (나)를 읽고 농업의 기업화와 세계화가 농산물 생간 지역이나 소비 지역에 미친 긍정적, 부정적 영향 을 정리한 후, 농업의 기업화와 세계화에 대한 자신의 찬성 또는 반대 입장을 밝히고, 그 근거를 2가 지 이상 제시하시오.
(가) 미국의 D사는 1851년 하와이에서 창립된 이래 150여 년 동안 생과일·생야채·생화 등을 생산·
판매하는 청과 회사이다. 해외에서 직접 열대 과일을 대규모로 재배하거나 현지의 과일과 채소를 사 들여서 여러 국가에 판매한다. 예를 들어, 필리핀, 태국, 에콰도르에서 구매한 바나나, 파인애플, 망고, 파파야 등과 채소류를 아시아와 뉴질랜드, 중동 시장으로 유통시킨다. 독일 함부르크에 유럽지부의 본 부가 있으며, 회사 소유의 농장과 전 세계의 농장주들로부터 과일과 채소를 수입한다. 스웨덴에서 남 아공까지, 포르투칼에서 러시아와 중동까지 영향력이 미친다. 현재 제품군을 포장 식품과 냉동식품으 로 확대하고 있다. 1991년 4월 한국에 첫 사무소를 개설하였다.
(나) 바나나는 기업농에 의해 재배되는 대표적인 농산물이다. 우리가 먹는 대부분의 바나나는 필리핀 에서 생산된다. 필리핀에서 바나나의 주요 산지는 민다나오 섬인데 이곳은 과거에는 옥수수와 쌀이 생산되었던 곳이다. 그러나 1960년대 후반부터 외국 자본과 필리핀 정부, 현지 지주들의 힘으로 광대 한 농장이 만들어지기 시작했다. 농토를 잃은 농민들은 낮은 임금을 받으며 농장에서 일을 하게 되었 다.
기업농들은 단일 작물을 집중적으로 재배하는데, 그 결과 병충해에 취약해질 수 있다. 그래서 다량의 농약을 사용하는데 비행기로 엄청난 양의 농약을 살포하는 것으로 알려져 있다. 농부들은 농약을 뒤 집어쓰면서 농사를 짓지만 하루 일당은 1.1달러 수준이라고 한다. 하지만 이러한 농업 방식 덕분에 과 거에는 부유한 집에서만 먹을 수 있던 바나나를 이젠 일반 서민들도 부담 없이 먹을 수 있게 되었다.
출처 : http://www.public-domain-image.com
내용 요소 예시 답안 배점 농업의 기업화, 세계화의
긍정적 영향
세계화 추세에 따라 농업 부문에서도 세계화가 진행되면서 농업의 기업화가 가속화되었다. 이로 인해 대규모로 농사를 지어 생산량이 늘어나고 세계 여러 지역의 농산물을 싸게 구입할 수 있게 되었다.
2점
농업의 기업화, 세계화의 부정적 영향
반면에, 농장 노동자들이 낮은 임금으로 일하게 되었으며 농약 사용
이 증가하기도 했다. 2점
나의 입장 그렇다면 농업의 기업화와 세계화에 대해 어떤 입장을 가져야 할까?
필자는 바람직하지 않다고 보는 입장이다. 1점 근거1
왜냐하면 대량 생산으로 농산물의 가격이 낮아지고 세계의 다양한 농산물을 맛볼 수 있다는 달콤함 뒤에 숨겨진 아픔이 너무 크기 때 문이다. 우선 전통 농업이 파괴되면서 식량 생산이 줄어들고 상업 작 물 위주로 재배되면서 식량 부족 문제를 겪을 수 있기 때문이다.
2점 이 문항에서는 농업의 기업화와 세계화에 대한 두 개의 글을 자료로 제시하고 있습니다.
앞선 시간에 배운 서·논술형 문항의 유형 중 자료제시형 문항입니다. 하나는 다소 긍정적인 내용이고 다른 하나는 부정적인 측면에 대한 내용을 담고 있습니다. 두 개의 자료를 읽고 농업의 기업화와 세계화가 생산 지역이나 소비 지역에 미친 긍정적인 영향과 부정적인 영향을 정리한 후, 농업의 기업화와 세계화에 대한 자신의 찬반 입장을 근거를 들어 서술하도록 하고 있습니다. 이처럼 관련 자료를 제시하고 그와 관련된 내용을 질문하는 문항은 일반적인 문항들에서도 많이 볼 수 있습니다. 다만 이것을 서·논술형 문항으로 제작하는 경우에는, 일반적인 문항들을 제작할 때와 달리 문항을 통해 평가하고자 하는 평가 요소를 상세화한 채점기준을 만들고, 그것을 충족하는 기본 예시답안 또한 작성해야 합니다. 아래에서 완성된 채점기준과 기본 예시답안을 확인할 수 있습니다.
채점기준
평가요소 배점 채점기준
1
농업의 기업화와 세계화가 미친 긍정적,
부정적 영향 제시
4 긍정적 영향과 부정적 영향을 모두 서술함
2 긍정적 영향과 부정적 영향 중 한 가지만 서술함
2
농업의 기업화와 세계와의 영향에 대한
자신의 입장 표현 및 근거 제시
5 ‘농업의 기업화와 세계화, 어떻게 볼 것인가?’에 대한 자신의 입장을 밝히고 타당한 근거를 2가지 이상 제시함
3 ‘농업의 기업화와 세계화, 어떻게 볼 것인가?’에 대한 자신의 입장을 밝히고 타당한 근거를 1가지 제시함
1 ‘농업의 기업화와 세계화, 어떻게 볼 것인가?’에 대한 자신의 입장을 밝혔으나 타당한 근거를 제시하지 못함
예시답안
근거2
또한, 대량 생산을 위해 단일 작물을 재배하면서 병충해 피해가 커지 고 이를 막기 위해 농약을 과도하게 사용하면서 식품 안전성에 문제 가 생기기 때문이다. 더구나 장거리 운송을 위해 방부제 등도 추가되 기 때문에 소비자의 건강을 위험할 수 있다.
2점
채점기준에는 이 문항에서 제시한 두 가지 평가 요소, 즉 긍정적 영향과 부정적 영향을 제시하였는지 그리고 자신의 입장을 밝히고 근거를 제시하였는지가 평가요소로 제시되어 있습니다. 그리고 두 가지 평가 요소별로 배점을 정하고 각 요소별 부분점수 또한 설정하였습니다. 농업의 기업화와 세계화가 미친 긍정적, 부정적 영향의 제시의 경우, 긍정적 영향과 부정적 영향을 모두 맞게 서술하면 4점 그리고 두 가지 중 한 가지만 맞게 서술하면 2점을 주도록 부분 점수 기준을 제시합니다. 그런가하면, 농업의 기업화와 세계화에 대한 자신의 입장 표현 및 근거 제시의 경우엔, 자신의 입장을 제대로 밝히고 타당한 근거를 두 가지 이상 제시하면 5점을, 자신의 입장을 제대로 밝히고 타당한 근거를 한 가지 제시하면 3점을, 그리고 자신의 입장은 제대로 밝혔으나, 타당한 근거를 제시하지 못한 경우에는 1점의 부분 점수를 부여하도록 합니다. 평가요소별 배점은 다르나 척도 간격은 2점으로 동일하게 채점 기준표가 작성되었습니다. 또한 아래에 예시답안을 작성하여 채점 시 참고할 수 있도록 하였습니다.
2) 초벌 채점 및 채점 기준 보완
이 단계 역시 선다형 문항과 달리 서·논술형 문항의 경우에 추가적으로 필요한 단계입니다. 시험이 끝난 뒤에 학생들의 답안 중에서 일부를 임의로 추출하여 학생들이 반응을 살피고 문항 제작 당시에 예상하지 못했던 부분을 기본 답안과 채점 기준에 수용하여 이를 보완합니다. 이를 통해 기본 예시 답안과 채점 기준이 시험 시행 이전보다 더 정교해지고 예시 또한 풍부해 집니다. 이때 수정된 채점 기준을 학생들에게 공개하고 이에 대한 이의신청을 받아서 채점 기준을 더욱 보완할 수 있습니다.
예를 들어, 앞에 예시 문항에서 근거를 2가지 이상 제시하도록 하고 있는데, 초벌 채점의 과정에서 3가지의 근거를 제시하였으나 그 중 한 근거가 타당하지 않은 경우가 발생할 수 있습니다. 이런 경우 부분 점수를 어떻게 줄 것인지 채점 기준의 보완이 필요합니다. 두 개의 근거가 타당하니 그 요소에서 만점을 주어야 할지, 아니면 타당하지 못한 근거를 하나라도 제시한 것이 감점 요인이 될지는 문항 개발자들 간에 논의가 필요합니다. 이렇듯 현장에서는 문항 제작 시에 예상하지 못한 답안이 발견되는 경우가 많기 때문에, 초벌 채점을 통한 채점 기준의 보완의 단계는 서·논술형 문항의 제작과정에서 매우 중요합니다.
3) 채점기준 제작 시 유의점
그럼 서·논술형 문항 제작에서 이처럼 중요한 채점기준 제작 시 유의해야 할 점을 정리해
보겠습니다.
첫째, 채점 기준은 교육과정의 성취기준을 기반으로 채점 결과가 학생이나 교사에게 학습 성취도에 대한 적절한 정보를 제공할 수 있도록 제작해야 합니다. 채점 방식은 크게 답안에 대해 채점자가 느끼는 전체적인 인상을 보고 평가하는 총체적 채점(holistic scoring)과 측정하고자 하는 요소 즉 평가 요소로 나누어 각 요소별로 채점하는 분석적 채점(analytic scoring)으로 구분할 수 있습니다. 어느 채점 방식을 사용하더라도 채점 기준은 평가 목표의 달성 정도가 포함되도록 개발하여야 합니다.
둘째, 채점 척도는 저학년의 경우에는 등급을 3~4개 이하로 나누어 등급을 단순화시키지만 학생의 학습에 대한 동기가 저하되지 않는 범위에서 평가하고자 하는 능력을 변별할 수 있도록 구성합니다. 반면 고학년인 경우는 등급을 5~6개 이상으로 나누어 능력구분이 용이하게 제작합니다. 여기서 주의해야 할 점은 채점자의 일반적 경향성입니다. 즉 3점 척도(1~3)나 5점 척도(1~5)를 사용하는 경우, 대부분의 채점자들이 중앙값을 선택하는 경향을 보입니다. 따라서 명확한 채점 기준과 사전 채점자 훈련을 통해 이러한 경향성이 일어나지 않도록 주의해야 합니다.
셋째, 채점 척도는 급간 능력 구분이 분명하도록 각 등급을 차별화하여 기술합니다. 필요에 따라 채점 영역별 척도를 달리 적용하거나 배점을 다르게 배정할 수 있습니다. 예를 들어, 영어과 서·논술형 평가의 경우, 언어의 쓰기 능력을 측정하기 위해 보통 ‘과제완성’,
‘내용’, ‘구성’, ‘언어사용’의 요소별로 채점 기준을 제작합니다. 이때, 모든 평가 요소들의 채점 척도가 일치할 필요는 없습니다. ‘과제완성’이나 ‘언어사용’의 경우,
‘내용’이나 ‘구성’의 평가 요소에 비해 다양한 등급 구별이 필요하지 않을 수도 있기 때문에, 보다 단순한 채점 척도를 사용할 수 있습니다.
마지막으로, 채점기준과 척도는 채점자가 이해하기 쉬우면서도 숙지가 쉽도록 간단하고 명료하게 기술해야 합니다.
4) 서·논술형 문항 제작 시 유의점
끝으로 서·논술형 문항을 제작할 때 유의할 점을 알아보겠습니다.
첫째, 평가 대상의 인지 및 학습 발달 수준을 고려하여 출제합니다. 예를 들어 발문의 어휘 순은 가급적이면 일반 피험자의 어휘 수준 이하로 쉽게 출제합니다.
둘째, 논술형 문항의 경우, 피험자가 자신의 견해를 논리적으로 전개할 수 있도록 지시문은 구체적이고 명료하게 제시해야 합니다. 질문의 요지에 대해 모호성이 없도록 구조화해야 합니다.
셋째, 질문의 범위가 협소해지더라도 해석이 여지가 큰 발문은 지양해야 합니다. 왜냐하면 피험자의 해석 방식의 차이에 따라 답안의 범위와 분량이 달라질 수 있기 때문입니다.
예를 들어, “~에 대해 논하라”라는 형식의 큰 발문대신 “~에 대해 ~~측면에서 비교하시오.”라는 형태의 발문을 사용합니다.
넷째, 피험자의 정의적 부담을 고려하여 문항을 쉬운 문항에서 어려운 문항으로 배열합니다. 어려운 문항을 먼저 접하는 경우, 많은 학생들이 당황하거나 실망하여 다음에
나오는 쉬운 문항조차 제대로 답하지 못하는 경우가 생기기 때문에, 쉬운 문항부터 풀어가며 문항에 적응할 수 있도록 배려합니다.
다섯째, 적절한 응답 시간을 고려하여 출제합니다. 지필평가의 한 유형으로 서·논술형 문항을 출제할 경우, 전체적인 난이도와 문항풀이 시간을 고려하여야 합니다.
여섯째, 피험자들에게 가능하면 채점기준 및 문항의 점수를 미리 제시합니다. 이는 피험자가 답안을 작성할 때, 채점기준을 고려하여 답안을 기술할 수 있는 기회를 공평하게 부여하기 위해서입니다.
일곱째, 구조화된 답안을 제시하기 힘든 논술형 문항의 경우라도 문항제작 시 예시 답안을 작성합니다. 예시 답안을 출제자가 직접 작성해 봄으로써 예상 답안 작성 시간, 난이도, 문항 오류를 검토할 수 있습니다.
