서·논술형 평가의 이해(중등)
총체적 채점법의 특성과 장점 및 단점 분석적 채점법의 특성과 장⋅단점과
채점에 영향을 주는 요소
평가요소 배점 3 2 1
독서 습관 분석 3
올바른 독서 습관을 알고 자신의 독서 습관에서 부족한 점을 보완할 수 있는 방법을 구체적으로 마련하며
올바른 독서 습관을 알고 있으나 자신의 독서 습관에서 부족한 점을 보완할 수 있는 방법이 구체적이지
자신의 독서 습관에 대한 분석이 정확하지 않으며 보완할 수 있는 방법 역시 구체적이지 않으며 꾸준히
1 총체적 채점법의 특성과 장점 및 단점
1) 총체적 채점법
다음 예시를 보고 생각해봅시다.
예시
·
·
·
·
·
·
수행과제2 자신의 독서 습관 분석하기
(1) 나의 독서 습관을 떠올려보고, 나의 독서 습관에서 잘하고 있는 점을 써 봅시다.
(2) 올바른 독서 습관을 기르기 위해 앞으로 나의 독서 습관에서 보완되어야 할 점을 써 봅시다.
(3) 좋은 독서 습관을 갖기 위한 목표와 자신이 해야 할 일을 구체적으로 써 봅시다.
· 목표 :
· 해야 할 일 :
가은아 외(2016), p. 172.
자신의 독서 습관을 분석하기라는 수행과제에서 서술형 평가를 하고 있습니다.
여러분이라면 학생의 과제에 대해서 어떻게 평가 또는 채점하시겠습니까?
제시된 기준에는 ‘독서 습관 분석’이라는 채점 항목에서 3점을 배정하고 3, 2, 1점에 대한 기준을 세시하고 있습니다. 3점 항목의 내용을 보면“ 올바른 독서 습관을 알고, 자신의 독서 습관에서 부족한 점을 보완할 수 있는 방법을 구체적으로 마련하여 꾸준히 독서하는 습관을 가지도록 노력한다 ”로 되어 있습니다. 독서습관 알기, 보완점 찾기, 노력하기의 세 요소에 대해서 각각을 나누지 않고 전체적으로 평가하는 방식입니다.
이것이 총체적 채점법입니다.
수행과제2 자신의 독서 습관 분석하기
꾸준히 독서하는 습관을 가지려고 노력한다.
않고 매일 꾸준히 독서하려는 의지도 약하다, / 올바른 독서 습관을 잘 모르고 자신의 독서 습관에서 부족한 점도 제대로 파악하지 못하나 꾸준히 독서하려는 의지를 가지고 있다.
독서하려는 의지도 약하다.
평가 요소 배점 채점 기준
▶도덕적 인물의 특징
▶도덕적 삶의 기준
상
도덕적 인물과 도덕적 삶의 기준을 문항에서 제시한 인물들의 삶의 공통적 근거를 ‘생명’, ‘타인존중’, ‘신념’의 단어를 통해 생명존중, 이타적 행위의 실천, 올바른 도덕적 신념과 실천 등의 구체적 내용으로 도덕적 인물과 도덕적 삶의 기준에 대하여 서술 함.
중
도덕적 인물과 도덕적 삶의 기준을 문항에서 제시한 인물들의 삶의 공통적 근거를 ‘생명’, ‘타인존중’, ‘신념’의 단어를 통해 생명존중, 이타적 행위의 실천, 올바른 도덕적 신념과 실천 등의 출처 : 가은아 외(2016), p. 175.
주로 배점이 높지 않을 때나 세부 평가 요소들이 각각 나눠지지 않고 긴밀하게 연계되어 있을 때 사용하면 좋겠지요.
다음 예시도 확인해 봅시다.
※ 다음의 인물들의 삶을 도덕적 삶으로 평가할 수 있는 공통적인 도덕적 근거를
‘생명’, ‘타인존중’, ‘신념’의 단어를 각각 사용하여 3가지 서술하시오.
· ‘빈부’에 상관없이 모든 생명은 소중하다‘며 어려운 이웃을 위해 의료 활동과 사회 봉사 활동을 펼친 장기려 박사
· 기아, 질병, 전쟁 등으로 어려움에 빠진 아프리카 수단을 찾아 의료 봉사 및 각종 구호 활동을 펼친 이태석 신부
· 평생 질병, 가난 등으로 고통받는 사람들을 위해 헌신하고 봉사한 빈자(貧者)의 성녀로 불리우는 테레사 수녀
김현수 외(2016), pp. 365-366.
세 인물의 삶을 평가할 수 있는 도덕적 근거를 생명, 타인존중, 신념의 단어를 사용하여(이 부분은 바로 조건에 해당하겠지요?) 제시할 수 있는지 평가하는 문항입니다.
채점 기준
구체적 내용이 도덕적 인물과 도덕적 삶의 기준과의 상관성을 다 소 부족하게 서술함.
하
도덕적 인물과 도덕적 삶의 기준을 문항에서 제시한 인물들의 삶의 공통적 근거를 ‘생명’, ‘타인존중’, ‘신념’의 단어를 사용 하였으나 생명존중, 이타적 행위의 실천, 올바른 도덕적 신념과 실천 등의 구체적 내용을 도덕적 인물과 도덕적 삶의 기준과 상 관없이 서술함.
채점 기준표에 의하면 도덕적 인물의 특징과 삶의 기준에 대해 전체적으로 평가하여 상, 중, 하로 점수를 나누고 있습니다.
답안이 채점 기준의 상에 해당하면 전체적으로 평가하여 상으로 채점하게 됩니다. 채점 기준의 내용을 숙지하는 것이 중요합니다.
총체적 채점법은 문항에 대한 답과 해결 과정 등 학생의 답안 전체에 대하여 점수를 부여하는 방법입니다 .즉, 하나의 결과물에 하나의 점수를 부여합니다.
평가 대상에 대한 전체적인 인상을 채점하는 방식으로 각 점수에 서술내용이 부여되고, 채점자는 전체적인 인상을 서술하여 점수를 매깁니다.
채점자들이 평가 영역을 알고 있으나 총점을 산출하기 위해 이를 각각 더하는 것이 아니라 종합적 인상을 바탕으로 단일한 점수를 부여하는 것입니다.
전체는 부분의 총합 이상이라는 의견을 바탕으로 전체적으로 드러나는 특징에 근거해 평가를 하는 방식입니다.
총체적 채점은 짧은 시간에 답안의 전체적 인상을 바탕으로 채점하기 때문에 시간 소요가 적다는 장점으로 교육현장에서 선호되고 있으나 채점의 근거를 구체적으로 밝히지 않기 때문에 시험자가 결과에 대해 이의제기를 할 경우 논란이 있을 수도 있습니다.
2) 총체적 채점법의 장점과 단점
이러한 총체적 채점법의 장점을 살펴보겠습니다.
총체적 채점에서 채점자는 주어진 답안에 대해 전체적인 인상만을 보고 판단하기 때문에 분석적 채점보다는 신속하게 채점할 수 있고, 같은 이유로 채점이 용이해집니다. 또한 총체적인 판단을 해야 하기 때문에 구체적인 채점 기준이 제시되어야 하며 채점자는 정답과 과정을 모두 중시해야 합니다, 특히 문제 해결 과정에 대해 표준화된 점수를 부여할 수 있습니다. 다른 장점으로는 채점자간 신뢰도가 높고, 부여된 점수가 누구에게나 쉽게 이해가 되는 표준을 나타날 수 있습니다. 그리고 쓰기 능력에 초점이 맞춰져 있음으로 시험자의 학습을 장려하는 데도 효과가 있습니다.
그럼 하나씩 정리해보겠습니다.
첫째, 신속하게 채점할 수 있고 채점이 용이합니다.
둘째, 해답뿐만 아니라 과정을 중시하고, 답안을 채점하는 구체적인 기준을 제시하며, 문제 해결과정에 대하여 표준화된 점수를 부여할 수 있습니다.
셋째, 채점자간 신뢰도가 비교적 높습니다.
넷째, 점수가 일반인에게도 쉽게 이해가 되는 표준을 보여줍니다.
다섯째, 쓰기 능력을 장려하는 효과가 있습니다.
반면에 단점도 존재합니다. 여러분은 어떤 단점이 떠오르나요?
먼저 총체적 채점 시 채점자가 같은 과제 수행물에 다른 준거를 적용할 수 있기 때문에 일관성 유지가 어려울 수 있습니다. 특히 숙련되지 않은 채점자일 경우 더욱 확신을 갖고 채점하기가 어렵기 때문에 일관성 있는 판단을 내리기가 어렵습니다. 따라서 채점 경험이 부족하거나 충분히 훈련되지 않은 채점자의 경우 분석적 채점이 더 나은 방법입니다.
반대로 채점 경험이 충분하거나 훈련된 채점자는 편의상 총체적 채점을 선택하는 경우가 많습니다. 그러나 주의해야 할 점은 채점 방식 선택에 있어 채점자의 훈련 정도보다 시험의 목적이나 과제의 내용을 우선 고려해서 결정해야 합니다. 총체적 채점의 또 다른 단점으로는 세부 영역에 대한 학습자의 수준을 파악 할 수 없다는 것입니다. 단일 점수로만 제시되는 총체적 채점의 특성 상 시험자의 성취수준에 대해 포괄적인 정보만을 파악할 수 있고 세부적인 수행능력에 대한 정보는 파악 할 수가 없습니다. 또한 문제 해결 과정에 대하여 다른 가중치를 적용할 수 없어 심도 있는 채점이 불가합니다.
정리를 해보겠습니다.
첫째, 종합적인 판단의 형태를 취하므로 채점자가 서로 다른 준거를 적용할 수 있고, 일관성을 가지기 어려울 수 있습니다. 예를 들어, 같은 답안이라고 해도, 같은 사람이 채점을 한다고 해도 어떨 때는 세부 조건인 창의성에 더 비중을 두어서 점수를 주고, 어떨 때는 세부 조건 체계성에 더 비중을 두어 점수를 준다면, 둘의 결과는 달라질 수 있습니다.
둘째, 답안이 사고 과정에 대하여 충분한 정보를 주지 못하기 때문에 확신을 가지고 채점하기가 어렵습니다. 또한 문제 해결 과정에 대하여 다른 가중치를 적용할 수 없습니다.
셋째, 하위 영역별 학습자의 수준에 대한 정보를 알기 어렵습니다. 전체적인 판단을 내리는 것이기에 하위 영역이나 세부 내용별 학습자 수준에 대해 상세한 정보를 주기는 어렵습니다.
넷째, 심도 있는 채점자 훈련이 필요합니다. 그래서 비숙련자에게는 채점 부담이 크다고 할 수 있습니다.
채점자가 전문성을 갖추지 않으면 전체적인 판단에 대해 자신이 없을 수 있습니다.
3) 총체적 채점 기준의 예시
총체적 채점법의 가장 대표적인 예는 미국 SAT 등 각종 에세이 평가라고 할 수 있습니다.
논술형 문항을 제시하고 학생들이 쓰기를 작성하면 최종 점수가 6점 만점으로 부여됩니다.
6/5/4/3/2/1로 부여되고 이에 따른 설명이 추가됩니다. 예시로, 미국에서 외국인 학생들의 영어 쓰기 능력을 측정하기 위한 TWE 쓰기 능력 평가의 기준을 보겠습니다.
<TWE 채점 기준>
점수 점수 설명
6 Clearly demonstrates competence in writing on both the rhetorical and syntactic levels, though the essay may have occasional errors.
5 Demonstrate competence in writing on both the rhetorical and syntactic levels, though the essay will have occasional errors.
4 Demonstrates minimal competence in writing on both the rhetorical and syntactic levels.
3 Demonstrates some developing competence in writing, but the essay remains flawed on either the rhetorical or syntactic level, or both.
2 Suggests incompetence in writing.
1 Demonstrates incompetence in writing.
긴 논술형 문항의 답안에 대해 1~6점의 점수와 이에 부합하는 설명이 제시됩니다.
채점자의 입장에서는 채점 기준표를 작성하기 용이하나 이에 따라 점수를 받은 학생의 경우, 예를 들어 1점을 받은 학생의 경우 “쓰기 실력이 우수하지 않다”는 설명 외에 학생이 가질 수 있는 정보는 거의 없습니다. 자신의 답안이 어떤 점이 잘못되고, 개선되어야 하는지 구체적인 정보는 부족한 편입니다.
논술의 평가 요소를 세부적으로 나누지 않고 전체적인 수사적 표현, 구문 수준, 문법적 에러 등을 감안하여 6단계로 채점하고 있습니다. 우리가 쓰는 것처럼 평가기준을 3단계로 나눈다거나, 성취수준을 3단계 혹은 5단계로 나누어 진술하는 것과 유사합니다. 이러한 채점기준은 각 점수에 해당하는 학생 답안을 최대한 다양하게 제시하여 채점자 훈련을 실시함으로써 채점의 신뢰도를 높일 수 있습니다.
다시 말해 6점의 최상위 수준에 해당하는 답안과 최하위 수준에 해당하는 답안의 범위에 대한 공통된 의식을 갖도록 다양한 답안을 실제 채점하고, 결과에 대해 논의하면서 채점자 간 점수 차이를 좁혀나가는 것입니다. 이는 채점 방법에 상관없이 매우 중요한 일로서 학교 현장에서도 모든 교사들이 실시할 항목이라고 할 것입니다.
최근에는 이러한 논술 문항을 컴퓨터로 채점하고 실제 인간이 매긴 점수와 편차도 심하지 않다고 합니다. 오히려 더 정확하게 채점하고 빠른 시간에 채점한다고 하니 참으로 기술이 발전하였습니다.
예시를 하나 더 확인하고 정리하도록 하겠습니다.
예시
척도 채점 기준
3
⦁과제완성: 주어진 과제가 잘 수행됨.
⦁내용: 단어나 문장의 내용이 주제를 구체적으로 잘 대변함.
⦁구성: 구성이 명확하고 논리적이며 응집력이 있음. 아이디어의 논리적 연결과 전개. 논리 전개에 도움이 되는 담화표지를 적절하게 사용.
⦁언어사용: 언어사용이 정확하며 능숙함. 특별한 문법적 오류 없이 아이디어를 명확하게 표현함.
상황에 맞는 적절한 어휘 선택을 함.
2
⦁과제완성: 과제수행을 위해 노력했지만 과제가 수행의 완성도가 떨어짐.
⦁내용: 주제를 대변하는 내용이 포함되어 있으나 충분치 않음.
⦁구성: 아이디어 연결이 아주 매끄럽지는 못하나 중심 아이디어는 잘 표현됨. 논리전개에 도움이 되는 담화표지를 무난하게 사용. 아이디어는 논리적이지만 완벽하게 전개되지 못함.
⦁언어사용: 문법적인 오류가 좀 있으나 의미전달에 큰 영향을 주지는 않음. 어휘 선택에 일부 자연스럽지 않은 표현이 포함됨.
1
⦁과제완성: 과제수행을 위한 시도는 했으나 과제가 제대로 수행되지 못함.
⦁내용: 주제를 뒷받침하는 내용이 매우 미약함.
⦁구성: 논리적 구성이 부족. 논리 전개에 도움이 되는 담화표지 사용 못함.
⦁언어사용: 문법적 오류가 명확하며 의미전달에 부정적인 영향을 줌. 다수의 부적절한 어휘 선택 이 나타남.
0
⦁과제완성: 과제수행이 전무함.
⦁내용: 구체적 내용 제시가 없음.
⦁구성: 이해할 수 없는 문장 전개.
⦁언어사용: 이해할 수 없는 문장.
출처 : 신동광, 김인숙, 박종임, 김유향. (2016). 서술형·논술형 문항의 학교현장 적용 매뉴얼:
중학교 국어, 영어, 과학을 중심으로. 페이지 26
위에 제시된 총체적 채점의 기준표를 보면 각 척도에 항목별 세부 평가요소들이 구분되어 기술되어 있습니다. 채점자가 점수 부여 시 이 세부 평가요소를 바탕으로 종합적인 판단을 내리는 방법으로 채점을 진행 할 수 있습니다. 세부 평가 요소가 기술되어 있다고 해서 분석적 채점으로 볼 수도 있으나 총체적 채점의 핵심은 전체적인 인상을 종합해서 하나의 점수를 부여하는 것이라고 볼 수 있습니다.
2 분석적 채점법의 특성과 장⋅단점과 채점에 영향을 주는 요소
1) 분석적 채점법
자신의 독서 습관 분석하기
평가요소 배점 3 2 1
독서 습관 분석 3
올바른 독서 습관을 알 고 자신의 독서 습관에 서 부족한 점을 보완할 수 있는 방법을 구체적 으로 마련하며 꾸준히 독서하는 습관을 가지 려고 노력한다.
올바른 독서 습관을 알 고 있으나 자신의 독서 습관에서 부족한 점을 보완할 수 있는 방법이 구체적이지 않고 매일 꾸준히 독서하려는 의 지도 약하다, / 올바른 독서 습관을 잘 모르고 자신의 독서 습관에서 부족한 점도 제대로 파 악하지 못하나 꾸준히 독서하려는 의지를 가 지고 있다.
자신의 독서 습관에 대 한 분석이 정확하지 않 으며 보완할 수 있는 방 법 역시 구체적이지 않 으며 꾸준히 독서하려 는 의지도 약하다.
가은아 외(2016), p. 175.
앞에서 총체적 채점기준으로 제시된 예입니다.
여기서 만약 기준을 상세화하여 올바른 독서습관 1점, 자신에게 보완할 수 있는 구체적인 방법 1점, 꾸준한 독서 습관을 위한 노력 1점으로 기준을 나눌 수도 있을 것입니다.
이렇게 될 때 전체적인 인상으로 채점하는 것이 아니라 각 3개의 항목에 대해 기준을 적용하여 점수화합니다.
A, B 학생의 답변이 총체적 채점에서 2점을 받았다고 생각해 봅시다. A 학생은 올바른 독서습관은 잘 이해하고 있는 반면 자신에게 보완할 수 있는 구체적인 방법은 제대로 찾지 못하였습니다. B 학생은 올바른 독서 습관을 잘 이해하고 있는 반면 구체적인 보완책도 찾았으나 꾸준히 습관을 가지고 노력하는 모습을 보여주지 못했을 수도 있습니다. 둘 다 전체적으로 2점을 받았으나 세부 내용은 조금씩 다릅니다.
그러나 방금 제시된 예는 분석적 채점에는 적합하지 않는 것이 우선 배점이 3항목으로 할당하기에는 3점으로 낮고, 첫 번째 ‘올바른 독서습관’, 두 번째 ‘보완할 수 있는 방법’, 세 번째 채점 ‘구체적인 노력’ 항목들이 서로 유기적으로 연결되어 명확히 나눌 수 없습니다. 올바른 독서 습관을 이해해야 자신에게 부족한 점이 무엇인지 알 수 있고
이것에 따라 구체적인 노력 방법을 진술할 수 있기 때문입니다.
이제 분석적인 채점법에 대해서 알아보겠습니다.
분석적 채점법은 문제를 해결하는 과정의 여러 단계마다 점수를 할당하여 채점하고 합산하는 방법입니다. 분석적 채점 기준을 정립하기 위해서는 우선 문제해결 과정을 분석하여 몇 개의 단계나 요소로 구분하는 것이 필요합니다. 이는 학습자의 능력에 대한 유용한 진단적 정보를 제공할 수 있습니다.
예를 들어 보겠습니다.
영어 쓰기 평가에서 사용되는 분석적 채점 기준표의 예시
척도 과제 완성 내용 구성 언어 사용
3
⦁완벽하게 과제를 수 행함.
⦁주어진 과제와 관련 된 내용이 구체적으로 잘 전개됨.
⦁글의 종류에 적절한 구성이며, 문장 간의 연결이 자연스럽고 아 이디어 연계가 논리적 임.
⦁문법 및 철자 오류가 거의 없음.
⦁잘 선별된 어휘를 사 용하여 내용이 명확하 게 표현됨.
2
⦁양호하나 완벽하지 못하게 과제를 수행 함.
⦁주어진 과제와 관련 된 내용이나 구체적이 지 못하고 내용 전개 가 논리적이지 않음.
⦁글의 종류에 비교적 적절한 구성이나 문장 간의 연결이 다소 부 자연스럽고 아이디어 연계가 완벽하지 못 함.
⦁문법 및 철자 오류가 일부 발생하여 내용 전달에 영향을 줌.
⦁오류가 내용 전달에 영향을 주지만 어휘를 선별하여 사용할 수 있는 능력이 다소 보 임.
1
⦁빈약하거나 완벽하지 못하게 과제를 수행 함.
⦁주어진 과제와 관련 된 내용 전개를 시도 하나 관련성이 없고 논리적이지 않으며 완 성되지 않음.
⦁글의 구성이나 문장 간의 연결이 빈약하거 나 완벽하지 못함.
⦁문법, 철자 및 어휘 사용에 대한 오류가 다수 발생하여 내용 전달에 부정적인 영향 을 줌.
0
⦁과제를 수행하지 못 함. 부적절한 내용(낙 서, 욕 등), 무응답, 한 국어가 70% 이상 차 지하는 경우, 또는 주 제와 전혀 다른 내용 을 외워 쓴 흔적이 있 는 경우.
⦁관련이 전혀 없는 내 용임.
⦁글의 구성이나 문장 간의 연결에 심각한 문제가 있어 이해가 불가능함.
⦁언어적 오류가 아주 심각하여 이해가 불가 능함.
출처 : 신동광, 김인숙, 박종임, 김유향. (2016). 서술형·논술형 문항의 학교현장 적용 매뉴얼:
중학교 국어, 영어, 과학을 중심으로. 페이지 27
평가요소 배점 채점 기준 1) 광합성 과정 1점 · 광합성 과정을 옳게 답한 경우
0점 · 무응답
위에 제시된 분석적 채점 기준표를 보면 ‘과제완성’ ‘내용’ ‘구성’ ‘언어사용’ 총 네 가지의 세부 평가요소로 구분하여 채점 할 수 있도록 구성되어 있습니다. 채점자는 각 평가요소별로 적절한 점수를 부여한 후 이를 합산하거나 평균을 내어 총점을 산출합니다.
그런데 위 채점 기준표는 모두 정도 부사로 표현되어 있어 일부 숙달되지 않은 채점자가 파악하고 배점하는데 어려움을 겪을 수 있습니다. 따라서 이처럼 채점자가 채점기준을 해석하는 과정에서 일관성에 영향을 줄 수 있다고 판단될 때는 채점 기준을 다음과 같이 정량적으로 구분하여 제시할 수 있습니다.
또 예를 들어 보겠습니다.
[서술형] 식물의 잎은 봄에 연한 초록색이지만, 여름이 되면 진한 초록색을 띤다. 그 이유를 광합성과 광합성에 영향을 미치는 환경 요인과 식물 세포 내 엽록체 수 변화와 관련지어 설명하시오.
식물 잎
출처 : 김현경 외(2016). pp. 381-382.
본 문항은 교육과정성취기준[9과11-01]“식물이 생명활동에 필요한 에너지를 얻기 위해 양분을 만드는 광합성과정을 이해하고 광합성에 미치는 요인을 설명할 수 있다”에 기반하고 있습니다. 이 성취기준에 기반하여 어떤 평가 요소를 선정하였다고 생각하십니까?
성취기준 분석을 통해 광합성 과정 이해, 환경요인과 광합성의 관계를 도출하여 다음과 같이 채점 기준을 제작하였습니다.
채점 기준
2) 환경 요인과 광합성의 관계 2점 · 환경 요인과 광합성의 관계를 명시한 경우 0점 · 무응답
3) 엽록체 수와 잎의 색 3점 · 엽록체 수와 잎의 색의 관계 바르게 답한 경우 0점 · 무응답
이에 대해 채점 항목을 3개로 나누어 광합성 과정, 환경 요인과 광합성의 관계, 엽록체 수와 잎의 색에 대해서 이해하는지 채점하고 있습니다. 이렇게 문제를 해결하는 과정에 대해 각각 다른 요소나 단계를 나누어 채점하는 것을 분석적 채점이라고 합니다.
2) 분석적 채점법의 장점을 살펴보겠습니다.
분석적 채점법은 문제를 해결하는 과정의 여러 단계마다 점수를 할당하여 채점하고 합산하는 방법입니다. 첫째 채점 기준이 명료하여 일관성을 유지하기가 수월합니다. 둘째, 원하는 범주에 따라 척도의 가중치를 다르게 줄 수 있습니다. 즉, 5점 배점에서 채점항목1은 3점, 채점항목2는 2점으로 배정하여 채점항목 1의 가중치를 좀 더 부여할 수 있습니다.
셋째, 채점 준거가 교사에게 수업에 대한 진단 정보와 학생 수행의 판단 준거에 대한 정보를 제공하므로, 교수 활동에 대한 정보와 학생의 강점과 약점에 대한 피드백을 구체적으로, 분석적으로 제공할 수 있습니다.
분석적 채점법의 단점을 살펴보겠습니다.
첫째, 총체점 채점법에 비하여 구조가 복잡하여 채점하는 데 시간이 많이 소요됩니다.
둘째, 학생의 답안에 문제 해결 과정에 대한 정보가 충분하지 않아 확신을 가지고 한두 단계에 대하여 점수를 부여하기가 어렵다는 것입니다.
셋째, 같은 총점을 받은 학생이라도 문제 해결 과정이 다를 수 있기 때문에 이들 학생을 비교할 때 신중을 기할 필요가 있습니다.
분석적 채점법을 이용하여 채점할 때에는 단순한 답이 아니라 문제 해결의 과정을 고려하여 채점해야 합니다. 또한 채점 요소가 학습 목표와 신중하게 연관되어 있어야 합니다.
분석적 채점법은 문제 해결의 핵심 단계에서 학생의 수행에 대한 피드백을 제공하고자 하는 경우, 학생 개개인의 문제 해결 과정에 대한 강점과 약점을 직접적으로 분석하고자 하는 경우, 별도의 시도 시간을 요구하는 문제 해결 단계가 있는지를 확인하고자 하는 경우, 학생의 답안을 상세히 분석할 수 있는 시간이 충분한 경우 등에 활용될 수 있습니다.
그럼 적용해 봅시다. 이문항은 성취기준[9사(지리)09-01] ‘농업 생산의 기업화와 세계화가 농작물 생산지역과 소비 지역의 변화에 미친 영향을 조사한다.’에 근거하여 논술형 문항으로 개발되었습니다. 해당성취기준에 부합하기위해 이 문항에서는 농업의 기업화와 세계화를 보여주는 대표적인 사례를 2가지 제시하고 자료를 통해 농업의 기업화와
세계화가 미친 영향을 파악하도록 하고 있습니다. 화면과 같은 논술형 문항이 주어졌다고 생각해 봅시다.
여러분은 이에 대해 어떤 분석적 채점 기준표를 작성하시겠습니까?
채점항목을 무엇으로 둘 수 있을까요?
[서술형] ‘농업의 기업화와 세계화, 어떻게 볼 것인가?’라는 주제로 신문 사설을 쓰려고 한다. (가), (나)를 읽고 농업의 기업화와 세계화가 농산물 생간 지역이나 소비 지역에 미친 긍정적, 부정적 영향을 정리한 후, 농업의 기업화와 세계화에 대한 자신의 찬성 또는 반대 입장을 밝히고, 그 근거를 2가지 이상 제시하시오.
(가) 미국의 D사는 1851년 하와이에서 창립된 이래 150여 년 동안 생과일·생야채·생화 등을 생산·판매하는 청과 회사이다. 해외에서 직접 열대 과일을 대규모로 재배하거나 현지의 과일과 채소를 사들여서 여러 국가에 판매한다. 예를 들어, 필리핀, 태국, 에콰도르에서 구매한 바나나, 파인애플, 망고, 파파야 등과 채소류를 아시아와 뉴질랜드, 중동 시장으로 유통시킨다. 독일 함부르크에 유럽지부의 본부가 있으며, 회사 소유의 농장과 전 세계의 농장주들로부터 과일과 채소를 수입한다. 스웨덴에서 남아공까지, 포르투칼에서 러시아와 중동까지 영향력이 미친다. 현재 제품군을 포장 식품과 냉동식품으로 확대하고 있다. 1991년 4월 한국에 첫 사무소를 개설하였다.
(나) 바나나는 기업농에 의해 재배되는 대표적인 농산물이다. 우리가 먹는 대부분의 바나나는 필리핀에서 생산된다. 필리핀에서 바나나의 주요 산지는 민다나오 섬인데 이곳은 과거에는 옥수수와 쌀이 생산되었던 곳이다. 그러나 1960년대 후반부터 외국 자본과 필리핀 정부, 현지 지주들의 힘으로 광대한 농장이 만들어지기 시작했다. 농토를 잃은 농민들은 낮은 임금을 받으며 농장에서 일을 하게 되었다.
기업농들은 단일 작물을 집중적으로 재배하는데, 그 결과 병충해에 취약해질 수 있다.
그래서 다량의 농약을 사용하는데 비행기로 엄청난 양의 농약을 살포하는 것으로 알려져 있다. 농부들은 농약을 뒤집어쓰면서 농사를 짓지만 하루 일당은 1.1달러 수준이라고 한다.
하지만 이러한 농업 방식 덕분에 과거에는 부유한 집에서만 먹을 수 있던 바나나를 이젠 일반 서민들도 부담 없이 먹을 수 있게 되었다.
바나나
출처 : http://www.public-domain-image.com
채점 항목을 두 가지로 나누어 본다고 생각해 봅시다. 발문에 있는 조건을 보면 긍정적, 부정적 영향을 정리, 자신의 입장과 이에 대한 근거 2가지로 채점 항목을 유추해볼 수 있습니다. 어때요? 적절한가요?
채점 기준표
평가요소 배점 채점 기준
1
농업의 기업화와 세계화가 미친 긍정적, 부정적 영향 제시
4 긍정적 영향과 부정적 영향을 모두 서술함
2 긍정적 영향과 부정적 영향 중 한 가지만 서술함
2
농업의 기업화와 세계화의 영향에 대한 자신의 입 장 표현 및 근거 제시
5 ‘농업의 기업화와 세계화, 어떻게 볼 것인가?’에 대한 자신의 입장 을 밝히고 타당한 근거를 2가지 이상 제시함
3 ‘농업의 기업화와 세계화, 어떻게 볼 것인가?’에 대한 자신의 입장 을 밝히고 타당한 근거를 1가지 이상 제시함
1 ‘농업의 기업화와 세계화, 어떻게 볼 것인가?’에 대한 자신의 입장 을 밝혔으나 타당한 근거를 제시하지 못함
실제 채점기준표를 확인해 볼까요? 긍정적, 부정적 영향을 4점 배점하여 두 등급으로 채점하고, 입장과 근거를 5점 배점하여 세 등급으로 채점하고 있습니다.
3) 채점에 영향을 미치는 요소
이제 서논술형 문항 채점에 영향을 주는 요소에 대해서 알아봅시다. 이는 총체적 채점이나 분석적 채점 상황 모두에 적용됩니다.
서·논술형 문항 채점에 영향을 미치는 요소에는 과제의 특성, 채점자의 특성, 채점 상황이 있습니다. 과제의 특성은 과제의 내용과 난이도를 말합니다. 아무래도 내용이 복잡하거나 발문이 불분명하면 채점하기가 힘들어질 수 있습니다.
채점자 특성으로는 크게 전문성을 지녔는지 여부, 엄격성에 따른 차이, 중간으로 치중하려는 중심 경향, 후광 효과(halo effect), 편파성을 들 수 있습니다.
전문성은 과제의 내용과 형태에 관하여 얼마나 전문적인 지식을 갖추고 있는가 하는 것과 채점 기준에 대하여 정확하게 이해하고 있는가, 그리고 채점 경험이 많은지에 대한 것입니다.
엄격성은 채점자가 얼마만큼 엄격함을 적용하여 채점하는가와 연관되어 동일한 답안에 대해 높거나 낮은 점수를 주는 경향을 말합니다.
이와 반대로 중심 경향은 채점자가 높거나 낮은 점수를 회피하려 중간 점수를 선호하는 경향, 중간 점수를 부여하는 경향을 말합니다. 우리가 설문조사를 할 때 특별한 선호가 없으면 가운데의 ‘보통’을 선택하려는 경향과 유사합니다.
후광 효과는 학생의 수행 능력의 다양한 측면을 구별하는 능력이 부족하여 답안의 전체적인 인상에 의해 각 채점 요소를 채점하는 경향을 말합니다. 예를 들어, 답안이 깨끗하고 글씨가 반듯하면 더 좋은 점수를 주게 되고, 답안지에 수정 흔적이 많고 글씨를 알아보기 힘들게 쓰면 같은 답안이라도 더 낮은 점수를 주게 됩니다.
편파성은 어느 한쪽에 치우쳐 채점하는 경향을 말합니다. 특정 방향으로 작성할 때 점수를 후하게 주거나 더 주게 되는 경향입니다.
채점 상황에 따라서도 영향을 미칠 수 있습니다. 채점에 영향을 미칠 수 있는 다양한 요소를 고려하여 채점 방법을 선택하고 채점자 훈련을 실시하여 채점의 신뢰도와 평가의 타당성을 높여야겠습니다.
서·논술형 평가 문항의 채점에는 채점자의 주관적 판단이 학생의 점수에 영향을 미칠 수 있기 때문에 채점 과정에서 오류를 최소화하여 채점의 신뢰도를 높여야 합니다. 이를 위해서는 문항별로 평가 과정을 여러 단계로 구분하여 단계별로 주요 요소를 정하고 각 요소에 대한 구체적인 기준을 정해야 합니다.
채점에 영향을 미치는 이러한 요소는 자칫 채점 오류로 이어질 수 있습니다. 채점 오류에 대해서는 10차시에서 더 자세하게 다루도록 하겠습니다.
