사고력을 키워주는 서·논술형 평가(중등)
채점에서 일어날 수 있는 문제 상황
채점 절차의 필요성 및 단위학교에서의 채점 절차
1 채점에서 일어날 수 있는 문제 상황
1) 채점에서 일어날 수 있는 문제 상황
처음의 상황으로 다시 돌아가 볼까요? 처음에는 선생님이 ‘비뚫어진다’라고 쓴 답안을 틀린 것으로 채점하였으나, 나중에 다른 답안들과 유사한 답안들을 접한 후 기준이 흔들리고 이후 ‘비뚫어진다’라는 답안을 맞게 하였습니다.
이렇게 서논술형 문항을 채점하다 보면 이와 같이 앞으로 되돌아가 채점을 하는 경우가 자주 발생합니다. 채점을 하다보면 기준이 흔들리고, 학생들의 답안이 다양하여 기준에 딱 맞게 답하는 경우는 거의 없기 때문입니다.
두 번째 이러한 상황이 발생할 수도 있습니다.
동일한 답안에 대해서 두 교사가 채점 기준을 서로 다르게 적용할 수도 있습니다.
객관식처럼 답안이 숫자로 제시되어 있지 않습니다. 따라서 교사들은 채점 기준에 의해 채점을 합니다. 모범 답안이나 예시 답안이 있지만 이에 따라 채점하지 않습니다. 왜냐하면 학생들은 모범 답안이나 예시 답안과 똑같게 작성하지는 않기 때문입니다. 그래서 채점 기준이라는 것을 만드는데 채점 기준 역시 글로 작성되어 있어 두 교사가 이를 해석하고 적용할 때 편차가 발생하기 때문입니다. 어떤 교사는 채점 기준에 제시된 답안만을 맞다고 하고 어떤 교사는 의미가 상통하면 맞다고 합니다. 좀 더 유연하게 해석할 수도 있고 엄격하게 해석할 수도 있습니다.
위를 정리해보면 초점이 학생 답안과 교사의 해석에 따른 상황에 있습니다. 학생들의 답안이 다양해서 채점이 힘들고, 채점 기준에 대한 교사들의 해석 및 한 교사의 기준이 흔들리면서 즉 해석이 달라지면서 발생하는 상황이 채점을 힘들게 하네요.
선생님들을 상대로 설문조사를 해보면 서·논술형 평가를 꺼리는 이유 첫 번째가 채점이 힘들다입니다. 현장의 안타까움이 그대로 담겨 있습니다.
이러한 문제점이 발생하는 원인은 무엇일까요?
첫 번째 원인은 서·논술형 문항 자체에 있다고 보아야 할 것입니다. 서·논술형 문항은 학생들이 직접 답안을 쓰는 문항이기 때문에 똑같거나 비슷한 의미로 썼다 하더라도 학생이 사용하는 용어와 표현 방식에 따라 다양한 답안들이 나오는 것입니다.
“다르다”라는 표현에 대해서 사람마다 “같지 않다” “동일하지 않다” “유사하지 않다” “비슷하지 않다” 등 다양하게 표현할 수 있으니까요.
또한 맞춤법에 맞지 않거나 부정확한 용어를 사용하기 때문에 정답이라고 하기에 모호한 답안이 많을 수밖에 없습니다. 이는 내용을 모르는 것은 아니라서 점수를 주지 않기도 힘들고 그렇다고 점수를 다 주기도 힘듭니다.
두 번째 원인은 채점자 간 기준 적용이 다르기 때문에 발생합니다. 채점 기준을 곧이곧대로 해석하는 선생님이 있는가하면 채점 기준을 나름대로 해석해서 적용하는 선생님도 있습니다.
세 번째는 발문 자체가 모호하면 다양한 응답이 나오게 되어 채점하기 힘들게 됩니다.
무엇을 응답해야할지 정확하게 문항을 제작해야합니다. 그러나 좋고 타당한 문항을 제작하였다고 해도 서·논술형 문항 자체의 특성으로 채점이 어려운 상황이 발생하게 됩니다.
선생님들도 학교에서 이런 경험을 해보셨을 겁니다. 선생님들께서 제시된 문항과 답안을 보고 생각한 채점 기준에 대한 판단 차이, 해석 차이가 있기 때문입니다. 어떤 선생님이 옳고 어떤 선생님이 잘못이다라는 것은 없습니다. 출제자의 의도에 따라 채점 결과가 달라질 수있기 때문입니다.
예를 들어, 학생들이 내용에 대한 올바른 이해와 함께 맞춤법이나 문법까지 정확하게 표현하는 능력을 평가하고자 했다면 맞춤법이 틀린 답안은 오답이 됩니다. 학생들이 내용을 올바르게 이해하고 있는지를 평가하고자 했다면 맞춤법이 틀려도 점수를 줄 수는 있습니다.
중요한 것은 하나의 평가에서는 여러 명의 채점자가 채점 기준을 동일하게 적용해야 한다는 것입니다. 여러 명의 채점자가 채점을 하는 경우에 개별 채점자가 임의로 학생들의 생각을 미루어 짐작하여 채점하지 않고 학생들의 사고 과정을 공통되게 판단할 수 있는 합의된 근거, 즉 채점 기준을 마련하는 것이 그래서 중요합니다. 또한 이에 따라 공동 채점과 반복 채점을 권장하고 있습니다.
채점 기준을 한번 볼까요?
채점 기준
예시답안
출처 : 박은아 외(2016), pp. 265-266.
농업의 기업화와 세계화로 인한 영향, 자신의 입장과 근거 제시라는 평가 요소에 따라 각 배점과 채점 기준을 담은 채점 기준표를 작성하였습니다. 이 선생님은 분석적 채점 방식을
사용하고 있습니다. 총 9점의 배점을 4점과 5점으로 나누어 채점을 할 것입니다.
또한 예시 답안을 통해 학생들의 답안을 예시적으로, 때로는 모범적으로 제시하고 있습니다.
이렇게 사전에 채점을 위한 준비를 하였다고 하여 채점 상황이 예상대로 될까요? 학생들은 그야말로 다양하게 응답을 합니다. 이는 선택형 문항 또는 단순 기입형 문항 등이 아니라면 흔히 일어나는 일입니다.
선생님들은 흔히들 과학이나 수학과 같은 자연 과학 과목이 국어, 사회, 도덕 등의 인문 사회 과목보다 채점하기가 더 낫다고 합니다. 그럼에도 불구하고 이들 과목 모두 서·논술형 문항은 유사한 채점 상황을 공유하고 있습니다.
또 하나의 예시를 보겠습니다.
중학교 국어의 [9국01-05] 토론에서 타당한 근거를 들어 논박한다. 성취기준과 [9국03-04]
주장하는 내용에 맞게 타당한 근거를 들어 글을 쓴다. 성취기준을 통합하여 수행과제 형태로 논술형 문항을 출제하였습니다. 과정 중심 평가로서 수업과 연계한 평가 사례라고 할 수 있습니다.
과정 중심 평가로서 수업과 연계한 평가 사례 1
출처 : “2009-2015 수행평가 도구 현행화 연구”- 국어 자료 중
과정 중심 평가로서 수업과 연계한 평가 사례 2
과정 중심 평가로서 수업과 연계한 평가 사례 3
예시 답안을 논제 두 개에 맞게 각각 작성하였습니다. 선생님이 얼마나 수고하셨을지 짐작이 갑니다. 예시 답안 작성이 힘들더라도 이렇게 작성을 해 보아야 학생들의 답안 작성히 상황을 예상할 수가 있습니다. 예시 답안에 대해서는 6차시 레슨을 참고하시기 바랍니다.
분석적 채점 기준을 사용하였고 평가 요소를 “주장과 근거의 타당성 및 사고의 다양성”과 “자료와 정보의 풍부성”으로 항목을 분류하였습니다. 배점은 현장 활용의 다양성을 위해 제시하지 않았고 각 항목별로 상/중/하 3 단계로 채점하려고
계획하였습니다.
채점표
이렇게 서·논술형 문항을 출제하는 것과 채점하는 것은 힘들지만 그럼에도 불구하고 힘든 상황을 줄이기 위해 노력하고 연습한다면 보람 있는 결과가 있을 것입니다.
다음 레슨에서는 이러한 채점의 어려운 점을 줄이고 보완하기 위한 채점 절차에 대해서 공부하도록 할 것입니다.
2 채점 절차의 필요성 및 단위학교에서의 채점 절차
1) 미국의 대규모 표준화 시험인 SAT 등의 에세이나 writing은 누가 채점할까요?
최근에는 인공 지능 컴퓨터가 논술형 시험을 채점하는 기술이 발달해있다고 합니다. 모범 답안에 대한 알고리즘을 넣어 채점하게 하면 사람의 채점과 유사하게 나올 뿐만 아니라 정확도와 신뢰도가 더 높다고 합니다. 무엇보다 채점 속도는 가히 사람을 능가한다고 합니다. 사람이 몇 십년 걸려 채점하는 것을 인공지능 컴퓨터는 몇 분에 해결할 수 있다고 하는데요. 이러 현상이 일반적이고 보편적으로 되는 세상이 언제쯤 올까요? 이미 온 것일까요?
여러분은 학교에서 서·논술형 문항을 채점할 때 어떤 경험을 하셨나요?
채점하는 시간이 너무 길고, 채점 기준을 일관되게 적용하기가 어려웠을 겁니다. 또한 새로운 응답 처리 때문에 채점 기준은 계속 수정해야하는 일이 발생하고 이에 따라 이미 채점한 것을 다시 채점해야 하는 일도 발생하였을 것입니다.
특히나 서·논술형 문항은 그 특성상 채점에 시간이 많이 걸리는데, 자꾸 앞으로 되돌아가서 다시 채점을 한다는 것은 너무 힘든 일입니다. 그렇지 않으면 또 학생들은 부당하게 이익이나 손해를 보게 되니 다시 채점을 하지 않을 수도 없는 일입니다.
채점 기준을 일관되게 적용하는 것은 힘든 일입니다. 그렇다고 하여 채점을 하는 도중에 채점 기준을 바꾸는 일에도 신중을 기해야 합니다. 앞으로 되돌아가서 수정된 채점 기준으로 다시 채점을 진행을 하는 경우에는 보통 서두르게 됩니다. 그러다보면 눈에 띄는 답안에 대한 채점만 수정하게 되는 경우가 종종 있습니다. 또한 채점 결과를 제출해야하는 마감 시간에 다다라서는 급한 마음에 수정된 채점 기준을 제대로 적용하지 않을 수도 있습니다.
만약 이러한 이유로 제대로 일관성있게 채점하지 못한다면 학생들에 대한 정확한 평가가 이루어지지 못하고, 평가 결과에 대한 신뢰도를 저하시키게 됩니다. 결과적으로 학생들의 정확한 능력과 수준을 파악하여 적절한 사후 지도에 활용할 수 있는 데이터를 얻고자 했던 평가의 목적을 달성할 수 없게 되는 것입니다.
2) 이와 같이 채점 시 발생할 수 있는 문제점을 최소화하면서도
효율적이고 일관성 있는 채점을 위해서는 미리 체계적인 절차를
갖춘 채점 계획을 세우는 것이 중요합니다.
초·중등 임용 시험 절차
학생 답안에 대한 전체적인 검토(출제자) -> 채점 기준 수정/보완(출제자) -> 연습용 답안지 추출(출제자) -> 기준 점수 설정(출제자)
-> 채점 기준 연수 및 채점 기준 추가적 수정/보완(출제자, 채점자) -> 연습 채점(채점자) -> (( 채점 기준 추가적 수정/보완 )) -> 본 채점(채점자) -> 채점 결과 정리 및 분석
화면에 제시된 절차는 초·중등 임용 시험에서 따르는 절차로 보통 출제자와 채점자가 다르기 때문에 괄호에 각 주체의 역할을 명시해 놓았습니다. 단위학교에서 이 절차를 준용한다면 충분히 공정한 채점을 할 수 있습니다. 공동 출제와 공동 채점을 원칙으로 하기 때문에 엄밀하게 출제자와 채점자를 구분하지 않아도 되겠습니다. 실제로는 문항을 출제한 선생님과 채점하는 선생님이 다를 수는 있는 점은 염두에 두세요. 어쨌든 본 연수에서는 출제자와 채점자의 역할을 동일시하여도 되겠습니다.
그러면 채점 절차에는 어떤 것들이 있는지 채점을 진행하는 순서대로 살펴보겠습니다.
첫 번째 단계는 문항을 출제한 출제자가 학생들의 답안지를 전체적으로 훑어 보면서 문항 출제 시 예상하지 못했던 답안이 있는지 확인하고, 채점 기준에 이를 반영하는 단계입니다.
학생들의 답안은 항상 예상대로 작성되지 않기 때문에 전체적으로 검토해보는 것은 매우 중요합니다. 그래야 중간에 채점 기준이 크게 바뀌는 것을 막을 수 있습니다.
채점 진행 순서 1
학생 답안에 대한 전체적인 검토(출제자) -> 채점 기준 수정/보완(출제자)
이때는 답안을 하나하나 보면서 몇 점을 줄 것인지 고민하기보다는 일단 학생들이 쓴 답안을 훑어보면서 채점 기준으로 채점하기 곤란하거나 모호한 답안들을 걸러냅니다. 그 다음 그런 답안들을 채점할 수 있도록 채점 기준을 수정/보완하는 것입니다. 이 과정을 통해서 채점을 진행하는 도중에 채점 기준을 수정하는 규모나 횟수를 줄일 수 있으므로 서·논술형 평가의 채점에서 매우 중요한 작업이라고 할 수 있습니다.
두 번째 단계는 여러 명의 채점자가 함께 채점을 할 때, 채점 기준을 공유하기 위해 시행하는 연습 채점에 필요한 답안지를 추출하고, 기준 점수를 설정하는 단계입니다. 사실 연습용 답안지의 추출은 학생들의 답안을 훑어보는 첫 번째 단계에서 자연스럽게 수행하는 것이 좋습니다. 즉 절차적으로는 세분화되어 있지만 실제 상활에서는 전체적인 검토 과정에서 자연스럽게 실행될 수 있는 단계입니다.
학생 답안 번호 기준점수 채점자 A 채점자 B 채점자 C
1 2 2 2 3
2 3 3 3 4
3 1 2 2 3
채점 진행 순서 2
연습용 답안지 추출(출제자) -> 기준 점수 설정(출제자)
연습용 답안지는 앞서 예에서 보았듯이 예상하지 못했던 답안, 채점 기준을 적용하기에 모호한 답안, 함께 논의할 필요가 있다고 생각되는 답안을 위주로 추출합니다. 연습용 답안지는 연습 채점을 10장씩 3회에 걸쳐 진행할 수 있도록 30장 정도가 적절합니다.
연습용 답안지를 추출한 다음에는 기준 점수를 설정합니다. 기준 점수란 문항 출제자가 직접 연습용 답안지를 채점하여 부여한 점수를 말합니다. 즉, 출제자의 의도에 맞게 작성된 채점 기준에 따라 채점을 하였을 때 부여되어야 하는 점수입니다.
세 번째 단계에는 미리 준비한 연습용 답안지를 이용하여 연습 채점을 진행합니다.
출제자가 해당 문항의 채점 기준을 채점자들에게 설명하고 숙지하였는지를 확인한 후 채점 기준의 적용 방법 및 예시를 들어줍니다. 이는 채점 기준에 대한 인식을 공유하고 있는지 점검하기 위해서입니다.
채점 진행 순서 3
채점 기준 연수 및 채점 기준 추가적 수정/보완(출제자, 채점자) -> 연습 채점(채점자)
단위학교에서 채점 기준 연수는 선생님들 간의 협의와 논의 과정으로 보면 좋겠네요.
서로의 인식에 대해서 공유하는 절차가 되겠습니다. 연습 채점은 보통 10장식 3회에 걸쳐 진행하는데, 한번의 연습 채점 즉 10장을 채점한 후에 기준 점수와의 일치 여부를 점검합니다. 그리고 채점 기준의 적용 과정에 어떤 문제점이 있었는지 파악하여 해결하고, 채점 기준을 확정합니다. 연습 채점 결과를 활용하면 채점 기준을 수정해야 한다거나, 어느 채점자가 어떤 채점 기준을 다른 채점자와 차이가 나게 적용하고 있는지를 알 수 있습니다.
간단한 엑셀 프로그램을 활용하여 점수를 입력하고 편차를 출력해보면 도움이 될 것입니다.
예를 들어 보겠습니다.
채점 기준 예시
4 4 4 4 4
5 3 3 3 4
표는 학생 답안에 대하여 출제자가 채점한 기준 점수와 3명의 채점자가 연습 채점에서 부여한 점수를 나타낸 것입니다. 연습 채점 결과를 이용하여 채점 기준에 대한 공유가 이루어졌는지 점검해보도록 하겠습니다.
먼저 채점자 C가 부여한 점수를 보면 기준 점수와 다른 채점자들에 비해 높은 점수를 부여하였음을 알 수 있습니다. 이것은 채점 기준을 다른 채점자들과 다르게 적용하였다는 것을 의미합니다. 이러한 경우에는 채점자 C가 채점 기준을 어떻게 적용하였는지 점검하고 채점 기준에 대하여 숙지할 수 있도록 피드백을 제공하여야 합니다.
그리고 세 번째 답안에 대한 점수를 보면 모든 채점자가 기준 점수에 비해 높은 점수를 주고 있음을 알 수 있습니다. 이것은 모든 채점자가 채점 기준을 잘못 적용하였거나 아니면 채점 기준에 어떤 문제점이 있기 때문입니다. 이러한 경우는 보통 채점 기준의 진술이 명료하지 않아 발생합니다. 그러므로 출제자와 채점자가 논의하여 채점 기준을 수정하거나 보완하여야 합니다.
이와 같이 채점 기준 연수와 연습 채점은 서술형 문항을 채점하는 데 있어 매우 중요한 단계입니다.
네 번째 단계는 이제 본 채점을 하는 단계입니다.
본 채점 단계 1
본 채점(채점자)본 채점에서 중요한 것은 하나의 답안에 대하여 최소한 2명 이상의 채점자가 채점을 해야한다는 것입니다. 2명의 채점자가 채점을 해야하는 이유는 채점자도 사람이기 때문에 아무리 채점 기준을 잘 숙지하였다고 해도 채점을 진행하는 과정에서 판단 기준이 조금씩 달라질 수 있기 때문입니다. 2명의 채점자가 똑같은 답안에 대하여 부여한 점수가 다른 경우에 채점 기준을 적용하는 데에 어떤 부분에서 차이가 있었는지를 점검함으로써 채점 기준을 일관되게 적용할 수 있습니다.
사전에 이렇게 열심히 준비를 했다고 하더라도 본 채점에서 다양한 답안을 채점하다 보면 채점 기준을 적용하기 어려운 아주 특이한 답안들이 나오게 됩니다. 그러나 이미 본채점 시작 전의 단계들을 통하여 웬만한 특이 답안들은 채점 기준에 반영되었기 때문에 본채점에서 접하게 되는 특이 답안의 수는 아주 적을 것입니다.
이처럼 사전 준비 과정, 즉 답안지 검토, 채점 기준 연수(논의), 연습 채점과 같은 절차를 거침으로써 본채점을 진행하는 데에 소요되는 시간을 많이 절약할 수 있습니다.
본 채점 단계 2
본 채점(채점자) -> 채점 결과 정리 및 분석
채점이 끝나면 이제 채점 결과를 정리해야 합니다. 점차 온라인으로 학생 답안지를 보고 점수를 바로 입력하는 온라인 채점 방식이 도입되고는 있으나, 아직은 서술형 문항을 채점할 때 수기로 적고, 이것을 채점이 끝난 후 컴퓨터에 입력하여 결과는 분석하는 것이 일반적입니다. 이와 같이 채점 결과를 옮기는 과정에서는 실제 채점한 점수와 컴퓨터에 입력한 점수가 일치하는지 확인해야 합니다. 답안 번호를 밀려서 입력하거나 점수를 잘못 입력하게 되면 제대로 된 평가 결과를 얻을 수 없기 때문입니다.
그래서 점수를 OMR 카드에 마킹하여 전산 처리하는 경우에는 실제 부여한 점수와 마킹한 점수가 일치하는지를 반드시 점검하고, 점수를 직접 전산으로 입력하여 처리하는 경우에도 수기로 기록한 점수와 컴퓨터에 입력한 점수가 일치하는지 확인하여야 합니다.
마지막으로 지금까지의 과정을 통해 최종적으로 확정된 채점 결과를 분석하여 분항별 정답률, 변별도 등을 계산하고, 이를 이용하여 학생들에게 피드백을 제공하거나 수업 개선을 위한 정보를 추출합니다.
2-3. 앞서 중간중간에도 언급하였듯이 이러한 채점 절차를 학교 현장에서 그대로 적용하는 것은 사실 상당히 어려운 일입니다. 왜냐하면 학교 현장에서는 문항 출제자가 채점자와 거의 일치하고요, 공동으로 출제하지 않는 과목도 있기 때문에 하나의 교과를 1명의 교사가 담당하기도 합니다. 따라서 학교 현장에 맞는 채점 계획을 세우고, 오늘 학습한 채점 절차를 어떤 방식으로 구현할 것인지 생각하고 고민해보면 좋겠습니다.
예를 들어, 한 교과를 담당하는 교사가 2명인 경우 채점 분량을 반씩 나누어 전체적으로 훑어보면서 출제를 담당한 문항의 채점 기준을 수정/보완하고, 연습용 답안지를 각각 10장씩 추출합니다. 이렇게 추출한 20장의 답안지를 복사하여 연습 채점을 실시한 후, 연습 채점 결과를 가지고 서로 논의하여 채점 기준을 확정합니다. 채점 기준이 확정되면 본채점을 실시하고, 채점 결과는 서로 교차하여 점검합니다.
서·논술형 문항을 채점할 때에 학생 답안지 단위로 채점하는 것이 좋을까요? 아니면 문항 단위로 채점하는 것이 좋을까요?
한 장의 답안지에는 여러 문항의 답안이 쓰여 있습니다. 하지만 1번부터 끝번까지 채점을
다한 후에 다음 답안지를 넘어가기를 반복하는 것은 지양해야 합니다. 왜냐하면 서술형 문항의 채점 기준은 비교적 양이 많은 편인데다, 일관되게 적용하기 위해서는 여러 문항을 오가면서 채점하기보다는 한 문항에 집중하여 채점하는 것이 바람직하기 때문입니다.
그래서 연습 채점도 본채점과 마찬가지로 문항 단위로 진행하는 것이 좋습니다.
