- 1 -
서·논술형 평가의 이해(중등)
서‧논술형 평가 결과 분석
서‧논술형 평가 결과의 활용 및 장점
1 서‧논술형 평가 결과 분석
평가 결과 분석을 통해 평가 결과에 근거하여 교수학습 방법에 대한 점검을 할 수 있으며, 성취기준 및 평가기준과 학생수준의 적절성을 판단할 수 있으며, 평가 문항의 적절성을 분석할 수 있습니다. 무엇보다 문항의 정답률과 변별도 분석을 통해 향후 평가 문항 개발 시 유용한 정보 추출하기 위해 필요합니다.
먼저 부분 점수가 있는 서술형 문항의 정답률을 계산하는 방법을 알아보도록 하겠습니다.
문항의 정답률을 계산 하는 방법은 부분 점수가 없는 경우와 부분 점수가 있는 경우에 따라 차이가 있습니다.
먼저 선택형 문항, 그리고 부분 점수가 없는 단답형이나 완성형 문항의 정답률은 시험을 본 학생들 중 정답을 맞춘 학생의 비율입니다. 반면에 서술형 문항과 같이 부분 점수가 있는 경우의 정답률은 문항의 배점에 대한 부분 점수의 비율을 반영하여 계산합니다.
3점짜리 서술형 문항을 예로 들어 알아보겠습니다. 시험을 본 전체 학생들 중 이 문항에서 3점을 맞은 학생의 비율이 30%, 2점을 맞은 학생의 비율이 45%, 1점을 맞은 학생의 비율이 15%, 그리고 0점을 맞은 학생의 비율이 10%이었다면, 각각의 점수에 대하여 학생 수의 비율에 배점에 대한 점수의 비율을 곱하여 더한 것이 정답률입니다. 그러므로 이 문항의 정답률은 65%가 됩니다.
3점 서술형 문항 예시
다음으로 서술형 평가 결과를 이용하여 학생들을 성취수준별로 구분하기 위한 기준을 설정하는 방법을 알아보겠습니다.
(고등학교에서는 단위학교 산출 분할점수를 사용하고 있습니다.)
- 2 -
여기에서 학습하는 내용은 ‘수정된 앙코프(Modified Angoff) 방법’이라고 하는 기준 설정 방법을 단순화하여 학교 현장에서 쉽게 해볼 수 있도록 구성한 것입니다.
성취수준을 정하는 절차
첫째, 예상 정답률과 실제 정답률 비교를 통해 학생들의 수준에 대한 인식을 공유합니다. 둘째, 공유한 성취수준의 ‘수준’에 대한 인식을 바탕으로 성취수준 분할점수를 결정합니다. 예를 들어, 학생들의 수 준을 우수, 보통, 기초 집단으로 나누고, 우수와 보통을 구분하는 분할점수는 1) 우수 집단에서 가장 아 래, 즉 우수와 보통의 경계선 상에 있는 학생들만의 각 문항별 예상 정답률을 5% 단위로 추정합니다. 2) 각 문항별 배점과 예상 정답률을 곱한 값을 모두 더한 값이 우수와 보통 학생들을 구분하는 분할점수로 사용됩니다. 3) 보통과 기초도 같은 방법으로 분할점수를 결정한다.
학생들을 우수학력, 보통학력, 기초학력, 기초학력 미달로 구분하는 경우를 예시로 살펴보겠습니다. 어떤 학생의 능력과 성취수준에 대한 판단이 교사마다 다르듯이, 어느 정도의 능력과 성취수준에 도달해야 ‘우수학력’이라고 판정할 것인지에 대한 기준 또한 다릅니다.
그래서 첫 번째 단계에서는 학생들의 능력과 성취수준에 대한 교사의 인식 차이를 확인하고 조율하는 과정이 필요합니다. 이러한 교사들의 인식 차이는 문항의 정답률을 예상해보는 과정을 통해 쉽게 확인할 수 있습니다.
이전에 실시했던 평가에서 사용된 문항들에 대해 각자 문항의 정답률을 예상하여 적도록 합니다. 이때 서로 논의를 해서는 안 됩니다. 아마 어떤 선생님이 학생들에게 어려울 것이라고 예상하는 문항을 다른 선생님은 쉬울 것이라고 예상하시기도 할 것입니다.
정답률 예상하기가 모두 끝났으면, 다음으로 실제 정답률을 제시하고, 예상한 정답률과 차이가 나는 이유에 대한 논의를 시작합니다. 예상 정답률의 차이가 크다는 것은 그만큼 학생들의 능력과 성취수준에 대한 교사의 인식 차이가 크다는 것을 의미합니다.
학생들의 능력과 성취수준에 대한 교사의 인식 차이
학교에서 학생들을 성취수준별 집단으로 나누어 정답률을 따로 산출한 결과가 있다면 그것을 활용하여 각 집단별 정답률을 예상해보는 연습을 해보는 것이 좋습니다. 이러한 인식의 차이를 논의를 통해 조율하는 것은 교사마다 가지고 있던 학생들의 능력과 성취수준을 구별하는 기준의 차이를 줄이는 과정이 됩니다. 이는 우수학력 집단의 경우에도 해당되며, 기초학력 집단의 경우에도 해당됩니다. 또한 이러한 정답률을 예상하기는 교사들은 쉽다고 생각하지만 학생들은 어려워하는 내용이나 그 반대인 경우들과 같이 교수학습에 유용한 정보를 얻을 수 있다는 장점도 있습니다.
부분점수 분포 및 정답률 예시
학생들의 능력과 성취수준에 대해 어느 정도 공통된 인식을 가지게 되었으면, 이제 이번에 실시할 평가 문항을 이용하여 학생들을 성취수준별로 구분하기 위한 기준을 설정합니다.
5개의 문항으로 이루어진 평가에서 우수학력, 보통학력, 기초학력, 기초학력미달을 구분하는 기준을 설정하는 경우를 예로 알아보겠습니다.
각 문항에 대해 각자 우수학력과 보통학력의 경계선 상에 있는 학생들의 정답률을 예상합니다. 능력에 차이가 있는 우수학력 학생들 전체의 정답률이 아닌 능력과 성취수준이 비슷한 경계선 상에 있는 학생들을 가정하여 정답률을 예상해야 하기 때문에 매우 어려운 과정입니다. 우수학력과 보통학력의 경계선 상에 있는 학생, 즉 우수학력 집단에서 가장 성취수준이 낮은 학생이 문항을 맞출 확률을 예상하는 것이라고 생각하시면 됩니다. 그리고 앞에서 학생들의 능력과 성취수준에 대해 공통된 인식을 가지게 되었다 하더라도, 어느 정도까지 도달해야 ‘우수학력’이라고 판정할 것인지에 대해서는 아직 합의가 이루어지지 않았기 때문에 처음에는 예상한 정답률에는 차이가 나게 됩니다.
다섯 문항에 대하여 세 명의 교사 A, B, C가 예상한 우수학력과 보통학력의 경계선 상에 있는 학생들의 정답률 예상하기를 마친 후에는 평균 예상정답률을 계산합니다. 1번에 대하여 배점 6점과 평균 80%, 즉 0.8을 곱하면 4.8점이 됩니다. 각 문항에 대하여 이와 같이 계산하여 구한 점수를 모두 합한 점수인 24.5점이 바로 이 5개의 문항으로 이루어진 평가에서 우수학력과 보통학력을 구분하는 기준 점수가 되는 것입니다.
- 4 -
5개의 문항으로 이루어진 평가 예시 1
보통학력과 기초학력을 구분하는 기준도 마찬가지 방법으로 설정합니다. 보통학력과 기초학력의 경계선 상에 있는 학생, 즉 보통학력 학생들 중에서 가장 성취수준이 낮은 학생이 문항을 맞출 확률을 예상합니다. 앞에서 설명 드린 우수-보통 구분 기준 점수와 마찬가지로 이 평가에서는 19.1점이 보통학력과 기초학력을 구분하는 기준이 되는 점수입니다.
5개의 문항으로 이루어진 평가 예시 2
이와 같은 방법으로 우수학력, 보통학력, 기초학력, 기초학력미달을 구분하는 기준 점수를 설정하는 것은 평가 결과를 해석하는 데 사용할 공통된 기준을 합의를 통해 결정하기 위해서입니다. 만일 이렇게 정한 기준 점수가 평가 문항의 전체적인 성취수준에 비추어 학생들의 능력과 성취수준을 구별하는데 적절하지 않다고 판단되는 경우, 특히 교사 간 예상정답률의 격차가 큰 경우에는 지금까지의 과정을 처음부터 반복합니다.
2 서‧논술형 평가 결과의 활용 및 장점
앞에서 성취수준 구분 기준 점수를 정하는 방법을 살펴보았습니다. 평가가 끝난 이후에는 이 기준 점수를 이용하여 결과를 분석합니다. 우선 평가 결과를 바탕으로 기준 점수에 따라 학생들의 성취수준을 구분합니다. 그 다음으로 성취수준별 정답률, 즉 우수학력 학생들의 정답률, 보통학력 학생들의 정답률, 기초학력 학생들의 정답률을 계산합니다.
학생들의 성취수준
이렇게 성취수준별로 정답률을 구해보면 학생들의 능력 특성을 성취수준별로 파악할 수 있습니다. 위의 결과를 살펴보면 기초학력과 기초학력미달 사이에서 정답률이 크게 차이가 남을 알 수 있습니다. 이와 같이 정답률 차이가 큰 문항으로부터 성취수준별 학생들의 능력 특성, 즉 해당 문항을 해결할 수 있는 능력에 차이가 있음을 알 수 있고, 이로부터 교수학습에 유용한 정보를 얻을 수 있습니다.
국가수준 학업성취도 평가에 대해서도 해마다 전년도에 시행된 검사지에 대하여 교과별로 문항을 분석하고, 이를 통해 성취수준별 학업 성취 특성을 분석하고 있습니다. 서답형 문항에 대해서는 전체 학생의 정답률과 변별도, 부분점수별 비율, 성취수준별 정답률 등을 분석하고 있습니다. 다음은 2016년 사회과 서답형 2번 문항과 평가 결과입니다.
- 6 -
2016년 사회과 서답형 2번 문항과 평가 결과
출처 : 동효관 외(2017). 2017년 국가수준 학업성취도 평가 출제 연구(RRE 2017-2).
학생들의 답안 내용에 나타난 다양한 오답 사례를 분석하면 학생들이 잘못 이해하고 있는 개념이나 내용을 비롯하여, 성취수준별 강점과 약점에 대해서 통계적 수치만으로 알 수 없는 상세한 정보를 파악할 수 있습니다.
따라서 통계 자료 중심의 분석만이 아니라 학생들의 답안 내용을 질적으로 분석하여 유형화하고, 이를 성취도 점수와 연계하여 그래프를 산출한 다음, 성취수준별로 구분하여 분석하고 있습니다.
이와 같이 서답형 문항에 대하여 학생들의 응답 내용을 유형화하여 이를 성취도 점수와 연계한 그래프를 산출하여 분석하는 방법은 이인호 외(2015b)에서 처음 도입한 이후 해마다 적용하고 있으며, 2016년부터는 교과별로 모든 서답형 문항에 대하여 표집평가 대상 학생 약 7,500명의 답안을 분석하고 있습니다.
이와 같은 문항 분석 결과를 토대로 이 문항과 관련된 교수·학습에서는 학생들의 성취수준에 따라 갯벌 형성에 유리한 조건을 체계적으로 제시하고, 그러한 조건을 가진 우리나라 황해안의 구제적인 특성을 다양한 사례를 통해 강조해야함을 시사점으로 얻습니다.
또한 성취수준별 정답률을 산출한 다음에는 대표문항을 선정하고 분석할 수 있습니다.
통계적으로 서술형 문항의 경우에는 정답률이 65%가 넘으면 전반적으로 그 문항을 해결할 수 있는 능력을 가지고 있다고 볼 수 있습니다.
성취수준별 정답률을 산출 및 대표문항 선정 및 분석
이에 따르면 2번 문항은 우수학력, 3번 문항은 보통학력, 1번과 4번 문항은 기초학력 학생들의 능력을 대표하는 문항이라고 볼 수 있습니다. 참고로 선택형 문항의 경우에는 대표문항을 선정하는 기준이 74%입니다.
이와 같이 선정한 대표문항을 내용과 수준, 부분 점수별 비율 등을 바탕으로 분석하면 성취수준별 학생들의 능력 특성을 파악할 수 있습니다. 그리고 이렇게 얻은 정보는 학생들에게 피드백을 제공하거나 교수학습 개선, 향후 평가에서의 문항 출제 시에 유용하게 활용할 수 있습니다.
지금까지 학습한 내용을 바탕으로 학생과 교사가 서술형 평가를 통해 얻을 수 있는 장점을 알아보겠습니다.
먼저 학생 측면에서는 첫째, 서술형 평가는 선택형 평가와 달리 정답이 제시되어 있지 않기 때문에 단순한 암기가 기억으로는 문제를 해결하기가 매우 어렵습니다. 그러므로
- 8 -
서술형 평가를 통해 학생들에게 문제 해결에 관련된 지식과 경험을 통합적으로 사고할 수 있는 기회를 제공할 수 있습니다.
둘째, 선택형 평가와는 달리 서논술형 평가는 학생들이 직접 답안을 구성해야 합니다.
그러므로 서술형 평가를 준비하면서 답안을 작성하는 연습 과정을 통해 자신이 어느 부분에 대한 이해력이 부족한지, 그리고 어떤 용어를 잘못 사용하고 있는지 등을 스스로 파악할 수 있는 기회를 제공하며, 낮은 수준이긴 하지만 글쓰기에 대해 흥미를 가지게 할 수 있습니다.
셋째, 선택형 평가는 정확한 용어나 개념을 알고 있지 못하면 해결할 수 없는 경우가 많습니다. 하지만 서술형이나 논술형 문항은 정확한 용어나 개념을 암기하고 있지 않더라도 문제 상황을 파악하고 관련된 용어나 개념의 의미, 내용을 자신의 언어로 답안을 작성할 수 있기 때문에 문제 해결에 대한 흥미를 가지게 할 수 있습니다.
넷째, 서술형 평가에서는 문장뿐만 아니라 그래프나 그림 등 도식으로 표현된 내용들까지도 글로 풀어서 정리해보는 기회를 제공할 수 있습니다.
다섯째, 서술형 평가는 학생들의 도달 수준에 따라 부분 점수를 부여합니다. 따라서 잘하는 학생뿐 아니라 평가 결과에 대해 자신감을 가지지 못했던 학생들도 성취를 맛볼 수 있는 경험을 제공할 수 있고, 이를 통해 학습에 욕구를 자극할 수 있습니다.
끝으로 교사의 관점에서 서술형 혹은 논술형 평가를 통해 얻을 수 있는 장점을 알아보겠습니다.
무엇보다 서술형 평가를 통해 교수학습에 필요한 정보를 얻을 수 있습니다. 첫째, 교사가 학생들의 답안지를 직접 채점하면서 전체적인 학생들의 답안을 살펴봄으로써 자신이 가르친 내용에 대한 학생들의 전반적인 이해 정도를 비교적 정확하게 파악할 수 있습니다.
둘째, 개별 학생들의 답안을 여러 번 살펴보는 과정을 통해 개별 학생들의 성취수준이 어느 정도인지 파악할 수 있습니다.
셋째, 학생들의 답안을 살펴봄으로써 학생들이 잘못 알고 있는 용어, 학생들이 가지고 있는 오개념, 학습한 내용과 일상생활의 차이에서 혼돈스러워 하는 부분 등 학생들이 잘못 알고 있거나 어려워하는 부분을 찾을 수 있습니다.
넷째, 학생들의 다양한 오답을 통해 교사가 교과서나 참고서 내용 중에서 아무 문제없이 받아들였던 부분을 다시 한 번 볼 수 있게 됩니다. 즉, 교사 스스로 이해하지 못했거나 잘못 알고 있었던 내용 혹은 교과서 등의 설명에서 논리성이 부족했거나 학생들에게 충분히 설명되어지지 못한 부분들을 찾을 수 있습니다.
또한 서술형 평가는 교사의 평가 전문성 향상에도 큰 도움을 줄 수 있습니다.
첫째, 교사는 채점 기준을 만드는 과정에서 문항의 출제 의도에 사로잡히지 않고, 새로운 관점에서 문항을 바라보는 능력을 향상시킬 수 있습니다. 또한 교사의 관점을 고수하지 않고 학생의 관점을 이해함으로써 학생들에게 한걸음 더 가까이 다가갈 수 있습니다.
둘째, 발문을 어떻게 해석하느냐에 따라 답안 작성 방향이 달라집니다. 그러므로 서술형
문항을 제작하는 과정을 통해 교사는 보다 정교화되고 정확한 의사를 전달하는 능력을 기를 수 있습니다.
그리고 학생들이 작성하는 답안의 내용 범위를 넓히거나 좁히기 위해 문항의 열린 정도를 적절하게 조절하는 방법도 터득할 수 있습니다. 또한 문항 출제와 채점 기준 작성 과정에서 동료 교사와의 의사소통 기회가 많아지므로 문항 제작뿐만 아니라 관련된 다양한 내용에 대한 의견 교류를 통해 자연스러운 동료 장학의 기회를 가질 수 있습니다.
