호주 교육동향 정리[교육평가]

호주 교육동향 정리[교육평가]

2017년 6월 목록 정리

발표월일 발표제목 출처

2017.06.05.

온라인 평가: 교수 학습에의 유용성 (Assessment online: Informing

teaching and learning)

Australian Council for Educational Research

https://www.teachermagazine.com .au/columnists/geoff-masters/asse ssment-online-informing-teachin

g-and-learning

2017.03.28.

온라인 학습의 평가: 가능성의 세계 (Assessment of online learning: A

world of possibilities)

Australian Council for Educational Research

https://rd.acer.org/article/assessm ent-of-online-learning-a-world-o

f-possibilities

1 온라인 평가: 교수 학습에의 유용성

Assessment online: Informing teaching and learning (2017.06.05.)

키워드 : 온라인 평가(online assessment), 학습 진척도(learning progression), 온라인 학업성취도 시험(PAT online), 채점 자동화 시스템(machine-marking systems)

* 본 원고는 호주교육연구위원회(Australian Council for Educational Research)에서 발간되는 Teacher Magazine의 2017년 6월 5일 발표 기사 Assessment online: Informing teaching and learning을 전문번역 하였음.

온라인 평가는 학습지도에 상당한 도움을 줄 수 있다. 일선 학교에서 이루어진 온라인 평가의 경험은 온라인 평가의 잠재력을 보여주고 있다.

온라인 평가의 장점을 이야기할 때 우리는 일반적으로 행정업무의 편리함, 평가방식의 효율성 그리고 저렴한 관련 업무비용을 꼽는다. 그 뿐만 아니라, 완성도 높은 온라인 평 가는 교사들의 학습지도 과정에 대한 시기적절하고 유용한 피드백을 제공한다. 호주교

교실 수업에의 유용성

온라인 평가는 학생들의 학업성취 수준에 따라 고안될 때 교수학습에 가장 유용하다. 이는 학습영역에서 지식, 기술 그리고 이해도가 발달하는 과정을 의미하는 ‘학습 진척도 (learning progression)’와 관련하여 평가가 개발될 필요가 있음을 의미한다.

온라인 학업성취도 시험(The Progressive Achievement Tests, PAT online, https://shop.acer.edu.au/pat)은 어떻게 이것이 이루어지는지를 잘 보여주고 있다. 학생 들은 문해(literacy), 산술(numeracy) 그리고 과학(Science) 과목들의 학습 진척도가 평 가되고, 교사들은 교실의 학생들에게 적절한 난이도와 시기에 맞게 온라인 학업성취도 시험을 선택하고 운영할 수 있다. 또한, 학생들이 작성한 답안들은 자동적으로 채점되며 학생들의 나이와 학년과 관계 없이 그들의 장기적인 학업 성취도 달성 과정에서 그들이 어느 정도의 수준인지에 대한 정보를 제공한다.

온라인 평가의 자동 채점 기능의 큰 장점 중 하나는 교사들이 그들의 학습지도의 효율 성과 효과를 극대화하기 위해 평가결과를 이해하고 사용하는 데 집중할 수 있다는 것이 다. 즉, 시험지를 운송, 배포, 보관 및 관리하는 데 수고할 필요가 없고, 학생들의 성적을 채점, 기록, 분석하는 데 드는 노고가 필요없다는 것이다. 또한, 온라인 평가방식은 지난 학습지도 방식에 대한 신속한 피드백을 제공한다.

학생들의 학습 수준이 결정되면, 온라인 학업성취도 시험(PAT online)은 교사들의 학 습지도의 출발점을 확인시켜 준다. PAT 교수 자료 센터(The online PAT Teaching Resource Centre, https://pat-trc.acer.edu.au/)는 장기적인 학업성취도 달성 과정에서 각 기 다른 수준에 있는 학생들을 위한 교수 학습 활동들을 제안한다. 또한, 일반적으로 모 든 평가들이 학생들의 학습 진척도가 동일하다고 가정하여 만들어지고 이루어지는 반면, 온라인 학업성취도 시험(PAT online)을 사용하는 교사들은 학생들의 능력과 상황에 따 라 난이도를 달리 한 시험을 사용하여 각 학생들의 학업성취도를 장기적으로 파악할 수 있다.

또한 온라인 평가는 교사들이 학생들의 구체적인 학습능력을 쉽게 파악할 수 있도록 돕는다. 즉, 온라인 평가를 통해 교사들은 결과를 분석하고 요약하고 정리할 수 있으며, 전체 학생들이 어려워하는 부분을 확인할 수 있고, 각 학생들의 구체적인 학업성취도를 파악할 수 있다. 평가의 세부 사항을 컴퓨터를 통해 쉽게 파악할 수 있는 점은 기존의 전 통적인 평가방식과 비교할 때 온라인 평가방식의 큰 장점이라 하겠다.

온라인 학업성취도 시험은 수년간 일선 교사들로부터 받은 피드백을 참고하여 개발되 었다. 지난 4년간 호주의 일선 교사들은 온라인 학업성취도 시험을 약 850만회 정도 성 공적으로 수행하였다. 이 수치는 10,000명의 학생들이 온라인 시험을 동시에 치뤘고 하 루에 100,000회 이상의 시험이 이루어졌다는 것을 의미한다.

온라인 평가의 채점

교수학습에 즉각적인 피드백을 제공하기 위해서는 컴퓨터를 이용한 채점방식이 가능 해야 한다. 이를 위해 문제형식은 주로 선다형 문항이나 배합형 문항, 단답형 문항들이 사용된다. 온라인 평가에서 복잡하고 긴 형태의 작문을 다루게 되면, 그 관련 답들은 관 리 센터에서 채점을 하든 전자메일로 전달되어 집에서 채점을 하든 교사들의 수작업으 로 채점이 이루어진다. ACER에서는 80개국 이상의 학생들의 문해, 산술, 과학의 학습 진척도를 평가하는 국제학교평가(International Schools Assessment, https://www.acer.org/isa) 를 포함하여 여러 평가 프로그램을 이와 같은 방식으로 진행하고 있다.

경험에 의하면, 학생들은 온라인 작문 문제가 주어질 경우 종이 시험지에 작문 문제가 주어졌을 때보다 많은 분량의 답을 제출하는 경향이 있고 채점자들도 일부 학생들의 읽 기 어려운 글씨체로 인한 스트레스를 피할 수 있다. 더불어, 온라인 평가에서는 학생들 의 작문을 평가할 때 일률적인 평가기준이 적용되었는지 모니터할 수 있기 때문에 너무 관대한 채점이나 반대로 너무 인색한 채점의 불균형을 줄일 수 있다.

현재도 일부 평가는 온라인 채점방식으로 쓰기 시험을 채점하고 있다. 채점 자동화 시 스템(Machine-marking systems)은 기본적으로 학생들의 작문형식과 채점자들의 보편 적인 점수분포 사이의 상관관계를 분석한 데이터에 근간을 두고 관련 문제들을 채점한 다. 이 컴퓨터 시스템은 채점자의 채점방식을 ‘모방’함으로써 채점자에 의해 도출된 채점 결과와 흡사한 채점결과를 산출해 낼 수 있다. 이러한 채점 자동화 시스템을 통해 시간 과 채점에 들어가는 비용을 절감할 수 있으며 교사들에게 신속한 채점 결과를 제공할 수 있다는 장점이 있다. ACER의 eWrite 프로그램(https://www.acer.org/ewrite)을 통해 현 재 초등학교 5학년부터 8학년 학생들의 이야기적, 기술적, 보고적, 설득적 작문 평가를 실시하고 있고 이를 온라인 방식으로 채점하고 있다.

온라인 맞춤 평가

최근 다수의 온라인 평가 프로그램들은 교사들에게 학생들의 성취도에 따라 적합한 시험을 선택할 수 있도록 하고 있다. 이는 학생들에 따라 너무 평이하거나 반대로 너무 난이도가 높은 시험을 칠 가능성을 최소화할 수 있고 교수학습을 위해 더 나은 정보를 제공할 수 있다.

교사가 적절한 난이도의 시험을 고르는 것에 대한 대안으로 컴퓨터가 스스로 학생들 의 난이도에 맞는 시험을 선택하도록 하는 것이다. 예를 들어, 한 학생이 정답을 입력하 면 컴퓨터 시스템이 좀 더 높은 난이도의 문제를 제시하도록 하고, 만약 틀린 답을 입력 한 경우에는 좀 더 낮은 난이도의 문제를 제시하게 하는 것이다. 이러한 ‘컴퓨터 맞춤 (computer adaptive)’ 평가에서는 컴퓨터가 난이도가 정해진 문제은행에서 적절한 문제

진다.

다른 온라인 평가 방법으로는, 컴퓨터가 개별 학생에 따라 문제를 선택하기보다는 학 생들의 성취도에 따라 적절한 섹션이 자동적으로 배정되는 방식이 있다. 이러한 ‘다단계 (Multi-stage)’ 평가 방식은 학생들 각자에게 적합한 난이도를 제공해 주는 또 다른 온라 인 평가방식이다. ACER는 온라인 스코티쉬 국가표준평가(Scottish National Standardised Assessments, https://www.acer.org/about-us/media/media-releases/

national-assessment-of- learning-progress-for-children-in-scotland)를 개발하여 사용 하고 있다. 이 프로그램에서는 교사들이 온라인 평가를 언제 칠지를 결정하고 읽기, 산 술, 쓰기 능력의 학습 진척도의 결과가 기록될 것이다.

새로운 형태의 평가

마지막으로, 가장 중요하게, 온라인 평가는 새로운 컴퓨터 기반 활동을 사용하여 학생 들의 학습에 대한 새로운 정보를 제공할 가능성을 열어준다. 학습 영역에서의 혁신적인 온라인 평가방식들은 현재 연구 중이다.

예를 들어, 유아기 아동 평가는 헤드폰을 통한 오디오 자료가 주어지거나 화면 속의 대상을 조작하는 등 테블릿 기반 과제를 종종 사용한다. 듣기평가를 할 때 아이들은 난 이도와 다시 듣기를 하면서 그들 자신의 속도로 배울 수 있다. 이와 같은 평가는 북쪽 지 역 ACER의 연구(PAT Early Years Assessment, https://www.acer.org/pat/tests/

early-years), Scottish Primary 1 assessment, OECD의 국제유아학습 및 아동복지연구 (International Early Learning and Child Well-being Study, http://www.oecd.org/edu/school/the-international-early-learning-and-child-well -being-study-the-study.htm)에서 활용되고 있다. 레소토와 아프가니스탄과 같이 먼 지 역에서는 테블릿 기반 평가가 오프라인으로 이루어지고 후에 자동으로 업로드되는 방식 으로 진행되었다(http://research.acer.edu.au/cgi/viewcontent.cgi?article=1029& context=intdev).

ICT 문해 능력을 평가하는 온라인 과제들은 일반적으로 워드프로세서, 스프래드시트.

발표용 소프트웨어, 그래픽 소프트웨어 그리고 멀티미디어 응용프로그램 등을 학생들이 직접 사용하여 온라인 상의 정보들을 찾고, 선택하고, 평가하고, 변환하고, 소통하는 과 정을 포함한다. ACER는 IEA의 국제컴퓨터 및 정보문해연구(International Computer and Information Literacy Study, http://www.iea.nl/icils)와 국가평가프로그램-ICT 문해 력(National Assessment Porgram-ICT Literacy, https://www.nap.edu.au/

nap-sample-assessments/ict-literacy)을 위해 이와 같은 평가를 개발해 왔다.

이러한 평가 방식은 또한 학생들의 온라인 과제 수행 과정–예를 들어, 스프레드시트 프로그램 수행 과정–에 대한 정보를 확인할 수 있다. 학생들의 과제 수행과정, 선택한 옵션들, 수정 과정, 각각의 활동에 들인 시간 등에 대한 기록은 학생의 능력과 이해 수준 을 파악할 수 있도록 한다. ACER의 평가개선과 혁신센터(Centre for Assessment Reform and Innovation, https://www.acer.org/cari)에서는 디지털 리딩과 온라인 문제

해결에 대한 PISA 평가의 수행과정 자료를 활용하여 이러한 가능성을 확인해 왔다.

올바른 온라인 평가의 기초

학교에서 사용가능한 온라인 평가의 수준은 상당히 다양하다. 어떤 온라인 평가는 효 율성에 주안점을 두고 고안된 반면에, 다른 온라인 평가는 교육적인 관점보다는 새로운 테크놀로지 사용에 초점이 맞추어져 있는 경우도 있다.

교육적으로 유용한 온라인 평가는 어떻게 지식, 기술, 이해가 학습의 측면에서 발달할 수 있는지에 대한 경험에 기반한 이해를 바탕으로 한다. 즉, 학생들의 성취도를 반영하 는 학습 진척도와 병행되어야 한다. 온라인 평가는 선행 학습의 기초 위에서 어떤 학습 이 이루어져야 하고 향후 학습의 기초를 위해 어떤 학습이 이루어져야 할지에 대한 이해 를 가지고 고안되어야 한다. 또한 학습의 성공을 위해 필수적인 기술과 지식은 무엇인 지, 학생들의 발달에 대해 오해하고 있는 부분은 무엇인지, 학생들이 하는 공통적인 실 수는 무엇인지에 대한 이해가 요구된다. 결론적으로, 온라인 평가는 관련 학습영역에 대 한 깊은 이해를 가지고 시작되어야 하며, 교수학습을 향상시키기 위한 목적으로 가지고 장기적인 학업 성취도 달성 과정에서 학생들이 특정 학습 영역의 어느 수준에 있는지에 대한 이해를 가지고 개발되어야 한다.

2 온라인 학습의 평가: 가능성의 세계

Assessment of online learning: A world of possibilities (2017.03.28.)

키워드 : 온라인 학습 환경(online learning environment), 온라인 평가(online assessment), 선다 형 문제(multiple choice item), 복잡성(complexity), 제한성(constraint)

* 본 원고는 호주교육연구위원회(Australian Council fi or Educational Research)의 평가개선과 혁신센터(Centre for Assessment Reform and Innovation)에서 2017년 3월 28일 발표한 연구자 료인 Assessment of online learning: A world of possibilities를 전문번역 하였음.

마이크 팀스(Mike Timms)는 온라인 학습 환경(online learning environment)에서 가능한 평가의 종류에 대한 연구를 해 오고 있으며 우리가 스스로 온라인 평가를

만드는 방법에 대해 조언하고 있다.

여러 개의 답들 중 정답을 고르는 선다형 문항과 스스로 답을 적어야 하는 서술형 문항 들로 구성된다.

교사들이 온라인 학습을 처음 접하게 되면, 일반적으로 단순한 선다형 문제나 단답형 문제 등으로 구성된 기본적인 온라인 평가를 주로 사용한다. 이러한 단순한 평가 방식이 괜찮은 출발점이기는 하지만 그러한 방법은 필기도구를 사용하는 전통적인 평가 방식보 다 훨씬 다양한 종류의 평가 방법을 사용할 수 있는 디지털 환경을 제대로 활용하지 못 하는 것이기도 하다.

온라인 평가의 유형

2009년 미국 오레곤 대학교(The University of Oregon, USA)의 케시 스칼라이스 (Kathy Scalise) 교수에 의해 개발된 디지털 평가방식의 분류법(a taxonomy of digital assessment formats, http://pages.uoregon.edu/kscalise/taxonomy/taxonomy.html)은 혁 신적인 디지털 평가방식의 형태를 복잡성(complexity)과 제한성(constraint)의 정도에 따 라 28가지로 분류하고 있다.

여기서 ‘제한성(constraint)’이라는 개념은 학생들이 평가에서 질문에 대한 적합한 답 을 구하는 데 얼마만큼의 제약이 따르는가를 의미한다. 가장 제약이 많은 평가방식에서 는 학생들은 미리 제시된 답들 중에서 정답을 고를 수밖에 없다. 반대로, 제약이 적은 평 가방식일수록 학생들이 제출할 수 있는 답의 범위는 더 커진다.

일반적으로, ‘참/거짓(true or false)’을 고르는 진위형 문제나 선다형(multiple choice) 과 같은 제한성이 많은 평가방식에서는 평가할 수 있는 지식이나 기술의 유형이 더 많이 제한된다.

예를 들어, 선다형 평가방식은 ‘제1차 세계대전이 언제 발발했는가?’와 같은 기본적인 사실만을 기억해 내는 정도를 학생들에게 요구하는 반면, 중간 정도의 제한성을 가지는

‘Drag and drop(마우스를 이용하여 필요한 아이콘을 끌어가서 적합한 위치에 재배치하 는 형식)’의 평가방식에서는 학생들에게 제1차 세계대전 발발 당시의 역사적 사실들을 연대순으로 정리하여 나열하도록 하는 형태의 문제출제가 가능하다.

제한성이 적은 평가방식에서는 학생들에게 ‘어떠한 사건이 제1차 세계대전을 일어나 게 하는데 가장 크게 기여했다고 생각하는가?’와 같은 질문에 답하게 할 것이다.

우리는 학생들에게 단순한 주입식 교육보다는 지식이나 기술의 습득을 촉진하려고 노 력한다. 학생들이 그러한 기술들을 적용할 수 있는지를 보기 위해 새로운 형태의 온라인 평가 문항은 학습결과만이 아니라 학습과정도 측정할 수 있도록 시나리오나 시뮬레이션 을 포함하여 개발되고 있다.

[그림 1] 온라인 평가 문항의 예시

온라인 평가의 개발과 선택

교사들은 학생들의 학업 성취도를 평가하기 위해 기존의 평가방식과 교사 본인이 스 스로 고안한 평가방식 중 한 가지를 선택해야 한다.

현재 교사들을 위해서 선다형 문제와 같은 간단한 형태의 문제를 손쉽게 출제할 수 있 는 다양한 응용프로그램들이 온라인 상에 존재한다. 더 복잡한 문제를 정교하게 개발하 기 위해서 무들(Moodle)¹⁾이나 블랙보드(Blackboard)²⁾와 같은 평가방식을 제공하는 학 습관리시스템이 더 나은 선택이 될 수 있다.

교사들이 본인 스스로 개발한 온라인 평가방식을 사용할 경우 평가의 공정성에 부정 적인 영향을 줄 수 있으므로 부분적인 채점이나 무작위 번호 생성을 사용하는 등 평가 시스템에 대한 매우 엄격하고 세심한 고려가 요구된다. 더불어, 교사들은 평가하고자 하 는 것과 무관하게 문제를 어렵게 만드는 어려운 어휘의 사용을 피해야 한다.

교실 기반의 학습과 함께 온라인 학습을 위한 평가를 개발 및 선택하는 데 중요한 것 은 학습목표의 정확한 이해와 그에 따른 올바른 평가 방식을 선택하는 것이다. 올바른 평가방식이란

•학습목표와 연계되어야 하고

•학습목표가 성취되었다는 것을 증명하는 답안을 작성하도록 해야 하고

•학생들에게 지식이나 기술의 적용 능력을 평가할 수 있는 과제의 수행을 요구하는 평가여야 한다.

위에 제시한 기준들을 따른다면, 교사들은 적절한 제한성과 복잡성을 갖춘 온라인 평 가방식을 개발하거나 선택할 수 있을 것이다.