The Development of Science Item on the Computer-Based Performance Assessment: A Experiment on Constructing Circuits with an Ammeter and a Voltmeter

컴퓨터 기반 과학 수행평가 문항 개발 : 전류계와 전압계 회로 연결 실험

최혁준^*1) 한국교육과정평가원

The Development of Science Item on the Computer-Based Performance Assessment:　A Experiment on Constructing Circuits with an Ammeter and

a Voltmeter

Hyukjoon Choi^*

Korea Institute for Curriculum & Evaluation

Abstract : The purpose of this study is to develop the science item on computer-based performance assessment which is able to replace the assessment with actual experimental apparatus. The survey on the necessities and the difficulties of the assessment with actual experimental apparatus was conducted with 57 physics teachers. By reflecting the results of the survey, the computer-based assessment items which are related with constructing circuits with an ammeter and a voltmeter were developed. The developed computer-based assessment items were organized in similarity to assessment conducted with actual experimental apparatus, proper feedback was provided by students' performance in the process of assessment so as to grading performance results automatically. To achieve them, the algorithm was developed so that computer can judge the accuracy of students' performance results.

keywords : computer-based assessment, experiment, item development, performance assessment

Ⅰ. 서론

컴퓨터 기술의 발달과 함께 교육의 여러 영역에 서 컴퓨터의 활용이 증가되고 있다. 이러한 경향은 평가 영역에서도 나타나 미국의 경우 차세대 학생 들을 위한 새로운 평가로 ‘Assessment 2.0’을 제 안하며 이것의 특징 중 하나로 컴퓨터 기반 평가를 지목하였다. 또한 PISA(Programme for International Student Assessment)에서도 컴퓨터 기반 평가를 도입하여, PISA 2006에서 처음 컴퓨 터 기반 과학 평가(CBAS)를 시행하였고, PISA 2009와 PISA 2012의 디지털 읽기 평가(DRA),

*교신저자 :최혁준(hjchoi@kice.re.kr)

**

2013년 7월 25일 접수,2013년 9월 12일 수정원고 접수,2013년 9월 17일 채택

***

이 연구는 ‘최혁준,이상하 (2012).컴퓨터 기반 과학과 실기평가 적용 사례.컴퓨터기반 평가의 적용 현황과 발전 과제 (pp49-68).한국교육과정평가원 연구자료 ORM 2012-92.’의 일부 내용을 수정·보완한 것을 포함함.

PISA 2012의 컴퓨터 기반 수학 평가(CBAM)와 컴 퓨터 기반 문제해결력 평가(CBAPS)를 실시하였으 며(조지민 등, 2011), 새롭게 준비 중인 PISA 2015에서는 전 영역에 걸쳐 컴퓨터 기반 평가를 적용할 예정이다(OECD, 2013). 우리나라의 경우에 도 국가수준 학업성취도 평가에서 컴퓨터 기반 평 가 도입을 검토하고 있는 중이다(김경희 등, 2013).

종이를 사용하지 않으므로 시험을 인쇄·배부하거나 데이터 수집하는 데 따른 비용의 절감과 회수의 용 이성은 앞에서 살펴본 국가 수준 또는 국가간 평가 에서 컴퓨터를 도입하는 큰 장점이라고 볼 수 있 다. 하지만 컴퓨터 기반 평가는 이러한 비용적인

측면뿐만 아니라 학생의 수준이나 반응에 따라 평 가의 개별화가 가능하며, 즉각적인 피드백을 제공 할 수 있고, 시뮬레이션이나, 동영상, 음향 자료에 의한 종합적이고 실제적인 문제 상황을 제시할 수 있으며, 다양하고 풍부한 자료 제공과 이에 대한 검색 기능의 활용이 가능하며, 단순한 결과 평가뿐 만 아니라 과정 평가의 가능성이 열려있다는 점 (Pellegrino & Quellmalz, 2010-11)에서 국가 수 준 또는 국가간 평가뿐만 아니라 단위 지역이나 단 위 학교의 평가에도 도입될 필요가 있다.

이와 관련하여 과학과에서 실시된 몇 가지 컴퓨 터 기반 평가의 예를 살펴보면 다음과 같다.

PISA 2006의 CBAS에서는 지필평가로 전달하기 어려운 질문을 관리하기 위해 비디오 필름, 시뮬레 이션, 애니메이션을 이용하여 문항을 제시하여 학 생들이 문제를 읽는 양을 감소시켰다. CBAS 문항 은 문항에 대해 학생이 수행했던 활동의 형태와 질 문에 답하는 데 필요한 시청각 자료의 사용 정도에 기반하여 상호작용 수준을 낮음, 중간, 높음으로 설 정하였다(OECD, 2010).

NAEP(National Assessment of Educational Progress)은 테크놀로지 환경에서의 문제해결능력 평가를 위해 헬륨 기구와 관련된 내용을 바탕으로 검색 문항과 시뮬레이션 문항을 개발하였다 (Bennett 등, 2007, 2010). 검색 문항의 경우 실제 World Wide Web에서 수천 개의 관련 페이지를 수집하여 정보의 질에 따라 각 페이지를 1점부터 4점까지 점수를 부여한 후 약 5,000개의 페이지로 가상 웹을 구성하여 왜 과학자가 대기권 및 대기권 밖의 우주를 연구하기 위해 헬륨 가스 기구를 사용 하는지, 헬륨 가스 기구를 사용할 때의 장점을 3개 이상을 조사하여 제시하는 것이다. 반면, 시뮬레이 션 문항은 짐의 질량, 기구의 부피, 기구가 올라갈 수 있는 최고 높이 등 세 가지 변인 사이의 관계를 알아보기 위해 변인을 조작해 가며 얻은 데이터에 의해 제공되는 그래프로부터 변인들 사이의 관계에 대해 결론을 이끌어내는 문항이다.

WestEd의 SimScientists 프로그램은 시뮬레이션 기반의 과학 학습 및 평가에 관한 것으로, 생명과 학, 물상과학, 지구과학 등 중학교 과학에서 다루는

내용에 대해 학생들이 시뮬레이션을 이용하여 쉽게 학습할 수 있도록 하는 데 목적이 있다. 이 프로그 램은 시뮬레이션을 기반으로 하기 때문에 과학 체 제의 복잡한 모형을 표현하기, 의미 있고 매력적으 로 탐구 과제 제시하기, 개인적인 피드백 제공하기, 비계를 개인 취향에 따라 설정하기, 자기 평가와 메타인지 기술 촉진하기 등과 같이 시뮬레이션 기 반으로서 가질 수 있는 장점을 보인다(Pellegrino

& Quellmalz, 2010-11). SimScientists 프로그램 은 복잡한 과학을 학습하기 위한 형성 평가로서, 그리고 학습한 내용을 정리하는 총괄 평가로서 활 용할 수 있다(Pellegrino & Quellmalz, 2010-11;

Quellmalz, Timms, & Buckley, 2010).

사실 단위 학교의 과학교육에 있어서 컴퓨터의 활용은 오래 전부터 도입되었다. 초기 컴퓨터를 활 용한 교육은 개인 교수 및 반복 학습을 위한 컴퓨 터 보조 학습(Computer-Assisted Instruction)이 중심이 되었으며, 1970년대 이후 시뮬레이션을 제 공하고, 실험 데이터를 수집하고, 수집된 자료를 신 속하고 정확하게 처리하여 타당한 결론을 도출하게 하고, 학생과 교사가 전 세계의 동료와 전문가들과 의사소통할 수 있게 하는 등(김찬종, 채동현, 임채 성, 1999) 그 적용 범위가 확장되었다. 그러나 이 러한 과학교육에서의 컴퓨터 활용은 대부분 교수·

학습적인 측면에서 이루어졌지 평가적 측면에서 진 행된 것은 미진하다. 그것은 평가가 지닌 폐쇄성과 관련이 있다고 본다. 단순히 교수·학습의 과정에서 진행되는 형성평가가 아니라 평가의 결과를 사용하 여 평정을 하거나 선발을 하는 평가의 경우, 문항 에 대한 보안이 요구되는데, 평가 대상 전체에 대 해 동시에 평가가 진행되지 않으면 문항에 대한 보 안을 담보하기 어렵다. 만일 단위 학교에서 컴퓨터 를 기반으로 한 평가를 실시하고자 한다면 모든 대 상 학급이 동시에 평가를 진행해야 하는데, 현재 학교의 컴퓨터 시설을 들여다보면 이러한 평가 진 행이 불가능하다. 또한 한 번 사용하여 문항이 노 출되면 새로운 문항을 제작하거나 기존 문항을 새 롭게 수정하여 사용해야 하는데, 이러한 일들을 단 위 학교에서 진행하는 것은 쉽지 않다. 그러므로 현 시점에서 단위 학교의 평가로서 활용도가 높을

수 있는 컴퓨터 기반 평가 문항으로는 미리 평가 문항의 내용을 공개하므로 문항에 대한 보안이 요 구되지 않는 수행평가 문항을 고려할 수 있다.

2011년 12월에 교육과학기술부에서 발표한 ‘중등 학교 학사관리 선진화 방안’의 주요 내용 중 하나 가 ‘서술형 평가와 수행평가의 질 제고 및 수업과 연계한 평가 정착 유도’인데(교육과학기술부, 2011), 컴퓨터 기반 평가 방식은 수행평가의 일환 으로 효과적인 활용이 가능하다고 본다.

본 연구에서는 기초 조사의 일환으로 수도권의 중등학교 물리 교사 52명을 대상으로 수행평가에 대한 설문 조사를 실시하였는데, 학생들이 실제로 전기회로를 연결할 수 있는지를 평가하는 것과 같 은 실기평가의 필요성에 대해 긍정적인 응답을 한 경우가 29명(55.8%)으로 부정적인 응답을 한 경우 (17.3%)에 비해 3배 이상으로 많았다. 그러나 수행 평가의 방법으로 이와 같은 실기평가를 사용한 경 우는 모두 8명(15.4%)으로 많지 않았으며, 이들의 평가 방법은 제작된 결과물을 평가하거나 회로 연 결 후 학생들이 적어서 제출한 전류나 저항값을 평 가하는 것과 같은 결과 중심의 평가이며 과정 중심 의 평가는 이루어지지 않았다. 이러한 실기평가를 시행하기에 어려운 점으로는 동시에 여러 명을 평 가하기 곤란하다는 점과 한 명씩 평가하는 데에는 많은 시간이 소요된다는 점, 평가의 공정성을 보장 하기 어렵다는 점 등을 들었다.

본 연구에서는 실제 실험기구를 사용한 평가를 시행하는 데 장애가 되는 요소를 극복하고 실제 실 험기구를 사용한 평가를 대체할 수 있는 컴퓨터 기 반 수행평가 문항을 개발하였다. 실제 실험기구를 사용한 평가에서는 평가 도중 교사가 학생의 응답 에 따라 적절한 단서나 정보, 피드백을 제공할 수 있는데, 본 연구에서 개발한 컴퓨터 기반 평가 문 항은 학생의 응답을 컴퓨터가 자동으로 평가하여, 각 응답에 따라 적절한 단서나 피드백을 제공하도 록 하였다. 즉, 본 연구의 목적은 즉각적 피드백 및 효과적인 시뮬레이션 제공 등 컴퓨터 기반 평가의 장점을 살린 동시에 학교 단위에서 실제적으로 평 가에 활용할 수 있는, 실제 실험기구를 사용하여 실시되는 평가를 대체할 수 있는 컴퓨터 기반 수행

평가 문항을 개발하는 것이다.

Ⅱ. 문항 개발의 개요

앞서 언급하였듯이 과학과에서 실기평가가 이루 어질 필요가 있다는 교사의 인식은 있으나 이러한 실기평가는 동시에 여러 명이 평가하기 곤란하고 한 명씩 평가하기에는 시간이 많이 소요되며 평가 의 공정성을 보장하기 어렵다는 점과 같은 문제로 인해 실질적으로 학교 현장에서 실시하는 것이 쉽 지 않다. 본 연구에서는 동시에 여러 명을 대상으 로 실기평가를 수행할 수 있도록 컴퓨터 기반 수행 평가 문항을 개발하였다. 본 연구에서 실제 과학 실험기구를 사용하여 수행되는 실기평가의 단점을 극복하고 이를 대체할 수 있는 컴퓨터 기반 수행평 가 문항을 개발하고자 하는 것이므로, 컴퓨터 기반 평가 문항은 가능하면 실제 실험기구를 사용하여 수행되는 평가와 유사하게 구성되도록 하였다. 본 연구의 컴퓨터 기반 수행평가 문항 개발 시 고려된 사항은 다음과 같다.

○ 실제 실험기구를 사용한 평가 장면과 유사하 게 화면을 구성한다.

○ 실제 실험기구를 사용한 평가의 평가 요소를 가능한 모두 포함시킨다.

○ 실제 실험기구를 사용한 평가의 과정에서 평 가자가 제공할 수 있는 단서나 정보를 피험 자의 응답 유형에 따라 적절하게 제공한다.

○ 오류 발생 및 단서 제공 정도를 평가에 반영 한다.

○ 피험자의 응답을 저장하고, 가능한 평가 결과 를 자동으로 제공한다.

○ 교사가 실제 학생의 평가에서 사용 가능하도 록 구성한다.

본 연구에서 문항 개발에 사용한 컴퓨터 프로그 램 언어는 플래시이며, 실기평가의 주제는 ‘전류계 와 전압계 연결 실험’으로 선정하였다. 교육 경력 10년 이상의 물리 전공 교사 3명을 대상으로 선정

된 실기평가의 주제가 중·고등학교 교육과정 상 중 요한 내용이면서도 실제 과학 실험기구를 사용하여 실기평가를 수행하기에는 어려움이 많은 주제인 것 에 대해 검증을 받았다. 또한 이들 3명의 교사에게 개별적으로 실제 과학 기구를 사용하여 ‘전류계와 전압계 연결 실험’ 실기평가를 실시할 때의 평가 절차 및 평가 요소를 작성하게 하고 공동 검토를 통해 이를 수정·보완하여 평가 절차 및 평가 요소 를 확정하였다. 일반적인 ‘전류계와 전압계 연결 실 험’ 실기평가 절차는 전류계, 전압계, 건전지, 전구, 스위치, 전선 등을 사용하여 전구에 불을 켜고 전 구에 걸리는 전압과 전구에 흐르는 전류의 세기를 전압계와 전류계를 사용하여 측정하는 것이다. 본 연구에서 개발한 컴퓨터 기반 평가 문항도 이와 같 은 평가 절차를 따라 구성하였다. 또한 실제 실험 기구를 사용한 실기평가 중 교사가 문항을 해결하 지 못할 때 제시할 수 있는 단서나 정보를 파악하 여, 이를 컴퓨터 기반 평가 문항에서도 제시할 수 있도록 문항을 제작하였다.

3인의 교사와 함께 선정한 실제 실험기구를 사 용한 실기평가에서의 평가 요소는 다음과 같다.

○ 전구에 불이 들어오는가?

○ 전류계를 직렬 연결하였는가?

○ 전압계를 병렬 연결하였는가?

○ 전류계와 전압계의 (+), (-) 단자 연결이 옳 은가?

○ 전류계와 전압계의 단자를 큰 단자부터 먼저 사용하고 나중에 작은 단자를 사용하였는가?

○ 전류계의 눈금을 읽을 수 있는가?

○ 전압계의 눈금을 읽을 수 있는가?

컴퓨터 기반 평가 문항에서도 이와 똑같은 평가 요소를 사용하기로 하였다. 그러나 전압계의 눈금 을 읽는 것은 전류계의 눈금을 읽는 것과 방법 상 큰 차이가 있는 것이 아니기 때문에, 컴퓨터 기반 평가 문항을 다소 간단히 제작하기 위해, 마지막

‘전압계의 눈금을 읽을 수 있는가?’는 컴퓨터 기반 평가의 평가 요소에서 제외하였다. 학생들의 컴퓨 터 시뮬레이션 상에서 수행한 회로 연결에 대해서 는 컴퓨터가 자동적으로 채점할 수 있도록 하였다.

전류계와 전압계를 포함하여 회로 연결이 적절한 지를 컴퓨터가 자동적으로 판단하게 하기 위해 소 위 미로 찾기 알고리즘을 변형한 선 추적(line trace) 알고리즘을 구상하여 사용하였다. 즉, 이 알 고리즘은 시작점을 건전지 (+)극으로, 도착점을 건 전지 (-)극으로 지정하고 적절히 연결된 회로를 끊 어가며 시작점에서 출발한 선이 회로를 따라 도착 점까지 연결되어 있는지, 불필요한 선의 연결이 있 는지, 중간에 어떤 지점(전류계 및 전압계의 단자, 저항)을 거쳐 왔는지 파악하는 것이다.

구체적인 회로 연결 판단 알고리즘 절차 및 판정 방법은 다음과 같다.

○ 1단계 단선 판별: 건전지 (+)극에서 출발하여 (-)극에 도달하지 못한 경우

○ 2단계 합선 판별: 현재의 회로 연결 상태에서 전압계, 저항을 제거하고, 건전지 (+)극에서 출발하여 (-)극에 도달한 경우

○ 3단계 전류계와 전압계 사용 단자 확인:

- 전류계/전압계의 (+), (-)단자에 전선이 각 각 1개만 연결되었는지 확인

- 큰 단자와 작은 단자 중 어느 단자와 연결 하고 있는지 확인

○ 4단계 전압계 병렬 연결 판별: 저항을 제거하 고 건전지 (+)극에서 출발하여 (-)극에 도달 하고, 건전지를 제거하고 전압계에서 출발하 여 저항을 거쳐 다시 전압계로 돌아온 경우

○ 5단계 전류계 직렬 연결 판별: 전압계를 제거 하고 건전지에서 출발하여 저항을 거쳐 건전 지로 돌아오는 경우

○ 6단계 전압계 단자 연결 확인: 전류계와 저항 을 제거하고 전압계의 (+)단자에서 출발하여 건전지의 (+)극과 만나는 경우

○ 7단계 전류계 단자 연결 확인: 전압계를 제거 하고 전류계의 (+)단자에서 출발하여 건전지 의 (+)극과 만나는 경우

[그림 3]전선의 연결

Ⅲ. 문항 개발의 실제

1. 컴퓨터 화면 구성

컴퓨터 기반 평가 문항의 화면은 [그림 1]과 같 이 크게 세 부분으로 구성된다. 먼저 상단과 하단 으로 구분하였다. 상단 좌측은 학생들이 전류계와 전압계의 연결을 수행하는 부분으로 스위치와 연결 된 건전지를 미리 배치시켜 놓았다. 이것은 구성될 수 있는 회로의 형태를 제한하여 줌으로 컴퓨터 기 반 평가 문항의 개발을 다소 용이하게 하기 위함이 다. 상단 우측은 학생들이 회로에 연결된 전류계와 전압계의 눈금을 읽을 수 있도록 전류계와 전압계 의 눈금 부분을 확대하여 제시하였다. 하단에는 전 류계와 전압계 연결 실험에 사용되는 나머지 실험 기구들을 배치하였다. 전선은 연결을 위해 필요한 최소량보다 많은 7개를 제공하였다. 학생들은 하단 에서 있는 실험기구를 마우스로 드래그하여 상단 좌측으로 이동하여 사용한다.

[그림 1]컴퓨터 기반 평가 문항의 화면 구성

2. 문항의 구성

컴퓨터 기반 실기평가 문항은 결국 컴퓨터 상의 시뮬레이션을 이용하여 실제 실험 과정을 대신하는

것이다. 따라서 학생들이 이러한 문항을 풀기 위해 서는 먼저 시뮬레이션 사용법을 익힐 필요가 있다.

따라서 본 평가 문항을 제시하기 전에 시뮬레이션 사용법에 대한 안내 동영상과 시뮬레이션 사용법을 직접 연습해 볼 수 있는 단계를 제공하였다. 또한 화면 상단 우측의 윗분분에 있는 [사용법] 버튼 ([그림 1] 참조)을 누르면 언제나 [그림 2]와 같은 팝업 화면이 나타나 시뮬레이션 사용법을 확인할 수 있도록 하였다.

[그림 2]시뮬레이션 사용법 팝업 화면

시뮬레이션 사용법을 정리하면 다음과 같다.

○ 전선 이동: 전선 중심의 네모박스를 드래그함

○ 전압계, 전류계, 전구 이동: 전압계, 전류계, 전구의 일부분을 드래그함

○ 전선 길이 및 전선 방향 조정: 전선에 연결된 악어집게를 드래그함

○ 전선 또는 전류계/전압계 단자 연결: 악어집 게와 악어집게, 악어집게와 단자를 겹치도록 드래그함

○ 스위치 ON/OFF: 스위치를 클릭함

[그림 3]은 두 전선의 연결을 나타낸 것이다. 전

[그림 4]회로 구성의 예 (스위치 OFF 상태) [그림 5]스위치 사용 경고 메시지 선이 연결되지 않은 상태(왼쪽 그림)에서 하나의

악어집게를 드래그하여 다른 악어집게와 겹치도록 드래그하여 놓으면 악어집게 끝부분의 원형 모양이 노란색에서 초록색으로 변하여(오른쪽 그림) 전선 이 바르게 연결되었다는 것을 보여준다. 전선과 전 류계 및 전압계 단자의 연결도 이와 유사하다.

[그림 4]는 학생이 회로를 연결하는 과정의 한 장면으로 스위치가 열려있는 상태이다. 스위치가 열려있으므로 전구에 불이 들어오지 않았으며, 전 류계 및 전압계의 눈금도 모두 ‘0’을 가리키고 있 다. 학생들이 회로를 완성했다고 생각하기 전에는 임의로 스위치를 닫는 것을 금하고 있다. 만일 학 생이 스위치를 누를 경우 [그림 5]와 같은 경고 메 시지 창이 뜬다. 여기서 [취소] 버튼을 누르면 아 무런 감점 없이 스위치가 열리고 다시 회로 연결 과정으로 돌아가며, [확인] 버튼을 누르면 [그림 6]과 같이 스위치가 닫힌 상태에서 회로의 연결 상 태에 따라 전구에 불이 켜지거나 전류계 및 전압계 의 눈금이 변할 수 있다.

또한 우측 상단의 전류계의 눈금 아래에 전류계 의 눈금을 읽어 측정된 전류값을 쓰도록 하는 상자 가 생성된다. 만일 학생이 전구의 불이 꺼진 상태 나 전류계 및 전압계의 눈금을 확인하고 회로 연결 에 이상이 있다고 생각하는 경우는 [다시하기] 버 튼을 눌러 다시 회로 연결 과정으로 돌아갈 수 있 으며, 회로 연결에 이상이 없다고 생각하는 경우는 전류계의 눈금을 읽어 그 값을 빈칸에 적고 [제출

하기] 버튼을 누른다. 즉, 본 연구에서 개발한 실기 평가 문항은 실제 실험기구를 사용하여 회로를 연 결하는 과정에서 학생들이 인지할 수 있는 오류에 대한 정보를 동일하게 제공해 줄 수 있도록 개발하 였다.

[그림 6] 회로 구성의 예 (스위치 ON 상태)

실제 실험기구를 사용하여 실기평가를 하는 중에 학생이 더 이상 평가를 진행할 수 없는 문제에 부 딪힌다면, 교사가 그 상황에 따라 적절한 단서나 정보를 학생에게 제공하여 학생이 평가를 계속 진 행할 수 있도록 하는 경우가 있다. 또한 학생이 제 출한 답에 오류가 있을 때 교사가 이러한 사실을 학생에게 알려 학생이 다시 문항을 풀 수 있는 기 회를 제공하기도 한다. 본 연구에서 개발한 문항은 학생이 회로 연결을 마치고 [그림 6]에서 [제출하 기] 버튼을 클릭하면 자동적으로 회로 연결의 이상

유무를 판단하여 회로 연결이 잘못된 경우 잘못된 내용에 대한 피드백을 보여주는 팝업 화면이 나타 나며 학생에게 다시 문제를 풀 수 있는 기회를 제 공한다. 처음 피드백을 제공할 때는 [그림 7]과 같 이 일률적으로 ‘연결이 잘못되었습니다. 수정하여 다시 제출하세요.’란 팝업 화면이 제공되며, 두 번 째와 세 번째 피드백을 제공할 때는 [그림 8]에서 볼 수 있듯이 ‘전압계 연결 이상, 측정값이 틀렸습 니다.’와 같이 학생이 제출한 내용에 따라 잘못된 부분을 지적하는 팝업 화면이 제공된다.

[그림 7] 첫 번째 피드백 제공 화면

[그림 8] 두 번째 피드백 제공 화면

학생은 회로 연결을 모두 4번까지 시도할 수 있 다. 즉, 피드백은 3번 제공되며, 4번째 시도 후에는 더 이상 시도할 수 없이 결과를 제출하게 된다.

앞의 [그림 6]에서 [제출하기] 버튼을 누를 때, 회로 연결이 이상이 없거나 4번째 [제출하기] 버튼 을 클릭한 경우에는 자동 채점된 결과를 의미하는 11자리의 숫자가 [그림 9]와 같이 하단의 우측에 나타난다. 편의를 위해 본 연구에서는 이 11자리 숫자를 ‘평가 정보 숫자’라고 부르기로 한다.¹⁾

1)‘평가 정보 숫자’에 대해서는 다음 절에서 자세히 설명하 였다.

[그림 9]‘평가 정보 숫자’가 나타난 화면

3. 평가 결과 처리

컴퓨터 기반 평가의 장점 중 하나는 학생들의 문 항에 대한 응답을 별도로 제출받지 않고 컴퓨터를 통해 전송받아 이를 자동적으로 수집할 수 있다는 점이다. 그러나 이와 같이 학생들이 수행한 결과를 컴퓨터를 통해 자동적으로 수집하기 위해서는 일반 적으로 별도의 서버가 필요하며, 단위 학교에서 개 별 교사가 실기평가를 위해 별도의 서버를 구축하 고 이를 세팅한다는 것은 너무 어렵고 번거로운 일 이다. 따라서 모든 교사가 쉽고 편리하게 컴퓨터 기반 평가를 실시하기 위해서는 별도 서버를 사용 하지 않고도 인터넷만 구축된 환경에서 사용이 가 능하도록 평가 문항을 구성할 필요가 있다. 즉, 별 도 서버가 구축된 일반적인 컴퓨터 기반 평가에서 는 학생이 평가에 대한 응답을 완료하고 [그림 6]

에서 [제출하기] 버튼을 클릭하는 것으로 작성한 응답이나 그 과정에 대한 정보가 서버에 전송되면 서 평가가 종료된다. 그러나 별도 서버를 사용하지 않는 경우에는 [제출하기] 버튼을 눌렀을 때 학생 들이 문항을 푸는 과정에서 작성한 응답이나 그 과 정에 대한 정보를 수집할 수 있는 절차가 필요하 다. 본 연구에서는 서버를 사용하지 않았으며, 이러 한 정보를 수집하기 위해 일종의 온라인 설문 형식 인 ‘구글 양식’을 활용하였다. 즉, 학생들이 [그림 6]에서 전류의 측정값을 입력하고 [제출하기] 버튼 을 눌러 ‘평가 정보 숫자’가 나타나는 [그림 9]의 화면으로 이동하는 경우, 컴퓨터 기반 문항과 연동 된 ‘구글 양식’으로 작성한 ‘결과 제출’ 화면이 함께 나타나게 하였다([그림 10] 참조).

자리 의미(평가 요소) 1번째 결과 조작 여부: 2~11번째 숫자를 더한 값의 일의 자리 2번째 회로 작동 여부: 단선 및 합선 (전구에 불이 들어오는지 체크) 3번째 전류계 직렬 연결 여부

4번째 전압계 병렬 연결 여부

5번째 전류계 (+), (-) 단자 연결이 맞는지 여부 6번째 전압계 (+), (-) 단자 연결이 맞는지 여부 7번째 시도 횟수 (숫자만큼이 시도한 횟수임)

8번째 최종적으로 전류계 단자를 작은 단자(0.5A)에 연결했는지 확인 9번째 최종적으로 전압계 단자를 작은 단자(3V)에 연결했는지 확인

10번째 전류계 단자를 먼저 큰 단자에 연결하고 확인했다가 작은 단자에 연결했는지 확인 11번째 전류계의 값이 옳은지 판단

표 5. ‘평가 정보 숫자’ 각 자리의 의미(평가 요소) [그림 10]‘결과 제출’ 화면

학생들은 이 구글 양식에 자신의 학번과 이름을 적고 [그림 9]의 ‘평가 정보 숫자’를 복사하여 ‘결 과 제출’란에 붙여넣기를 한 후 [보내기] 버튼을 클릭한다.

이 11자리의 ‘평가 정보 숫자’는 각 자리마다 고 유한 의미를 갖는다. 1번째 자리를 제외한 나머지 자리의 숫자는 각 평가 요소에 대해 컴퓨터가 자동 적으로 파악한 평가 결과를 보여주는 것이다. 공통 적으로 ‘1’이면 해당 평가 요소가 정상임을, ‘0’이면 비정상, 즉 오류가 있음을 뜻하며, 각 자리의 의미 또는 평가 요소는 <표 5>와 같다.

예를 들어, ‘평가 정보 숫자’가 ‘9111014010’이 라고 하자. 여기서 1번째 자리의 숫자는 2~11번째

자리의 숫자를 더한 값의 일의 자리 숫자가 나타나 게 되는데, 이것은 학생들이 임으로 ‘평가 정보 숫 자’를 조작하였는지를 확인할 수 있는 요소이다.

‘9111014010’의 1번째 자리의 숫자 9는 2~11번 째 자리의 숫자를 더한 값의 일의 자리의 숫자 9와 일치하므로 이 ‘평가 정보 숫자’를 제출한 학생이 임으로 숫자를 조작하여 제출하지 않았음을 확인할 수 있다. 또한 2~11번째 자리의 숫자에 대해서는 그 숫자가 ‘1’ 또는 ‘0’임에 따라, ‘회로 단선이나 합선되지 않음(정상), 전류계는 직렬 연결, 전압계 는 병렬 연결, 전류계 (+), (-) 단자 연결은 정상, 전압계 (+), (-) 단자 연결은 비정상(즉, 단자가 반 대로 연결), 총 4번 시도, 최종적으로 전류계 작은 단자(0.5A)에 연결(정상), 최종적으로 전압계는 큰 단자(15V)에 연결(비정상), 전류계는 먼저 큰 단자 에 연결했다가 알맞은 작은 단자에 연결(정상), 전 류계를 정확하게 읽어 측정값이 옳음’을 의미한다.

앞의 [그림 10]에서 [보내기] 버튼을 클릭하면 [그림 11]과 같이 ‘평가 정보 숫자’를 비롯하여 개 별 학생이 작성한 내용이 자동적으로 수집되며, 교 사는 언제든지 이 결과를 이용하여 학생의 평가 결 과를 확인하고 이를 분석할 수 있다. 또한 수집된

‘평가 정보 숫자’는 ‘엑셀’ 프로그램을 이용하면 간 단히 채점할 수 있다.

[그림 11]수집된 결과 화면

만일 인터넷이 연결되지 않아 구글 양식을 사용 하지 못할 때는 [제출하기] 버튼을 클릭하였을 때 나타나는 ‘평가 정보 숫자’를 교사가 직접 확인하여 기록하고, 이를 분석하여 채점한다.

Ⅳ. 결론 및 제언

본 연구의 목적은 즉각적 피드백 및 효과적인 시 뮬레이션 제공 등 컴퓨터 기반 평가의 장점을 살린 동시에 학교 단위에서 실제적으로 평가에 활용할 수 있는 컴퓨터 기반 수행평가 문항을 개발하는 것 이다.

중등 물리교사를 대상으로 과학 수행평가에 대한 간단한 설문을 조사한 결과, 실제로 실험기구를 다 루는 능력에 대한 평가의 필요성에 대해 다수의 교 사가 그 필요성을 인정하는 것으로 나타났으나 이 러한 능력에 대한 평가가 실제로 활용되는 정도는 매우 낮았다. 이와 같이 실기평가의 활용이 낮은 이유, 즉 이러한 평가를 시행하기에 어려운 점으로 는 동시에 여러 명을 평가하기 곤란하다, 한 명씩 평가하는 데에는 많은 시간이 소요된다, 평가의 공 정성을 보장하기 어렵다 등을 들었다.

본 연구에서는 이와 같은 설문 결과를 반영하여 컴퓨터를 기반으로 한 전류계와 전압계 연결 실험

에 대한 실기평가 문항을 개발하였다. 이와 같은 실기평가에 대한 문항은 평가 문항에 대한 문항 보 안이 필요하지 않다는 점에서 컴퓨터 기반 실기평 가 문항이 단위 학교에 보급되는 경우 그 활용도가 높아질 수 있을 것으로 판단된다.

실제 실험기구를 직접 사용하여 그 사용법을 익 히고, 이를 사용하여 직접적인 탐구활동을 수행하 는 것은 과학 교육에 있어 매우 중요한 영역이다.

그러나 이러한 실기 능력을 평가하는 것은 과다한 평가 소요 시간이나 공정성 시비 등으로 인해 쉽게 시행되기 어렵다. 본 연구에서 개발한 컴퓨터 기반 수행평가 문항은 학생의 응답에 따라 적절한 피드 백 제공을 포함하며, 실제 실험기구를 사용한 평가 에서 이루어지는 것과 유사한 화면, 평가 절차, 채 점 요소 등으로 구성하였다. 따라서 본 연구에서 개발한 컴퓨터 기반 수행평가 문항을 사용한 평가 가 실제 학교 현장에서 시행하는 데 제약이 있는 실제 실험기구를 사용한 평가를 대체할 수 있는 것 으로 판단된다.

사실 실험기구 사용법과 같은 실기평가는 평가 결과에 따라 제공되는 평가 점수를 활용하여 피험 자를 변별하기보다는 피험자가 실험기구를 어느 정 도 올바르게 사용할 수 있는지, 그 수행 정도를 평 가하는 것이 바람직하다. 2012년부터 적용되기 시 작한 성취평가제는 학생들을 상대평가하는 것이 아 니라 설정된 성취기준에 따라 학생들의 성취 정도 를 평가하는, 절대평가 개념의 평가 방식이다. 따라 서 성취평가제 아래에서는 본 연구에서 개발한 컴 퓨터 기반 수행평가 문항의 적용이 더욱 의미 있으 리라 생각된다.

본 연구와 관련되어 몇 가지 제언을 제시하면 다 음과 같다.

먼저 평가 시스템 개발에 대한 논의가 필요하다.

본 연구에서 사용한 평가 시스템은 서버를 기반으 로 한 것이 아니므로 평가 문항을 평가 이전에 개 별 컴퓨터에 설치해야 하고 평가 결과를 전달 받기 위한 별도의 방법으로 평가 결과를 부호화하여 온 라인 설문 방식을 통해 수집하였다. 이와 같은 시 스템은 개별 교사가 서버를 운영하지 않아도 되기 때문에 실제적인 평가의 활용을 높일 수 있는 방법

이기는 하지만 평가의 객관성을 높이고 운영을 자 동화하기 위해서는 서버 구축을 포함한 인터넷 기 반 평가 시스템 도입이 필요하다. 특히 현재의 시 스템으로는 개별 문항을 해결하는 데 소요되는 시 간을 포함하여 전체적인 평가 과정을 추적하는 것 에는 어려움이 있으므로 진정한 과정 평가를 구현 하기 위해서는 새로운 평가 시스템의 도입이 필요 하다.

또한 시뮬레이션 기능이 있는 컴퓨터 기반 평가 문항을 교사가 직접 제작하거나 수정하여 사용하는 것은 쉽지 않으며, 이것이 가능하다고 해도 모든 교사가 개별적으로 문항을 개발하는 것은 시간과 비용에 있어서도 낭비적인 요소가 있다. 본 연구에 서 개발한 실기평가 문항의 경우 문항 보안에 대한 필요가 높지 않으므로 한 번 개발된 문항을 여러 학교에서 동일한 평가 문항을 사용하는 것이 가능 하다. 따라서 이와 관련된 문항을 특정 기관에서 개발하여 개별 학교에 제공하는 방안을 모색할 필 요가 있다.

이와 같은 방식으로 문항이 개발될 때에는 관련 실기 능력에 대한 다양한 단계나 수준의 문항을 제 작하여 보급할 필요가 있다. 현재 개발한 전류계와 전압계 연결 실험 문항은 전기회로 연결에 대한 많 은 요소들을 동시에 묻고 있는 문항이다. 학교 현 장에서의 활용을 높이기 위해서는 단순히 전지와 저항만을 연결하는 문항부터, 전류계를 연결하는 문항, 전압계를 연결하는 문항, 그리고 저항을 직 렬, 병렬 연결하는 문항, 옴의 법칙에 대한 실험 문 항, 전기의 열작용에 대한 문항 등 전기회로 연결 과 관련된 일련의 문항을 개발하여 학교 현장에 보 급하는 것이 필요하다.

본 연구에서 개발한 문항은 실제 실험기구를 사 용한 실기평가를 대체할 수 있는 컴퓨터 기반 수행 평가 문항이다. 그러나 이와 같이 컴퓨터 시뮬레이 션을 활용한 평가가 실제 실험기구를 활용할 수 있 는 능력을 올바르게 평가할 수 있는지에 대한 추후 연구가 필요하다. 즉, 컴퓨터 기반 수행평가 결과를 실제 실험기구를 이용한 평가 결과와 비교해 봄으 로써 컴퓨터 기반 수행평가의 타당성을 확보할 필 요가 있다.

감사의 글

컴퓨터 프로그램 작성에 도움을 주신 김정식님께 감사드립니다.

참 고 문 헌

교육과학기술부(2011.12.13). 창의‧인성교육 강화 를 위한 ‘중등학교 학사관리 선진화 방안’

발표. 보도자료.

김경희, 김완수, 김종훈, 최인봉, 박인용, 신진아, 송미영, 김희경, 김동영, 김미경, 신동광, 이인 호, 최인선, 한경택, 한정아(2013). 컴퓨터 기반 국가수준 학업성취도 평가 도입 방안.

한국교육과정평가원 연구보고 CRE 2013-5.

김찬종, 채동현, 임채성(1999). 과학교육학개론. 서 울: 북스힐.

조지민, 김수진, 이상하, 김미영, 옥현진, 임해미, 박연복, 이민희, 한희진, 손수경(2011).

2011년 국제 학업성취도 평가 연구 (PISA/TIMSS): PISA 2012 예비검사 시행 보고서. 한국교육과정평가원 연구보고 RRE 2011-4-2.

Bennett, R. E., Persky, H., Weiss, A. R., &

Jenkins, F. (2007). Problem solving in technology-rich environments: A report from the NAEP technology-based assessment project (NECS 2007-466). Washington, DC: National Center for Education Statistics, US Department of Education. Retrieved January 20, 2011, from http://nces.ed.gov/

pubsearch/pubsinfo.asp?pubid=2007466 Bennett, R. E., Persky, H., Weiss, A. R., &

Jenkins, F. (2010). Measuring problem solving with technology: A demonstration study for NAEP. Journal of Technology, Learning, and Assessment, 8(8). Retrieved January 20, 2011, from http://www.jtla.org

OECD (2010). PISA computer-based assessment of student skills in science. Paris: OECD publishing. ISBN 978-92-64-08203-8 OECD (2013). PISA 2015 integrated design.

Paris: OECD publishing.

Pellegrino, J. W., & Quellmalz, E. S. (2010-11).

Perspectives on the integration of technology and assessment. Journal of Research on Technology in Education, 43(2), 119-134.

Quellmalz, E. S., Timms, M., & Buckley, B.

(2010). The promise of simulation- based science assessment: the calipers project. International Journal of Learning Technology, 5(3), 243-263.

www.simscientists.org (SimScientists program 홈페이지)

국 문 요 약

과학교육에서 컴퓨터는 교수·학습 뿐 아니라 평 가의 목적으로도 활용되고 있다. 죽, 컴퓨터의 장점 을 살린 컴퓨터 기반 평가가 실시되고 있다. 그러

나 이와 같은 평가는 주로 과정 중심이 아닌 결과 중심의 평가이며, 피험자의 수만큼 컴퓨터가 있어 야 하므로 학교의 정규 시험으로 활용하기 곤란하 다. 그러나 수행평가의 경우 일반적으로 평가 과제 가 미리 공개되므로 학급별 또는 학생별로 평가 시 간이 다르게 평가를 실시하는 것이 가능하다. 따라 서 본 연구에서는 실제 실험기구를 사용한 실험평 가를 대체할 수 있는 컴퓨터 기반 수행평가 문항을 개발하였다. 이를 위해 먼저 물리 교사를 대상으로 과학교육에 있어 이러한 기능에 대한 평가의 필요 성 및 어려운 점 등에 대한 설문조사를 실시하였 고, 이를 반영하여 전류계와 전압계를 포함한 회로 를 구성을 하는 평가 문항을 개발하였다. 개발된 컴퓨터 기반 문항은 실제의 실험기구를 사용하여 진행되는 평가와 유사하게 구성하였으며 평가 과정 에서 학생들의 수행에 따라 적절한 피드백을 제공 하고, 수행 결과를 자동적으로 채점할 수 있도록 하였다. 이를 위해 컴퓨터가 학생들의 수행 결과의 정확성을 판단할 수 있는 알고리즘을 개발하였다.

주요어: 컴퓨터 기반 평가, 실험, 문항 개발, 수 행평가