과학교육연구지,37권 3호,pp.458-475(2013.12) Jour.Sci.Edu,Vol.37,No.3,pp.458-475(2013.12)
예비 물리 교사들의 학생평가 문항 제작 수행 수준 조사
- 형성 평가를 위한 선다형 물리 개념 검사 문항 분석 중심으로
최현숙·김중복*
한국교원대학교
A Study on Performance Level of Pre-service Physics Teachers in Constructing Questions for classroom assessment
- Focused on Analysis of Multiple Choice Question about Physics Conceptest for Formative Assessment
Hyun Sook Choi·Jung Bog Kim*
Korea National University of Education
Abstract : According to instruction of standard-based assessment system, teachers with higher level of competence in student assessment are required. The purpose of this study is to offer the basic data to enhance pre-service physics teachers' competency in student assessment. 17 pre-service physics teachers, who are sophomore in department of physics education, participated in the study for a whole semester. To do this, we gave the assignment of multiple choice question construction in physics conceptest for formative assessment to pre-service teachers and observed review questions constructed by them. We also analyzed multiple choice questions of 17 pre-service teachers. They had 5 classes for the review process of the question and improved their questions through it. 16 of 17 pre-service teachers completed test design. Our results show that pre-service teachers had a little low competence in test design for classroom assessment. In addition to, constructing and revising questions, almost of them didn't have various perspectives and didn't consider to get information about the pre-conceptions of students.
These findings indicate that they have difficulties with constructing multiple choice question and more specific plan needs to enhance the overall student-assessment competency levels of pre-service teachers for successful settlement of the standard-based assessment system.
keywords : classroom assessment, pre-service teacher, formative assessment, multiple choice question
*교신저자 :김중복(jbkim@knue.ac.kr)
**
2013년 10월 24일 접수,2013년 12월 22일 수정원고 접수,2013년 12월 23일 채택
Ⅰ. 서론
최근 성취평가제의 도입으로 교사의 학생평가에 대한 소양과 전문 지식의 필요성이 강조되는 등 교 사의 학생평가 전문성 신장에 대한 현장의 요구가 이어지고 있다(김신영, 2012; 박정, 2013; 지은림, 2011). 교사의 학생평가 능력은 PCK(Pedagogical
Content Knowledge)요소 중 가장 많이 제안된 지 식이며(Lee, 2007) 고도의 정신력을 요구하는 영 역으로 예비교사가 현장에 나가기 전 반드시 갖추 어야할 전문성 중 하나이다.
2014년 전면 시행될 성취평가제는 기존의 결과 지향적 총괄 평가에서 과정 지향적 형성 평가로의 전환을 촉구하고 있다(지은림, 2011). 이러한 전환 은 학생평가와 학습을 같은 맥락에서 보는 평가의
형성적 기능을 더욱 강조한다.
그 동안 교육계에서는 형성 평가(Bell & Cowie, 1997; Black, 1995)의 교육적 효과와 그 필요성을 꾸준히 강조해왔다(지은림, 2010; Black & Wilia m, 1998; Nicol & Macfarlane-Dick, 2006). 과학 수업에서도 형성 평가를 적용한 교수·학습 방법이 학생들의 과학 개념 이해와 적용 그리고 정의적 측 면에서 긍정적인 교육적 효과가 있음이 입증되어왔 다(남정희, 2005; 이현주, 최경희, 남정희, 2000; S havelson et al., 2008).
형성 평가의 주요 목적 중 하나는 교수·학습 개 선이다. 교사는 평가 결과를 통해 얻은 교수·학습 개선에 관한 정보를 활용하여 수업 활성화와 학생 들의 성취도 증가를 위한 방안 등 차후 수업 진행 에 있어 합리적인 의사 결정을 내릴 수 있다. 그러 므로 교사의 평가도구 제작 및 그 결과의 활용 등 의 평가 수행 능력은 수업 전문성과 직결된다(임찬 빈 등, 2004).
형성 평가에 사용되는 평가 문항은 학생들의 학 습 개선에 중요한 역할을 한다. 일반적으로, 문항 제작은 해당 학급 학생들의 수준과 특성을 잘 파악 하고 있는 교과 담당 교사가 직접 제작하는 것을 권장하고 있다(김진규, 2008; 성태제, 2002; 황정 규, 1998). 하지만 문항 제작 능력은 단기간에 습 득할 수 있는 것이 아니다. 특히, 문항 제작 과정에 서 문항의 완성도를 높이기 위해서는 세밀한 검토 능력이 요구되어지는데 이러한 능력은 교과 내용과 일반 교육학의 평가 이론을 바탕으로 한 오랜 경험 에 의해 습득되어지는 것이다(권재술 등, 2000; 김 수동, 전영석, 2004; 성태제, 2002; 황정규, 1998).
교육의 궁극적인 목표는 학습한 내용을 실생활에 적용함에 있다(Gagne, Yekovich, & Yekovich, 2 005). Sousa(2001)는 “학생들이 학교에서 배운 것 을 더 많이 일상생활의 맥락에 전이(transfer)하면 할수록 그들은 더 훌륭한 의사 소통자, 정보를 많 이 아는 시민, 비판적인 사고자, 그리고 성공적인 문제 해결자가 될 확률이 높다.”고 하였다. 하지만 학생들이 특정 상황에서 학습한 내용을 다른 맥락 으로 전이시키는 유의미한 학습은 필연적으로 이루 어지지 않는다(김수동, 전영석, 2004; Sousa, 200
1). 따라서 교사들은 학생들이 학습한 개념을 다양 한 상황에 적용해볼 수 있는 평가 문항을 제작하여 학생들의 사고력을 평가해야한다.
하지만, 중학교 과학 지필평가 문항을 분석한 국 내 연구(김윤희 등, 2010; 박현주, 2012)의 결과에 따르면 현장 과학교사들에 제작한 문항의 평가목표 가 행동영역의 지식과 이해 수준에 편중되어 있어 적용, 분석, 종합 그리고 평가 수준에 해당하는 사 고력의 평가가 어려운 것으로 나타났다. 이러한 결 과에 대해 이들 연구에서는 예비교사와 현직 교사 의 평가 전문성을 위한 지속적이고 실천적인 방안 의 필요성을 지적하였다.
예비교사의 평가 전문성 습득에 대해 김신영(20 08)은 3, 4학년 때의 교육 실습만으로 예비교사들 이 평가 전문성을 습득하는 것이 부족함을 지적하 였다. 또한, 전문성 신장을 위한 방안에 대해 백성 혜(2008)는 예비교사들에게 이론 교육뿐 아니라 직 접 문항을 제작하는 등의 학생평가에 대한 실제적 인 경험을 쌓을 수 있는 교육의 기회가 제공되어야 함을 제안하였다. 이들이 주는 시사점은 저학년 시 절부터 전공 교과의 학생평가 수행 실습을 통해 평 가 이론과 교과 내용을 연계해 적용해보는 장기적 인 교육이 필요함을 강조한 것이다.
예비교사의 학생평가 전문성에 대한 기존의 국내 연구들(김신영, 2007; 2008; 박 정, 2013)은 학생 평가와 관련된 교육학 과목의 수강 여부에 따른 예 비교사들의 일반적인 평가 지식과 소양을 설문조사 로 비교하는데 그쳐 교과별 학생평가 전문성과 문 항 제작 과정에서 나타난 예비교사들의 특성을 알 아보기 어렵다. 또한, 기존의 예비교사의 학생평가 전문성에 관한 연구들은 통계분석을 통한 정량적인 결과만을 주로 해석하여 예비교사의 평가 전문성에 대한 상세한 논의 중심의 질적 연구가 부족하다고 볼 수 있다.
앞서 언급한바와 같이, 예비교사들의 학생평가 전문성 신장을 위해 이론과 실무가 병행되는 교육 이 실천적으로 교원 양성 기관의 교육과정에 연계 되어야한다. 그러므로 각 교과에 해당하는 학생평 가도구 제작 능력을 습득하기 위해 어떠한 내용의 훈련 과정이 필요한지에 대한 구체적인 논의가 이
460
최현숙‧김중복어져야할 것이다.
본 연구에서는 예비 물리 교사들이 제작한 형성 평가 문항과 예비교사들의 상호검토 내용을 분석하 여 이들의 문항 제작 수행 수준을 조사하였다. 또 한, 문항의 제작 수행과정에서의 예비교사들의 특 징적인 사례를 제시하였다. 마지막으로 이러한 연 구 내용을 통해 실질적인 도움이 될 수 있는 학생 평가 능력 신장을 위한 예비교사 교육 방안에 대한 기초 자료를 제안하고자 한다.
Ⅱ. 이론적 배경
1. 선다형 물리 개념 검사 문항이 사용된 형성 평가 수업
미국에서는 대학과 고등학교 강좌를 중심으로 CR S(Classroom response system) 또는 ARS(Audien ce response system)형태의(Shirley, 2009) 형성 평가가 적용된 물리 수업이 이루어지고 있다. 이들 수업에서는 평가도구로 주로 선다형 물리 개념 검사 문항(Conceptest)을 사용한다. 선다형 물리 개념 검 사 문항은 학생들이 가진 물리 개념에 대한 해박한 지식을 가진 전문가들에 의해 제작된 것이거나 교수 자가 상황에 따라 직접 제작한 것이다.
성공적인 형성 평가 수업을 위해서는 문항의 형 성적 기능을 극대화시킬 수 있도록 학생평가의 결 과 분석에 있어 문항의 난이도와 변별도보다 학생 들의 개념 이해 상태에 관한 정보를 얻는 것에 초 점을 맞추어야 한다(성태제. 2002; Bao & Redish, 2001; Beatty et al., 2004; Feldman & Capobian co, 2003; Hake, 1998).
교사는 학생들의 물리 개념 이해 정도를 물리 공 식만을 대입하는 계산 위주의 문항 풀이로는 가늠 하기 어렵다. 수치화된 물리량을 공식에만 대입하 는 계산 위주의 시험(plug-and-chug)에서 우수한 성적을 거둔 학생일지라도 학습한 물리 개념을 다 양한 상황에 적용하는데 어려움을 겪으며(Kim &
Pak, 2001; Mazur, 1997) 상황이 조금만 바뀌어
도 학생들은 물리 개념을 일관되게 적용하지 못한 다(Bao et al., 2002; Rebello & Zollman, 2004).
따라서 학생들의 학습 상태 파악과 개선을 위해서 는 교사는 학생들이 학습한 물리 개념 및 법칙을 계산 위주의 정량적인 문항보다 다양한 맥락에서 개념을 적용해볼 수 있는 문항을 되도록 많이 제시 해야 한다. 이러한 문항들은 학생들이 물리 개념을 적용함에 있어 오랫동안 사고할 수 있도록 하여 학 생들의 사고 과정을 파악하기에 효과적이며 이러한 정보는 학습 개선을 위한 교수학습 활동에 활용될 수 있다.
문항을 통해 학생들의 사고 과정을 파악하기 위 해서는 학생들이 주로 지닌 오개념을 반영하는 것 이 매우 중요하다. Redish(2003)은 문항의 답지에 학생들이 가질 수 있는 오개념을 반영하여 학생들 의 사고에 대한 정보를 끌어내 수 있어야함을 강조 하였다. 그리고 Beatty et al.(2006)는 학생들이 스 스로 잘못된 개념을 깨닫도록 문항을 배열한 ‘oops -go-back’ 전략을 제안하였다. 이 전략에서 사용 된 두 문항은 같은 상황에서 조건을 달리한 것들로 첫 번째 문항은 학생들이 자주하는 실수를 유도해 내는 문항이고 두 번째 문항은 이 실수를 학생 스 스로 깨달을 수 있게 설계되었다.
이상에서와 같이, 형성 평가 문항은 교사들에게 학생들의 사고 과정과 학습 개선 정보를 제공하여 교사들이 수업의 효과를 극대화시킬 수 있는 의사 결정에 도움을 줄 수 있어 학생들의 학습 동기부여 와 높은 학습 성취를 이룰 수 있게 할 수 있다.
2. 선다형 평가 문항의 제작 및 검토 시 고려 사항
선다형 문항(Multiple Choice Question)은 학생 들의 학습 상태와 사고 과정에 대한 제한된 정보를 제공하기 때문에 그 사용의 자제가 강조되고 있으 며(박 정, 홍미영, 2002), 형성 평가도구로 서술형 문항 사용이 권장되어지고 있다(성태제, 2002; 황 정규, 1998). 하지만, 현장 교사들이 학생평가 시 주로 제작하여 사용하는 문항의 형태는 선다형이며
표 1. 선다형 과학 평가 문항 제작에 대한 이론적 근거
선다형 과학 평가 문항 제작에서 고려해야할 요소
참고 문헌 문항의 타당도 문항의 체제 문항의 오류
선다형 평가 문항 제작의 일반 이론(성태제, 2002;
황정규, 1998)
· 교육과정에 부합
· 학습 목표와 평가목표와의 일치
선다형 과학 평가 문항 제작 원리 (김창식등, 1997; 권재술 등, 2000;
김수동 & 전영석, 2004)
·문항체제의 일관성유지(문항의 구조, 문항 내 그림과 문장의 배열)
· 과학적 오류
· 교육과정 위배
· 출제 의도와 다른 지문과 그림 해석 오류
·답지 구성 오류에 따른 정답 시비 가능성
선다형 물리 개념 검사 문항의 제작 원리(김익균등, 2002;
Mazur, E., 1997;
Redish, E.F., 2003).
· 학생들이 가진 개념 상태를 확인할 수 있는
문항 제작
· 학생 개념 파악이 용이한 답지 구성
(민희정, 2012) 빠른 결과 처리 등, 선다형 문항이 지닌 장점(김창식, 1997)을 고려해볼 때, 형성 평 가를 위한 선다형 문항 제작과 평가 결과 활용 능 력에 대한 연구가 절실히 요구된다.
학생평가에서 교사는 우선적으로 해당 교육과정에 근거하여 평가 문항을 출제하는데 초점을 맞추어야 한다. 즉, 교육과정에 합당하지 못한 문항은 아무리 참신한 소재의 독창적인 문항일지라도 수업목표에 적합한 평가 문항이라 할 수 없다. 이처럼 평가 문 항 제작 시 우선적으로 문항의 평가 내용이 교육과 정에 위배되는지 교과 내용에 대한 과학적 오류가 있는지를 확인하여야 한다(김수동, 전영석, 2004).
문항 구성의 형식적 정교화 작업 역시 선다형 문 항 제작 시 중요한 요소로 취급되어져야한다. 이와 관련된 검토 사항으로 지문과 그림의 완성도, 물음 과 답의 대응, 편집의 체제의 일관성 등이 있다(전 영주, 2012). 특히, 검사지 문항의 일관된 체제는 학생들의 시험 능률 향상과 심리적 안정감을 줄 수 있으며 제작자가 문항 제작 시 필요한 요소가 누락 되지 않도록 세심한 주의를 기울일 것을 인식시켜 줄 수 있다(권재술 등, 2000). 이러한 검토는 피험 자들이 제시된 지문과 그림으로 출제 의도를 분명 히 파악할 수 있도록 하여 문항의 신뢰도를 높일 수 있다(성태제, 2002). 피험자의 입장에서 지문의
해석과 그림이 모호할 경우, 피험자들은 해당 물리 내용을 충분히 숙지하고 있더라도 정답 선택에 있 어 갈등을 겪게 된다. 문항의 완성도를 높이기 위 한 세밀한 검토 작업은 전문성을 요하는 작업으로 해당 교과와 내용에 따라 문항을 보는 다양한 관점 이 훈련되어야지 가능하다(권재술 등, 2000; 민희 정, 2012). 하지만 아무리 전문가라 할지라도 피험 자의 입장에서 문항을 보는 관점을 놓칠 수가 있다 (Ding, L., Reay, N. W.& Lee, A., 2009). 그러므 로, 다양한 관점의 검토 내용이 문항 제작에 반영 되기 위해서는 여러 사람의 의견이 논의되어 질 수 있도록 하여야 한다.
자신이 제작한 학생평가 문항에 대해 동료 교사들 과 검토의견을 주고받을 기회는 교사의 평가 전문성 개발에 효과적이다(김수동, 전영석, 2004; 김진규, 2 009; 성숙경, 2010; 정행남, 최병순, 2012; Van Dri el, Beijaard, & Verloop, 2001). 김수동과 전영석 (2004)은 과학교사들이 지필평가 문항을 상호검토하 고 수행평가에 대한 의견을 교환함으로써 평가 전문 성이 향상된 사례를 제시하며 같은 과목의 동료 교 사와 검토 의견을 나눌 것을 제안하였다.
표 1은 참고 문헌을 근거로 선다형 과학 평가 문항 제작 시 고려해야할 요소를 조사한 것이다.
종합하자면, 교사는 적용력을 키울 수 있는 참신
462
최현숙‧김중복하고 다양한 소재의 물리 평가 문항을 구성함에 있 어 해당교육과정과 문항 제작의 일반 원리 및 검토 지침에 부합하는 문항을 제작하여야 한다.
3. 평가 문항 제작과 예비교사교육
학생평가 전문성을 갖기 위해서는 교과 내용과 학생평가에 관한 교육학 일반 이론 두 영역의 지식 을 따로 습득하는 것만으로는 어렵다. 문항 제작은 두 지식 영역을 연계하여 교육과정에 대한 깊은 이 해와 학습목표를 문항으로 구성해내는 기술, 지식, 경험이 필수적인 작업이다(황진규, 1998). 예비교사 시절 이러한 지식 습득의 경험이 부족한 초임 교사 의 경우, 현장에서 요구하는 평가능력에 비해 낮은 전문성을 가진 채 업무를 수행하게 되어 학생평가의 질 저하로 이어지게 된다(김신영, 2008). 그 동안 예비교사의 평가 전문성에 대한 국내 연구들은 예비 교사들의 학생평가 전문성 신장과 더불어 사범기관 의 학생평가교육 프로그램 도입과 그 확대의 필요성 을 강조해 왔다(김신영, 2008; 백성혜, 2008). 하지 만 기존의 연구는 설문지를 통해 예비교사들의 평가 에 대한 지식수준과 인식정도만을 자기 보고 형식으 로 응답하게 해 분석하는데 그쳐 이들의 평가 업무 수행 수준 정도를 알아보기 어렵다. 또한, 교과 별 특성에 따른 예비교사들의 평가 전문성에 대한 구체 적인 연구가 미흡하여 예비교사들에게 필요한 학생 평가 교육에 대한 논의가 이루어지지 못했다.
예비 과학교사들의 수업 전문성에 관한 국내 연 구(노태희 등, 2010; 이송연 등, 2010)에서 나타난 형성평가 문항 제작의 미흡함은 예비 과학교사의 학생평가 전문성 신장을 위한 방안 마련이 시급함 을 보여주는 결과이다. 예비 과학교사의 평가 전문 성에 대한 국외 연구로 Lyon(2013)이 참고 문헌을 근거로 예비 과학교사의 평가 전문성 진단 도구를 개발한 사례가 있다. 연구 결과, 예비교사들은 평가 영역 및 평가 기준 설정, 평가도구의 형성적 사용 에 대해 낮은 수준의 전문성을 가진 것으로 나타났 다. 예비교사들은 평가 영역을 단순히 퀴즈나 테스 트를 포괄적인 형태로 설정하는 등 문항을 설계할
때 지식 영역과 행동영역 등을 구체적으로 구분하 여 설정하지 못했다. 또한, 예비교사들은 평가목표 를 설정함에 있어 그 기준을 해당교육과정을 고려 하지 못하였으며 제작된 평가 문항은 총괄적(summ ative) 기능을 하는데 그쳤다.
현장 교사들 역시도 학생평가도구 제작과 활용에 있어 형성 평가에 대한 지식이 부족하다(지은림, 2 010). 지식이 부족하지 않은 교사라 할지라도 대학 입시 등의 외부 요인으로 인해 형성적 기능의 학생 평가를 실천적으로 반영하지 못하고 있어 학교 현 장에서 형성 평가 실시가 배제되어 온 것으로 나타 났다(남정희 등, 1999; 민정희, 2012; 이양락 등, 2005). 이러한 결과들은 교원양성 기관의 교육과정 에서 실무 중심의 전문적인 학생평가 교육과 훈련 의 필요성을 강조하고 있다.
따라서 예비교사들이 학생평가 전문성을 갖추기 위해 각 교과 특성에 따라 습득해야할 전문 지식과 훈련이 어떠한 것인지에 대해 알아보기 위해 이들 의 학생평가도구 제작에 대한 다양한 사례에 대한 연구가 필요가 있다.
III. 연구 방법
1. 연구절차
본 연구의 참여자들은 충청북도 청주시에 소재한 K 대학교 물리교육과 2학년에 재학 중인 예비교사 17명이다. 이들은 1학년 때 일반 물리학을 수강한 학생들로 이미 중·고등학교 과정에서 다루는 물리 개념 대부분을 학습한 상태이다. 또한, 이들은 연구 를 실시한 2012학년 1학기에 일반 교육학 ‘교육 평가’ 과목을 수강 중에 있었다. 이 연구를 위해 이 들에게 2012학년도 1학기 ‘물리교육 실험’ 강좌의 과제로 형성평가를 위한 선다형 물리 개념 검사 문 항 제작’을 부여하였다.
과제 부여 전, 이들에게 선다형 물리 개념 검사 문항에 관련된 수업을 진행하였으며 차시에 따른 진행 과정과 수업 내용은 표 2 와 같다.
표 2. 차시별 수업 진행 과정과 내용
차시 수업 진행 과정 수업 내용
1차시
김종원 등(2012)에 의해 수행된 '빛의 직 진‘개념을 다룬 형성 평가가 적용된 수업 경험.
빛의 직진에 대한 적용력을 기르는 선다형 물리 개념 선다 형 문항(김종원 등, 2012)을 접하게 함.
2-7차시
2009 개정 교육과정의 중·고등학교 교과 서에 나오는 물리 실험을 직접 다루어 보 며 실험 결과에 대한 해석을 올바른 물리 개념으로 설명하는 과제를 부여받아 수행
학생들에게 물리 개념을 다양한 상황에 적용할 수 있도록 지도하는 것에 대한 필요성을 예비교사들이 인식할 수 있도 록 함.
8차시
선다형 문항의 제작에 대한 일반 이론에 대한 강의 후 예비교사들에게 개인 과제를 부여
선다형 문항 제작 및 검토에 관한 일반 지침, 형성 평가에 관한 이론 수업과 더불어 물리 개념 적용 문항 사례를 통해 개념 적용 문항에 대한 이해를 높힐 수 있도록 지도함.
과제의 내용 : 2007, 2009 개정 교육과정 중·고등학교 물리 영역에 해당하는 물리 개념의 적용력을 기룰 수 있는 선다 형 문항 제작
9차시-
13차시 제작 문항 개별 발표 및 상호 검토
5차시 동안의 발표수업을 통해 동료 예비교사들끼리 문항 에 대한 검토 시간을 가짐. 발표는 순번을 정해 한 명당 30 분의 발표 시간을 갖도록 했으며 발표와 문항 검토과정의 기회를 각각 1회씩 가질 수 있도록 함.
수업종료 과제 제출
과제의 내용은 중·고등학교 물리과의 2007, 200 9 개정 교육과정의 내용 요소 중 하나의 물리 개념 을 선택하여 개념의 적용력을 기를 수 있는 선다형 물리 개념 문항을 제작하는 것이다. 문항의 개수는 5개 이상 7개 이하로 제한하였으며 최종 과제는 파워 포인트 형태로 제출할 것을 공지하였다. 제작 한 문항은 9차시에서 13차시 총 5차시에 걸쳐 발 표 순번을 정해 한 사람에 30분씩 발표 시간을 갖 은 후, 발표한 문항을 서로 검토하였다. 하지만 처 음 접한 과제로 인해, 예비교사들의 문항 검토 과 정이 원활하게 이루어지지 못하였다. 이를 보완하 기 위해 연구자 한 명이 매시간 예비교사들의 검토 과정에 참관하여 예비교사들의 적극적인 참여를 유 도해 과제를 수행해갈 수 있도록 도움을 주었다.
발표시간에는 발표자가 제작한 문항 하나하나에 대 한 검토 시간을 충분히 가질 수 있도록 하였다. 또 한, 제작한 문항들에 대한 검토 시간을 더 요구하 는 예비교사들에게 한 번의 기회를 추가로 부가하 여 과제를 완성할 수 있도록 하였다.
2. 분석 방법
연구 자료 수집은 예비교사들의 발표 과정의 관 찰과 최종 과제물 제출을 통해 이루어졌다. 17명의 학생 중 16명의 것을 분석하였다. 과제를 포기한 1 명을 제외한 16명이 제작한 문항의 수는 총 83개 이다.
예비교사들이 제작한 문항 분석은 표 3의 평가 준거 틀을 이용하여 최종 과제물의 평가 결과를 점 수화하였다. 표 3은 선다형 물리 개념 평가 문항에 대한 평가 기준틀로 표 1에 제시한 일반 교육평가 이론 및 과학 평가에 대한 참고 문헌을 근거로 하 여 문항의 타당도, 문항의 체제 및 문항의 오류에 대한 평가 요소 및 지표를 작성하였다.
표 3의 평가 요소 ‘출제 의도의 일치성’의 평가 지표는 개념의 적용 문항으로의 적합성이다. 본 연 구에서 예비교사들이 제작한 문항이 ‘학습한 내용 을 학생들이 다른 상황에 이용하여 문제를 해결하 는 능력‘을 평가해줄 수 있는지를 분석하였으며 본 연구에서 ‘적용’의 정의는 인지적 행동영역 수준 중
464
최현숙‧김중복표 3.선다형 물리 개념 평가 문항 평가 기준틀
평가 영역 평가 요소 평가 지표
문항의 타당도
교육과정과의 연계성 문항들은 해당 교육과정에 합당한가?
출제 의도의 일치성 출제 의도에 부합하는 개념의 적용 문항들이 출제되었는가?
답지의 구성 답지의 구성은 피험자의 개념 확인이 용이하게 구성 되었는가?
문항의 체제
지문의 완성도 질문이 평가자의 의도대로 이해될 수 있도록 분명하게 서술되었나?
그림의 완성도 제시된 그림은 문항을 이해하는데 도움이 되었는가?
편집 상태의 일관성 전체 문항의 구조, 그림 또는 표의 배열 그리고 문장과 답지배열 상태의 일관성이 있는가?
문항의 오류 정답 시비 가능성 문항의 어떤 오류로 인해 정답 시비 가능성이 있는가?
한 가지로 박현주(2012)의 연구에서 사용한 지필평 가 문항의 분석틀의 내용을 참고하였다.
본 연구 참여자들의 경우 문항의 제작 경험이 전 혀 없는 상황이라 과제에 대한 안내 지도가 필요한 것으로 판단되어 예비교사들이 초기에 제작한 문항 을 점수화하여 분석하지 않았다. 예비교사들이 최 종 제출한 문항의 분석은 물리 교육 전문가 1인과 물리 교육 석사학위 소지 이상의 물리 교사 4인의 논의를 통해 이루어졌다. 물리 교사들은 모두 20년 이상 전국 단위 수준의 평가 업무를 수행해 왔으며 교수·학습 개선을 위한 평가 업무 등 다년간 학생 평가와 관련된 실무 경험을 갖추었다. 물리 교육 전문가는 물리 개념 변화에 관한 다수의 논문과 더 불어 물리 개념 검사 문항 제작에 관한 연구를 수 행한 경험이 있다.
문항의 타당도와 문항의 형식에 관한 각 평가 요 소들은 교사의 문항 제작 수행 능력에 따라 미흡, 초보, 우수, 탁월의 네 단계( 미흡 : 1, 보통 : 2, 우수 : 3, 탁월 : 4 )로 평가하였다. 오류 가능성이 있는 문항들은 충분히 논의하여 오류 유형을 결정하였 다. 마지막으로 예비교사들의 문항 검토 과정을 분 석하여 그에 따른 문항의 수정과정이 어떠한지를 알아보았다.
3. 연구의 제한점
선행 연구들의 연구 참여자와 비교해볼 때, 본 연구의 참여자들은 저학년의 학생들로 구성되어 있
다. 본 연구의 목적은 예비교사들이 학습한 교과 내용에 관한 지식과 일반 평가 이론이 연계되어 학 생평가에 적용되기 위해서는 실제적인 학생평가 문 항 제작 경험의 필요성을 강조하는 바이다. 따라서 본 연구 참여자들이 비록 저학년 학생들이긴 하지 만 교육 평가와 관련된 교육학을 수강 중에 있고 이미 1학년 때 일반 물리학을 수강한 학생들로 본 연구에 적합한 참여자로 볼 수 있다. 또한, 17명의 학생이 물리교육을 전공하는 예비교사를 대표할 수 는 없지만 앞서 언급한대로 본 연구에서는 물리교 육 분야에서 예비교사들의 학생평가 문항 제작의 수행 수준과 이 과정에서 나타난 사례를 제시하여 예비교사들의 학생평가 전문성 신장 교육에 도움이 되고자 한다.
IV. 결과 및 논의
1. 예비 물리 교사들의 선다형 평가 문항 제작 의 수행 수준
표 3 에 준거하여 분석한 예비교사들의 문항 제 작의 수행 수준은 그림 1과 같다. 문항의 타당도와 문항의 신뢰도와 관계된 문항의 체제에 대한 평가 요소들의 점수가 2.5 내외로 예비교사들의 문항 제 작 수행 수준이 높은 편이 아니었다.
그림 1.예비교사들의 문항 평가 지표에 대한 수행 수준 평균
가. 문항의 타당도의 수행 수준
출제의도의 일치성에서 수행 수준이 가장 높은데 이러한 결과는 과제 안내를 위해 1차시에서 8차시 에 걸쳐 다양한 상황에서 물리 개념이 적용되는 문 항을 소개하는 등(표 2) 예비교사들에게 지속적으 로 평가의 목표가 ‘적용’이 되도록 유도하였기 때문 이라 판단된다. 비록, 예비교사들이 다양하고 참신 한 소재를 문항으로 구성하는 수행 수준이 그리 낮 지 않았지만, 몇몇 문항에서 오류가 나타났다. 이러 한 오류는 차후 다시 논의하도록 하겠다. 교육과정 과의 연계성의 수행 수준은 출제의도의 일치성에 비해 낮았는데 교육과정에 벗어난 문항을 출제한 사례가 있었다. 문항 타당도의 평가 내용 중 답지 의 구성에서 가장 낮은 수행 수준을 보였는데 예비 교사들은 피험자가 가진 개념에 대한 이해가 낮으 며 이를 문항 제작 시 답지 구성에 반영하는 것에 대한 인식이 부족한 것으로 해석되어 진다.
나. 문항의 체제의 수행 수준
문항의 체계에서는 편집의 완성도와 그림의 완성 에서 그리 낮지 않은 수행 수준을 보였다. 제작한 문항들을 다듬어 나가면서 문항 전체의 구조가 일 관되도록 그림, 문항, 답지의 배열을 다듬어 나갔 다. 하지만 일부 예비교사들은 그림이 문제 상황을
모두 반영하지 못하였으며 각 문항의 지문의 서술 방식과 답지의 수를 달리하는 등 일관되게 문항을 편집수준이 낮았다.
또한, 예비교사들은 관련 자료를 찾기 위해 서적 과 인터넷을 활용하였으며 이러한 자료들을 컴퓨터 프로그램을 이용하여 그림을 완성하였는데 프로그 램의 사용능력은 개인마다 차이가 났다. 지문의 완 성도에서 가장 낮은 점수를 받았는데 편집 완성에 서 전체적인 문장 배열의 구조는 일관되게 맞추었 으나 이러한 문장이 평가자의 의도대로 이해되어 질 수 있도록 글을 완성하는 능력은 다소 떨어졌 다. 이와 관련해서 나타난 구체적인 사례를 통해 문항 제작 과정에서 나타난 예비교사들의 특징을 살펴보도록 하겠다.
다. 문항의 타당도에서의 나타난 특징
표 4는 예비교사들이 선택한 2007 개정 중학교 교육과정 과학 과목과 2009 개정 고등학교 교육과 정의 물리Ⅰ, 물리Ⅱ 과목의 내용 요소와 문항의 출제 의도를 나타낸 것이다. 17명 중 12명이 역학 부분의 개념을 택하였다. 연구에 참여한 예비교사 들은 교육과정을 참고하여 문항을 출제하였으나 7 명의 예비교사가 교육과정에서 벗어난 내용을 문항 으로 제작하였다. 또한, 4명이 제작한 문항의 평가 내용이 출제 의도와 일치하지 않았다. 총 83문항 중 교육과정을 벗어난 문항의 수는 23개이며 출제 의도에서 벗어난 문항은 18개였다. 이 중 교육과정 과 출제 의도를 모두 벗어난 문항 수는 9개였다.
D, J, K는 모두 참신한 소재를 문항으로 구성하 는 수준은 높았으나, 교육과정에서 벗어난 문항들 을 출제하였다.
D 가 출제한 문항은 다양한 상황에서 용수철의 탄성력을 비교하는 것이다. D가 제작한 문항들은 해당 교육과정에 적합한 듯 보이나, 탄성력에 관한 공식을 이용해야 정답을 구할 수 있어 교육과정에 벗어난 것으로 볼 수 있다. J 는 정지 마찰 계수와 운동 마찰 계수를 비교하는 문항을, K 는 물체의 모양에 따른 무게 중심 찾기를 중점적으로 다룬 문 항을 출제하였다. 하지만 J, K는 모두 해당 학년의
466
최현숙‧김중복표 4. 연구에 참여한 예비교사들의 제작한 문항의 출제 의도 예비
교사
내용 요소 (해당 학년 및
과목)
출제 의도 발표순서 검토
횟수
교육과 정합당 여부
출제 의도와의 일치여부 A 유체의 법칙
(물리Ⅰ) 베르누이 정리의 적용 다섯 번째 시간 1회 벗어남 불일치
B 교류회로
(물리Ⅱ)
전기회로에서 소비전력
비교하기 다섯 번째 시간 1회 벗어남
C 전기 에너지 (9학년)
전기 회로에서 소비 전력식의
올바른 사용 습득 두 번째 시간 1회
D 뉴턴 운동
법칙(물리 Ⅰ) 다양한 상황에서 탄성력 구하기 다섯 번째 시간 1회 벗어남
E 속도와 가속도
(물리Ⅰ)
다양한 상황에서 상대 속도
구하기 두 번째 시간 2회
F
가속 좌표계와 관성력 (물리Ⅱ)
기준계에 따른 물체의 운동
분석 첫 번째 시간 2회 벗어남 불일치
G 일과 에너지 (9학년)
일상생활에서 일과 에너지
구하기 세 번째 시간 1회
H
광전효과와 빛의 입자성 (물리Ⅱ)
광전 효과에서 광전자의 최대 운동 에너지 식의 이해를 돕기
위해 제작
두 번째 시간 2회
I 빛의 굴절
(물리Ⅱ) 빛의 굴절 현상에 대한 이해 네 번째 시간 2회 불일치
J 마찰력
(7학년)
다양한 상황에서 마찰력
적용하기 첫 번째 시간 2회 벗어남
K 힘의 전달과 돌림힘 (물리Ⅰ)
다양한 상황에서 무게 중심
찾기 세 번째 시간 1회 벗어남
L 진자의
주기(물리Ⅱ) 진자 주기의 등시성 세 번째 시간 2회 M 일과 에너지
(9학년)
일상생활에서 일과 에너지
구하기 세 번째 시간 2회
N 파동의
반사(물리Ⅱ)
줄에서의 고정단 반사와 자유단
반사의 이해(교육과정확인) 첫 번째 시간 1회 불일치
O 뉴턴 운동
법칙(물리 Ⅰ)
다양한 상황에서 수직항력
적용하기 세 번째 시간 1회 벗어남
P 관성력(물리Ⅱ) 비관성 기준계에서 관성력의
이해 세 번째 시간 1회
Q 부력(물리Ⅰ) 여러 상황에서 부력 적용하기 첫 번째 시간 1회 미제출
교육과정에 제시되어 있지 않은 내용 요소를 택하 였다. 이러한 사례들은 해당 교육과정의 수준에 맞 게 평가목표를 연계하지 못한 것으로 교육과정에 대한 깊이 있는 이해가 부족함을 나타내 주는 결과 라 할 수 있다.
출제 의도에 부합하지 문항들 중 개념의 적용이
아닌 개념의 이해 수준에 머무른 경우가 있었다.
그림 2 는 I 가 제작한 빛의 굴절 문항의 완성 전후 를 나타낸 것이다. 완성 전 문항은 이미 기존의 교 과서에 많이 다룬 상황을 그대로 제시한 것으로 빛 의 굴절 개념을 적용하는 문항이라 할 수 없다. I 는 이를 보완하기 위해 만화 캐릭터를 이용하였다.
예비교사 B 의 문항 예비교사 I 의 문항 그림 3.예비교사 B, I 의 검사지 문항
완성 전 완성 후 그림 2.예비교사 I 의 문항 변화 과정 만화 캐릭터를 이용한 형성 평가 문항 개발은 학생
들의 흥미유발과 도전감을 줄 수 있긴 하지만(이계 영 등, 2008) 새로운 상황에서 굴절 법칙을 적용하 는 문항이라 보기 어렵다. 이는 I 가 굴절 법칙에 대한 이해정도를 묻는 문항을 적용 문항으로 혼동 하고 있음을 보여준다.
예비교사 F 는 관성력에 대한 문항을 제작하기로 하였다. 하지만 F 는 문항 제작 초기에 물리 개념 과 학생들이 개념과 원리를 적용하는 과정에서 겪 는 오개념을 이해하지 못해 문항 제작에 어려움을 겪었다.
예비교사 F : 개념이 뭐에요? 물리 개념이 뭔 지 모르겠어요. 학생들이 용어를 잘 못 사용하는 것이 오개념인가요? 그 럼 용어를 (제대로)설명하는 것이 개념인가요?
학생들이 문항을 풀 때 물리 용어의
뜻을 잘 못 알아서 틀릴 수 도 있는 데... .그럼 학생들이 잘못된 용어 사용을 바로 잡을 수 있는 문항을 만들어야 되나요?
예비교사 I 와 F 의 사례는 실제 문항 제작에 있 어 지식 영역(사실, 개념, 법칙, 원리, 개념체계),
행동영역(지식의 기억, 이해, 적용)(권재술, 최병순, 김찬종, 1998)을 구분하는 것에 어려움을 나타낸 것으로 볼 수 있다.
표 3의 문항 타당도의 평가 내용 중 예비교사들 의 답지 구성의 점수가 다소 낮았는데 예비교사들 이 제작한 문항 중 구성된 오답지(distractor)들이 피험자들의 개념 파악에 용이하지 않아 형성적 기 능을 제대로 하지 못하는 것들이 많았다. 그림 3 은 B 와 I 가 제작한 문항들이다.
468
최현숙‧김중복
3 그림과 같은 물체의 무게중심은 어느 곳에 있는가?
(균일한 구부러진 막대)
1)A 2)B 3)C 4)D
그림 4. 예비교사 K 의 학생 오개념에 근거한 문항 제작 과정 그림 3 에서 볼 수 있듯이, B 의 경우 옳지 않은
진술을 한 사람의 수를 답지로 구성하였다. 이러한 답지 구성의 경우 문항을 푸는 피험자가 해당 개념 에 대한 이해 정도가 낮더라도 추측에 의해 정답을 맞힐 확률이 있어 평가의 신뢰성이 떨어질 수 있 다. I 가 구성한 답지에는 관련 평가 개념과 전혀 무관한 오답지 ④ 번이 포함되어 있었다. 이러한 답 지는 매력도가 낮고 피험자에게 학습과 무관한 재 미만을 유발할 뿐, 학습의 개선에 대한 정보 제공 에 효과적인 답지라 할 수 없다.
반면, K는 학습 개선의 정보를 효과적으로 얻을 수 있는 답지를 구성하기 위해 노력하였다. K 는 그림 4 와 같이 2009 개정 교육과정 물리Ⅰ의 내 용 요소 중 힘의 전달과 돌림힘에 대한 문항을 출 제하였는데 무게 중심에 초점을 맞추어 교육과정에 다소 벗어난 문항들을 출제하였다. 하지만 K 는 무 게 중심에 대해 중·고등학생들이 가지기 쉬운 오개 념을 반영하여 오답지를 구성하였다. 이 과정에서 K 는 무게 중심에 대해 연구한 논문을 근거로 중등 학생들이 상황에 관계없이 무게 중심은 항상 물체 의 내부에 있다고 생각하는 잘못된 개념가지고 있 다는 자료를 찾아 답지에 반영하였다.
이는 피험자의 적용력을 평가하기 위해 중등학생 들이 가진 오개념에 관한 선행 연구를 평가 문항 제작에 활용하여 평가도구의 형성적 기능을 강조하 였다 할 수 있다. 하지만 대부분의 예비교사의 경 우, 문항의 답지 구성에 있어 평가도구의 형성적 기능을 고려하지 못하였다.
라. 문항의 체제에서 나타난 특징
예비교사들이 제작한 문항의 지문은 피험자들이 문제 상황을 이해하는데 부족한 면이 있었다.
그림 5 에서 볼 수 있듯이 P 가 제작한 문항은 그림과 편집 상태가 대체로 양호하나 지문이 문제 상황을 설명하기에 다소 부족하다. P가 의도한 문 제 상황은 엘리베이터가 멈추면서 아래로 가속되는 것으로 문항의 정답은 ‘사람의 겉보기 무게가 실제 무게보다 작다’ 이다. 하지만 문제 상황에 대한 설 명이 부족하여 피험자가 문항을 풀 때 혼란을 겪을 수 있다. 또한, 지문에서 ‘정지한 상태의 체중’ 이란 표현은 관측자가 누구인가에 따라 달라 질 수 있다.
그림 5. 예비교사 P 의 문항
예비교사 H의 문항 예비교사 M의 문항 그림 6.예비교사 H와 M의 검사지 문항
마. 문항의 오류
예비교사들이 제작한 문항 중 오류로 인해 정답 시비 가능성이 있는 문항은 총 15개였다. 과학적 오류로 인한 문항이 6개, 지문이 불분명한 문항은 총 9개였다. 하지만 교육과정 위배와 답지 구성으 로 인해 정답 시비가 예상되는 문항은 없었다.
그림 6 은 H 와 M 이 제작한 문항들로 과학적 오 류가 예상되는 문항들이다.
예비교사 H 가 제작 문항은 물리Ⅱ 내용 중 빛의 입자성에 대한 개념을 광전 효과 장치에 적용한 문 항이다. 출제 의도는 ‘빛이 입자성을 가질 때 빛의 에너지는 빛의 진동수에만 의존 한다’ 라는 개념을 적용하는 것이다. 하지만, 특정 진동수를 가진 빛에 의해 튀어나온 광전자는 다양한 운동 에너지를 가 지기 때문에 빛의 진동수(문항에서 빛의 색)에 따 른 전자들의 개별 속도의 크기를 비교 할 수 없다.
따라서 이 경우에는 전자의 최대 속도나 최대 운동 에너지를 물어보는 것으로 수정하여야 정답 시비를 없앨 수 있다. 이러한 오류는 H 의 교과지식의 부 족으로 인해 비롯된 것으로 해석할 수 있다.
반면, M은 쥐불놀이라는 참신한 소재를 사용하 여 등속원운동에서의 구심력에 대한 평가 문항을 제작하였다. M은 관련 개념과 등속원운동에 대해 높은 이해력을 보였지만, M이 제작한 문항에 과학 적 오류가 발견되었다. 즉, 중력으로 인해 남자 아 이가 일정한 힘을 가해 쥐불을 돌릴 수 없으므로
‘쥐불은 등속원운동한다고 가정한다’ 라는 단서 조
항 자체가 성립할 수 없다. M은 쥐불에 작용하는 중력으로 쥐불이 등속원운동이 될 수 없는 것을 고 려하지 못하였다. 이는 물리 개념에 대한 이해가 부족하지 않더라도 관련 물리 개념을 새로운 상황 에 적용함에 있어 미쳐 오류가 염려되는 부분을 고 려하지 못해 발생한 오류라 할 수 있다.
그림 7은 O가 제작한 문항으로 지문의 서술이 불명확해 정답 시비가 야기된다. 문제 7 의 경우, 원래 출제 의도는 자석 사이에 작용하는 수직항력 을 묻는 것이지만 (가)에서는 자석 B 와 바닥사이 에도 수직항력이 작용하므로 출제 의도와 다르게 피험자로부터 혼란을 겪게 할 수 있다. 정답 시비 를 피하기 위해서는 자석 A, B 사이의 수직항력을 묻는 것이 명시되도록 지문을 상세화해야 한다.
그림 7. 예비교사 O 가 제작한 문항
470
최현숙‧김중복
그림 8. 예비교사 O, F 가 제시한 출제 의도와 난이도 2. 검토 내용과 문항의 수정
가. 예비교사들의 문항 검토 내용
예비교사들은 검토 과정에서 다른 동료들의 문항 을 검토하면서 생각의 차이를 인식하고 자신의 발 표 과제를 개선해가는 등 동료들과의 상호 검토를 통해 문항의 수정 정보를 얻으려 노력하였다. 검토 과정이 진행되는 동안 예비교사들이 언급한 검토 의견은 주로 출제 의도의 모호함이었다. 간혹, 그림 과 지문에서의 정보의 누락과 답지의 구성의 오류 를 지적하였지만 전문가들의 세부적인 검토내용 즉, 교육과정합당여부, 과학적 오류, 검사지의 일관 성 등에 비해 그 내용이 제한적이었다. 특히, 애매 모호한 진술로 인해 오류 정답 시비 등 오류 가능 성이 있는 문항에 대한 검토 의견이 거의 나오질 않았다. 이는 예비교사들이 피험자의 관점에서 문 항을 바라보는 시각이 부족함을 나타내 주는 결과 이다. 이러한 결과들은 예비교사들이 아직 문항 제 작에 대한 경험이 많지 않아 문항을 여러 관점에서 검토하는 전문성을 갖추지 못한 것으로 판단된다.
나. 검토 의견의 반영
예비교사들은 이러한 검토 의견을 반영해 문항을 수정하는 작업에 어려움을 겪었다. 예비교사 O 와 F 는 세 번째 시간에 자신의 과제를 발표하였는데 다른 동료들의 발표에서 자주 지적이 된 출제 의도
의 모호함에 대한 의견이 나옴에 따라 그림 8 과 같이 각 문항의 출제 의도와 예상 난이도를 제시하 였다.
F 는 두 번의 검토과정을 가졌는데 첫 발표에서 동료교사들의 정답률을 토대로 그림 8 과 같이 각 문항의 출제 의도와 난이도를 제시하였다.
하지만 F와 O 모두 이러한 자료를 제시하여 자 신의 출제 의도를 분명히 하기위해 노력하였지만 검토 결과를 학생 개념 파악과 문항 개선을 위한 수정에 반영하지는 못하였다.
몇몇 예비교사들은 동료들의 질문에 제대로 답변 을 하지 못하자 표 5 와 같이 자신이 처음 평가 내 용으로 삼은 물리 개념을 그대로 고수하지 않고 다 른 주제로 변경하였다.
표 5.검토 과정 후 주제를 변경한 사례 예비교사 첫 검토 과정을 거친 후 주제 변경
E 열의 전달 → 상대 속도 L 단진동 운동 → 진자의 등시성 Q 유체역학 → 부력
첫 발표 후, E 는 다른 영역으로 평가 내용을 변 경하였고 L과 Q는 평가 내용의 범위를 축소시켰다.
예비교사 Q는 문제 상황을 자세히 설명해달라는 동료들의 질문에 자신의 문항이 부족한 점을 깨닫 고 주제를 축소하였지만 문항 제작에 어려움을 겪 어 결국 과제를 포기하였다.
문항 소재 1차 수정 2차 수정
그림 9.예비교사 H의 문항 변화 과정 예비교사 Q : 내가 준비를 잘하지 못했지만
일단 부력에 대해서 할게. 아 여기 문제를 다 적어오지 못했어 그림만 있어. 암튼 물에 떠있는 오리를 누 르면 물이 어떻게 되니?
검토 예비교사 1 : 오리를 어디까지 넣는데?
검토 예비교사 2 : 뭘 묻는지 모르겠는데...
예비교사 Q : 그러니까... 내가 준비가 부족한 건 알겠는데... 아! 미안한데. 내가 개념을 잘 이해 못해서... 내가 뭘 묻는지 모르겠지만 해볼게.
하지만 대부분의 예비교사들은 검토의견을 참고 하여 자신이 처음 정한 주제에 대한 문항을 꾸준 히 수정해나갔다. H는 처음 문항의 소재로 삼은 수 능문항을 그림 9 와 같이 수정해갔다. 1차 수정에 서는 합답형 문항을 정답형으로 수정하였으며 다양 한 답지 구성에 대해 고민하며 많은 시간을 투자하 였다. 그 후 1차 수정 문항에서 그래프에 제시된 A, B 에 관한 설명이 누락된 것과, 2번답지가 부적 절하다는 것이 지적되자 이를 바탕으로 2차 수정을 거쳐 문항을 완성하였다. 하지만 2차 수정을 마친 문항 역시 지문의 설명이 자세하지 못하며 답지 3 이 2 와 연계되는 등 문항의 보완이 더 필요하였다.
이러한 사례들은 검토 의견을 참고해 문항을 수 정하는 것이 예비교사들에게 쉬운 일이 아님을 나 타내 준다. 하지만, 검토 의견으로 가장 많이 언급 된 출제의도의 일치성에 대한 수행 수준이 가장 높 은 것으로(그림 1)볼 때, 상호 검토가 이들의 문항 제작에 영향을 미쳤음을 알 수 있다.
V. 결론 및 제언
본 연구의 목적은 예비 물리 교사들의 학생평가 전문성 신장 방안 마련에 대한 기초 자료를 제공함 에 있다. 이를 위해 17명의 예비교사들에게 형성 평가 문항 제작 과제를 부여하여 5주간 문항 발표 시간에 참여하였으며 16명이 제작한 문항을 분석 하였다. 본 연구에 참여한 예비교사들은 교육평가 이론 수업을 상당시간 수강하여 이론적인 평가의 기본 지식을 이미 습득한 상태이며 1학년 때 중·고 등학교 교육과정에 필요한 교과지식을 습득한 상태 이다. 그 결과 예비 물리교사들이 제작한 문항들 중 형성평가 문항으로써 미흡한 것들이 있었으며 예비 물리교사들의 학생평가 문항의 제작 수행능력 은 높지 않았다.
첫째, 예비교사들 중 교과 내용에 대한 이해 수 준과 참신한 소재를 문항으로 구성하는 수준 낮지 않았음에도 불구하고 타당도가 떨어지는 문항을 제 작한 사례가 있었다. 이들은 해당 교육과정과 학생 평가의 행동영역에 대한 깊이 있는 이해가 부족하 여 이를 문항 제작에 연계시키지 못한 것으로 해석 할 수 있다.
둘째, 예비교사들 중 교과 내용에 대한 지식이 부족하여 오류 문항을 출제한 경우도 있었지만, 물 리 지식의 이해가 부족하지 않음에도 참신한 소재 를 문항으로 구성하는 과정에서 세밀한 검토가 부 족하여 오류가 있는 문항을 출제한 경우 있었다.
이는 문항 제작의 전문성이 교과 내용과 일반 평가 이론의 지식 중 하나의 지식 습득만으로 갖추어지
