국가수준 학업성취도 평가의 서답형 문항을 이용한 중학교 과학 8개 핵심 개념에 대한 학습발달과정 탐색
이기영・동효관
1*・최원호
2・권경필
3・이인호
1・김용진
4강원대학교 ・
1한국교육과정평가원 ・
2순천대학교 ・
3경인교육대학교 ・
4경상대학교
Exploring a Learning Progression for Eight Core Concepts of Middle School Science Using Constructed Response Items in the National Assessment of Educational Achievement (NAEA)
Kiyoung Lee・Hyokwan Dong
1*・Wonho Choi
2・Gyeongpil Kwon
3・ Inho Lee
1・Yong-Jin Kim
4Kangwon National University・
1Korea Institute for Curriculum and Evaluation・
2
Sunchon National University・
3Gyeongin National University of Education・
4
Gyeongsang National University
Abstract : This study aims to explore a learning progression for eight core concepts of middle school
science using constructed response items in the national assessment of educational achievement (NAEA).
For this purpose, a total of 7,390 responses of the 9th graders on 8 constructed response items in NAEA conducted in 2015 were inputted by computer and the inputted answers were analyzed and classified into different levels. After completing this process, five levels were set for each construct and a construct map was created according to the levels. In this study, the construct map was written in a progression-based rubric format, which was used as a criterion for leveling the answers of all students.
In addition, the Rasch model was applied to measure the scores and achievements of the respondents by means of statistical analysis to correlate the scores of the students with the achievement levels of the constructs. Lastly, a preliminary learning progression was created by revising the construct map reflecting the results of Rasch model application. This study was meaningful in that it explored the possibility of developing the learning process by using constructed response items in NAEA. However, the preliminary learning progression developed in this study is still hypothetical and inferential because it is not longitudinally traced to individual students. Therefore, it is necessary to continually revise and supplement through iterative research process.
keywords : national assessment of educational achievement (NAEA), constructed response items, learning
progression, core concepts, Rasch model
*
교신저자: 동효관([email protected])
**
2017년 9월 27일 접수, 2017년 12월 13일 수정원고 접수, 2017년 12월 20일 채택
http://dx.doi.org/10.21796/jse.2017.41.3.382
Ⅰ. 서 론
최근 과학 교육에서는 국내외적으로 과학 핵심 개념(core concept)과 탐구 실행(inquiry practice) 에 대한 학습발달과정(learning progressions) 개발 연구가 활발하게 이루어지고 있다. 학습발달과정은 과학 핵심 개념과 탐구 실행에 대한 학생들의 이해 가 적절한 수업을 통해 시간에 따라 보다 정교화 되어가는 가설적인 발달 경로를 기술한 것(NRC, 2007; Smith et al., 2006)으로, 생물학적 성숙과 성장에 따라 저절로 얻어지는 발달이 아니라, 과학 교사의 적절한 교수활동의 도움을 받아 형성되는 발달 과정(instruction- assisted development)을 의미한다(Duschl, Maeng & Sezen, 2011). 또한, 학습 발달에 대한 평가 가능한 가설로서, 평가 결 과에 근거한 발달(research-based learners’
progressions)을 의미하며(Corcoran, Mosher &
Rogat, 2009), 자연적인 이해 발달이 아닌 적절한 수업을 통해 얻어질 수 있는 수행 기대를 수준별로 기술한 것이기도 하다(Alonzo & Gotwals, 2012).
학습발달과정은 기본적으로 비고츠키의 근접발달 영역(zone of proximal development, ZPD) 개념 과 일맥상통한다. ZPD는 ‘혼자서는 할 수 없지만 교육적 도움을 통해 도달할 수 있는 발달영역’이라 는 의미로, 거시적인 발달 단계로부터 미시적인 특 정 개념 학습에 이르기까지 적용될 수 있는 다차원 적인 개념이다. 비고츠키는 ZPD를 잠재적 발달의 가능성 또는 발달의 다음 영역(next zone of development)의 의미로 사용하였으며, ‘훌륭한 교 수-학습은 ZPD를 창출함으로써 발달을 이끈다.’라 고 주장하였다.
비고츠키의 ZPD는 ‘진단’의 의미를 강조하기 위 한 개념으로, 학습자의 발달 단계와 발달 상황을 파악하기 위한 학습발달과정과 유사하다고 볼 수 있다. 학습발달과정 연구는 잠재적이고 비의식적으 로 이루어지던 ZPD의 창출을 보다 명시적이고 의 식적으로 창출하기 위한 시도로 간주된다. 이러한 맥락에서 학습발달과정은 교사가 단순히 학생들의 성취 여부를 판단하기 위함이 아니라 학습에서 무 엇이 문제인지, 다음 단계를 지향하는 발달을 위해
어느 지점을 보완해야 하는지를 도와주는 지도 (map)와 같은 역할을 할 수 있다(Lee et al., 2016c). 학습발달과정은 학습을 발달로 기술하는 장점 이외에도 학생들이 학습하는 방법과 관련하여 교육과정, 수업, 평가를 좀 더 잘 조율하고, 학습에 서 학생들이 겪을 수 있는 여러 가지 어려움을 예 상할 수 있는 더 나은 기회를 제공한다(Osborne et al., 2016). 또한 학생들의 학습 요구를 보다 정 밀하게 판단하여 이들에 대해 교수적으로 어떻게 반응할 것인가를 결정하는데 중추적인 역할을 함으 로써 교사의 교수활동 선택을 안내하는 PCK의 근 거를 제공한다(Corcoran, Mosher & Rogat, 2009).
학습발달과정은 학습 발달의 출발점이자 초기 이 해 및 실행 수준에 해당되는 하위 정착점(lower anchor), 학습 발달의 목표점이자 기대되는 이해 및 실행 수준에 해당되는 상위 정착점(upper anchor), 그리고 적절한 교수활동의 중재를 통해 하위 정착점과 상위 정착점을 연결하는 디딤돌 (stepping stones) 역할을 하는 중간단계 (intermediate)로 구성된다. 일반적으로 과학 학습 발달과정에서 하위 정착점은 학생들의 대체 개념 (alternative concept)을 포함하며, 상위 정착점은 과학적 개념(scientific concepts)을 포함한다. 학 습발달과정에서 학생들의 사고가 정교화되는 경로 (trajectory)가 유일한 것은 아니며 수업 형태나 학 생들의 경험에 따라 달라질 수 있다. 그러므로 개 발된 학습발달과정은 확정된 것이 아니고 어디까지 나 잠정적이며, 수업 활동과 참여 대상이 추가되고 다양화됨에 따라 얼마든지 수정될 수 있다. 학습발 달과정 개발 연구의 요체는 다양한 평가 도구와 방 법으로 중간 단계를 조사하는 것과 조사한 단계가 실제적 발달 경로를 표현할 수 있는지를 검증하는 것이다.
그동안 국내에서 이루어졌던 과학 학습발달과정 개발 연구에서는 발달 단계를 파악하기 위한 평가 도구로 선다형 문항(또는 순위 선다형 문항)이 주로 활용되었다(Lee et al., 2016c; Maeng & Lee, 2015; Maeng et al., 2014; Seong, Maeng &
Jang, 2013; Yeo & Lee, 2016). 하지만, 선다형
평가 문항의 활용은 하향식(top-down) 연구 설계
방식으로 미리 정해놓은 답지(option)에 학생들의 생각을 끼워 맞추기(fitting)하는 것이라는 한계가 지적되어 왔다. 이러한 한계를 극복하기 위한 대안 으로 서답형(constructed response) 문항을 활용 한 상향식(bottom-up) 연구 설계의 필요성이 제기 되고 있다.
한편, 우리나라에서는 초․중등교육법과 동법 시행 령에 근거하여 1998년 이후 매년 국가수준 학업 성취도 평가(이하 NAEA)가 시행되고 있다. NAEA 는 학생들이 교육을 통해 국가 교육과정의 교육목 표에 얼마나 도달했는지를 측정하는 평가이며(Lee et al., 2010), NAEA의 평가 결과는 학생 개개인 및 단위 학교의 학업 성취 수준을 파악함으로써 학 생들의 성취수준 차이를 고려한 맞춤형 교수․학습 방법 제공, 단위 학교의 책무성 강화 등에 활용된 다(Lee et al., 2010; MOE, 2016). NAEA의 평가 대상과 적용 교육과정에는 몇 차례 변화가 있었다.
평가 대상의 변화를 살펴보면, 2008년에는 개별 학 생의 기초학력 도달 여부와 학교의 책무성이 강조 되면서 표집평가로 시행되던 것이 전수 평가로 전 환되었고(Jeong et al., 2008), 2011년에는 초등학 교 사회, 과학 교과의 경우 표집평가로 전환되었으 며, 중학교는 전수평가 체제가 유지되었다. 2013년 에는 시험 부담 등에 대한 우려로 초등학교의 경우 학업성취도 평가가 시행되지 않았으며, 중학교 사 회, 과학 교과는 전수평가에서 표집평가로 전환되 어 현재까지 시행되고 있다(Kim et al., 2013).
준거참조 평가인 NAEA에서 성취 수준 (achievement level)은 4단계(우수학력, 보통학력, 기초학력, 기초미달 학력)로 구분하고 있으며, 성취 수준의 구분은 측정학적 측면과 활용의 용이성 측 면을 고려하여 변형된 Angoff 방법을 통해 산출된 분할 점수(cut-off score)를 근거로 이루어진다 (Lee et al., 2015). 이와 같이 거시적 관점에서 교 과별로 학생들의 총체적인(holistic) 성취 수준을 구분하는 작업은 매우 중요하며 꼭 필요한 일이기 도 하다. 하지만 현행 NAEA에서는 교과의 내용 영역이나 핵심 개념(성취기준)별로 학생들의 성취 수준을 구분하지는 않고 있다. 영역이나 핵심 개념 별로 성취 수준을 구분하여 제공하는 것은 교사에
게는 영역 또는 주제 특정적(domain or topic-specific)으로 학생 발달을 위한 수업 개선을 위한 근거 자료를 제공해준다는 의미가 있으며, 학 생에게는 해당 교과 학습에서 부족한 점에 대한 피 드백을 구체적으로 제공해준다는 의미가 있다. 그 러므로 미시적 관점에서 특정 교과 내에서 각 성취 기준 또는 핵심 개념에 대한 학생들의 학습 발달 수준을 구분하는 작업 또한 병행하여 이루어져야 한다.
이와 같은 필요성에 근거하여 이 연구에서는 미 시적 관점에서 중학교 과학 주요 핵심 개념에 대한 학생들의 학습발달과정을 탐색하고자 한다. 이에 따른 구체적인 연구 문제는 다음과 같다:
첫째, 중학교 과학 핵심 개념에 대한 학생들의 학습발달과정은 어떻게 나타나는가?
둘째, 과학 핵심 개념에 대한 중학생들의 발달 수준은 어떠하며, 교육과정 및 교수-학습에 주는 시사점은 무엇인가?
Ⅱ. 연구 방법
1. 연구 대상
이 연구에서는 2015년에 실시된 NAEA에 표집으 로 참여한 중학교 3학년 학생 총 7,390명(전체 중 학생의 약 1.3%)의 서답형 문항에 대한 응답을 대 상으로 하였다. Table 1은 2015 NAEA에 참여한 학생 정보를 나타낸 것으로, 지역별 및 성별로 비 교적 고르게 표집된 것을 알 수 있다(Lee et al., 2016a).
지역별 성별
대도시 중·소
도시
읍·면
지역 남 여
학생 수 (명)
3,071 3,451 868 3,756 3,634 총 7,390
Table 1. Demographic informations of the
participants(Lee et al., 2016a)
평가 구인(발달 변인)
내용 영역 단원 성취기준
운동과 에너지 빛과 파동 파동의 발생과 전파 과정을 설명할 수 있다.
전기와 자기 자기장 속에서 전류가 흐르는 도선이 받는 힘의 크기와 방향을 설명할 수 있다.
물질
분자 운동과 상태
변화 상태 변화에서의 에너지 출입을 입자의 운동 및 배열과 관련지어 설명할 수 있다.
화학 반응 나무의 연소, 강철솜의 연소 실험에서 연소 전과 연소 후의 질량 변화를 말할 수 있다.
생명 식물 식물의 광합성과 호흡의 관계를 연결 지을 수 있다.
동물 감각 기관의 구조와 기능을 설명할 수 있다.
지구와 우주
대기·해양 대기권을 기온의 연직 분포에 따라 대류권, 성층권, 중간권, 열권으로 구분하고, 각 층에서 일어나는 기온 변화의 특징 및 대기 조성의 변화를 설명할 수 있다.
대기·해양 기단, 전선, 고기압과 저기압에서 나타나는 기상 현상을 알고, 이를 날씨 변화와 관련지어 설명할 수 있다.
Table 2. Specified constructs(progress variables) for the research(Lee
et al., 2016b) 2. 학습발달과정 탐색 절차
이 연구에서 학습발달과정의 탐색 절차는 Wilson(2005)이 제시한 구인 모델링의 4단계 틀 (framework)에 기반하여 이루어졌다. 구인 모델링 4단계는 구인 특화-평가 문항 설계-평가결과 기술 -측정모델 적용 단계로 구성된다. 이 연구에서는 2015년 NAEA 과학과 서답형 문항을 평가 문항으 로 사용하였다. 2015년 NAEA 과학과 서답형 문항 은 학습발달과정 개발을 목적으로 사전에 설계된 것이 아니며, 사후에 Wilson(2005)의 구인 모델링 단계를 적용하였기 때문에 4단계를 순차적으로 따 랐다고 보기 어렵다. 그러나 NAEA의 평가 문항이 교육과정의 성취기준에 대한 도달 정도를 평가하기 위해 개발된 것이고, 교육과정의 내용 구성이 학생 들의 학습발달과정을 담고 있음을 고려할 때, NAEA 과학과 서답형 문항이 학습발달과정 탐색에 필요한 평가 구인을 갖춘 것으로 판단하고 추후 NAEA 문항을 이용하여 이루어질 학습발달과정 개 발 연구를 고려하여 구인 모델링 4단계를 순차적으 로 적용한 것으로 간주하였다.
1) 구인 특화(specifying construct)
학습발달과정 개발의 첫 번째 단계는 발달 변인 (progress variables)에 해당되는 평가 구인을 특화 하는 것이다. 이 연구에서는 중학교 과학 주요 핵심 개념을 발달 변인으로 설정하였으므로 NAEA의 각 서답형 문항에서 평가하는 내용 영역이 구인이 된 다. NAEA의 과학 교과에서는 행동 영역의 하위 영 역을 지식 영역과 탐구 영역으로 설정하고 있다.
‘내용 영역’은 교육과정의 내용 영역에 따라 ‘운동과
에너지’, ‘물질’, ‘생명’ 및 ‘지구와 우주’ 영역으로
구분하고 있다(Lee et al., 2016b). 그러므로 평가
구인은 4개 영역에서 평가하고자 하는 8개의 성취
기준이 된다. Table 2는 2015 NAEA에서 설정한 8
개의 평가 구인(발달 변인)을 나타낸 것이다. 운동과
에너지 영역에서는 ‘파동의 발생과 전파 과정’과 ‘자
기장 속에서 전류가 흐르는 도선이 받는 힘의 크기
와 방향’을, 물질 영역에서는 ‘상태 변화에서의 에너
지 출입’과 ‘연소 전과 연소 후 물질의 질량 변화’를
평가 구인으로 설정하였다. 생명 단원에서는 ‘식물
의 광합성과 호흡의 관계’와 ‘감각 기관의 구조와
기능’을, 지구와 우주 영역에서는 ‘대기권의 구조와
특징’과 ‘온대저기압에서의 날씨 변화’를 평가 구인
으로 설정하였다(Lee et al., 2016b).
평가 계획 수립
•평가 시기, 평가 범 위, 평가 내용 등 결 정
성취기준 선정 및 상 세화
•평가 대상 성취기 준 선정
•성취기준과 관련된 피험자 능력수준 상세화
문항 개발
•문제 상황 선정 및 문항 내용 구성
•답안구성내용결정
•답안의 길이 및 답 안 작성 시간 결정
•예시 답안, 배점, 채 점 기준 작성
문항 검토
•성취기준 및 행동 영역 적합성 검토
•변별도 및 난이도 적절성 검토
•문항구성내용검토
•예시답안, 배점, 채 점 기준 검토
•문제및정답오류 검토
문항 완성
•최종 문항 및 채점 기준 확정
Figure 1. The process for developing items in 2015 NAEA
영역 문항 번호 핵심 개념 문항 유형
운동과 에너지
서답형 1번 파동의 진행에서 굴절 현상을 설명하기 서술형
서답형 2번 자기장 속에서 전류가 흐르는 도선이 받는 힘의 특성 설명하기 2-(1): 단답형, 2-(2): 서술형 물질 서답형 3번 상태 변화에서의 에너지 출입을 입자의 배열과 관련지어 설명하기 3-(1): 단답형, 3-(2): 서술형
서답형 4번 강철솜의 연소 실험에서 연소 전과 후의 질량 변화를 설명하기 서술형
생명 서답형 5번 광합성량과 호흡량을 비교하여 설명하기 서술형
서답형 6번 빛의 세기에 따른 홍채의 명암 조절 과정 설명하기 6-(1): 단답형, 6-(2): 서술형 지구와
우주
서답형 7번 대기권 구조에서 대류가 일어나는 층과 원인 설명하기 서술형
서답형 8번 온대저기압 통과 시 날씨 요소 변화 설명하기 8-(1): 서술형, 8-(2): 단답형
Table 3. Specifications of assessment items for the research(Leeet al., 2016b)
2) 평가 문항 설계(item design)
학습발달과정 개발의 두 번째 단계는 설정 된 평 가 구인을 토대로 평가 문항을 설계하는 것이다.
이 연구에서는 2015년 과학과 NAEA에서 사용한 8 개의 서답형 문항을 평가 문항으로 선정하였다.
2015년 NAEA 과학과 검사지의 문항 수는 모두 40문항이며 이 중 선다형 문항은 32개, 서답형 문 항은 8개였다. 2015년 NAEA의 과학과 서답형 문 항 구성은 Table 3과 같다(Lee et al., 2016b). 4 개의 영역에서 서술형 문항 1개씩과 다층 (multi-tiers) 서답형 문항 1개씩 총 8개 문항이 개 발되었다. 다층 서답형 문항은 하나의 문제 상황을 공유하는 2개의 하위 문항으로 구성된 문항으로, 제시된 문제 상황에 적용되는 개념원리에 대한 이 해와 함께 관련된 어떤 현상이 나타나는 이유 등을 학생들에게 질문하여 개념원리와 관련된 학생들의
생각을 심도 있게 평가할 수 있도록 설계되어 있어 학습발달과정 탐색에 적합하다고 할 수 있다. 문항 의 개발 과정에는 문항 개발 경험이 많은 경력 5년 이상의 현직 교사 8인과 평가 전문성을 갖춘 과학 교육 전문가 6인이 공동으로 참여하였다. 문항 개 발은 2주일간 합숙 작업을 통해 표준화된 과정으로 진행되었으며 성취기준에 포함된 중학교 과학 교과 의 핵심 개념에 대한 평가가 가능하도록 이루어졌 다. 개발된 문항 초안은 개발자와 함께 경력 5년 이상의 현직 교사 8인에 의해 검토되고 수정‧보완 되어 성취기준 도달 정도를 평가할 수 있도록 타당 도와 변별도를 확보하고, 적절한 난이도를 갖도록 만들어졌다. 2015년 NAEA의 과학과 문항은 Figure 1의 과정을 통해 문항의 타당도를 확보할 수 있도록 개발되었다.
Table 3은 이 연구에서 사용된 8개 서답형 문항
【서답형 1】그림은 A에서 B로 진행하는 물결파의 모습을 나타낸 것이다.
입사각과 굴절각의 크기를 등호(＝) 또는 부등호(>, <)로 비교하고, 물결파가 경계면에서 굴절하는 이유를 쓰시오.
◦ 입사각 굴절각
◦ 이유 :
Figure 2. An example of the assessment items (item 1)
의 유형과 평가 구인을 나타낸 것이고, Figure 2는 2015 NAEA에서 개발된 과학과 서답형 평가 문항 의 예시이다. 이 문항은 물결파가 진행하는 모습과 물결파의 진행방향으로부터 입사각과 굴절각의 크기 를 비교하고, 물결파가 경계면에서 굴절하는 이유를 추리하여 설명할 수 있는지 평가하는 문항이다.
3) 평가 결과 기술(outcome space)
학습발달과정 개발의 세 번째 단계는 개발된 평 가 문항을 실제 학생들을 대상으로 적용하고 그 결 과를 분석하는 것이다. 서답형 문항 분석은 우선 분석 대상 문항의 답안을 전산으로 입력하고 입력 된 답안 전체 내용을 분석하여 수준별로 유형화하 는 과정을 거쳤다. 이 과정을 마친 후 각 평가 구 인별로 설정된 수준들을 토대로 구인구성도 (construct map)을 작성하였다. 이 연구에서의 구 인구성도는 발달 기반의 루브릭(progression- based rubric) 형식으로 작성되었는데, 전체 학생 들의 답안에 대해 수준을 부여하는 준거로 활용되 었다. 이 연구에서는 각 평가 구인에 대해 5개의 수준을 설정하였다.
4) 측정 모델 적용(measurement model): Rasch model
이 연구에서는 평가 결과로 얻은 학생들의 점수 를 평가 구인에 대한 성취 수준과 연결하기 위하여 통계적 해석으로 응답자의 점수나 성취 정도를 측 정하는 Rasch 모델을 적용하였다. Rasch 모델은 문항 반응 이론(item response theory)에 기초한 측정 모형으로, 문항의 곤란도만을 문항의 모수 (parameter)로 반영하여 응답자의 문항 응답 확률 을 계산 문항의 곤란도와 피험자의 능력의 관계를 도출한다. 서답형 문항에 대한 각 수준마다 부분 점수를 부여하였으므로 Rasch 모델의 세부 측정 방식 중 부분점수 모형(partial credit model, Masters, 1982)을 사용한 것에 해당된다. Rasch 모델 적용 결과를 반영하여, 최종적으로 4개 수준 의 예비 학습발달과정(preliminary learning progression)을 작성하였다. 수준1은 학습발달과정 에서 하위 정착점(lower anchor)에 해당되며, 수 준4는 상위 정착점(upper anchor), 그리고 수준2~
수준3은 상위 수준으로의 학습발달을 위한 디딤돌
(stepping stone)의 역할을 하는 중단 단계
(intermediates)에 해당된다.
Ⅲ. 연구 결과
1. 구인구성도 작성
Table 4는 서답형 문항에 대한 학생들의 응답 결과에 기초하여 상향식(bottom-up)으로 작성된 구인구성도를 나타낸 것이다. 4개 영역 8개 핵심 개념(평가 구인)에 대해 각 5개 수준으로 작성되었 으며, 영역별 구체적인 수준 구분의 기준은 다음과 같다.
1) 운동과 에너지 영역
운동과 에너지 영역은 깊이가 다른 경계면에서 물결파의 굴절 방향과 자기장 속에서 전류가 흐르 는 도선이 받는 자기력의 방향을 유추하고 그 원인 을 설명하는 문제이다. 따라서 성취 수준을 학생들 이 유추하는 현상과 그에 대한 원인을 기준으로 분 류하였다. 물결파의 굴절 원인에 대한 학생들의 답 변을 분석해 보면 물결파의 속력 또는 파장의 변화 때문으로 생각하거나 혹은 매질의 깊이 또는 밀도 의 변화 때문이라고 추론하였다. 따라서 가장 높은 성취수준인 수준5는 B영역에서 파동의 속력이 느려 져서 혹은 B영역의 물의 깊이가 낮아져서와 같이 물결파의 굴절 원인을 과학적으로 설명하는 경우이 다. 한편 B영역의 밀도가 높아져서 혹은 B영역에서 물결파의 길이가 짧아져서와 같이 굴절 원인 보다 는 굴절한 결과로부터 유추되거나 나타나는 현상을 제시하는 경우를 수준4로 보았다. 또한 그 원인을 정확히 설명하지는 못하지만 파동의 속력이나 파장 의 변화 혹은 매질의 변화가 굴절을 일으킨다고 막 연히 생각하는 경우를 수준3으로 하였다. 수준2는 각각의 원인에 대해 잘못된 판단을 하는 경우로 B 영역에서 파동의 속력이 빨라진다고 하거나 파장이 길어져서라고 진술한 경우이다. 수준1은 물결파의 굴절원인을 파악하지 못한 경우로 매질이나 파장의 변화가 없어서 혹은 경계면에 부딪쳐서와 같이 답 변 한 경우이다.
자기력 방향에 대한 학생들의 성취수준은 전류의 방향과 자기장의 방향을 기준으로 도출하였다. 전 류의 방향과 자기장의 방향을 모두 바르게 유추한 경우를 수준5로 하였다. 한편 전류의 방향이 바뀌 면 전하의 운동방향의 변화 또는 전선 주위에 생기 는 자기장의 방향 변화를 한 번 더 생각해야하므로 전류의 방향은 바르지만 자기장의 방향을 바르게 찾지 못한 경우를 수준4, 자기장의 방향은 바르지 만 전류의 방향이 바르지 못한 경우를 수준3으로 하였다. 반면 전류와 자기장 방향을 모두를 바르게 찾지 못한 경우는 수준2, 전류가 흐르는 도선이 받 는 자기력의 원인을 파악하지 못한 경우를 수준1로 하였다.
2) 물질 영역
물의 기화와 열에너지의 관계에 대한 학습발달과
정은 가죽으로 만든 물주머니 안의 물이 시원하게
유지되는 이유를 서술하게 하는 서답형 문항 분석
을 통해 도출하였다. 가장 높은 수준인 수준5는 가
죽으로 만든 물주머니 안의 물이 시원하게 유지되
는 이유는 물주머니에서 흘러나온 물이 기화하고,
물이 기화하면서 열에너지를 흡수하기 때문이라고
설명할 수 있는 수준이다. 수준4는 가죽으로 만든
물주머니 안에서 흘러나온 물이 기화한다고 표현하
지만 물주머니에서 흘러나온 물이 기화할 때 열에
너지를 흡수한다고 명시적으로 표현하여 설명하지
못한다. 그 대신 물주머니 안의 물의 기화 시 주위
에 열과 관련된 현상이 발생함을 설명할 수 있는
수준이다. 수준3은 가죽으로 만든 물주머니 안에서
흘러나온 물이 기화하기 때문이라고 설명하지만 열
에너지와 관련된 아무런 설명을 하지 못하는 수준
이다. 수준2는 가죽으로 만든 물주머니 안에서 흘
러나온 물이 상태 변화하기 때문이라고 설명하거나
흘러나온 물이 주위에 열에너지와 관련된 현상을
발생하게 한다고 설명하는 수준이다. 수준1은 가죽
으로 만든 물주머니 안에서 흘러나온 물이 어떤 상
태 변화를 하는지 설명하지 못하며, 물의 기화 시
나타나는 주위의 열에너지 관련 현상도 설명하지
못하는 수준이다. 연소 반응에서 질량 변화에 대한 학습발달과정은 강철솜이 연소할 때 질량 변화를 예측하고 그 이유를 서술하게 하는 서답형 문항 분 석을 통해 도출하였다. 가장 높은 수준인 수준5는 강철솜의 연소 반응에서 철이 산소와 결합하여 산 화철이 되기 때문에 질량이 증가한다고 설명할 수 있는 수준이다. 수준4는 강철솜의 연소 반응에서 철이 공기와 결합하여 질량이 증가한다고 설명할 수 있는 수준이다. 수준3은 강철솜의 연소 반응에 서 철이 연소하여 어떤 물질과 결합하여 질량이 증 가함을 알지만 구체적으로 어떤 물질과 결합하는지 모르는 수준이다. 수준2는 강철솜의 연소 반응에서 질량이 증가함을 알지만 그 원인을 화학 결합으로 설명하지 못하는 수준이다. 수준1은 강철솜의 연소 반응에서 질량이 증가함을 알지 못하는 수준이다.
3) 생명 영역
생명 영역에서는 2개의 핵심 개념(광합성량과 호 흡량 변화, 명암조절의 원리)을 다루는 서답형 문항 의 내용과 답안을 분석하여 핵심 개념 각각에 대한 학생들의 학습발달과정을 5단계로 구분하였다. 광 합성량과 호흡량 변화는 빛 조건이 다른 시험관 안 에 있는 물풀에서 일어나는 광합성과 호흡량 변화 를 다루는 서답형 문항에서 다루는 것으로 이 핵 심 개념에 대한 학습발달과정에서 가장 높은 수준 인 수준5는 물풀이 들어 있는 시험관의 조건과 BTB 용액의 색 변화를 보고 광합성과 호흡이 일어 난 정도를 추론하여 광합성량과 호흡량을 바르게 비교하여 설명할 수 있는 수준이다. 수준5의 경우 광합성과 호흡 개념 및 특정 조건에서 광합성과 호 흡이 일어나는 것을 파악할 수 있는 수준이라고 할 수 있다. 수준4는 광합성량의 변화와 호흡량의 변 화를 비교하여 설명하지 못하고 시험관 내에서 호 흡량의 변화만을 설명할 수 있는 수준이다. 수준3 은 광합성량과 호흡량을 비교하여 설명하지 못하고 수준4와 달리 광합성량의 변화만을 설명할 수 있는 경우로 설정하였다. 학생들은 식물이 빛이 있을 때 광합성을 하고 이 과정에서 이산화 탄소가 소모되
고 산소가 방출된다는 것은 배우며 반대로 호흡을 할 때에는 산소가 소모되고 이산화 탄소가 방출된 다는 것을 배운다. 그러나 서답형 문항의 답안을 분석한 결과 학생들은 식물의 호흡에 대한 여러 가 지 오개념을 가지고 있는 것으로 나타났다. 학생들 이 가지 오개념으로는 빛이 있으면 식물이 호흡을 하지 않는다고 생각하거나 빛이 있을 때 호흡이 더 잘 일어난다고 생각하는 등의 오개념이나 호흡을 하기 위해 광합성이 필요하다는 생각 등이 있었다.
이러한 오개념은 광합성보다 호흡이 일어나는 상황 에 대한 이해를 어렵게 할 수 있다. 이와 같은 점 과 함께 호흡이 사람에게도 일어나는 현상이어서 호흡은 광합성보다 더 친숙하고 생활 속에서 직접 적으로 경험할 수 있는 현상이라는 점을 고려하여 호흡량 변화를 설명하는 것을 수준3으로 설정하고 광합성량 변화를 설명하는 것을 수준4로 설정하였 다. 수준2는 광합성량과 호흡량을 모두 설명하지 못하는 수준으로 광합성과 호흡 개념에 대한 이해 가 부족하고 광합성과 호흡이 일어나는 조건에 대 해 알지 못하는 수준이라고 할 수 있다. 수준1은 광합성이나 호흡과 무관한 설명을 하는 경우로 광 합성과 호흡에 대해 알지 못하며 문제 상황을 제대 로 파악하지 못하는 수준이다.
명암 조절 원리에 대한 학습발달과정은 빛의 눈 에 비치는 상황에서 눈에 일어나는 변화를 묻는 서 답형 문항의 내용과 답안을 분석하여 도출하였다.
상위 정착점에 해당하는 가장 높은 수준인 수준5는
빛이 비칠 때 눈에서 나타나는 명암 조절 과정을
빛 자극과 이에 따라 눈에서 일어나는 반응을 이용
해 설명할 수 있고 눈에 들어오는 빛의 양을 조절
하는 것이 홍채임을 아는 수준이다. 이 수준의 학
생들은 빛의 세기에 따라 홍채가 반응하여 명암 조
절이 이루어진다는 것을 이해하고 있으며 눈의 구
조에 대해서도 잘 알고 있다. 수준4는 명암 조절
과정을 빛 자극과 이에 따라 눈에서 일어나는 반응
을 이용해 설명할 수 있지만 눈에 들어오는 빛의
양을 조절하는 것이 홍채라는 것을 정확하게 알지
못하는 수준이다. 수준3은 명암 조절 과정을 빛
자극과 관련하여 설명하지 못하고 빛에 대한 반응 인 동공의 크기 변화만으로 설명하며, 홍채가 빛의 양을 조절하는 것을 아는 수준이다. 이 수준의 학 생들은 명암 조절 과정을 빛의 세기와 관련하여 이 해하지 못하나 홍채가 눈의 구조 중 빛의 양을 조 절하는 것은 알고 있는 수준이다. 수준2는 명암 조 절을 빛 자극과 관련하여 설명하지 못하고 홍채가 빛의 양을 조절하는 것을 알지 못하는 수준이다.
이 수준의 학생들은 명암 조절과 원근 조절을 잘 구분하지 못하고 홍채와 수정체를 혼동하는 경우가 많다. 수준1은 문제 상황을 파악하지 못하여 명암 조절 과정을 설명하지 못하며 홍채가 빛의 양을 조 절한다는 것도 알지 못하는 수준이다.
4) 지구와 우주 영역
지구와 우주 영역 2개 핵심 개념에 대해 학생들 의 이해가 정교화되는 가설적인 경로에 따라 5단계 로 수준을 구분하였다. 먼저, ‘대기권 구조에서 대 류층과 원인’ 개념에 대해서는 상위 정착점에 해당 되는 수준5를 대기권 층상 구조에서 대류가 일어나 는 2개 층을 정확히 파악하고, 그 원인을 과학적 원리(scientific principle)를 이용하여 설명할 수 있는 수준으로 설정하였다. 이 수준은 대류의 원인 을 온도차(temperature)에 의한 부력의 개념으로 설명하거나 대류의 원리를 대기 안정도(stability)로 설명하는 것을 포함한다. 수준4는 교과서의 과학적 개념(scientific conception)으로 대류의 원인을 말 할 수 있는 수준으로, 대류가 일어나는 2개 층을 정확히 파악하며, 대류의 원리는 설명하지 못하나 대류의 원인은 말할 수 있는 경우이다. 수준3은 불 완전한 과학적 개념(flawed scientific conception)을 가진 수준으로, 대기권에서 대류가 일어나는 층과 대류의 원인을 불완전하게 말할 수 있는 경우이다. 수준2는 대기권의 기온 분포에서 대류가 일어나는 층을 파악할 수는 있으나, 대류의 원인에 대해 오개념(misconception)을 가지고 있 는 수준이다. 이 수준의 학생들은 대류의 원인을 기온이 아닌 다른 물리량(기압, 습도, 생명체 활동
으로 인한 열, 지상과의 거리 등)으로 오인하고 있 거나, 대기 중에 포함된 물질(공기, 수증기, 산소, 오존, 구름 등)에 의한 것으로 오인하고 있다. 수준 1은 대류가 일어나는 층과 원인을 파악하지 못하는 수준으로, 대기충의 기온 변화를 대류 개념과 연관 시키지 못하는 경우에 해당된다.
‘온대저기압 통과 시 날씨요소 변화’ 개념에 대
해서는 수준5를 온난전선과 한랭전선 통과할 때 주
요 날씨 요소인 기온, 풍향, 구름의 변화를 파악할
수 있는 수준으로 설정하였다. 특히 이 수준의 학
생들은 풍향의 변화를 8방위 수준(e.g. 북서풍)으로
구체적으로 나타낼 수 있다. 수준4는 수준5와 기본
적으로 유사한 능력으로 정의되나, 풍향을 8방위가
아닌 4방위(e.g. 서풍 또는 북풍)로 대략적으로 나
타낼 수 있는 수준으로 설정하였다. 풍향의 방위를
나타내는 능력을 수준5와 수준4를 구분하는 기준으
로 사용한 것은 이분법적인 사고를 요구하는 기온
변화나 구름 형태에 비해 사고의 정밀성
(precision)이 더 많이 요구된다고 판단했기 때문
이다. 수준3은 주요 날씨 요소 변화를 설명할 수는
있으나, 부분적으로 오류가 있거나 미흡한 수준으
로 설정하였다. 예를 들어, 이 수준에 해당되는 학
생들은 기온과 풍향 변화는 옳게 나타낼 수 있으나
구름의 형태를 명칭으로 알지 못하고 ‘세로가 긴
형태의 구름’이라든지 ‘높고 크게 뭉쳐있다.’ 등으
로 나타낸다. 또한 풍향과 구름 형태를 옳게 나타
낼 수 있으나 ‘통과 전에 비해 통과 후에 기온이
내려간다.’와 같이 온난 전선 통과 후 기온 변화를
반대로 알고 있는 경우도 여기에 해당된다. 수준2
는 날씨요소 변화 중 일부만을 설명할 수 있는 수
준으로, 기온변화, 풍향변화, 구름 형태 중 1개 요
소만을 옳게 나타낸 수 있는 경우에 해당된다. 마
지막으로 수준1은 온대 저기압 통과 시 날씨요소
변화를 전혀 설명하지 못하는 수준으로, 날씨 요소
변화 중 가장 간단한 수준인 전선 통과 시 기온 변
화조차도 옳게 나타낼 수 없는 학생들이 여기에 해
당된다.
핵심 개념 수준 운동과 에너지 영역 물질 영역 생명 영역 지구와 우주 영역 물결파의 굴절 자기력의 방향 물의 기화와 열에너지의 관계
연소 반응에서 질량 변화 광합성량과 호흡량의 변화 명암 조절의 원리 대기권 구조에서 대류층과 원인
온대저기압 통과 시 날씨 요소 변화 수준 5
경계면에서 물결 파가 굴절하는 원 리를 과학적으로 설명할 수 있다.
전류의 방향과 자기장의 방향을 모두 바르게 설 명할 수 있다.
물의 기화를 표 현하고, 이를 상 태 변 화와 열 흡 수로 설명할 수 있다.
강철솜의 연소 반응에서 질량 증가를 산소의 결합으로 설명할 수 있다.
광합성량과 호흡 량의 변화를 모두 설명할 수 있다.
명암 조절을 자극과 반응에 관련지어 설 명 하며, 홍 채에 의한 조절임을 설명할 수 있다.
대류가 일어나 는 층을 파악하 며, 그 원인과 원리를 설명할 수 있다.
온대저기압 통과 시 기온 변화, 구름 형 태를 설 명할 수 있으 며 , 풍 향 을 구 체 적 으 로 나타낼 수 있다. 수준 4
물결파가 굴절하 는 원리를 원인보 다는 결과로부터 설명할 수 있다.
자기장의 방향은 바르게 찾지 못 하지만 전류의 방향은 바르게 설명할 수 있다.
물의 기화를 표 현하고, 기화 시 나타나는 주위 현상으로 설명 할 수 있 다 .
강철솜의 연소 반응에서 질량 증가를 공기의 결합으로 설명할 수 있다.
호흡량의 변화만 을 설명할 수 있 다.
명암 조절을 자극과 반응에 관련지어 설 명 하나, 홍 채에 의한 조절임을 설명할 수 없다.
대류가 일어나 는 층을 파악하 며, 그 원인을 설명할 수 있 다.
온대저기압 통과 시 기온 변화, 구름 형 태를 설 명할 수 있으 며 , 풍 향 을 대 략 적 으 로 나타낼 수 있다. 수준 3
물결파가 굴절하 는 원리를 매질과 파동의 변화로만 설명할 수 있다.
전류의 방향은 바르게 찾을 수 없지만 자기장의 방향은 바르게 찾을 수 있다.
물의 기화를 표 현하여 상태 변 화를 설명할 수 있다.
강철솜의 연소 반응에서 질량 증가를 어떤 물 질의 결합으로 설명할 수 있다.
광합성량의 변화 만을 설명할 수 있다.
명암 조절을 반응 위 주 로 설명하 고, 홍채 에 의한 조절임을 설 명할 수 있다.
대류가 일어나 는 층과 그 원 인을 불완전하 게 설명할 수 있다.
온대저기압 통과 시 주요 날 씨 요소 변화 를 설명 하지 만, 부 분 적으 로 오류가 있 다. 수준 2
물결파가 굴절하 는 원리를 반대로 이해하고 있어 굴 절 현상을 바르게 설명할 수 없다.
전류와 자기장의 방향을 모두 바 르게 찾지 못한 다.
물의 기화 현상 이 상태 변화임 을 안다.
강철솜의 연소 반응에서 질량이 증가함을 안다.
광합성량과 호흡 량의 변화를 모두 설명하지 못한다.
명암 조절을 자극과 반응에 무관하게 설 명 하며, 홍 채에 의한 조절임을 설명할 수 없다.
대류가 일어나 는 층을 파악할 수 있으나, 원 인에 대해 설명 할 수 없다.
온대저기압 통과 시 날씨 요소 변화 중 일부만을 설명할 수 있다. 수준 1
물결파가 굴절하 는 원리를 설명할 수 없다.
전류가 흐르는 도선이 받는 자 기력의 원인을 설명할 수 없다.
물의 기화가 어 떤 상태 변화에 해당하는지 알 지 못한다.
강철솜의 연소 반응에서 질량이 증가함을 알지 못한다.
광합성량과 호흡 량의 의미를 모르 고 무관한 설명을 한다.
명암 조절을 설명 못 하며, 홍채에 의한 명암 조절을 설명할 수 없다.
대류가 일어나 는 층과 그 원 인을 파악하지 못한다.
온대저기압 통과 시 날씨 요 소 변화를 설 명할 수 없다.
Table 4. Construct map for key concepts in middle school science
Figure 3. Comparison of students’ mean level across the assessment items
(key concepts)
2. 평가 결과
1) 핵심 개념별 평균 수준
Figure 3은 8개 핵심 개념에 대한 중학생 7,390 명의 평균 수준을 분석한 결과이다. 평균적으로 중 학생들은 8개의 핵심 개념에 대하여 5수준의 발달 단계 중 수준2 이하(1.66)의 낮은 수준인 것으로 나타났다. 특히 핵심 개념1에서는 학생들의 평균 수준이 하위 정착점인 수준1에도 미치지 못하였다.
영역별로 보면, 운동과 에너지 영역의 2개 핵심 개 념 간의 수준 편차가 가장 크게 나타났고 물질과 생명 영역의 경우는 핵심 개념 간 거의 비슷한 수 준을 보였다. 하지만, 지구와 우주 영역의 2개 핵 심 개념의 경우는 다른 영역에 비해 상대적으로 수 준이 낮게 나타났다.
핵심 개념1(파동의 진행에서 굴절 현상을 설명하 기)에 해당되는 서답형 1번 문항(Figure 1)에서 물 결파의 입사각과 굴절각의 크기를 비교하는 첫 번 째 항목에서는 총 7,390명 중 6,537명이 응답하여 응답 비율은 88.5%로 매우 높게 나타났다. 하지만
물결파가 굴절하는 이유를 서술하는 항목에 대해서 는 응답 비율이 24.1%로 매우 낮게 나타났다. 또 한, 전체 학생 답안 중 76% 정도가 무의미한 답변 (Non Sense)이거나 무응답(No Response)에 해당 하였다(Lee et al., 2016b). 반면, 8개 핵심 개념 중 가장 높은 수준인 핵심 개념2(자기장 속에서 전 류가 흐르는 도선이 받는 힘의 특성 설명하기)에서 는 학생들의 평균 수준은 2.23정도인 것으로 나타 났는데, 이 핵심 개념을 평가하는 문항은 자기장 속에서 전류가 흐르는 도선이 받는 힘의 크기와 방 향에 대해 알아보는 실험에서 도선이 받는 힘의 방 향을 알고, 도선이 움직이는 방향을 예측할 수 있 으며 도선이 받는 힘의 방향을 변화시키는 변인을 찾을 수 있는지 평가하는 다층 서답형 문항이다.
하위 문항 2-(1)번은 자기장 속에서 전류가 흐르는
도선이 받는 힘을 알아보기 위한 실험 장면에서 자
기장의 방향과 전류의 방향을 파악하고 이로부터
회로의 스위치를 닫아 전류가 흐르도록 하였을 때
도선 역할을 하는 알루미늄박이 받는 힘의 방향을
찾는 문항이고, 하위 문항 2-(2)번은 실험에서 알
Figure 4. Distribution of students’ level by the assessment items (constructs)
루미늄박이 받는 힘의 방향을 바꿀 수 있는 방법을
서술하는 문항이다. 이 문항의 경우는 무의미한 답 변과 무응답에 해당되는 답안의 비율이 하위 문항 2-(1)번과 2-(2)번에서 각각 약 16%와 27%로 핵심 개념1 문항에 비해 상대적으로 훨씬 적었다(Lee et al., 2016b).
한편, 핵심 개념8(온대저기압 통과 시 날씨 변화 설명하기)에서는 온대저기압의 구조를 토대로 한랭 전선과 온난전선 통과 시 날씨 변화를 파악할 수 있는 능력을 평가한다. 이 문항에서 학생들은 온대 저기압 통과에 따른 특정 지역의 기온 변화, 풍향 변화, 그리고 전선면에서 형성되는 구름의 종류를 파악할 수 있어야 한다. 학생들의 응답 비율은 55% 정도였으며, 무의미한 답변과 무응답이 각각 7%와 38%정도를 차지하였다(Lee et al., 2016b).
이와 같은 평가 결과를 종합해보면, 학생들은 핵 심 개념에 따라 매우 다른 반응을 나타내었는데 낮 은 수준을 보인 핵심 개념에서 무의미한 답변이나 무응답의 비율이 높은 것으로 분석된다. 또한, 영역
에 따른 특정한 경향성은 나타나지 않았으며, 핵심 개념 또는 평가 구인에 따라 학생들의 학습 발달 수준이 달라지는 것으로 분석된다.
2) 핵심 개념별 수준 분포
Figure 4는 8개 핵심 개념에 대한 학생들이 수
준 분포를 나타낸 것이다. 핵심 개념별로 수준 분
포는 매우 다양하게 나타났으며, 동일 영역에서 2
개 핵심 개념 간 수준 분포 또한 일관된 경향성을
보이지 않고 상당한 차이를 나타내었다. 이러한 차
이는 운동과 에너지 영역에서 가장 크게 나타났는
데, 핵심 개념 1의 경우 수준2, 수준4, 수준5가 거
의 없는 반면, 핵심 개념 2의 경우에서는 수준2와
수준5가 상대적으로 많이 나타남을 알 수 있다. 물
질 영역과 생명 영역의 경우는 다른 영역에 비해
수준5의 비율이 높게 나타났으며, 지구와 우주 영
역은 수준1과 수준2의 비율이 상대적으로 높았으
며, 특히 핵심 개념 8의 경우는 수준4가 거의 나타
나지 않았다.
한편, 핵심 개념별로 다소 차이는 있긴 하지만 전체적으로 무의미한 답변과 무응답의 비율이 높게 나타난다. 이것에 대한 원인은 여러 가지로 해석될 수 있겠지만, 크게 두 가지 측면으로 그 원인을 생 각해볼 수 있다. 첫 번째는 결과 그대로 학생들이 몰라서 답을 못한 경우이며, 두 번째는 학생들이 서답형 문항에 대해 성실하게 응답하지 않은 경우 이다. 두 번째 원인은 NAEA의 시행상의 특성에서 기인한 것으로 판단된다. NAEA는 학생들의 자발적 인 의사가 아닌 학교 표집에 의해 실시되며, 평가 결과가 성적에 반영 되는 것이 아니기 때문에 현실 적으로 학생들의 성실한 참여를 기대하기 어려울 수 있다.
3. 측정 모델 적용 결과
학생들의 응답 반응을 Rasch 모델에 적용하여 측정한 결과로 산출된 person-item map으로 Wright map이라고도 한다(Wright & Linacre, 1994). 이 맵은 문항의 곤란도와 피험자의 능력을 동일한 측정을 위해 사용한 동일한 스케일의 로지 트(logit, log-odds-units)(Bond & Fox, 2007) 단 위로 환산한 값을 하나의 맵에 표시한 것이다. 맵 의 구성에서 좌측 ‘MEASURE’는 동일 단위로 환산 된 로지트 값을 의미하며, 값이 클수록 피험자 능 력과 문항의 곤란도가 높다. PERSON 영역의 ‘#’
과 ‘ ․ ’은 해당 로지트 값에 해당되는 피험자 수로 이 맵에서는 각각 45명, 1~44명을 의미한다. ITEM 영역에는 8개 문항의 곤란도가 수준별로 매핑되어 있는데 ‘item 6.1’은 6번 문항(핵심 개념)의 수준1 을 의미한다. ‘PERSON’과 ‘ITEM’을 구분하는 중 앙선 좌측과 우측에 각각 ‘M’이 표시되어 있는데, 좌측 M은 피험자 능력의 평균을, 우측 M은 문항의 평균 곤란도를 나타낸다. Wright map에서 문항의 평균 곤란도가 항상 0에 맞춰져 있는데, 이는 문항 곤란도의 평균값을 0이 되게 하여 다른 문항의 곤 란도를 상대적인 로지트 값으로 환산하여 표시하기 위함이다.
1) Wright map 분석 결과
Figure 5는 이 연구에서 산출된 Wright map을 나타낸 것이다.
피험자 능력의 평균은 –0.48 정도로 문항 평균 곤란도보다 0.48 로지트 낮은 것으로 나타났는데, 이는 서답형 문항들이 학생들에게 어려웠다는 것을 의미한다. 문항의 상대적 곤란도를 살펴보면, 6번 문항이 최저, 1번 문항이 최고의 곤란도를 나타내 었는데, 특히 1번 문항의 경우는 상대적 곤란도가 나머지 7개 문항에 비해 매우 높게 나타남을 알 수 있다. 맵에서 점선(---)은 각 문항별로 5개 수준의 상대적 곤란도 추이를 알아보기 위해 연구자가 임 의로 나타낸 것으로, 기울기가 클수록 수준 간 난 이도 차이가 크다는 것을 의미한다. 2, 4, 5, 6번 문항의 경우는 거의 직선에 가깝게 나타났는데, 이 는 수준이 증가할수록 난이도가 비례하여 증가함을 의미한다. 하지만, 3, 7, 8번 문항의 경우는 수준3 에서 수준5로 가면서 기울기가 급격히 감소함을 볼 수 있는데, 이것은 수준3~수준5 사이의 차이가 수 준1~수준3에 비해 크지 않음을 의미한다. 이러한 분석 결과는 예비 학습발달과정에서 설정한 핵심 개념별 수준의 적절성을 판단하는 데 이용되며, 또 한 이에 따라 학습발달과정을 수정할 수 있는 근거 가 된다.
2) 문항 fit
이 연구에서 사용한 Winsteps 프로그램에서는
피험자들의 응답에 대하여 Rasch 모델에 기반한
예측 값과 실제 자료를 기반으로 한 값 사이에 부
합하는 정도를 비교하기 위하여 item fit을 제공한
다. Item fit은 피험자들의 응답 결과를 토대로 쉬
운 문항부터 어려운 문항까지 일렬로 배열되어 있
다고 가정할 때, 쉬운 쪽 문항은 피험자의 능력에
관계없이 높은 수준을 선택하기를 희망하고, 어려
운 문항의 경우에는 높은 수준의 피험자만 높은 수
준으로 문항을 설명하기를 희망한다. 따라서 item
fit에는 outfit과 infit으로 구성되어 있는데, outfit
은 쉬운 쪽 문항과 어려운 쪽 문항에 초점을 두며
Rasch 모델의 예상 결과에서 벗어난 사례(outlier)
Figure 5. Wright map indicating the mean student ability for students who
responded at each construct level for each item.
Each dotted line portrays one item.
Figure 6. Item infit estimates
에 대하여 설명한다. Infit은 쉬운 쪽 문항과 어려 운 쪽 문항 사이의 관계를 말하며, 피험자의 능력 에 따라 문항의 곤란도에 맞게 Rasch 모델이 예측 한 경향성(inlier)을 보이는지를 확인할 수 있다 (Hur, 2017). 일반적으로 infit은 평균자승(mean square, MNSQ) 값을 나타내는데, MNSQ의 계산 은 1.0을 평균으로 하기 때문에 일반적으로 문제가 없는 범위를 0.5– 1.5로 보며(Wright & Linacre, 1994), MNSQ 값이 1.0보다 큰 경우 Rasch 모델 로 예측하기 힘든 경우(underfit)로 판단하고, 1.0 보다 작은 경우 Rasch 모델로 예측이 너무 정확한 경우(overfit)로 판단한다. 이 연구에 적용한 평가 문항의 응답 결과를 Rasch 모델로 측정하여 나온 infit 값을 Figure 6에 제시하였다. 분석 결과 연구 에 적용된 모든 평가 문항이 적합한 범위 내의 문 항 fit 값을 가지는 것을 확인할 수 있었다. 문항 3, 4, 6, 7의 경우 모두 1.0에 근접한 것으로 보아 Rasch 모델의 예측 기준으로 큰 변수가 없었으며, 다른 문항들 또한 1.0에서 벗어나기는 했으나 0.5-1.5 범위 안에 있으므로 적합하다는 것으로 판 단할 수 있다.
3) 학생 응답(student response) fit
Figure 7은 연구에 참여한 7,390명의 학생 응답
infit 값을 그래프로 나타낸 것이다. 그래프의 x축
은 학생들 ID를 나타내며, y축은 각 학생들의 infit
평균자승(mean square)을 나타낸다. 문항 fit과 마
찬가지로 infit 값이 05~1.5 범위를 수용 가능한 무
작위성(randomness)으로 간주한다. 그래프 분석
결과, 전체의 약 78%(5,761명) 학생들의 infit 값이
적정 범위에 해당되는 것으로 나타났는데, 이것은
대부분 학생들의 응답이 수용 가능한 infit 범위 내
에서 이루어졌음을 의미한다. 다시 말해, 약 78%의
학생들이 그들의 능력 모수(proficiency
parameter)에 근거하여 예측된 대부분의 문항에
응답하였다는 것이다. 하지만, 9% 학생들은 이 범
위의 아래쪽에 13% 학생들은 위쪽에 분포하였는
데, 이것은 예측된 것과는 달리 능력에 맞지 않는
문항에 응답한 학생의 비율로, 능력에 비해 쉽게
예측된 문항을 틀리거나 능력에 비해 어렵게 예측
된 문항을 맞춘 경우이다. 수용 가능한 infit 범위
의 아래쪽은 낮은 무작위성(low randomness)을
위쪽은 높은 무작위성(high randomness)을 의미
한다.
Figure 7. Infit estimates for individual student proficiencies.
The bold lines indicate the accepted range of 0.5–1.5.
4. 예비 학습발달과정 작성
4개 영역 8개 핵심 개념에 대한 구인구성도는 핵심 개념별 학생 수준 분포와 Rasch 적용 결과를 바탕으로 Table 5와 같이 수정되었다. 각 영역별로 수정의 근거는 다음과 같다.
1) 운동과 에너지 영역
‘물결파의 굴절’ 핵심 개념에 대한 Rasch 분석 결과를 보면 수준1, 수준2, 수준3에 비해 수준4, 수준5의 곤란도가 낮으며, 핵심 개념별 학생 수준 분포에서 수준4의 비율이 가장 적게 나타나고 있 다. 또한 수준5와 수준4를 구분하는 기준이 중학교 3학년을 대상으로 분류하기에 너무 세밀한 면이 있 어 수준5와 수준4를 통합하여 수준4로 조정하는 것이 적절할 것으로 판단하였다. 또한 ‘자기력의 방
향’ 핵심 개념에 대한 Rasch 분석 결과를 보면 수 준3, 수준4, 수준5에 비해 수준2의 곤란도가 낮으 며, 핵심 개념별 학생 수준 분포에서 수준1의 비율 이 매우 적게 나타나고 있다. 이것은 수준1의 ‘전 류가 흐르는 도선이 받는 자기력의 원인을 과학적 으로 파악하지 못하는 경우’와 수준2의 ‘전류와 자 기장의 방향을 모두 바르게 찾지 못하는 경우’가 좀 더 정교하게 구분되면서 나타난 결과로 해석된 다. 따라서 수준1과 수준2를 통합하여 수준1로 조 정하며 수준3, 수준4, 수준5를 각각 수준2, 수준3, 수준4로 조정하는 것이 적절하다고 판단하였다. 학 습발달과정의 수정된 결과는 Table 5와 같다.
2) 물질 영역
물의 기화와 열에너지 관계에 대한 예비 학습발
달과정에서는 액체 물이 기화하면서 주위의 온도가
낮아지는 현상에 대한 설명에서 ‘물이 액체에서 기 체로 상태 변화하는 현상임을 전혀 모르는 수준’에 서 ‘물이 상태 변화하고 있음을 알거나 주위가 냉 각되고 있음을 말할 수 있는 수준’으로, 그 다음은
‘물의 상태 변화를 기화라는 용어를 사용할 수 있 는 수준’으로, 그 다음은 ‘물의 상태 변화를 기화라 는 용어를 사용하며 표현하면서 주위에서 관찰되는 냉각 현상을 표현하는 수준’으로, 그 다음은 ‘물의 상태 변화를 기화라는 용어를 사용하여 표현하며 주위의 냉각 현상을 물이 열을 흡수하기 때문이라 고 설명할 수 있는 수준’으로 학습의 이해 수준이 정교화되는 것으로 설정하였다. 하지만 학생 응답 분석 결과 수준4의 비율이 매우 적고 수준3에 비해 수준4에 속하는 학생들의 능력치 상승 기울기가 감 소하는 것으로 보아 수준3과 수준4를 통합하는 것 이 더 적절할 것이라 판단하여 Table 5와 같이 학 습발달과정을 수정하였다.
연소 반응에서 질량 변화에 대한 예비 학습발달 과정에서는 강철솜의 연소 반응에서의 질량 변화에 대한 설명에서 ‘질량이 증가함을 알지 못하는 수준’
에서 ‘질량이 증가함을 알지만 그 원인을 화학 결 합으로 설명하지 못하는 수준’으로, 그 다음은 ‘어 떤 물질이 결합하기 때문에 질량이 증가한다는 것 을 아는 수준’으로, 그 다음은 ‘공기와 결합하기 때 문에 질량이 증가한다는 것을 아는 수준’으로, 그 다음은 ‘산소와 결합하여 질량이 증가한다는 것을 아는 수준’으로 학습의 이해 수준이 정교화되는 것 으로 설정하였다. 이 학습발달과정을 나타낸 각 수준별로 학생들의 능력치가 일정한 기울기로 증가 하고 있지만 수준2, 수준3, 수준4의 비율이 다른 수준에 비해 매우 적었다. 그리고 수준2는 질량이 증가함을 알지만 철과 다른 물질과의 결합을 알지 못하는 수준이고, 수준3은 질량이 증가함을 알고 그 이유가 철이 다른 물질과 결합함을 아는 수준이 고, 수준4는 구체적으로 철이 공기와 결합한다고 설명하는 수준이다. 수준3, 수준4는 공통적으로 철 이 산소와 결합한다고 구체적으로 설명하지 못하는 수준이므로 수준3, 수준4를 통합하는 것이 더 적절 할 것이라 판단하여 Table 5와 같이 학습발달과정 을 수정하였다.
3) 생명 영역
‘광합성량과 호흡량 변화’에 대한 Rasch 분석 결과를 보면 수준(L1~L5)에 따라 곤란도가 어느 정 도 격차를 보이 있자만 핵심 개념별 학생 수준 분 포에서 수준1의 비율이 가장 적다. 예비 학습발달 과정에서 수준1은 ‘광합성량과 호흡량의 의미를 알 지 못하며 광합성량이나 호흡량과 무관한 설명을 한다.’인데, 광합성량과 호흡량에 관련이 없는 설명 을 한다는 것은 광합성량과 호흡량의 변화를 설명 하지 못한다는 점에서 수준2와 같은 특성을 보인다 고 할 수 있어 수준1과 수준2를 통합하였다. 예비 학습발달과정의 수준3~수준5는 Table 5와 같이 수 준2~수준4로 수정하였다.
‘명암조절의 원리’에 대한 Rasch 분석 결과에서 도 수준(L1~L5)에 따라 곤란도가 어느 정도 격차를 보이 있지만 핵심 개념별 학생 수준 분포에서 수준 1의 비율이 가장 적다. 예비 학습발달과정에서 수 준2는 ‘명암조절을 설명하기는 하나 자극과 반응에 관련지어 설명하지 못하고 홍채에 의한 조절도 설 명하지 못하는 경우이다.’인데, 명암 조절 과정을 설명을 하지만 자극과 반응에 관련지어 설명하지 못하는 것은 명암 조절 과정이나 원리에 대해 알지 못함을 의미하므로 이러한 점에 근거하여 수준1과 수준2를 통합하였다. 예비 학습발달과정의 수준3~
수준5는 Table 5와 같이 수준2~수준4로 수정하였 다.
4) 지구와 우주 영역
‘대기권 구조와 특징’ 핵심 개념에 대한 Rasch 분석 결과를 보면 수준1, 수준2에 비해 수준3, 수 준4, 수준5의 곤란도가 현저히 증가하며, 핵심 개 념별 학생 수준 분포에서 수준3의 비율이 가장 적 음을 알 수 있다. 예비 학습발달과정에서 수준3은
‘대류가 일어나는 층과 극 원인을 불완전하게 설명
할 수 있다.’인데, 수준2에서의 오개념과 구분이 명
확하지 않으며, 불완전이라는 의미가 모호하다고
판단하여 수준3을 없애고, 곤란도 격차를 반영하여
수준5을 수준4로, 수준4를 수준3으로 하향 조정하
였다.
핵심 개념 수준 운 동과 에너 지 영역 물질 영역 생명 영 역 지 구와 우주 영 역 물결파 의 굴절 자 기력의 방 향 물의 기화 와 열 에너지 의 관 계 연소 반응 에서 질량 변 화 광 합성량 과 호 흡량의 변 화 명암 조절 의 원리
대기 권 구 조에서 대 류층과 그 원인
온대 저기압 통과 시 날씨 요 소 변화 수준 4
경계면에서 물 결파가 굴절한 이유를 증거를 들어 설명할 수 있다.
전류의 방향과 자기장의 방향 을 모두 바르게 설명할 수 있다.
물의 기화와 기 화 시 물의 열 흡 수를 표현하여 설명할 수 있다.
강철솜의 연소 반응에서 질량 증가를 산소의 결합으 로 설명할 수 있다.
광 합성량 과 호흡 량의 변화를 모 두 설명할 수 있 다.
명암 조절을 자 극과 반응에 관 련지어 설명하 며, 홍채에 의한 조절 임을 설명 할 수 있다.
대류가 일 어나는 층을 파악하며, 그 원인과 원리 를 설명할 수 있 다.
온대저기압 통 과 시 기온 변화, 풍향 변화, 구름 형태를 설명할 수 있다. 수준 3
물결파가 굴절 하는 원리를 매 질과 파동의 변 화로만 설명할 수 있다.
자기장의 방향 은 바르게 찾지 못하지만 전류 의 방향은 바르 게 설명할 수 있 다.
물의 기화를 표 현하여 상태 변 화를 설명하거 나, 나타나는 주 위 현상으로 설 명할 수 있다.
강철솜의 연소 반응에서 질량 증가를 어떤 물 질의 결합으로 설명할 수 있다.
호 흡량의 변 화만 을 설명할 수 있 다.
명암 조절을 자 극과 반응에 관 련지어 설명하 나, 홍채에 의한 조절 임을 설명 할 수 없다.
대류가 일 어나는 층을 파악하며, 그 원인을 설명 할 수 있다.
온대저기압 통 과 시 주요 날씨 요소 변화를 설 명할 수 있지만, 부분적으로 오 류가 있다. 수준 2
물결파가 굴절 하는 원리를 반 대로 이해하고 있어 굴절 현상 을 바르게 설명 할 수 없다.
전류의 방향은 바르게 찾을 수 없지만 자기장 의 방향은 바르 게 찾을 수 있 다.
물의 기화 현상 이 상태 변화임 을 안다.
강철솜의 연소 반응에 서 질량이 증가함 을 알지만 그 원인은 알지 못한다.
광 합성량 의 변화 만을 설명할 수 있다.
명암 조절을 반 응 위주로 설명 하며, 홍채에 의 한 조절임을 설 명할 수 있다.
대류가 일 어나는 층을 파악할 수 있으나, 원인에 대해 설명할 수 없다.
온대저기압 통 과 시 날씨 요소 변화 중 일부만 을 설명할 수 있 다. 수준 1
물결파가 굴절 하는 원리를 파 악하지 못한다.
전류와 자기장 의 방향을 및 원 인을 바르게 설 명하지 못한다.
물의 기화가 어 떤 상태 변화에 해당 하는지 알 지 못한다.
강철솜의 연소 반응에 서 질량이 증가함을 알지 못한다.
광 합성량 과 호흡 량의 변화를 모 두 설명하지 못 한다.
명암 조절을 자 극과 반응에 관 련지 어 설명하 지 못하며, 홍채에 의한 조절임을 설명할 수 없다.
대류가 일 어나는 층과 그 원인을 파악하지 못한 다.
온대저기압 통 과 시 날씨 요소 변화를 설명할 수 없다.
Table 5. Preliminary learning progression for key concepts in middle school science
