답지 반응률 분포 곡선을 통한 국가수준 학업성취도 과학 평가 문항 특성 분석
김현경1, 이인호1, 이봉우2, 이기영3, 심재호4*
1한국교육과정평가원, 2단국대학교, 3강원대학교, 4부산대학교
Analysis of the Characteristics of National Assessment of Educational Achievement (NAEA) Items for Science Subject through the use of Option Response Rate Distribution Curve
Hyun-Kyung Kim1, In-Ho Lee1, Bongwoo Lee2, Kiyoung Lee3, Jaeho Sim4*
1Korea Institute for Curriculum and Evaluation, 2Dankook University, 3Kangwon National University, 4Pusan National University A R T I C L E I N F O A B S T R A C T
Article history:
Received 15 January 2015 Received in revised form 10 February 2015
Accepted 18 February 2015
Identifying students' achievement level and reflecting it on educational policy making or instructional improvement by analyzing the results of nationwide standardized assessment is an integral part of accountability in education. On the basis of this premise, we analyzed the characteristics of National Assessment of Educational Achievement (NAEA) items for middle school science subject conducted from 2010 to 2013 by using the option response rate distribution curve, the fittest graph estimated from the response rate of correct/incorrect options by achievement score. Furthermore, we classified the type of option response rate curve in terms of correct and incorrect options. Results of the analysis of option response curve showed that five types of correct option response curve (S-shaped, J-shaped, straight- shaped, F-shaped, and step-shaped) and 4 types of incorrect option response curve (down-slope, flat, mound, and up-slope) were identified. The most common type of items was the combination of S-shaped correct option response curve and down-slope incorrect option response curve, which are considered as appropriate items to discriminate the students according to achievement level. Moreover, correct option response was found to be correlated with incorrect option response. Based on the results, we also discussed some implications on teaching-learning method and classroom assessment in science education.
Keywords:
National Assessment of Educational Achievement (NAEA),
option response rate distribution curve,
science assessment, item analysis
* 교신저자 : 심재호 ([email protected])
** 이 논문은 Lee et al. (2014)의 보고서를 수정 보완 및 재구성하여 정리한 것임.
http://dx.doi.org/10.14697/jkase.2015.35.1.0121
Ⅰ. 서론
미래 사회에서 국가 경쟁력은 창의적인 인재의 역량에 따라 좌우된 다. 따라서 세계 각국은 국가의 경쟁력을 강화하기 위하여 교육에 많은 투자를 하고 있다. 국가 수준의 교육의 출발은 교육과정에서부터 이루 어진다. 특히 우리나라와 같이 국가 수준의 교육과정을 운영하는 나라 에서는 교육과정이 학습자의 학습 내용은 물론 교사들의 교수활동 전 반에 걸쳐 모든 것을 결정하기 때문에 매우 중요하다. 우리나라의 경 우, 2007년 개정 교육과정(Ministry of Education & Human Resources Development, 2007)과 2009 개정 교육과정(Ministry of Education and Science Technology, 2009)에 이어 최근 2015 개정 교육과정의 총론이 개발되었고 2016년에 새로운 과학 교육과정을 개발하여 새로운 교육 의 방향을 모색하고 있다. 최근 많은 나라에서도 국가의 과학 교육의 경쟁력을 높이기 위해서 과학 교육과정을 개정하고 있다. 미국은 차세 대 과학교육 표준(Next Generation Science Standards; NGSS)(NRC, 2012)을 제시하였으며, 영국과 호주 등 많은 나라에서 최근에 교육과 정 개정을 실시하였다. 국가 수준의 교육과정이 개발되면 교육과정이 어떻게 정착되어 잘 운영되고 있는지를 지속적으로 모니터링할 의무 와 필요성을 가진다. 또한, 학교 교육의 성과가 기대한 만큼 이루어지 고 있는지, 그 성과가 어느 수준에 이르고 있는지를 파악하고 점검하는 일은 국가가 주도하는 교육평가 체제의 중요한 책무 중의 하나이다.
이에 따라 세계 각국에서는 학교 교육의 결과를 점검하고 다양한 정보 를 수집하여 분석하는 평가를 수행하고 있다. 특히 학생의 학업성취도 는 국가의 교육과정과 교육 정책의 효과를 확인할 수 있으며, 새 교육 과정과 정책을 마련하기 위한 준거이자 척도가 되기 때문에(Black, 1998), 각 국가에서는 자국 학생의 학업성취도를 확인하는 것을 중요 한 국가적 과제로 수행하고 있으며, TIMSS(Trends in International Mathematics and Science Study)와 PISA(Programme for International Students Assessment)와 같은 국제 성취도 비교 연구에 참여하여 국가 교육경쟁력 확보를 위한 정보를 주기적으로 수집하고 있다.
우리나라에서는 국가수준 학업성취도 평가(National Assessment of Educational Achievement; NAEA)를 통하여 국가 수준에서 우리나라 학생의 학업 성취수준을 진단하고, 이에 따라 교육정책 수립과 교수
․ 학습 개선을 위한 경험적 자료를 제공하고 있다(Kim et al., 2011a:
Kim et al., 2011b: Kim et al., 2013a: Lee et al., 2010). 미국의 NAEP (National Assessment of Educational Progress), 영국의 NCA(National Curriculum Assessment), 호주의 NAP(National Assessment Pro- gramme), 일본의 전국학력 ․ 학습상황 조사 등도 같은 맥락에서 시도 되고 있는 평가라 할 수 있다.
국가수준 학업성취도 평가의 목적은 교육과정에 설정된 교육 목표 에 견주어 학생들의 도달 정도를 파악함으로써 교육과정을 개선하기 위한 기초 자료를 제공할 뿐만 아니라 학생 개개인의 학업성취 수준을
Journal of the Korean Association for Science Education
Journal homepage: www.koreascience.org
소계 2,020 2,023 2,022 2,023 42
생명
생물의 구성과
다양성 1 1 2 1 5
식물 2 2 1 4 9
동물 5 5 5 3 18
소계 2,023 2,026 2,025 2,028 56
지구와 우주
지질 3 3 4 4 14
천문 2 4 4 4 14
대기와 해양 3 1 0 0 4
소계 2,028 2,033 2,033 2,036 84
계 32 32 32 32 128
기술한 것(NRC, 2007)으로 학년이 올라감에 따라 저절로 획득되는 발달이 아니라 과학 교사의 적절한 교수활동의 도움을 받아 형성되는 발달(instruction-assisted development)을 의미한다(Corcoran, Mosher,
& Rogat, 2009). 따라서 본 연구의 결과로 얻어지는 평가결과는 교실 수업에서 교사들이 평가 결과에 기초한 적응적 교수활동(adaptive instruction) 수행의 근거가 되어(Duschl et al, 2011), 평가 결과로 파악 된 학습자의 학습 수행 정도를 교사의 수업활동에 반영하여 학습자의 발전을 촉진시키는 교수활동을 가능케한다(Corcoran & Silander, 2009).
그동안 과학과 국가수준 학업성취도 평가는 보고서(Kim et al., 2011c; Kim et al., 2012; Kim et al., 2013b; Lee et al., 2014)를 통해서 그 결과를 공개해왔다. 이 보고서에는 문항 출제 및 평가의 과정에 대한 서술과 문항별로 답지반응분포, 출제의도, 성취수준별 특징들로 구성된 문항분석 결과가 포함된다. 국어, 영어, 수학, 사회 교과의 경우 에는 국가수준 학업성취도 문항분석과 관련하여 많은 학술연구를 수 행하여 논문을 발표하였지만, 과학과의 경우에는 일부의 연구(Choi, 2013; Choi & Jeong, 2008; Jeong & Choi, 2008; Kim & Jeong, 2012) 에서만 제시되었을 뿐 많은 연구가 진행되지 못한 실정이다.
문항 분석은 개별 문항에 대한 학생들의 반응 특성을 전체 검사지에 대한 반응 특성에 비추어 해석함으로써 문항 구성의 문제점 여부를 판단하거나 응답 학생들의 성취 특성을 추론하는 분석 행위로, 이를 통하여 문항의 난이도를 측정할 수 있으며, 오답 반응으로부터 학생들 이 무엇을 얼마나 오해하였는지, 혼란 요소가 무엇인지를 판단할 수 있다. 또한 각 문항은 내용 영역과 행동 영역의 특성을 갖고 있으므로, 어떤 내용 영역에서 학생들이 취약한지, 또 어떤 행동 영역을 더 잘 숙달했는지를 관찰할 수 있다. 전체 검사지에 대한 반응 특성에 비추어 보면 각 문항의 변별도를 통해 문항의 질을 판단할 수도 있다. 즉, 국가수준 학업성취도 평가에 대한 문항분석은 국가수준 학업성취도가 지향하는 평가의 목적을 달성하기 위해 필수적인 활동이다. 그러나 지금까지 수행해 온 국가수준 학업성취도 평가의 문항 분석은 전체 검사지에 대한 반응 특성을 제한적으로만 활용해 왔다는 문제점이 지 적된다. 학업성취도 평가 결과가 제공하는 데이터는 전체 정답률과 변별도, 성취수준별(우수학력, 보통학력, 기초학력, 기초학력 미달)의 답지별 반응 분포 등이므로, 이를 통하여 문항의 품질을 판정하고 저학 력 학생과 고학력 학생의 정오답률 차이의 원인을 분석할 수 있다.
하지만, 이는 4개로 구분된 성취 수준에 대해서만 평균적인 정보를 제공하기 때문에 성취 수준 범주 내에서의 변위, 특정 집단의 정답지 반응 특성, 매력적인 오답이 영향을 미치는 점수 구간 등과 같이 세부
적인 정보를 제공하는데 어려움이 있었다. 따라서 방대한 데이터를 이용하여 새로운 의미를 도출하는데 어려움이 있어 새로운 분석 방법 이 요구된다. 이에 본 연구에서는 척도 점수에 따른 정답과 오답의 답지별 반응률 분포 곡선을 활용한 분석방법을 제시하고 그 결과로부 터 과학과 국가수준 학업성취도 문항의 특성을 분석하고자 한다.
Ⅱ. 연구 대상 및 방법 1. 연구 대상
본 연구의 대상은 2010년부터 2013년까지 시행된 과학과 국가수준 학업성취도 평가의 문항 중 선다형 문항과 그 평가 결과이다. 국가수준 학업성취도 평가는 2008년부터 전수평가로 실시되었는데, 과학과의 경우 2013년도부터 표집으로 전환되었다. 또한 초등학교 6학년과 중 학교 3학년에 대해서 실시되다가 역시 2013년도부터는 중학교 3학년 에 대해서만 평가가 실시되었다. 따라서 본 연구에서는 2010년도부터 2013년도까지 4년 동안 실시된 중학교 3학년 대상의 학업성취도 평가 의 결과를 분석 대상으로 하였다.
서답형 문항은 몇 가지 정형화된 오답 반응으로 추출하고 분류하기 어렵기 때문에 선다형 문항 128문항을 분석 대상으로 하였다(Table 1). 또한 답지 반응 분포는 연도간 난이도를 보정하는 동등화(equating) 를 위해서 출제한 가교 문항을 제외하고 총 112개 문항을 분석하였다.
2. 연구 방법
성취도 점수 자료를 통하여 문항 분석을 하면 문항과 성취 특성에 대한 보다 풍부하고 다면적인 해석을 할 수 있다. 정답지의 경우에는 변별도에 대한 다양한 해석이 가능하고, 오답지의 경우에는 오답의 매력도를 다양한 측면에서 분석할 수 있기 때문이다. 본 연구에서는
⇨
Figure 1. Real response rate(left) and option response rate distribution curve(right)
Figure 2. S-shaped correct option response curve Figure 3. J-shaped correct option response curve
Figure 4. Straight-shaped correct option response curve Figure 5. F-shaped correct option response curve
성취도 점수를 최적화된 답지 반응률 분포 곡선을 이용하여 분석하였 다. 최적화된 답지 반응률 분포 곡선의 추출 방법과 추출된 정답과 오답지 반응률 분포 곡선들의 몇 가지 유형을 추출한 결과를 제시하면 다음과 같다.
가. 답지 반응률 분포 곡선의 추출
성취도 점수별 답지 반응률 분포 곡선이란 성취도 점수에 따른 특정 문항의 정오답 반응률을 토대로 최적 곡선을 추정한 그래프이다. 이 그래프에서 가로축은 성취도 점수를 나타낸 것으로, 성취도 점수란 학생들의 원점수를 척도 점수로 변환하여 평균 200점, 표준편차 30점, 척도 점수의 범위를 100점에서 300점까지 나타낸 것이다. 세로축은 각 답지에 대해 0과 1 사이의 반응률로 나타낸 것으로, 5지 선다형의 5개 보기에 대해서 각각 성취점수대별 반응률을 제시하였다. 즉, 성취 점수 100점부터 최대 성취점수까지 각 점수에 따른 반응률을 점으로
나타내고(그림 1의 왼쪽 그래프), 이 점선 분포 그래프에서 추세선을 고려하여 지수 함수, 2차에서 6차까지 다항식 함수 중 답지 반응을 최적화할 수 있는 그래프로 전환하는 것이다. Figure 1은 2011년 과학 10번 문항의 정답과 오답지의 성취점수대별 학생들의 정답과 오답지 반응률을 지수 함수, 2차에서 6차 함수식 중 중 가장 답지 반응 분포를 잘 설명할 수 있는 그래프로 선택하여 최적화한 곡선이다. 본 연구에서 는 Figure 1의 오른쪽 그래프와 같이 최적화한 곡선을 답지 반응률 분포 곡선이라고 정의하였다.1)
나. 정답과 오답지 반응률 분포 곡선의 유형 분류
연구 대상인 112개 문항에 대해서 답지 반응률 분포 곡선을 구한
1) 전체 답지 반응률 분포를 부드러운 곡선으로 근사하는 과정에서 성취도 최저값 과 최고값에서의 반응률을 모두 합하면 1보다 크거나 작은 경우가 나타날 수 있다. 그러나 전체적인 곡선의 모양은 실제 반응률과 유사하다.
Figure 8. Flat-shaped incorrect option response curve Figure 9. Mound-shaped incorrect option response curve
Figure 10. Up-slope incorrect option response curve
Table 2. Analysis result of option response rate distribution curve 정답
곡선 유형
오답 곡선 유형
영역
소계 계
운동과
에너지 물질 생명 지구와
우주
S자형
보통형 8 14 9 12 43
66 (58.9%)
평지형 1 2 2 3 8
산지형 1 3 8 2 14
상승형 1 - - - 1
J자형
보통형 - - - - -
18 (16.1%)
평지형 1 - 1 1 3
산지형 5 3 3 4 15
상승형 - - - - -
직선형
보통형 - - 1 - 1
16 (14.3%)
평지형 2 - 2 1 5
산지형 4 2 - 4 10
상승형 - - - - -
F자형
보통형 4 3 2 1 10
10 (8.9%)
평지형 - - - - -
산지형 - - - - -
상승형 - - - - -
계단형
보통형 - - - - -
2 (1.8%)
평지형 - - - - -
산지형 - 1 - - 1
상승형 1 - - - 1
계 28 28 28 28 112 112
후, 과학 교육 전문가 4명과 과학 교사 4명이 답지 반응률 곡선에서 비슷한 패턴을 나타내는 것을 반복적으로 묶는 과정을 통하여 정답에 대해서 S자형, J자형, 직선형, F자형, 계단형 등의 5가지 유형을 발견하 였고(Figure 2~6), 오답에 대해서는 보통형, 평지형, 산지형, 상승형 등의 4가지 유형을 발견하였다(Figure 7~10). 정답 1개와 오답 4개의 조합에 따라 다양한 유형의 답지 반응 유형을 정할 수 있다. 본 연구에 서는 5가지 정답 유형과 4가지 오답 유형의 조합을 따져 총 20개의 유형(정답 5유형 × 오답 4유형)이 나올 수 있을 것으로 예상하였다.
예상되는 20가지 유형 중 실질적으로 본 연구에서 발견된 유형에 대해 서는 답지 반응률 곡선과 문항을 결부시켜 각 문항 특성을 분석하였다.
Ⅲ. 연구 결과
1. 답지 반응률 분포 곡선 분석
가. 전체 결과 분석
국가수준 학업성취도 평가 문항 112개를 정답 곡선 유형 5가지(S자 형, J자형, 직선형, F자형, 계단형)와 오답 곡선 유형 4가지(보통형, 평지형, 산지형, 상승형)의 총 20개 유형에 맞추어 분석한 결과를 Table 2에 제시하였다.
Figure 11. Case 1 : “S-Flat” curve – Item(Left), assessment result and option response rate curve(Right)
정답 곡선 유형으로는 S자형이 66개로 전체 중의 58.9%를 나타내 가장 많은 유형으로 발견되었다. S자형은 낮은 성취 수준(기초학력)의 학생들에게서는 정답률이 크게 변하지 않다가 중간 성취 수준(보통학 력)의 학생들에서 급격한 정답률의 향상이 보이고, 높은 성취 수준(우 수학력)에서는 크게 변하지 않는 형태로 로지스틱 형태를 나타내는 유형이다. 일반적으로 변별도가 높은 문항의 경우에 S자형이 나타나 며 잘 구성된 문항에서 나타나는 전형적인 평가의 결과이다. 따라서 기초학력, 보통학력 및 우수학력 집단의 학생들을 변별하는데 적절한 문항이다.
오답지의 선택에 대해서는 성취 수준이 낮은 학생들이 많이 선택하 고, 상대적으로 성취수준이 높은 학생들이 적게 선택하기 때문에 지수 함수 형태로 감소하는 보통형이 많이 발견되었다. 보통형은 S자형 정 답에서 43개, 직선형 정답에서 1개, F자형 정답에서 10개가 발견되어 총 54개(48.2%)였다. 일반적으로 낮은 성취 수준의 학생들이 많이 오 답을 선택하였고 점차 성취수준이 올라가면서 선택비율이 감소되어 나타나는 형태로 역시 전형적인 오답의 패턴이라고 할 수 있다. 따라서 정답 곡선 유형으로 S자형, 오답곡선 유형으로 보통형인 조합이 가장 많이 발견되는 유형으로 총 43개(38.4%)가 발견되었다.
나. S자형-평지형 곡선 유형 문항의 사례
정답 곡선 유형이 S자형이고 오답 유형이 평지형인 경우에 대한 사례로 물질 영역에서 2012년 14번 문항을 예로 들 수 있다(Figure 11 참조). 이 문항은 단위 부피당 질량을 의미하는 밀도가 물질의 특성임 을 이해하는지를 확인하기 위한 것이다. 즉, 같은 물질은 밀도가 같고, 다른 물질이면 밀도가 다름을 이해하고 있는지, 밀도는 세기 성질이므로 물질의 양과 관련 없음을 이해하고 있는지를 확인하기 위한 것이다.
이 문항의 전체 정답률은 50.22%이었으며, 오답 중 ①번의 반응률이 13.02%, ⑤번의 반응률이 13.42%로 높았다. 이 문항의 변별도는 0.48로 비교적 높아 전형적인 S자형 정답유형의 특징을 나타내었다.
오답지 ③과 ④에 대한 반응률은 성취도 점수가 높아질수록 지수 함수로 감소하는 형태의 보통형을 나타낸 반면에, 오답지 ①과 ⑤에 대한 반응률은 기초학력 집단과 보통학력 집단의 경계선까지 별로 감 소하지 않고 일정한 반응률을 유지하는 형태를 나타내고 있음을 볼 수 있다. 그리고 1번, 3번, 4번 답지의 공통점은 밀도를 질량/부피가 아닌 부피/질량으로 계산한 경우에 선택하게 되는데 오답지 1과 3의 반응률 분포의 경향성에 차이가 나고 있다. 특히 오답지 1과 5는 다른 오답지에 비해서 기초학력 학생들의 반응률이 상대적으로 높았는데, 이는 오답 1을 선택한 학생들 중에는 부피/질량으로 밀도를 계산한 경우만 아니라 그래프에서 오른쪽 위쪽(숫자가 큰 쪽)에 있을수록 무 조건 어떤 물리량이 크다고 생각하는 학생들이 포함되어 있음을 의미 한다고 볼 수 있다. 오답 ⑤를 선택한 학생들은 밀도가 물질의 특성임 을 이해하지 못하고 밀도를 반으로 줄이면 질량은 변하지 않고 부피만 반이 되는 것으로 잘못 이해하고 있는 것으로 보인다. 즉, 밀도가 물질 의 특성임을 이해하지 못하고 밀도를 질량이나 부피 같은 어떤 크기나 양과 관련된 것으로 생각하고 있는 경향이 있다는 것을 알 수 있다.
다. J자형-산지형 유형 문항의 사례
정답 곡선이 J자형으로 나타난 문항은 총 18문항(16.1%)이었다. 정 답 곡선 유형이 J자를 나타내는 것은 정답 곡선이 지수형으로 증가하 는 형태를 보이면서 성취 수준이 낮은 학생들의 경우에는 정답률이 매우 낮고 보통학력까지도 낮은 정답률을 보이다가 우수학력 집단에 서 급격하게 증가하는 패턴을 보이는 경우이다. 이 경우에는 오답 유형 이 평지형인 경우에는 많은 오답지 중에서 기초학력이나 보통학력 집 단의 학생들이 성취 수준에 관계없이 일정한 반응률을 나타내는 경우 이다. 가장 많은 오답유형으로는 산지형으로 15문항이 발견되는데, 특정 오답지가 기초학력 미달 집단의 학생들이나 기초학력 집단 학생 들보다 보통학력 학생들이 더 많이 선택한 경우에 해당된다. 오답지 한 개가 보통학력 집단까지 비교적 높은 반응률을 나타내기 때문에
Figure 12. Case 2 : “J-Mound” curve – Item(Left), assessment result and option response rate curve(Right)
정답지의 반응률이 특정 집단(주로 보통학력 집단)까지 낮게 나타나 J자형 정답 곡선을 나타내게 된다. 이러한 유형의 문항에 대해서는 특정 오답지의 반응이 보통학력 집단에서 높게 나타나는 이유에 대한 심층적인 분석이 필요하고 특정 오답지의 매력도나 오개념을 분석하 는데 적합한 유형이다. 정답지의 반응 곡선 유형이 J자형이며 오답지 의 반응 곡선 유형이 산지형인 문항의 사례로 지구와 우주 영역에서 2013년도 31번 문항의 평가 결과 및 문항 반응 곡선을 Figure 12에 제시하였다.
이 문항의 출제 의도는 별의 절대등급과 겉보기등급을 이용하여 별까지의 상대적인 거리를 비교할 수 있는지를 묻는 문항이다. 이 문항 에서 제시된 문제를 해결하기 위해서 학생들은 절대등급과 겉보기등 급의 개념과 두 등급 간의 관계를 이해하고 있어야 한다. 평가 결과, 전체 정답률이 28.60%로 매우 어려운 문항으로 변별도는 0.19로 낮았 다. 우수학력 학생들의 정답률도 55.06%로 나타나 어떠한 성취 수준 에 대해서도 대표성을 갖지 못하는 문항이었지만 우수학력 학생들 중 최상위권 학생들을 변별할 수 있는 기능을 가진 문항으로 볼 수 있다. 기초학력 미달과 기초학력의 경계선 근처에서는 모든 답지에 대한 반 응률이 큰 차이가 없는데, 기초학력에서 ⑤번 답지의 반응률이 크게 증가하고 정답인 ①번 답지는 20%정도를 유지하고 있으며 나머지 답 지들은 조금씩 감소하고 있다. 이것은 학생들이 그래프에 대해 가지고 있는 어떤 인식과 관련지어 해석할 수 있는데 ②번과 ③번을 선택한 학생들은 왼쪽 아래를 기준으로 생각하여, 이로부터 멀어질수록 거리 가 무조건 증가한다고 생각하는 경향이 있는 것으로 보인다. 이는 별의 밝기 등급에 대한 이해가 거의 이루어지지 않은 상태라고 여겨진다.
특히 유심히 살펴볼 답지는 ⑤번으로 보통학력 집단까지 반응률이 증 가하다가 이후 우수학력 집단으로 갈수록 반응률이 감소하는 산지형 분포를 나타내고 있는데, 보통학력 이하의 성취 수준에서는 정답률보
다 높게 나타났다. 이는 ⑤번을 선택한 학생들은 그래프에 대한 해석을 시도한 경우로서 A, B, C를 나타내는 점이 그래프에서 반비례 관계를 유추하게 만들고 있는 것에 주목하여, 별의 거리 순서를 A<B<C 또는 C<B<A중의 하나로 본 것으로 생각된다. 여기에 절대 등급과 겉보기 등급에 대한 약간의 이해가 C<B<A를 선택하는 데 영향을 준 것으로 보이며, 이와 같이 답지에 대한 해석을 그래프와 연계하여 볼 때, 기초 학력 수준에서 그래프에 대한 해석 능력이 시작되고 있다고 할 수 있다. 따라서 기초학력 수준의 학생들부터 그래프 해석 능력을 지도할 필요가 있으며, 보통학력 이하의 학생들은 별의 밝기를 등급으로 나타 낼 때 혼동을 일으키는 경우가 매우 많음에 주목하여 관련 내용을 지도할 때 유의하여 관심을 기울일 필요가 있다.
라. 직선형-산지형 곡선 유형 문항의 사례
직선형 정답 곡선 유형의 문항은 총 16문항으로 전체의 14.3%였다.
기초학력 학생들도 어느 정도의 정답률을 나타내고, 우수학력 집단 학생들도 오답 선택 비율이 비교적 높은 형태의 문항이었다. 정답 유형 이 직선형인 경우에 가장 많은 오답 유형은 산지형으로 총 10문항이 발견되었고 그 다음으로는 5문제가 평지형 문항이었다. S자형이 보통 학력 집단에서 급격하게 정답률이 상승하는 것에 비해 직선형은 완만 하게 증가하는데 이는 오답지의 반응이 보통학력까지 비교적 높게 유 지되기 때문이다. 따라서 오답지의 반응이 높게 나타나는 이유에 대한 심층 분석이 필요하며 특정 오답지의 매력도나 오개념을 분석하는데 적합한 유형의 문항이다. 정답지의 반응 곡선 유형이 직선형이며 오답 지의 반응 곡선 유형이 산지형인 문항의 사례로 물질 영역에서 2010년 도 13번 문항의 평가 결과 및 문항 반응 곡선을 Figure 13에 제시하였 다.
Figure 13. Case 3 : “Straight-Mound” curve – Item(Left), assessment result and option response rate curve(Right)
이 문항은 주어진 자료에서 용해도를 계산해내고 그 용해도가 물질 의 특성임을 알고 물질을 확인할 수 있는지 평가하는 문항이다. 전체 정답률은 59.2%이었으며, 변별도는 0.44로 비교적 변별력이 높은 문 항이다. 답지 반응률 분포 곡선을 보면, 다른 오답지와 달리 ⑤번 답지 만 산지형을 나타내고 있으며, 주로 보통학력 학생들이 선택하였다.
이 문항의 해결 과정과 답지의 구성을 고려할 때, ⑤번 답지를 선택하 는 경우는 그래프에서 가로축은 생각하지 않고, 세로축에 제시된 용질 의 값만으로 판단한 경우이거나 용해도를 용질을 녹이는 데 필요한 물의 양으로 판단한 경우로 유추할 수 있다. 이는 보통학력 근처의 학생들까지 용해도에 대한 개념이 제대로 형성되어있지 않다고 생각 할 수 있다. 이로부터 보통학력 학생들 중 일부 학생들은 물의 질량에 따라 최대한 녹아 들어간 용질의 질량을 나타낸 그래프로부터 용해도 를 계산하지 못하며 용해도에 대한 개념이 없고, 용질의 질량과 용해도 가 반비례한다는 오개념을 가지고 있음을 알 수 있다. 따라서 이러한 물질의 고유한 성질에 대해서는 여러 실험을 통하여 접하게 하고 일상 생활에서 이러한 성질에 관한 여러 예를 찾을 수 있도록 교수 ․ 학습 방법을 고민하여 지도해줄 필요가 있다.
마. F자형-보통형 곡선 유형 문항의 사례
정답지의 반응률 분포가 F자형을 나타내는 유형은 기초학력 집단 학생들 수준에서 급격하게 정답률이 증가하여 전체적으로 답지의 반 응률이 높은 형태를 나타내는 유형으로 모두 10문항(8.9%)이었다. 기 초학력 미달 집단을 제외하면 정답률이 비교적 높기 때문에 오답지 선택률이 낮아 오답지 반응 분포는 지수 함수 형태로 감소하는 보통형
이 대부분을 차지하였다. 이 유형의 문항은 기초학력 미달과 기초학력 집단, 혹은 기초학력과 보통학력 집단을 변별하는데 사용할 수 있는 문항이며 전체적으로 정답률이 높아 특정 오개념은 나타나지 않고 기 초학력 대표 문항에서 자주 나타나는 패턴이다. 국가수준 학업성취도 평가 문항의 출제에서는 우수, 보통, 기초, 기초 미달학력 수준을 대표 할 수 있는 대표 문항이 고루 출제되어야한다. 이를 해결하기 위한 방법 중 하나는 정오답 반응률 분포 곡선을 이용한 문항 분석을 통해 어떤 문항에서 어떻게 정답과 오답 반응을 하는지 파악하는 것이다.
이 결과를 바탕으로 좀 더 다양한 학력 수준을 대표하는 문항을 출제할 수 있으며, 학생 수준에 맞게 문항을 출제하는 방법을 연수시킬 수 있는 방법으로 활용할 수도 있다. 정답지의 반응 곡선 유형이 F자형이 며 오답지의 반응 곡선 유형이 보통형인 문항의 사례로 생명 영역에서 2010년도 18번 문항의 평가 결과 및 문항 반응 곡선을 Figure 14에 제시하였다.
이 문항은 담배의 강한 중독성을 일으키는 물질이 니코틴이라는 사실을 기억하고 있는지를 평가하는 문항으로 정답률이 84.57%이며, 오답지의 반응률에는 큰 차이가 없다. 우수학력 집단의 94.63%, 보통 학력 집단의 89.59%, 기초학력 집단의 82.44%, 기초학력 미달 집단의 46.20%가 담배의 여러 성분 중에서 강한 중독성을 일으키는 물질이 니코틴이라는 사실을 알고 정답지 ③번을 선택했다. 학력 집단에 따라 특정 오답지에 대한 반응 비율이 증가하는 양상은 나타나지 않았다.
즉 오답지의 매력도가 집단에 관계없이 균일하게 유지되었음을 보여 준다고 할 수 있다. 전체 변별도는 0.28로 비교적 낮았다. 그러나 기초 학력 미달 집단에서 기초학력 집단의 중간 정도까지 정답지의 반응률 이 급격하게 증가함을 통해서 이 문항으로 기초학력 이하를 변별하는
Figure 14. Case 4 : “F-Down” curve – Item(Left), assessment result and option response rate curve(Right)
데 매우 적절하게 작용함을 알 수 있다.
바. 계단형-상승형 곡선 유형 문항의 사례
성취 수준이 낮은 영역과 성취 수준이 높은 영역에서 성취 수준이 증가함에 따라 정답률이 빠르게 증가하는 반면, 중간 수준의 성취 수준 집단에서는 정답률이 비교적 일정하게 유지되는 형태로 S자형과 상반 되는 패턴이다. 전체 중에서 2문항(1.8%)만 발견되어 빈번하게 나타나 는 유형은 아니다. 일반적으로 오답지 반응률은 성취 수준이 증가하면 서 감소하기 때문에 보통학력 수준에서 정답지 선택률이 일정한 것은 특정 오답지 반응률이 성취 수준이 증가함에 따라 같이 증가하기 때문 이다. 특정 오답지의 내용이 매우 강한 오개념으로 작용하며 이 오개념 이 학력 수준이 높은 집단일수록 많은 학생들이 가지고 있기 때문으로 심한 경우에는 성취 수준이 낮은 집단의 학생들보다 성취 수준이 높은 집단의 학생들이 더 정답률이 낮은 결과를 나타내어 변별도가 매우 낮은 결과를 나타내기도 한다. 정답지의 반응 곡선 유형이 계단형이며 오답지의 반응 곡선 유형이 상승형인 문항의 사례로 운동과 에너지 영역에서 2011년도 5번 문항의 평가 결과 및 문항 반응 곡선을 Figure 15에 제시하였다.
이 문항은 세 가지 물체의 운동 상태를 나타낸 그림을 보고 물체에 작용하는 힘이 물체의 운동 방향과 나란한 것을 찾을 수 있는지를 평가하는 문항이다. 전체 정답률이 47.9%으로 다른 문항에 비해서 비교적 정답률이 낮아 우수학력 대표 문항에도 해당되지 않은 문항이 다. 우수학력 집단 학생들의 정답률은 51.89%, 보통학력 집단의 정답 률은 49.5%, 기초학력 집단의 정답률은 47.02%로 우수학력부터 기초 학력 집단의 학생들까지 정답률에 그렇게 많이 차이가 나지 않는 문항 이다. 정답률을 보면 기초학력 집단의 학생이 우수학력 집단의 학생보 다 높은 정답률을 나타내기도 하여 변별도가 0.044로 매우 낮았다.
특히 이 문항에서 우수, 보통, 기초학력 학생들의 정답률이 크지 않은
것으로 보아 기초학력 학생들도 물체의 운동 방향과 힘의 방향 사이의 관계를 어느 정도는 잘 이해하고 있다고 볼 수 있으며, 반응률 분포 곡선에서 정답률이 낮고 정답지 반응 곡선이 계단형으로 나타난 것은 학생들이 ‘나란하다’라는 용어에 대한 해석을 다르게 했기 때문이라고 생각된다. 오답지 반응률 중에서 ①은 성취 수준이 증가하면서 계속하 여 반응률이 증가하는 형태를 나타내었다. 더 고차원적 사고를 할 수 있는 성취 수준이 높은 학생들이 <보기>의 ‘ㄴ’이 힘의 방향과 운동 방향이 나란하다고 생각하지 않고 있었다. 이 때문에 보통학력 집단 학생들이 성취 수준이 높아짐에도 불구하고 정답률이 올라가지 않은 결과를 초래하였다. <보기>의 ‘ㄴ’ 은 속력이 점차 증가하다가 다시 감소하는 운동을 나타낸 것으로 힘이 운동 방향으로 작용하다가 다시 반대 방향으로 작용하는 결과이다. 이때 운동 방향과 힘의 방향이 반대 이기는 하지만, 같은 직선상에 있기 때문에 나란한 상황이다. 많은 학생들이 ‘나란하다’를 ‘같다’로 생각하였기 때문에 <보기>의 ‘ㄴ’이 옳지 않다고 생각하여 정답인 ③보다 ①을 선택한 것으로 해석할 수 있다. 따라서 이와 같이 정오답 반응률 분포 곡선을 이용한 분석을 통해 학생들이 용어에 대해 해석을 다르게 하는지 여부 등을 파악할 수 있으며, 이를 통해 출제되는 문항의 질 향상에 피드백을 주는데 활용할 수 있다.
Ⅳ. 결론 및 제언
본 연구에서는 2010년~2013년에 시행된 과학과 국가수준 학업성 취도 평가 결과를 정오답 반응률 분포 곡선을 활용하여 분석하였으며, 주요 연구 결과는 다음과 같다.
첫째, 답지 반응률 분포 곡선으로 분석한 결과, 정답지는 S자형, J자형, 직선형, F자형, 계단형 등의 5가지 유형으로 분류되었고, 오답 지는 보통형, 평지형, 산지형, 상승형 등의 4가지 유형으로 분류되었다.
정답지와 오답지의 결합을 통해서 총 20가지 유형이 나올 수 있을
Figure 15. Case 4 : “Step-Up” curve – Item(Left), assessment result and option response rate curve(Right)
것으로 추정하였다. 가장 많은 유형은 정답지가 S자형이고, 오답지가 보통형인 유형으로 변별도가 높은 전형적인 평가 문항이 갖는 유형이 다. 정답지가 J자형인 경우에는 오답지가 산지형인 유형이 가장 많았 고, 정답지가 직선형인 경우에는 오답지가 산지형, 정답지가 F자형인 경우에는 오답지가 보통형인 유형이 가장 많았다.
둘째, 정답지의 반응률과 오답지의 반응률이 서로 연관되는 결과를 나타내었다. 특히 오답지의 패턴이 정답지의 모양에 영향을 미치고 있는데, 특정 오답지의 분포가 보통형인 경우에는 정답지의 분포가 보통 S자형으로 나타난 반면, 오답지의 내용이 평지형이나 산지형으 로 나타난 경우에는 정답지의 유형이 J자형이나 직선형인 형태로 나타 났다.
셋째, 오답지의 분포는 교수 ․ 학습 지도 방안에 높은 시사점을 줄 수 있다. 성취 수준이 높아지면서 오답지의 반응률이 지수 함수 형태로 감소하는 것이 일반적이나 특정 오답지의 경우에는 평지형, 산지형, 상승형 등의 유형을 나타내었다. 이것은 오답이 나타내는 내용이 학생 들에게 오개념으로 작용하고 있기 때문으로 특히 산지형이나 상승형 인 경우에는 오개념이 특정 집단에 대해서 집중적으로 나타나기 때문 에 교수 ․ 학습 측면에서 중요한 시사점을 줄 수 있다.
본 연구의 결과를 바탕으로 다음과 같은 제언을 할 수 있다.
첫째, 교수 학습과 관련된 제언이다. 본 연구에서 제시된 정오답 반응률 분포 곡선을 살펴보면, 학생들이 갖는 오개념이 어떻게 나타나 고 있는지 살펴볼 수 있다. 따라서 문항의 오답률을 분석하여 학생들이 오개념을 나타내는 경우에 대한 처치 전략에 대한 연구가 필요하다.
학력 수준에 따라 서로 다른 오개념을 나타나는 경우, 학력 수준에 따른 맞춤형 교수ㆍ학습 방법이 고안되어야 할 것이다. 예를 들어 보통 학력 수준의 학생들까지도 낮은 정답률을 나타내는 J자형 유형의 문항 중에는 탐구 기능이나 실행 능력이 필요한 문항들이 다수 포함되어 있었다. 이는 우리나라 학생들이 탐구 과정과 관련된 능력이 부족하며 이에 대한 지도가 필요하다는 것을 시사할 수 있다.
둘째, 교육 평가에서 문항의 질과 관련된 제언이다. 국가수준 학업 성취도 평가에서 학생들을 우수, 보통, 기초, 기초학력 미달 수준으로 구별하고 해당 집단의 대표 문항이 갖는 성취 기준을 통해서 학생들에 게 보다 나은 교육의 방향을 제공할 수 있다. 따라서 본 연구에서 제시 된 결과를 바탕으로 우수학력, 보통학력, 기초학력, 기초학력 미달 학 생들이 어떤 문항에서 어떻게 정답과 오답 반응을 하는 지 충분한 이해를 할 수 있다면 좀 더 양질의 문항이 출제될 수 있을 것이다.
또한 출제 과정에서 학력 수준에 따른 각 선택지별 오답 반응률을 예상하게 하여, 정답률 예상 곡선이 나오는 시스템이 마련되면 보다 정확하게 평가 결과를 예측할 수 있으리라 생각된다. 이와 같은 방법을 사용한다면 각 학력 수준의 대표 문항을 설정하는데 매우 큰 도움이 될 것이며, 모든 학력 수준을 고려한 평가 문항의 출제가 용이할 것이 다. 또한, 이러한 문항 분석 기법을 현장의 교사들에게 좀 더 적용하기 쉽게 개선하여 보급한다면 각 학교에서 출제되는 문항의 질 향상에도 도움이 될 것이다.
국문요약
국가 수준의 표준화된 학업 성취도 평가 결과를 분석하여 학생들의 성취 수준을 파악하고 이를 교육정책 수립이나 교수활동 개선에 반영 하는 과정은 교육의 책무성으로 중요한 부분이다. 본 연구에서는 과학 과 국가 수준 학업 성취도 평가 결과를 분석하고, 답지 반응률 분포 곡선을 활용하여 평가 문항의 특성을 분석하고자 하였다. 이를 위해 2010년부터 2013년까지 시행된 과학과 성취도 평가 결과를 성취 수준 에 따라 분석하였으며, 성취도 점수에 따른 특정 문항의 정오답 반응률 을 토대로 최적 곡선을 추정한 그래프인 답지 반응률 분포 곡선을 활용하여 선다형 평가 문항 112개의 정답지와 오답지 반응률 곡선의 유형을 분류하고, 유형별 문항 특성을 분석하였다. 분석 결과, 정답지 는 5가지 유형(S자형, J자형, 직선형, F자형, 계단형)으로 분류하였고,
Black, P. J. (1998). Testing: friend or foe? theory and practice of assessment and testing. London: Farmer.
Choi, W. (2013). Comparison of the Characteristics of each Educational Achievement Level of Elementary and Middle School Students shown in the Chemistry Items of the National Assessment of Educational Achievement. Journal of the Korean Association for Science Education, 33(6), 1186-1201.
Choi, W., & Jeong, E. (2008). Relationship between Science Achievement and Student-related Variable in National Assessment of Educational Achievement in 2006. Journal of the Korean Association for Science Education, 28(8), 848-859.
Corcoran, T., & Silander, M. (2009). Instruction in high schools: The evidence and the challenge. The Future of Children: America’s High Schools, 19, 157-183.
Corcoran, T., Mosher, F. A., & Rogat, A. (2009). Learning progressions in science: an evidence-based approach to reform (Consortium for Policy Research in Education Report #RR-63). Philadelphia, PA: Consortium for Policy Research in Education.
Duschl, R., Maeng, S., & Sezen, A. (2011). Learning progressions and teaching sequences: A review and analysis. Studies in Science Education, 47(2), 123-182.
Jeong, E., & Choi, W. (2008). Trend Analysis of Students’ Science Achievement in National Assessment of Educational Achievement from 2003 to 2006. Journal of the Korean Association for Science Education, 28(5), 438-452.
Kim, D., Kim, D., Kim, Y., Kim, J., Lee, J., Seo, M., Jo, Y., Lee, K., Lee, I., Sim, J., Pae, J., Jung, G., Choi, W., & Park, Y. (2013a). A Study of the Features of Educational Achievement and Development of the National Assessment of Educational Achievement (NAEA) 2013. Korea Institute for Curriculum and Evaluation Research Paper RRE 2013-4.
Kim, K., Kim, W., Choi, I., Sang, K., Kim, H., Shin, J., Kim, J., & Sohn, W. (2011a). Characteristics of Educational Academic Improvement from NAEA(National Assessment of Educational Achievement) 2010.
Korea Institute for Curriculum and Evaluation Research Paper RRE 2011-2-4.
Kim, M., Kim, D., Kim, Y., Chin, J, Kim, H, Lee, B., Jo, Y., Lee, I., Kim, H., Lee, Y., & Lee, C. (2011b). A Study on the Development Process fo the National Assessment of Educational Achievement. Korea Institute for Curriculum and Evaluation Research Paper RRE 2011-3-1.
Lee, C., Nam, M., Nam, G., Park, E., Kim, H., Kwon, J., Choi, W., Lee, I., KIm, M., Song, M, Jeong, E., Park, J., Sin, M., Choi, J., Ko, E.,
& Kim, D. (2010). A Study on improving the process of developing, implementing, and scoring the National Assessment of Educational Achievement (NAEA). Korea Institute for Curriculum and Evaluation Research Paper RRE 2010-6-1.
Lee, I., Sim, J., Kim, H., Lee, K., Lee, B., & Jeong, I. (2014). Analysis of the 2013 National Assessment of Educational Achievement(Science).
Korea Institute for Curriculum and Evaluation Research Paper ORM 2014-30-4.
Ministry of Education & Human Resources Development (2007). National Science Curriculum.
Ministry of Education and Science Technology(MEST) (2009). National Science Curriculum.
National Research Council (2012). A framework for K-12 Science Education:
Practices, cross-cutting concepts, and core ideas. Committee on a Conceptual Framework for New K-12 Science Education Standards.
Washington DC: The National Academies Press.
National Research Council. (2007). Taking science to school: Learning and teaching science in grades K-8. committee on science learning, kindergarten through eighth grade. R.A. Duschl, H.A. Schweingruber,
& A.W. Shouse (Eds.). The National Academies Press.
