Analysis of the Characteristics of Multiple-Choice Test Items Used in Integrated Science Assessment: Focused on the Case of Four High School

융합형 ‘과학’ 평가에 사용된 선다형 문항의 특성 분석 : 4개 고등학교의 사례

이기영 ․ 조희형 ․ 권석민 ․ 김희경 ․ 윤희숙^* 강원대학교

Analysis of the Characteristics of Multiple-Choice Test Items Used in Integrated Science Assessment: Focused on the Case of Four High School

Ki-Young Lee․Hee-Hyung Cho․Suk-Min Kwon․Hee-Kyong Kim․Heesook Yoon^* Kangwon National University

Abstract : The purpose of this study was to analyze the characteristics of multiple-choice test items used in assessment of high school integrated science according to 2009 revised curriculum. For the analysis of the tendency of item setting, we devised an analytic framework specific to integrated science, and analyzed the characteristics of items by applying the devised framework and item response theory. The results of the tendency of item setting revealed that most of items run counter to the intent of integrated science in terms of item resource, integration extent, and cognitive level, which means teachers are stick to separative method in teaching-learning and assessment of integrated science. The results of the analysis applying item response theory showed that item difficulty was appropriate and item discrimination was considerably high. However, there was no relevance between the tendency of item setting and qualitative characteristics of the items. We also discussed some agendas to improve the teaching-learning and assessment of integrated science based on the results of this study.

keywords : integrated science, multiple-choice test item, item analysis, item response theory

*교신저자 :윤희숙(hsyoon@kangwon.ac.kr)

**

2013년 7월 5일 접수,2013년 9월 23일 수정원고 접수,2013년 9월 25일 채택

Ⅰ. 서론

과학과 교육과정이 개정될 때마다 새로운 변화의 흐름을 담고 그것을 안착시키고자 여러 실행 방안 들이 제시되어 왔다. 하지만 많은 변화 요소들이 교육과정에서 의도했던 취지와는 달리 학교 현장에 서는 왜곡된 모습으로 실재하고 있는 것이 현실이 다(박재용과 이기영, 2011). 2009 개정 과학과 교 육과정에서 새롭게 도입된 고등학교 융합형 ‘과학’

교과는 그 형식의 새로움뿐만 아니라 내용의 수준 과 범위 때문에 현장 교사들이 교수-학습뿐만 아니 라 평가에서 많은 어려움을 겪는 것으로 보고되고

있다(김근혜, 2012; 송신철 외, 2012).

융합형 ‘과학’은 학생들이 우주와 지구 환경에서 인간과 생명의 존재에 대한 현대 과학적 의미를 이 해하고, 현대 과학 문명에 대한 현대 과학적 이해 를 통해 과학적 탐구의 방법과 가치를 인식할 수 있도록 하기 위한 목적으로 개발된 교과이다. 다시 말해, 과학 분야 간의 장벽을 허물고 자연을 통합 적으로 이해함으로써 과학에 대한 흥미를 가지게 하고, 보다 심화된 과학 과목과 유기적으로 연결되 도록 설계되었다(교육과학기술부, 2011). 하지만, 실제 학교 현장에서는 이러한 취지와 목적이 제대 로 전달되지 못하였거나 오해로 인해 여전히 기존

의 분과적 교수-학습과 평가가 이루어지고 있는 것 이 현실이다(윤회정 외, 2011; 이지현, 2012). 한 명의 교사가 전체 단원의 내용을 통합적으로 지도 하는 학교는 실제로 매우 적으며 대부분의 학교는 비전공 내용에 대한 수업의 어려움, 수업 시수 조 정 등의 현실적인 문제 때문에 기존의 방식인 분과 형을 고수하고 있는 것으로 보고되고 있다(김근혜, 2012; 엄희숙, 2012). 학습 평가 또한 융합형 ‘과 학’ 교과에 부합되는 평가 모형이 부재하여 이에 따른 평가틀(framework)이 제공되지 못함으로써 자연에 대한 통합적 이해가 아닌 기존 과학의 분절 적인 개념(지식) 위주의 평가 방식이 여전히 답습 되고 있는 실정이다.

일반적으로 학교 교육의 세 가지 차원으로 교육 과정 기준(standards), 교육프로그램(수업), 평가시 스템을 들 수 있다. 성공적인 학교 프로그램의 계 획과 실행에서 평가는 독립적으로 존재하는 것이 아니라 교육과정 기준과 교육프로그램과 상호작용 한다. 만약, 이 세 차원 중 어느 하나가 다른 것과 의 공유 또는 연결이 명료하지 않다면, 평가는 유 용성, 타당도, 신뢰도, 공평성을 잃게 된다(Doran et al., 1998). 융합형 ‘과학’ 평가 또한 독립적으로 이루어지는 것이 아니며, 새로운 시대 변화의 요구 에 부합되도록 개발된 교육과정과 이를 성취하기 위해 실행되는 수업과 유기적으로 상호작용하면서 이루어져야 한다. 그러므로 융합형 ‘과학’ 교과의 평가가 어떻게 이루어지고 있는지를 분석하면, 교 육과정에 따른 수업이 올바르게 실행되고 있는지를 간접적으로 파악할 수 있다.

융합형 ‘과학’이 도입된 이후, 이에 대한 여러 가 지 연구가 진행되었으나 교과서를 분석하거나(송미 진, 2012; 이향민, 2011), 현장 교사나 학생들의 인식을 조사하는 연구가 대부분이었다(송신철 외, 2012; 엄희숙, 2012; 윤회정 외, 2011; 하혜정 외, 2012). 교과서 분석이나 인식 조사가 현장의 전반 적인 실태를 파악하는 데는 효과적이지만 교육과정 이 실행되는 구체적인 모습을 파악하는 데는 한계 가 있다. 따라서 실제 융합형 ‘과학’의 적용되는 구 체적인 모습을 파악하기 위해서는 수업을 분석하거 나 평가 문항을 분석하는 연구가 필요하다.

한편, 평가(assessment)는 교육목표에 비추어 교 육의 효과를 확인하는 필수적인 요소이며(김윤희 외, 2010) 과학 학습에서 학생 개인 또는 집단 수 행의 질과 특성을 알아내는데 이용되는 정보를 수 집하는 과정으로, 학생들이 아는 것과 할 수 있는 것에 대한 정보를 수집하는 이 과정에는 다양한 많 은 기법(techniques)들이 사용된다(Koch, 2010).

이 중 지필평가는 학생들의 성취를 기록할 목적으 로 학교 총괄평가에서 가장 전형적으로 사용되는 기법으로, 주로 선다형과 단답형을 의미한다(Bell, 2007). 지필평가에 대한 타당도와 신뢰도를 높이기 위해서는 평가 시행 후 얻은 문항 응답 자료를 분 석하여 문항과 검사의 질을 평가하는 작업이 수반 되어야 한다(성태제, 1996).

문항 분석(item analysis)은 문항을 작성할 때 개개 문항이 제대로 그 기능을 수행하고 있는 지를 확인하는 작업으로(변창진 외, 2001), 고전 검사 이론(classical test theory)과 문항 반응 이론(item response theory)에 기반하여 이루어진다. 과학 교 육에서 지금까지 수행된 문항 분석 관련 연구들(이 기영 외, 2008; 이양락, 2002; 홍미영 외, 2002)은 거의 대부분 고전 검사 이론을 이용한 것이었다.

하지만 고전 검사 이론은 문항이 지니고 있는 고유 한 특성이 있음에도 불구하고 문항의 어려운 정도, 변별 정도가 피험자 집단의 특성에 따라 변화된다 는 단점을 가지고 있다(성태제, 2001). 이와는 달 리 문항 반응 이론은 문항 하나하나의 독특한 특성 을 지닌 고유한 문항 특성 곡선(item characteristic curve)에 의해 분석되기 때문에 피험자 집단의 특 성에 따라 문항의 난이도와 변별도가 변화되지 않 는다. 그러므로 문항 반응 이론을 이용하면 문항의 특성을 보다 정확하게 파악할 수 있게 된다.

이에 이 연구에서는 문항 반응 이론을 이용하여 고등학교 융합형 ‘과학’ 교과의 선다형 평가 문항의 특성을 분석하고, 이를 토대로 2009 개정 교육과정 이 의도하는 융합형 ‘과학’의 목표에 타당한 지필 평가를 위한 개선 방안을 모색하고자 한다. 이를 위해 다음과 같은 연구 문제를 설정하였다.

첫째, 융합형 ‘과학’ 교과 선다형 지필 평가 문항 은 문항 출처, 융합 범위, 인지 수준 측면에서 어떤

소재지 학교 특성

적용

인원 출제 단원 문항수 수업 방식

M 고등학교 서울

남녀 (1학년과 학중점과 정운영)

395 5. 인류의 건강과

과학기술 24

절충형(1부와 2부로만 구분하 고, 전공 구분 없이 단원 배 분). Ⅰ부는 1학기에, Ⅱ부는 2학기에 가르침

P 고등학교 경기 남녀 219 2. 태양계와 지구 19

분과형(1, 2단원: 지구과학전 공 교사, 3단원: 생물전공 교 사). 집중이수제로 한 학기에

Ⅰ부만 가르침

B 고등학교 경기 남자 248

1. 우주의 기원과 진화

2. 태양계와 지구

20

분과형(1, 2단원: 지구과학전 공 교사, 3단원: 생물전공 교 사). Ⅰ부는 1학기에, Ⅱ부는 2학기에 가르침

G 고등학교 강원 남자 313 1. 우주의 기원과

진화 23

통합형(4명의 교사가 반을 나 누어 각각 전 단원 지도). Ⅰ 부는 1학기에, Ⅱ부는 2학기 에 가르침

표 1.연구 대상 학교 관련 정보 특성을 나타내는가?

둘째, 융합형 ‘과학’ 교과 선다형 지필 평가 문항 은 문항 반응 이론의 관점에서 어떤 특성을 나타내 는가?

Ⅱ. 연구 방법

1. 연구 대상

이 연구는 현행 고등학교 10학년 ‘과학’ 정기 고 사에 사용된 지필 평가 문항을 분석하여 그 특징을 질적 및 양적으로 분석하는 것이 주된 목적이다.

이를 위해 정기 고사 문항 원본과 평가 결과 제공 이 가능한 서울, 경기, 강원 소재의 고등학교를 수 소문하여 4개 학교를 연구 대상으로 선정하였다.

자료 수집은 2011년 2학기 정기 고사 시행 후에 이루어졌으며, 학교별로 고사 원안 및 문항에 대한

학생별 응답 결과를 각각 수집하였다. 표 1은 연구 대상으로 선정한 4개 고등학교의 정보를 정리한 것 이다. 4개 학교 중 2개 학교는 수업 및 출제 방식 으로 분과형을 채택하고 있었으며, 1개 학교는 절 충형을, 그리고 나머지 1개 학교는 통합형을 채택 하고 있었다. 분과형 방식은 과거 7차 교육과정의

‘공통과학’ 교과에서 주로 활용되던 수업 방식(내용 을 4개 전공으로 구분하여 지도)으로, 교사 수급 및 담당 수업 시수 조절 등의 현실적인 이유 때문 에 일선 학교에서 많이 이용되는 방식이다. 절충 형 방식은 기존의 분과형 방식과는 달리 전공 구 분없이 1부와 2부로 나누어서 지도하는 방식으로, 1부를 담당한 교사는 1학기에만, 2부를 담당한 교 사는 2학기에만 수업을 하게 된다. 통합형 방식은 융합형 ‘과학’ 교과에서 가장 권장되는 것으로, 한 명의 교사가 전체 단원의 내용을 모두 지도하는 방식이다.

분과형을 택한 P고와 B고는 정기 고사 범위에

범주 영역 설명

문항 출처

교과서 교과서에 공통으로 제시되어 있는 내용 언론매체 TV, 잡지, 신문 등에서 가져온 시사적인 내용 문화예술 문학(시, 소설 등), 미술, 영화 등에 가져온 내용

기타 과학사, 과학도서(교양도서 포함), 광고, 상품설명서, 인터넷 등에서 가 져온 내용

융합 범위

과학과목별 특정 과학 과목(물, 화, 생, 지) 단독으로 문항 구성 과학과목간 2개 이상의 과학 과목 개념이 결합되도록 구성

STEAM 과학 소재 또는 개념과 기술, 공학, 예술, 수학이 통합되도록 구성

인지 수준

기억하기 영구 기억에서 저장된 지식을 작업 기억으로 활성화하거나 가져오는 과정

이해하기 영구 기억에 저장되기 적절한 형태로 정보를 바꾸는 과정(단순한 기억 을 넘어 자료의 의미를 아는 것)

적용하기 새로운 상황에 학습한 내용을 응용하는 과정

분석하기 자료를 구성요소로 나누고, 각 요소를 다른 요소와 또는 전체와의 관 련성을 결정하는 과정

추론하기 주어진 자료로부터 현상의 원인을 설명하는 과정; 몇 가지 실례나 사 례에서 개념이나 경향성을 찾는 과정

표 2.분석틀을 구성하는 3개 범주와 영역

해당되는 단원을 지도한 전공 교사가 출제하는 방 식이었으며, 절충형인 M고의 경우는 학기별 담당 교사들이 공동 출제하는 방식이었다. 통합형인 G 고의 경우는 과학 교과 전 단원을 네 명의 지도 교 사가 공동 출제하는 방식이었다.

2. 문항 분석틀 구안

융합형 ‘과학’은 교과의 특성상 다른 과학 교과에 서 사용되는 분석틀을 그대로 적용하기에는 무리가 있다. 즉, 행동 영역을 지식(기억, 이해, 적용)과 탐 구(문제인식 및 가설설정, 탐구설계 및 수행, 자료 해석 및 분석, 결론도출 및 일반화)로 구분하는 기 존의 과학 교과 분석틀은 탐구활동이 중심이 아닌 융합형 ‘과학’의 평가 문항 분석틀로는 적절하지 않 다는 것이다. 따라서 융합형 ‘과학’ 교과의 취지와 목적에 부합되는 평가를 위해서는 새로운 분석틀이 필요하다고 판단하였다.

이 연구에서는 문항의 출제 경향을 분석하기 위

하여 Anderson et al. (2001)의 분류와 Marzano

& Kendall(2007)의 분류에 근거하여 융합형 ‘과학’

평가 문항의 특성에 맞는 분석틀을 새롭게 구안하 였다. 새로운 분석틀에서는 지식과 인지적 과정을 분리하였으며, 인지적 과정을 ‘인지 수준’으로 명칭 을 변경하여 독립적 차원으로 구성하였다. 또한 인 지 수준 차원에서는 지식 대신에 ‘기억(retrieval)' 을 설정하여 5개의 하부 범주(기억, 이해, 적용, 분 석, 추론)로 구분하였다.

이 분석틀은 표 2와 같이 문항 출처, 융합 범위, 인지 수준의 3개 범주로 구분되며 각각의 범주는 다시 몇 개의 세부 영역으로 나누어진다.

3. 문항 분석

본 연구에서 문항의 출제 경향을 분석하기 위해 3개 범주로 구성된 분석틀을 이용하여 4개 학교의 지필평가 선다형 문항을 분석하였다. 분석틀을 이 용한 문항 분석은 과학 4개 영역의 교과 교육 전문

범주 영역 M고 (24)

P고 (20)

B고 (20)

G고 (23)

문항 출처

교과서 23

(96%)

20 (100%)

20 (100%)

21 (91%)

언론매체 1

(4%) 문화예술

기타 1

(4%)

1 (4%)

융합 범위

과학과목별 13

(54%)

14 (70%)

15 (75%)

5 (22%)

과학과목간 8

(33%)

6 (30%)

5 (25%)

18 (78%)

STEAM 3

(13%)

인지 수준

기억 1

(5%)

이해 10

(42%)

10 (50%)

10 (50%)

11 (48%)

적용 2

(8%)

2 (10%)

1 (5%)

1 (4%)

분석 3

(13%)

3 (15%)

5 (25%)

6 (26%)

추론 9

(38%)

4 (20%)

4 (20%)

5 (22%) 표 3.분석틀을 적용한 문항 출제 경향 분석 결과

가에 의해 이루어졌으며, 공유된 분석틀을 토대로 1차로 각자 독립적으로 분석을 수행하였다. 4명의 분석 결과가 일치하지 않은 문항에 대해서는 2차 심층 토의를 통해 합의된 의견을 도출하였다.

한편, 문항 반응 이론을 이용하여 문항의 특성 (난이도, 변별도, 추측도)을 양적으로 분석하였다.

문항 특성의 3개 모수를 추정하기 위해 Zimowski et al.(2003)에 의해 제작된 BILOG-MG 프로그램 을 사용하였으며, 문항 반응 모형으로는 3-모수 로 지스틱 모형(logistic model)을 적용하였다.

문항 반응 이론에서 문항의 난이도와 변별도 지 수의 언어적 표현에 대한 명확한 범위는 설정되어 있지 않으나, 일반적으로 Baker(1992)의 분류에 따른다.

문항 난이도는 ‘매우 쉽다(-2.0 이하)’, ‘쉽다 (-2.0 ~ -0.5)’, ‘중간이다(-0.5 ~ +0.5)’, ‘어렵다 (+0.5 ~ +2.0)’, ‘매우 어렵다(+2.0 이상)’의 5가 지 수준으로 구분할 수 있으며, 문항 변별도는 로

지스틱 모형의 경우 ‘없다(0.00)’, ‘거의 없다(0.17

~ 0.34)’, ‘낮다(0.34 ~ 0.68)’, ‘적절하다(0.68 ~ 1.36)’, ‘높다(1.36 ~ 1.70)’, ‘매우 높다(1.70 이 상)’, ‘완벽하다(+∞)’의 7가지 수준으로 구분한다.

문항 추측도는 능력이 전혀 없는 학생이 우연에 의하여 답을 맞힐 확률로, 문항 특성 곡선의 최저 한계(lower bound)에 의해 계산된다. 문항 추측도 는 0~1의 범위를 가지며, 일반적으로 1/(답지수) 보다 낮은 확률을 나타낸다. 문항 추측도가 높을 수록 좋지 않은 문항으로 변별력이 떨어진다고 할 수 있다.

Ⅲ. 연구 결과 및 논의

1. 분석틀을 적용한 문항 출제 경향 분석 결과

(a)교과서 출처(B고) (b)언론매체 출처(G 고) 그림 1.교과서 및 언론매체 출처의 문항 예

표 3은 융합형 ‘과학’ 평가 문항의 출제 경향을 분석하기 위하여 본 연구에서 구안된 분석틀을 적 용하여 연구 대상 4개 고등학교의 선다형 지필평가 문항을 분석한 결과를 나타낸 것이다.

1) 문항 출처

문항 출처 범주의 경우, 교과서 영역에 해당되는 문항의 비율이 91~100%로 4개 학교 모두 압도적 으로 높은 것으로 나타났다. 그나마 G 고등학교의 경우는 언론매체와 기타 영역에 1문항씩 포함되어 다른 학교에 비해 좀 더 다양한 출처를 활용하는 것으로 분석된다. 융합형 ‘과학’이 첨단 (cutting-edge) 과학 또는 동시대(contemporary) 과학을 통섭적인 시각에서 이해하고 과학에 대한 세계관을 형성하는 것을 중요한 지향점 중의 하나 임을 감안할 때, 위와 같은 분석 결과는 이러한 취 지가 현장에서 충분히 반영되지 못한 것으로 판단 된다. 또한, 기존 과학의 지도 방식과 마찬가지로 교과서 위주로 지식 중심의 분과형 수업이 여전히 이루어지고 있음을 간접적으로 말해준다. 문항 출 처 범주에서 볼 때 통합형으로 수업과 평가가 이루 어지고 있는 G 고등학교의 사례는 분과형 또는 절 충형으로 지도되고 있는 나머지 세 고등학교에 비

해 주목할 만하다.

그림 1은 교과서를 출처로 한 문항과 언론매체 를 출처로 한 문항의 예이다. (a)는 태양계 형성에 관한 교과서 그림을 활용한 경우로, 기존의 전형적 인 과학 문항의 형식을 취하고 있다. 반면, (b)는 별(항성)의 진화를 교과서 그림이나 텍스트를 이용 하지 않고 과학 잡지를 활용한 경우로, 스토리텔링 형식으로 제시문이 제공되는 것이 기존 과학 문항 과 차별된다.

2) 융합 범위

융합 범위 범주의 경우, G 고등학교를 제외하고 나머지 3개 학교에서 과학과목별 영역이 54~75%

로 가장 큰 비율을 차지하는 것으로 나타났으며, 과학과목간 영역의 비율은 25~33%로 상대적으로 작았다. 이와 같은 분석 결과는 학교별 수업 및 평 가 방식이 그대로 반영된 것으로 판단된다. 분과형 지도 방식을 채택한 학교의 경우는 기존과 같이 수 업과 평가가 이루어지므로 과학과목간 통합 문항의 출제가 쉽지 않을 것이기 때문이다. 반면, 통합형 지도 방식을 채택한 학교의 경우는 1명의 교사가 모든 내용을 다 가르치는 것이므로 좀 더 넓은 시 각에서 융합적 지도와 평가가 보다 수월할 수 있었

(a)과학과목별(M고) (b)과학과목별(P고) 그림 2.과학과목별 융합 범위의 문항 예

을 것이다. 실제로 이것은 지도 교사와의 면담에서 도 그대로 나타났다. 다음은 G 고등학교 지도 교사 와의 면담 기록의 일부분을 발췌한 것이다.

연구자: 융합형 ‘과학’ 교과를 어떻게 지도하 셨나요?

G고 교사: 우리 학교는 처음부터 융합형 ‘과 학’의 취지를 반영하고자 애썼습니다. 해서, 어렵지만 1명의 교사가 전부 다 지도하는 것 을 원칙으로 했습니다. 가르치다가 어려운 내 용이나 개념이 나오면 동료 교사에게 서로 배 워가며 공부하면서 가르쳤구요. 무척 힘들었 습니다. 하지만 자기 전공 이외에 많은 다양 한 내용을 공부할 수 있어서 좋은 점도 있었 습니다. 지도하시는 선생님들이나 배우는 학 생들의 반응도 나쁘지 않은 편이구요...

한편, M 고등학교의 경우 다른 학교에 비해 STEAM 영역의 비율이 상대적으로 높았는데, 이것 은 지도 방식이 아닌 출제 단원의 특성이 반영된 것으로 판단된다. 2부(과학과 문명)가 1부(우주와 생명)에 비해 과학, 공학, 기술의 융합적인 요소가 많기 때문에 자연스럽게 융합 범위가 넓어지게 된 것이다.

그림 2는 과학과목별 융합 범위에 해당되는 문 항의 예이다. 이 두 문항의 경우는 현행 융합형 ‘과 학’ 평가에서 가장 흔하게 발생하는 문제점 중 하 나로 교육과정에서 제시하고 있는 성취 기준을 너 무 좁고 분절적으로 해석한 경우로 해석된다. 예를

들어, (a)의 경우, 교육과정에서 제시하고 있는 성 취 기준은 ‘지구의 원소 분포와 주위의 화합물을 주기율표와 관련지어 이해한다.’이나 출제자는 핵심 인 지구의 원소 분포와 연관 짓지 않고 주기율표만 을 이용하여 문항을 구성하고 있다. (b) 또한 마찬 가지이다. 교육과정에서 제시하고 있는 성취 기준 은 ‘지구의 자기장과 이온층이 생성되는 원리를 이해하고 그 역할과 이용사례에 대해 설명할 수 있 다.’이나 출제자는 자기장의 이용 사례라는 언급 없 이 고지자기 분포만을 이용하여 문항을 구성하고 있다. 실제로 이 문항은 지구과학 Ⅱ 선택 과목에 서 출제되는 문항과 거의 똑같다.

그림 3은 과학과목간 융합 범위로 출제된 문항 의 예이다. 이 두 문항은 ‘행성의 대기를 구성하는 기체입자들의 평균 속도를 기체 분자의 구조, 분자 량, 끓는점, 행성의 평균 온도와 관련지어 이해한 다.’라는 성취 기준에 해당되며, 지구과학 소재에 화학적 개념이 융합된 주제이지만 매우 다른 문항 이 된 경우이다. (a)는 자료 제시와 묻는 내용이 전 형적인 지구과학 선택 교과 문항이 되어 버린 반 면, (b)는 성취 기준에 부합되도록 행성의 대기 성 분을 화학적 개념과 연관지어 이해하고 있는지를 묻고 있다. 융합형 ‘과학’ 교과에서 요구하는 평가 문항은 (a)가 아닌 (b)와 같은 형태일 것이다. 그러 므로 현장 교사들이 교육과정에서 제시하고 있는 성취 기준에 대해 공통된 관점을 공유할 수 있도록 하는 것이 수업 및 평가의 실행 이전에 선행되어야

(a)과학과목간(B고) (b)과학과목간(P고) 그림 3.과학과목간 융합 범위의 문항 예

1)10학년 ‘과학’에서 큰 관점에서 융합적으로 배우고,이 중 흥미와 관심있는 분야를 과학 선택 교과에서 보다 심도 있게 배우도록 하는 것이 기본적인 취지임.

할 것이다.

3) 인지 수준

인지 수준 차원의 경우, 연구 대상 학교 모두 이 해 영역의 비율이 42~50%로 가장 높았으며, 기억 영역이 0~5%로 가장 낮게 나타났다. 상위 인지 수 준인 분석과 추론 영역은 각각 13~26%, 20~38%

로 나타났다. 특히, 성취 수준 ‘하’로 간주되는 기억 영역이 거의 없고, 성취 수준 ‘상’으로 간주되는 분 석과 추론 영역의 비율이 높게 나타났는데, 이러한 인지 수준의 불균형은 융합형 ‘과학’ 교과의 성취 기준(standards)의 과도함과 성취 수준(level)의 부 재에서 기인된 것으로 판단된다. 현행 성취 기준을 토대로 개발된 교과서의 내용이 너무 어렵기 때문 에(송신철 외, 2012; 엄희숙, 2012) 이를 기준으로 하다보면 특정 내용에 대해 수평적 확장보다는 수 직적 심화 수업이 불가피하게 되며, 평가 문항 또 한 고차원 인지 수준에 편중될 수밖에 없다는 것이 다. 또한, 현행 교육과정에서는 성취 기준만 서술되 어 있을 뿐 각각의 성취 기준에 대한 성취 수준(상,

중, 하)이 구체화 되어 있지 않다. 이로 인해 지도 교사들은 교육과정 내용을 어떤 수준까지 가르쳐야 하는지 판단할 수 없게 된다. 이것은 지도 교사와 의 면담 결과에서도 확인된다.

연구자: 융합형 ‘과학’ 교과를 지도할 때 가장 어려운 점이 무엇이었나요?

B 고 교사: 한마디로, 내용이 너무 어렵다는 거예요. 굳이 수준을 표현하자면 초, 초, 초...

고등학교 수준이라고 할까요? 처음 교과서를 대했을 때 ‘이걸 우리보고 1학년에게 가르치 라고?’하는 생각이 가장 먼저 들더라구요. 이 어려운 내용을 모두 외우라고 할 수도 없고, 교과서에 나오는 개념을 이해시키려다 보면 어쩔 수 없이 과학 Ⅱ 수준 이상으로 갈 수밖 에 없어요. 우리나라 현실상 교사는 교과서에 의존해서 가르칠 수밖에 없는 상황이잖아요.

그러니까 시험 문제도 그렇게밖에 낼 수 없구 요. 참, 난감해요.

융합형 ‘과학’ 교과의 취지¹⁾가 10학년 수준에서 깊이보다는 넓이를 강조하다는 점을 감안할 때, 위 와 같은 분석 결과는 교육과정 내용에 대한 재검토

문항 B고 (N=248) P고 (N=219) M고(N=381) G고(N=305) 난이도 변별도 추측도 난이도 변별도 추측도 난이도 변별도 추측도 난이도 변별도 추측도 1 0.253 1.319 0.210 -1.894 1.533 0.143 1.448 1.333 0.304 0.041 0.793 0.238 2 -0.224 2.178 0.102 -1.040 0.695 0.153 0.484 2.153 0.117 0.703 1.027 0.307 3 1.566 1.765 0.257 -0.835 1.862 0.115 0.903 1.893 0.327 0.164 0.997 0.260 4 -1.010 1.068 0.161 -0.605 2.016 0.102 -0.841 0.823 0.216 1.031 1.134 0.225 5 0.118 1.244 0.129 -0.528 2.176 0.116 0.927 2.161 0.091 0.427 0.756 0.247 6 1.331 2.028 0.106 0.686 1.136 0.173 -0.529 1.281 0.150 0.012 1.537 0.206 7 -0.060 1.939 0.135 -0.048 2.375 0.191 2.026 1.436 0.324 -0.853 1.410 0.165 8 -0.405 1.643 0.194 0.109 1.459 0.120 0.128 3.051 0.163 -0.580 1.782 0.149 9 0.582 2.139 0.178 0.408 1.543 0.093 -0.547 1.523 0.199 0.755 1.024 0.160 10 0.352 1.360 0.121 -1.369 1.763 0.136 -0.181 1.317 0.175 0.435 1.014 0.158 11 1.453 1.954 0.121 0.947 1.140 0.165 -0.728 0.992 0.203 -0.350 1.856 0.231 12 -0.019 1.734 0.119 0.409 1.433 0.116 1.422 2.098 0.140 0.742 1.650 0.293 13 1.011 2.816 0.240 1.937 1.035 0.164 1.030 2.108 0.146 0.417 1.442 0.139 14 -0.770 1.782 0.141 0.149 1.561 0.135 -0.275 1.422 0.153 1.215 0.726 0.212 15 0.075 2.103 0.121 -2.000 2.232 0.134 -1.036 1.214 0.161 -0.938 2.104 0.158 16 1.310 1.234 0.228 0.287 0.802 0.154 -1.030 2.064 0.193 0.745 1.879 0.134 17 -0.643 1.271 0.174 0.529 1.578 0.168 -1.400 0.648 0.213 0.339 1.524 0.221 18 -1.612 1.508 0.163 -0.067 0.819 0.155 0.221 2.647 0.168 -0.489 1.292 0.193 19 -0.661 1.472 0.169 0.583 1.113 0.165 0.660 2.140 0.457 2.023 1.268 0.130 20 0.417 1.253 0.112 0.473 1.354 0.130 -0.143 2.280 0.152 21 1.273 2.225 0.209 1.942 1.061 0.249 22 -1.723 1.763 0.178 0.958 0.959 0.216 23 0.436 1.550 0.125 1.563 1.999 0.207

24 1.013 1.721 0.208

평균 0.153 1.690 0.159 -0.123 1.488 0.142 0.173 1.705 0.198 0.442 1.370 0.202 표 4.문항 반응 이론을 이용한 학교별 문항의 난이도,변별도,추측도 산출 결과

가 이루어져야함을 시사한다.

2. 문항반응이론을 적용한 문항 분석 결과

1) 학교별 문항의 난이도, 변별도, 추측도 산출 표 4는 문항반응이론을 적용하여 각 문항의 난 이도, 변별도, 추측도를 산출한 결과를 나타낸 것이 다.

4개 학교의 평균 문항 난이도 지수는 -0.123~0.442의 범위로 언어적 표현으로는 ‘중간 이다’에 속하는 것으로 나타났다. 최저 난이도는 P 고 15번 문항)으로 -2.000(매우 쉽다)이었으며, 최 고 난이도는 M고 7번 문항으로 2.026(매우 어렵

다)이었다. 전체적으로 4개 학교의 문항 난이도는 적절한 수준인 것으로 분석되었다.

평균 문항 변별도 지수는 1.370~1.705의 범위로 언어적 표현으로는 ‘높다’ 또는 ‘매우 높다’에 속하 는 것으로 나타났다. 최저 변별도는 M고 17번 문 항으로 0.648(낮다)이었으며, 최고 변별도는 M고 8 번 문항으로 3.051(매우 높다)이었다. 전체적으로 4개 학교의 문항 변별도는 매우 높은 수준인 것으 로 분석되었다.

평균 문항 추측도 지수는 0.142~0.202의 범위로 나타났으며, 최저 추측도는 M고 5번 문항으로 약 9%였으며, 최고 추측도는 M고 7번 문항으로 약 32%였다.

B고등학교(45%) P고등학교(37%)

M 고등학교(25%) G 고등학교(43%)

그림 4.학교별 문항 난이도 및 변별도 분포(난이도가 중간이며,변별도가 적절 이상인 문항의 비율) 그림 4는 각 학교별 문항의 특성을 비교하기 위

해 작성한 난이도와 변별도 산포도 (scatter plot) 그래프이다. 그래프에서 속에 포함되는 문항은 난이도가 중간(-0.5~+0.5)이며, 변별도가 적절 이상(0.68 이상)인 문항으로, 전체 문항 중 25~45% 정도를 차지하는 것으로 나타났다. B고와 M고는 비슷한 분포 양상을 나타내나, P고와 G고의 경우는 정반대의 분포 양상을 보이고 있다. P고는 비교적 쉬운 문항의 비율이 높은 반면, G고는 어려 운 문항의 비율이 높은 것을 알 수 있다.

한편, 표 5는 고전 검사 이론으로 산출한 문항의 정답률(난이도), 변별도, 그리고 검사 도구의 신뢰 도(Cronbach α)를 나타낸 것이다. 신뢰도는 0.811~0.853의 범위로 높게 나타났으며, 난이도와 변별도 또한 양호한 것으로 분석된다. 하지만 문항 반응 이론을 이용하여 산출한 표 4의 난이도와 변 별도 결과와 비교할 때, 문항에 따라 상당한 차이 가 있는 것을 알 수 있다. 이것은 피험자 집단에

따라 문항의 특성이 달라지는 고전 검사 이론의 단 점이 드러난 것으로 볼 수 있다.

2) 문항 특성 곡선을 통한 특징적인 문항 분석 표 6과 표 7은 난이도와 변별도가 각각 최고와 최저인 문항 특성 곡선과 이 문항에 대한 학생들의 답지 반응 분포를 나타낸 것이다. 문항 특성 곡선 에서 a는 변별도로 곡선의 기울기를 의미하며, b는 난이도로 x축의 피험자 능력치(ability)가 0인 지점 에 y축의 난이도(probability) 0.5가 위치할 때 가 장 적정한 문항으로 간주된다. c는 문항의 추측도 를 나타낸다.

난이도가 최고인 문항(M고 7번)과 최저인 문항 (P고 15번)을 비교해보면, 두 문항이 질적으로 문 항 출처, 융합 범위, 인지 수준이 모두 같음에도 불 구하고 양적으로 상반된 문항 특성을 나타내었다.

이와 같은 결과가 나타난 것은 물론 문항 내용의 차이가 주된 요인이겠지만, 문항의 형식(form) 또

문항

B고 (N=248) Cronbachα =0.842

P고 (N=219) Cronbachα =0.818

M고(N=381) Cronbachα =0.853

G고(N=305) Cronbachα =0.811

정답률 변별도 정답률 변별도 정답률 변별도 정답률 변별도

1 56.0 0.328 90.0 0.312 43.8 0.178 61.6 0.196 2 61.3 0.554 72.1 0.167 43.0 0.508 56.1 0.204 3 36.3 0.157 73.5 0.482 50.4 0.256 61.0 0.229 4 75.4 0.308 68.5 0.494 72.4 0.228 44.6 0.258 5 54.0 0.396 67.1 0.528 30.4 0.459 57.4 0.184 6 24.2 0.341 50.2 0.275 68.0 0.394 60.3 0.373 7 58.5 0.523 63.0 0.461 39.6 0.118 75.4 0.396 8 69.0 0.430 53.4 0.381 55.1 0.556 71.1 0.445 9 45.2 0.423 42.9 0.406 71.7 0.398 44.9 0.265 10 48.4 0.405 83.1 0.429 62.5 0.380 50.2 0.315 11 23.8 0.277 45.2 0.277 71.7 0.288 69.8 0.426 12 56.5 0.488 44.7 0.378 25.7 0.287 51.5 0.273 13 39.1 0.299 33.8 0.205 32.8 0.375 47.5 0.388 14 75.0 0.450 53.4 0.404 63.8 0.413 45.9 0.162 15 54.4 0.539 91.8 0.392 76.9 0.347 80.0 0.458 16 40.3 0.223 56.2 0.230 82.7 0.399 38.4 0.406 17 71.4 0.357 48.4 0.330 76.1 0.155 54.4 0.349 18 87.9 0.319 60.7 0.243 53.0 0.530 69.2 0.360 19 72.6 0.394 50.2 0.310 63.8 0.266 22.6 0.196 20 46.8 0.383 46.5 0.391 61.6 0.541

21 33.9 0.279 36.7 0.136

22 90.6 0.316 46.6 0.244

23 46.5 0.421 30.2 0.204

24 39.9 0.315

평균 54.81 0.38 60.43 0.35 55.87 0.34 53.78 0.30 표 5.고전 검사 이론을 이용한 학교별 문항의 난이도,변별도,신뢰도 산출 결과

한 많은 영향을 준 것으로 판단된다. 우선, M고 7 번 문항의 경우는 합답형(조합형)이기 때문에 <보 기>를 어떻게 조합하는 지에 따라 난이도가 달라지 게 된다. 답지 반응 분포로 보아 매력적인 오답을 유도한 원인은 ㄷ 보기인 것으로 판단할 수 있다.

ㄷ 보기에서 용승(upwelling)이라는 용어는 지구과 학 Ⅱ에서 등장하는 것으로 10학년 학생들에게 다 소 생소하고 어려운 개념이었을 것으로 생각된다.

그러므로 ㄷ 보기를 다른 것으로 교체한다면 좀 더

적정한 수준의 난이도를 나타낼 것으로 생각된다.

반면, P고 15번 문항의 경우는 정답형으로 문항의 형태가 단순하고 매력적인 오답지가 없어 학생들이 정답을 고르기가 수월했을 것으로 추정된다.

한편, 변별도가 최고인 문항(M고 8번)과 최저인 문항(M고 17번)을 비교해보면, M고 8번 문항은 문 항 반응 이론의 관점에서 가장 이상적인 문항이라 할 수 있다. 난이도가 0.5가 피험자 능력치 0인 지 점에 위치하며, 상위 능력과 하위 능력의 피험자를

난이도 문항특성곡선 출제 문항

최고 (M고)

0 0.2 0.4 0.6 0.8 1.0

-3 -2 -1 0 1 2 3

c

b

Ability

Probability

Item Characteristic Curve: ITEM0007 a = 1.436 b = 2.026 c = 0.324

문항 출처: 교과서, 융합 범위: 교과내, 인지

수준: 이해하기 ① ② ③ ④ ⑤

5.2 23.4 22.0 39.6 9.7 답지 반응 분포(%)

최저 (P고)

0 0.2 0.4 0.6 0.8 1.0

-3 -2 -1 0 1 2 3

c

b

Ability

Probability

Item Characteristic Curve: ITEM0015 a = 2.232 b = -2.000 c = 0.134

문항 출처: 교과서, 융합 범위: 교과내, 인지 수준: 이해하기

① ② ③ ④ ⑤

3.2 1.8 1.8 91.8 1.4 답지 반응 분포(%)

표 6.난이도 최고 및 최저 문항의 문항 특성 곡선과 답지 반응 분포 가장 잘 변별하는 것을 볼 수 있다. 또한, 융합 범

위가 ‘과학과목간’으로 지구과학 소재를 화학적 요 소와 통합하여 문항을 구성함으로써 융합형 ‘과학’

교과의 취지를 잘 반영하고 있는 문항으로 판단된 다. 반면, M고 17번 문항의 경우는 융합 범위가

‘STEAM’이고, 인지 수준도 ‘추론하기’로 M고 8번 문항과 차이가 없어 보이나, 문항 내용이 상식적 수준인데다가 답지 구성에서도 매력적인 오답지를

만들지 못함으로써 상위 능력과 하위 능력을 제대 로 변별하지 못한 것으로 분석된다.

위와 같은 분석 결과를 종합해보면, 융합형 ‘과 학’ 평가 문항의 질적 특성과 양적 특성 사이에는 별다른 연관성이 없는 것으로 판단된다. 다시 말해, 분석틀에서와 같은 문항 출처, 융합 범위, 인지 수 준에 의해 문항의 특성이 달라지는 것이 아니라, 문항 형식과 답지 구성을 어떻게 하느냐에 따라 난

변별도 문항특성곡선 출제 문항

최고 (M고)

0 0.2 0.4 0.6 0.8 1.0

-3 -2 -1 0 1 2 3

c

b

Ability

Probability

Item Characteristic Curve: ITEM0008 a = 3.051 b = 0.128 c = 0.163

문항 출처: 교과서, 융합 범위: 교과간, 인지 수준: 추론하기

① ② ③ ④ ⑤

55.1 5.8 19.9 11.3 7.9 답지 반응 분포(%)

최저 (M고)

0 0.2 0.4 0.6 0.8 1.0

-3 -2 -1 0 1 2 3

c

b

Ability

Probability

Item Characteristic Curve: ITEM0017 a = 0.648 b = -1.400 c = 0.213

문항 출처: 교과서, 융합 범위: STEAM,

인지 수준: 추론하기 ① ② ③ ④ ⑤

13.9 4.2 76.1 3.7 2.1 답지 반응 분포(%)

표 7.변별도 최고 및 최저 문항의 문항 특성 곡선과 답지 반응 분포 이도와 변별도가 달라지며, 이에 따라 문항의 특성

이 결정된다는 것이다.

Ⅳ. 결론 및 제언

이 연구에서는 고등학교 융합형 ‘과학’ 교과에서 사용된 지필평가 문항 중 선다형 평가 문항의 특성 을 분석하였다. 연구 결과, 다음과 같은 결론을 도

출할 수 있었다.

첫째, 문항의 출제 경향을 파악하기 위해 3개 범 주로 구성된 분석틀을 적용한 문항 분석 결과, 문 항 출처는 ‘교과서’가 압도적으로 많았으며, 융합 범위는 ‘과학과목별’이 대부분인 것으로 나타났다.

인지 수준에서는 ‘분석하기’와 ‘추론하기’에 편중되 는 경향을 나타내었다. 이와 같은 결과는 현행 융 합형 ‘과학’ 교과의 평가가 2009 개정 과학과 교육 과정의 취지와 목적을 제대로 반영하지 못하고 있