2015년 국가수준 학업성취도 평가의 서답형 문항 심층 분석 -사회-

(1)

2015년

국가수준 학업성취도 평가의 서답형 문항 심층 분석

- 사회 -

연구책임자 이인호

공동연구자 서민철 / 성경희 / 최병택 위촉연구원 이은주

연구보고 RRE 2016-9-2

(2)

2015년 국가수준 학업성취도 평가의 서답형 문항 심층 분석 -사회-

연구보고 RRE 2016-9-2 발 행 일

발 행 인 발 행 처 주 소 전 화 팩 스 홈페이지 인쇄업체 I S B N

2016년 12월 31일 김 영 수

한국교육과정평가원

서울 중구 정동길 21-15 정동빌딩 (02)3704-3704

(02)730-7487 http://www.kice.re.kr

㈜한솔애드컴(02-918-8070) 979-11-5788-327-1 94370 979-11-5788-325-7 94370 (전5권)

본 연구에서 제시된 정책 대안이나 의견 등은 한국교육과정평가원의 공식적인 의견이 아닌 본 연구진의 견해임을 밝혀 둡니다.

(3)

i 지리

김동환 (영원중학교) 이윤구 (강릉고등학교)

김용걸 (전농중학교) 윤용민 (동대부속여자중학교)

이경진 (창촌중학교) 이선영 (수일중학교)

역사

김수연 (한솔고등학교) 송치중 (미양중학교) 허차진 (은평중학교)

이건홍 (백영고등학교) 정기문 (군산대학교) 우종정 (서령중학교)

최준채 (무학여자고등학교) 정선아 (경기고등학교)

일반사회

김선영 (군산중앙중학교) 김용지(고양국제고등학교) 주우연 (혜화여자고등학교)

옹진환 (가원중학교) 이은영 (울산범서고등학교)

최해진 (혜광고등학교) 조수진 (광남중학교)

(이상 가나다순)

연구협력진

(4)

(5)

iii 교육은 학생의 학력을 향상시켜 개인의 꿈을 성취할 수 있도록 하고 국가의 경쟁력을 강화하는 방법입니다. 교육에서 학생의 학업성취도를 정확하게 평가하는 일은 학생의 학력 향상을 위한 시작이라고 할 수 있습니다. 학생의 학업성취도 평가 결과를 바탕으로 국가의 교육 정책을 수립하고, 학교 교육과정의 운영과 교수·학습을 개선함으로써 학생의 성취를 높일 수 있기 때문입니다. 그래서 세계의 선진국들은 자국 학생들의 학력 향상을 위하여 학업성취도를 진단 하고, 그 결과를 교육 정책 및 교수·학습에 반영하고 있습니다. 우리나라도 학생들의 학력을 관리하고 향상시키기 위한 정책의 일환으로 매년 국가수준의 학업성취도 평가를 시행하고 있습니다.

본 연구보고서는 2015년 시행된 국가수준 학업성취도 평가의 서답형 문항에 나타난 학생들의 반응을 교과별로 분석한 내용을 담고 있습니다. 서답형 문항은 학생의 창의력, 문제해결력, 의사소통능력 등과 같은 핵심역량을 강조하는 교육 기조 속에서 그 중요성이 증대되고 있습니다.

본 연구에서는 서답형 문항에 대한 학생들의 실제 반응 내용을 분석함으로써 교과별 서답형 답안의 특성을 고찰하고, 이를 바탕으로 서답형 문항의 개선 방안을 제안하였습니다. 또한 통계적인 분석만으로는 알기 어려웠던 학생들의 학업성취 특성에 대한 상세한 정보를 얻음 으로써 교육과정과 교수‧학습의 개선을 위한 실제적인 시사점을 도출할 수 있었습니다.

국가수준에서 이루어지는 학업성취도 평가는 사회의 다양한 변화를 반영하여 시행해야 하기 때문에 어려움이 많은 과제입니다. 이런 연구의 수행을 위하여 여러 가지 어려운 여건에도 불구하고 적극적으로 지원해 주신 교육부와 시·도교육청 관계관, 그리고 문항 출제·검토와 시행 및 채점 등에 참여해 주신 선생님들께 깊이 감사드립니다. 끝으로 2016년 학업성취도 평가의 출제와 채점 및 결과 보고의 업무뿐만 아니라 서답형 문항에 대한 학생 반응 분석을 통해 의미 있는 연구 성과를 이끌어낸 연구진의 노고에 감사드립니다.

2016년 12월 한국교육과정평가원

원장

머리말

(6)

(7)

v 본 연구의 목적은 국가수준 학업성취도 평가의 사회과 서답형 문항 분석을 통해 사회과 수업을 위한 교수·학습적 함의를 밝히는 데 있다. 이를 위해 본 연구에서는 학생들의 학업 성취 특성에 대한 상세한 정보를 얻고자, 2015년 중학교 사회과 학업성취도 평가의 서답형 문항에 대한 학생 답안을 심층적으로 분석하였다. 사회과 학업성취도 평가는 표집 평가로 시행되며 약 7,500명의 학생 답안이 분석 대상이 된다. 분석 대상 문항 수는 총 9개로, 서술 형 3문항, 완성형 6문항이며, 영역별로 보면 지리, 역사, 일반사회 영역에서 각 3문항씩이다.

우선 하위문항별로 학생들이 작성한 답안을 유사한 반응에 따라 군집화하여 유형화를 진행 하였다. 다음으로, 유형에 따른 특징을 학업성취도 평가 결과와 연계하여 분석하였는데, 성취도 점수에 따른 유형별 비율 분포를 그래프로 제시함으로써 성취수준별 학업특성에 관한 차별적인 정보를 얻었다.

먼저 지리 영역의 서답형 문항 분석 결과는 다음과 같다. 1번 문항은 시차의 원인으로 경도 차이를 인지하는지를 묻는 문항이다. 보통학력 학생들은 시차가 경도와 관련된다는 것은 인지하나 정확한 원리에 대해 진술하지 못했으며, 기초학력 학생들은 경위도가 관련 된 지리 현상을 구별하지 못했다. 2번 문항은 벼농사가 발달한 동남아시아에 대한 설명문 중에서 ㉠ ‘계절풍’이라는 개념과 계절풍의 성격인 ㉡ ‘고온다습’을 인출하도록 요구하는 문항이다. 대기대순환에서의 편서풍과 계절풍, 북서계절풍의 층위를 혼동하는 학생들이 많았으며, 바람의 기원지에 따라 바람의 특성이 달라진다는 이해가 부족하여 ‘고온’과 ‘다 습’ 중 일부만 기입한 학생들도 상당수 나타났다. 3번 문항은 인구에 관한 설명문에서 가장 인구가 많은 대륙(㉠ ‘아시아’)과 ㉡ ‘인구밀도’를 기재하도록 요구하는 문항이다. 여러 성취 수준에서 인구의 밀집 정도를 측정하는 개념으로 ‘인구밀도’를 정확히 인출하지 못한 학생 들이 다수 나타났다.

역사 영역의 서답형 문항 분석 결과는 다음과 같다. 4번 문항은 광개토대왕비를 제시한 후, 고구려가 내물왕을 도와 신라에 침입한 왜군을 몰아냈다는 사실을 아는지를 평가하는 문항으로, 하위문항 ㉠은 ‘신라’, ㉡은 ‘광개토왕’이 정답이다. 대다수의 학생들이 ‘광개토왕’

연구요약

(8)

vi

이라는 왕호는 알고 있지만 그가 재위할 동안의 삼국시대 정세 혹은 그의 업적을 구체적으 로 인지하지 못하는 것으로 나타났다. 5번 문항은 조선 세종의 ㉠ ‘집현전’ 설치 및 ㉡ ‘훈민 정음’ 창제 업적을 제시할 수 있는가를 묻고 있다. 대다수의 학생들은 훈민정음 창제 사실 을 알고 있는 반면, 집현전을 통해 그와 같은 문화에 대한 연구가 이루어졌다는 사실을 모르는 경우가 적지 않았다. 6번 문항은 “흥선대원군이 왕권의 회복을 위해 경복궁을 중건 했다.”는 사실을 서술하도록 한 문항이다. 보통학력과 우수학력 학생의 대다수는 본 문항이 다루는 학습 요소를 충분히 인지하고 있는 것으로 나타났다. 그런데 정답의 주요 키워드가

‘대원군’과 ‘왕권 안정’인데 많은 학생들이 ‘왕권 안정’ 대신 ‘왕권 강화’라는 표현을 사용하 고 있는 점이 주목된다. 이는 역사 수업에서 대다수 교사들이 ‘왕권 강화’와 ‘왕권 안정’의 개념을 구분하지 않고 사용하는 데에서 비롯된 것으로 보인다.

마지막으로 일반사회 영역의 서답형 문항 분석 결과는 다음과 같다. 7번 문항은 사회 집단의 의미와 특징을 이해하고 그 유형을 구분하여 이해할 수 있는지를 평가하기 위한 문항이다. 흥미로운 분석 결과는 우수학력 수준의 일부 학생들도 ㉠ ‘내집단’ 개념에 대해 확신을 가지지 못하고 다른 ‘비사회학적 용어’와 혼동하고 있다는 점이었다. 8번 문항은 민주 정치의 기본 원리가 무엇인지를 알고 있는가를 묻는 문항으로, 하위문항 ㉠에 들어갈 민주 정치의 기본 원리는 ‘국민주권’, ㉡에는 ‘권력분립’ 또는 ‘삼권분립’이다. 학생들이 전반 적으로 국민 주권의 원리보다 권력 분립의 원리를 더 잘 이해하고 있었으며, 우수학력 학생 들을 포함하여 상당수의 학생들이 ‘국민주권’의 원리에 대해 정확하게 구별하여 인지하지 못하고 있음을 알 수 있었다. 9번 문항은 카카오 가격이 상승하고 있다는 신문 자료를 제시 하고, 초콜릿의 균형 가격과 균형 거래량의 변화를 묻는 서술형 문항이다. 성취도 점수가 비교적 높은 학생들일수록 가격과 거래량에 대한 개념을 숙지하고 있는 반면, 기초학력 미달 학생들은 시장에서의 가격 변동과 거래량 변화에 대한 원리 이해가 상당히 부족하다 는 점이 드러났다. 또한 기초학력과 보통학력 수준의 학생들이 가격 변동보다 거래량 변화 예측을 더 어려워 한다는 점도 알 수 있었다.

분석의 결과로서 다음 세 가지 측면에서 정책 제언을 제시하였다. 첫째, 사회과 주요 개념 관련 사전, 각종 평가의 사회과 서답형 문항 및 학생 응답 데이터베이스가 구축되고 지속적으로 업데이트되어야 한다. 이는 개념을 둘러싼 사회과 교수·학습 과정에 유용한 정보로 기능할 것이다. 둘째, 사회과 개념 학습 강화를 위한 지원 체제가 마련되어야 한다.

(9)

vii 본 연구에서 서답형 문항 분석을 통해 개념 인지에 실패했거나 오류를 보이는 학생 답안에 대해 이를 예방 또는 보정하기 위한 교수·학습 전략이 필요함을 밝혔다. 따라서 학교 현장 에서 사회과 관련 개념을 효과적으로 교수하기 위한 교수·학습 전략에 대한 연구 지원이 필요하며, 관련 교원 연수 프로그램을 개발하여 운영할 필요가 있다. 이는 학교 현장의 교사를 중심으로 개념 학습 관련 전문가 협의체를 구성하여 지원하고, 이를 바탕으로 사회 과 개념 학습 맞춤형 교원 연수 프로그램을 개발함으로써 가능할 것이다. 셋째, 사회과 학업성취도 평가에서 개념적 지식뿐만 아니라 논리적 사고력이나 자료 분석력, 문제해결력 등을 평가하기 위해 서술형 문항 유형의 다양화를 꾀하고, 새로운 유형의 서술형 문항의 채점을 안정적으로 진행하기 위해 채점 연수 및 관리 방안이 강구되어야 할 것이다.

(10)

(11)

ix

Ⅰ 서론 ··· 1

1. 연구의 필요성 및 목적 ··· 3

가. 연구의 배경 및 필요성 ··· 3

나. 연구의 목적 ··· 5

2. 연구의 내용 및 방법 ··· 5

가. 연구 내용··· 5

나. 연구 방법 및 절차 ··· 6

Ⅱ 2015년 사회과 학업성취도 평가 ··· 9

1. 사회과 학업성취도 평가의 개요 ··· 11

2. 2015년 사회과 학업성취도 평가의 서답형 문항 ··· 14

가. 연구 대상 ··· 14

나. 분석 문항 ··· 15

Ⅲ 서답형 문항 심층 분석 ··· 19

1. 지리 영역 ··· 21

가. 서답형 1번 ··· 21

나. 서답형 2번 ··· 31

다. 서답형 3번 ··· 40

2. 역사 영역 ··· 49

가. 서답형 4번 ··· 49

나. 서답형 5번 ··· 58

다. 서답형 6번 ··· 67

3. 일반사회 영역 ··· 75

가. 서답형 7번 ··· 75

나. 서답형 8번 ··· 82

다. 서답형 9번 ··· 90

차례

(12)

x

Ⅳ 요약 및 제언 ··· 101

1. 요약 ··· 103

2. 제언 ··· 108

∙

참고문헌 ··· 115

∙

ABSTRACT ··· 117

(13)

xi

<표 Ⅱ-1-1> 학업성취도 평가 사회과 평가 틀 ··· 13

<표 Ⅱ-1-2> 학업성취도 평가 사회과 행동 영역 ··· 13

<표 Ⅱ-2-1> 2015년 사회과 학업성취도 평가의 표집 학생 수 ··· 14

<표 Ⅱ-2-2> 중학교 사회과 평가 범위 ··· 15

<표 Ⅱ-2-3> 중학교 사회과 성취기준별 성취수준 개발 현황 ··· 15

<표 Ⅱ-2-4> 사회과 내용 영역별 문항 수 ··· 16

<표 Ⅱ-2-5> 사회과 행동 영역별 문항 수 ··· 16

<표 Ⅱ-2-6> 중학교 사회과 평가 서답형 문항의 구성 ··· 16

<표 Ⅱ-2-7> 2015년 학업성취도 중3 표집평가 사회과 서답형 문항 답안 ··· 17

<표 Ⅲ-1-1> 2015년 중학교 사회과 서답형 1번 문항의 평가 결과 ··· 23

<표 Ⅲ-1-2> 2015년 사회과 서답형 1번 문항의 답안별 빈도 ··· 24

<표 Ⅲ-1-3> 2015년 사회과 서답형 1번 문항 답안 유형의 대분류와 소분류 ··· 26

<표 Ⅲ-2-7> 2015년 사회과 서답형 6번 문항 답안 유형의 대분류 ··· 72

<표 Ⅲ-3-7> 2015년 사회과 서답형 9번 문항 답안 유형의 대분류와 소분류 ··· 95

표 차례

(14)

xii

[그림 Ⅰ-2-1] 서답형 문항 분석 절차 ··· 7

[그림 Ⅲ-1-1] 2015년 중학교 사회과 서답형 1번: 부분 점수 비율 분포 ··· 23

[그림 Ⅲ-1-2] 2015년 중학교 사회과 서답형 1번: 답안 유형별 비율 분포 (대분류) ··· 27

[그림 Ⅲ-1-3] 2015년 중학교 사회과 서답형 1번: 답안 유형별 비율 분포 (소분류1) ··· 28

[그림 Ⅲ-1-5] 2015년 중학교 사회과 서답형 2-㉠ 점수 비율 분포 ··· 33

[그림 Ⅲ-1-6] 2015년 중학교 사회과 서답형 2-㉡ 점수 비율 분포 ··· 34

[그림 Ⅲ-1-7] 2015년 중학교 사회과 서답형 2-㉠ 답안 유형별 비율 분포 ··· 38

[그림 Ⅲ-1-8] 2015년 중학교 사회과 서답형 2-㉡ 답안 유형별 비율 분포 ··· 39

[그림 Ⅲ-2-9] 2015년 중학교 사회과 서답형 5-㉡ 답안 유형 2, 3, 4의 비율 분포 ··· 66

[그림 Ⅲ-2-11] 2015년 중학교 사회과 서답형 6번: 답안 유형별 비율 분포 ··· 73

그림 차례

(15)

xiii

[그림 Ⅲ-3-10] 2015년 중학교 사회과 서답형 9번: 답안 유형별 비율 분포 (대분류) ··· 97

(16)

(17)

Ⅰ

서론

1. 연구의 필요성 및 목적 2. 연구의 내용 및 방법

(18)

(19)

Ⅰ. 서 론

3

1. 연구의 필요성 및 목적¹⁾

가. 연구의 배경 및 필요성

서답형 문항은 주어진 답지 가운데 하나의 답지를 선택하는 것이 아니라 학생들이 직접 답안을 작성하는 형태의 문항이다. 따라서 학생들은 자유롭게 응답하는 과정에서 자신의 사고 과정이나 개념·원리 이해 수준, 문제해결력 등 다양한 정신능력을 드러낼 수 있다.

실제로 교육평가적 측면에서 서답형 문항은 반응의 자유도가 크기 때문에 피험자의 사고 과정이 드러날 수 있으며, 조직력, 분석력, 비판력, 종합력, 창의력 등 고등정신능력을 측정 하는 데 유리하다는 평가가 거듭 강조되어 왔다(성태제, 2009, pp. 202-208; 황정규, 1998, pp. 389-391; Nitko, 2004, pp. 177-198; Livingston, 2009, pp. 1-5).

서답형 문항의 중요성 및 교육적 효과에 대한 인식에 터하여 국가수준 학업성취도 평가 에서도 매년 서답형 문항을 출제하고 있으며, 이에 대한 분석과 연구를 지속적으로 수행해 오고 있다. 학업성취도 평가는 현재 서답형 문항, 그중에서도 서술형 문항을 포함하고 있는 전국 단위의 평가 중 가장 규모가 큰 평가이다. 전국 단위의 대규모 평가에서는 채점에 소요되는 시간, 인력, 비용 등의 문제로 인해 서답형 문항의 출제에 많은 제약이 따른다.

이러한 여건 속에서 2010년 학업성취도 평가의 서답형 문항 채점에 온라인 채점 시스템이 도입되고, 매년 개선을 거듭하면서 서답형 문항 채점 업무의 효율성을 높일 수 있게 되었다.

이에 따라 학업성취도 평가에서는 서답형 문항 출제를 확대할 수 있는 여력을 확보할 수 있게 되었고, 이를 바탕으로 점진적으로 서술형 문항 출제 비율을 높이고자 노력하고 있다.

이와 같이 서답형 문항을 지속적으로 출제하여 왔음에도 불구하고, 지금까지의 학업성취 도 평가의 결과 분석은 전체 집단의 평균 정답률과 변별도, 성취수준별 정답률과 변별도, 선다형 문항의 답지별 반응률 등 양화된 자료 산출에 편중되어 왔다. 질적인 정보가 담겨있 는 서답형 문항에 대해서도 정답률과 변별도, 부분점수 비율과 같은 단순한 기술 통계치에 의존하여, 학생 응답에 대한 심층적인 분석은 이루어지지 못하였다. 전술한 바와 같이, 서답 형 문항은 학생의 자유로운 반응을 허용하므로, 이에 대한 학생 답안을 분석한다면 문항에 담긴 개념 및 내용의 인식 수준, 관련 사고력 수준에 대한 유용한 정보를 얻을 수 있는

1) 본 연구보고서는 2015년 학업성취도 평가의 교과별 서답형 문항에 대한 심층 분석 중, 사회과 분석 내용을 담은 것이다. 따라서 이 절의 내용은 본 연구보고서를 포함하여 국어과, 수학과, 과학과, 영어과 연구보고서의 내용과 동일하다.

(20)

2015년 국가수준 학업성취도 평가의 서답형 문항 심층 분석 - 사회-

4

기회가 된다. 특히 다양한 오답 유형은 학생들이 지니고 있는 오개념에 대한 단서를 제공하 므로 교수·학습 개선에 많은 도움을 줄 수 있을 것이다. 따라서 학생들의 사고를 다각적으 로 검토하여 교육적으로 유의미한 정보를 얻을 수 있도록, 서답형 문항의 학생 답안에 대한 질적인 분석은 필연적으로 요구된다.

이에 이인호 외(2015b)에서는 2014년 이전 학업성취도 평가의 일부 서답형 문항에 대해 표집 학생 약 7,500명의 답안을 처음으로 분석하였다. 물론 이 외에도 서답형 문항의 학생 답안을 분석한 다수의 연구들(김경은, 서혜애, 김동화, 2016; 김지현, 2015; 박명은 2015;

성기은, 2016; 안준철, 2015; 유현영, 2016; 이용규, 2016; 이은정, 2016; 전희선, 2015)이 있으 나, 이러한 연구들은 주로 자체 제작한 검사 도구 또는 학교 정기고사에서 발췌한 검사 도구를 이용하여 소수의 학생들을 대상으로 수행되었으므로 연구 결과의 일반화에 한계가 있다. 이에 비해 학업성취도 평가는 전국 단위의 대규모 평가이기 때문에 우리나라 전체 학생들의 평균적인 학업성취 특성 및 성취수준별 학업성취 특성을 파악할 수 있는 장점이 있다. 즉 학업성취도 평가 서답형 문항의 학생 답안에 대한 분석을 통해 우리나라 전체 학생들의 개념과 사고 과정을 유추할 수 있다. 이인호 외(2015b)의 연구는 서답형 문항 분석을 통해 통계 자료 중심의 분석에서는 알 수 없었던 학생들의 다양한 학업성취 특성을 파악할 수 있음을 보여주었으며, 이러한 정보들이 교육적으로 매우 유의미하게 활용될 수 있음을 주장하였다.

본 연구는 이인호 외(2015b)의 연구의 성과를 이어받아, 학업성취도 평가 전 과목의 전체 서답형 문항을 대상으로 학생 답안에 대한 심층 분석을 수행하고자 한다. 이인호 외(2015b) 의 연구는 2010～2014년에 출제된 교과별 일부 서답형 문항을 대상으로 심층 분석을 시범 적으로 수행하였기 때문에, 다양한 서답형 유형과 이에 대한 학생 반응을 포괄하지는 못하 였다. 이에 본 연구에서는 2015년 학업성취도 평가의 전체 서답형 문항으로 분석을 확대함 으로써, 완성형, 단답형, 서술형 등 모든 서답형 문항에 대하여 성취도 점수별 부분점수 비율 분포와 답안 유형별 반응률 분포 등을 산출하여 학생 반응을 다각도로 분석하고자 한다. 이를 통해, 교수·학습과 교육과정 개선에 필요한 학생들의 학업성취 특성에 대한 정 보를 일반화하는 데 기여할 수 있을 것이다.

(21)

Ⅰ. 서 론

5

나. 연구의 목적

본 연구의 목적은 다음 세 가지이다.

첫째, 2015년 학업성취도 평가의 서답형 문항과 평가 결과를 학생의 답안 내용과 연계하 여 심층적으로 분석함으로써, 성취수준에 따른 구체적인 학생들의 학업성취 특성 정보를 추출한다.

둘째, 다양한 서답형 문항에 대한 학생 답안의 유형화를 통해, 성취수준 및 오개념 유형 등 제반적인 사고 특성을 다각적으로 분석한다.

셋째, 서답형 문항 심층 분석 결과를 바탕으로 교과별 교육과정 및 교수·학습, 평가체제 의 개선을 위한 시사점을 도출하고 연구 결과의 활용 방안을 제시한다.

2. 연구의 내용 및 방법

가. 연구 내용

(1) 서답형 문항의 학생 답안 분석

◦2015년 학업성취도 평가의 사회과 전체 서답형 문항(총 9문항)에 대한 표집 학생 (약 7,500명)의 답안 전산 입력 및 분석²⁾

◦성취도 점수에 따른 부분점수별 반응률 그래프 도출 및 성취수준별 학업성취 특성 분석

◦학생 답안 빈도 분석 및 하위문항별 학생답안 유형화, 유형별 빈도 및 비율 산출

◦성취도 점수에 따른 유형별 비율 그래프 도출 및 성취수준별 학업성취 특성 분석

(2) 서답형 문항 심층 분석 결과 활용 방안 도출

◦학생들의 성취수준 및 성취도 점수에 따른 교수·학습적 시사점 도출

◦학생들의 오개념 파악 및 오개념에 따른 처치 방안 도출

2) 사회과 서답형 문항에 대한 학생 답안 입력 자료는 본원 ‘한국어 문장 수준 서답형 문항 자동채점 프로그램 고도화 개발 및 적용’ 연구팀의 도움을 받아 분석하였다.

(22)

6

◦교육과정 및 교육 정책에 대한 시사점 도출

◦문항 난이도, 문항 유형 등과 관련된 출제 관련 시사점 도출

나. 연구 방법 및 절차

(1) 문헌 연구

◦서답형 답안 분석에 관한 선행 연구 검토

◦전년도 서답형 답안 분석 연구 방법론 검토

◦오개념 유형 및 오류 유형에 관한 연구

◦답안 유형화에 관한 연구

(2) 학업성취도 평가 결과 자료 분석

◦분석 대상 문항의 학생 답안 전산 입력 및 전산 입력된 답안 내용 검토

◦성취도 점수별 부분점수 비율 분포의 시각화 및 분석

◦답안 내용의 유형화 및 유형별 빈도 분석

◦성취도 점수에 따른 답안 유형별 비율 분포 시각화 및 분석

(3) 전문가 협의회 및 학회 발표

◦교과교육 전문가 및 현장 교사 자문

- 답안 내용으로부터 학생의 사고 과정이나 개념 파악 - 답안 유형화의 타당성 검토

- 분석 결과 해석 및 시사점의 타당성 검토

◦분석 결과의 학회 발표

- 서답형 문항에 대한 학생 반응 유형 및 빈도 분석 결과 발표

- 연구 방법 및 결과에 대한 의견 수렴 및 향후 학업성취도 평가 연구 개선에 대한 시사점 도출

(23)

Ⅰ. 서 론

7 (4) 연구 절차

- 답안 내용 전산 입력 절차 완료 후 성취도 점수와 연계한 데이터베이스 구축 절차 와 답안 유형 분류 절차를 병행하여 진행함

- 답안 유형은 빈도 분석과 유형별 반응률 산출의 기반이 되며, 성취도 점수 연계 데이터베이스로부터 부분점수와 연계된 분석이 이루어짐

[그림 Ⅰ-2-1] 서답형 문항 분석 절차

* 출처: 이인호 외(2015b, p. 13)를 수정함.

(24)

(25)

Ⅱ

2015년 사회과 학업성취도 평가

1. 사회과 학업성취도 평가의 개요

2. 2015년 사회과 학업성취도 평가의 서답형 문항

(26)

(27)

Ⅱ. 2015년 사회과 학업성취도 평가

11

1. 사회과 학업성취도 평가의 개요

인간과 교육을 어떻게 바라보는지에 대한 교육관에 따라 평가관이 달라지는 것은 주지 의 사실이다. 전통적으로 교육관은 선발적 교육관과 발달적 교육관으로 크게 대비되어 발 전되어 왔으며, 평가관도 이와 맥을 같이 하여 발전되어 왔다. 이양우(1989, p. 77)에 의하면, 선발적 교육관은 규준 지향 평가를 사용하는데, 비교가 되는 규준(norm)이나 집단에 비추 어 상대적 서열을 판단하는 상대(비교)평가로 대변된다. 반면 발달적 교육관은 목표 지향 평가를 하는데, 의도했던 어떤 목표 기준(criteria)에 도달했는가 여부를 판단하는 절대평가 로 대변된다.

사회과 평가가 포함된 국가수준 학업성취도 평가는 선발 또는 우열의 변별을 목표로 하지 않는다는 점에서 절대평가, 보다 정확히는 성취 지향적인 평가라 볼 수 있다. 이양우 (1989, pp. 84-85)가 정리한 절대평가의 특징에 비추어 학업성취도 평가의 특성을 검토해보 면, 학업성취도 평가가 발달적 교육관의 성취 지향적 평가라는 것이 더욱 드러난다. 우선 학업성취도 평가는 목표(교육과정 달성)의 도달도를 검토하여 교육 성과를 높이는 교육적 입장에 서 있다. 다음으로 문항의 곤란도 및 변별도를 높이기 위한 검사 문항 설계보다는 교과 내용 분석에 기반하여 기본 개념과 원리가 검사 문항이 된다. 마지막으로 평점(우수학 력, 보통학력, 기초학력, 기초학력 미달)이 교육 목표에 도달한 수준을 의미하는 것이지 집단의 평균점이 기준이 되고 평점이 평균치로부터 이탈 정도를 의미하는 것은 아니다.

사회과 학업성취도 평가 역시, 이러한 발달적 교육관 및 평가관에 터하여, 학교 수업을 통해 사회과 교육과정을 정상적으로 이수한 학생들이 성취할 수 있는 지식, 기능 및 태도 등을 중심으로 문항을 설계한다. 따라서 문항 설계 과정에서 가장 중요한 선행 과정은 사회 과 교육과정의 내용을 분석하고 꼭 알아야 할(또는 반드시 갖추어야 할) 핵심 개념과 원리, 기능을 찾아내는 것이다. 만약 사회과 교육과정에 대한 분석이 미흡하여 주변적인 개념과 원리, 기능을 중심으로 문항이 출제된다면, 사회과 교육과정이 의도했던 목표에 도달했는 지를 평가할 수 없게 되기 때문이다. 특히, 이러한 문제는 학생들이 정해진 답지 내에서 반응하는 것이 아니라 자유롭게 기입하는 서답형 평가에서 더욱 두드러지는데, 이에 사회 과에서는 서답형 문항을 출제할 때, 모범 답안 및 유사 답안이 핵심적인 개념과 원리에서 벗어난 지엽적 내용이 되지 않도록 유의해야 한다.

한편, 최근 사회과 평가에서는 지식 영역이 아닌 고차사고력이나 사회 참여, 문제 해결

(28)

12

의지 등 시민적 책무성을 길러줄 수 있는 평가가 중요하다는 흐름도 나타나고 있다. 이흥 열·손병노(2008, p. 232)에 의하면, 사회과 평가의 방향성을 둘러싸고 상호 모순적인 성격을 지닌 두 가지 흐름이 나타나고 있는데, 하나는 수행평가를 통해 교실 수업을 정상화하는 노력이고 다른 하나는 국가수준의 표준화 검사를 통해 학생과 교사의 책무성을 강화하려는 흐름이 바로 그것이다. 사회과 평가에 대한 기존 연구들을 검토한 그들은 교실 수준과 국가 수준의 사회과 평가가 원래의 의도로부터 괴리되었음을 보고하며, 대안으로 Hunt와 Metcalf, Oliver와 Shaver, Ochoa와 Becker의 쟁점 중심 사회과 전통 속의 평가관을 검토 하였다. 시민성 함양을 명시적으로 목표로 하고 있는 사회과 평가는 지식 영역에만 치우쳐 서는 안 되며, 지식, 기능 및 사고, 가치·태도 영역의 균형 있는 평가가 필요하다(이양우, 1989, pp. 99-102; 강대현·이정우, 2013, pp. 103-104). 이흥열·손병노(2008)의 주장에 비추 어볼 때, 대표적인 국가수준 표준화 검사인 학업성취도 평가가 사회과에서 중요하다고 보 는 시민성 함양 요소들을 충분히 측정하고 있지 못하다는 평가에서 자유롭지 못하다. 그럼 에도 불구하고, 사회과 학업성취도 평가에서는 국가수준 표준화 검사 중 유일하게 서술형 을 포함한 서답형 문항을 출제함으로써 학생들의 분석력, 논리적 기술 능력 등을 평가하여 표준화 검사의 단점을 극복하고자 노력하고 있다.

사회과 학업성취도 평가에서는 내용 영역으로 지리/역사/일반사회를, 행동 영역으로 기 억/이해/분석/활용을 설정하여 이를 측정할 수 있는 문항을 개발하여 평가를 실시하고 있 다. 강대현·이정우(2013, p. 104)의 연구를 보면, 2009 개정 사회과 교육과정을 참조하여 사회과 평가 영역을 지리, 역사, 사회과학에 대한 지식과 더불어 사회과에서 요구되는 기능 및 사고, 사회과에서 다루어야 할 가치·태도 및 관련 능력, 사회 문제에 대한 사고 및 행동 능력, 학습자 특성 등으로 정리하였다. 이 중 학습자 특성은 사회과 목표 및 내용에 따른 논의가 아니라 학습자에 대한 진단에 초점이 맞추어져 있으므로, 사회과 교육과정에서 제 시하고 있는 평가 영역은 지식, 기능 및 사고, 가치·태도로 최종 구분하였다. 요컨대, 사회과 학업성취도도 이와 큰 맥을 같이하여, 지리, 역사, 사회과학(일반사회)을 내용 영역으로 설정하고 세 영역을 고르게 출제하여 종합적 이해 능력을 평가하고자 하였으며, 기능 및 사고, 가치·태도까지 함께 고려하여 행동 영역을 설정하였다.

사회과 학업성취도 평가의 행동 영역 설정 과정 및 내용을 구체적으로 살펴보면 다음과 같다. 우선, Anderson과 Krathwohl 등이 제안한 ‘신블룸’과 Marzano의 교육목표 분류체계 를 활용하여 사회과 교육과정과 평가 문항을 분석함으로써 각 교육목표 분류체계의 적합성

(29)

13 과 타당성을 검토하였다. 그 결과, Marzano의 교육목표 분류체계가 사회과 평가에 보다 적합하다고 판단되어 Marzano의 기본 틀을 수용하면서도 사회과 평가 문항의 목표와 문항 분류에 적합하도록 수정안을 마련하였다(정은영 외, 2010, pp. 248-264; 김혜숙·박가나, 2010, pp. 84-85). 이에 따라 마련된 학업성취도 평가 사회과의 평가 틀은 <표 Ⅱ-1-1>과 같으며, 각 행동 영역의 세부 요소와 측정하고자 하는 수행 능력은 <표 Ⅱ-1-2>와 같다(정 은영 외, 2010, pp. 264-265; 김혜숙·박가나, 2010, p. 86).

<표 Ⅱ-1-1> 학업성취도 평가 사회과 평가 틀

행동 영역

내용 영역 기억 이해 분석 활용

지리 역사 일반사회

<표 Ⅱ-1-2> 학업성취도 평가 사회과 행동 영역

행동 영역 세부 요소 내용

기억 재생

주요한 지리적, 역사적, 사회적 사실을 기억할 수 있으며, 충분한 이해가 선행되지 않더라도 지리적, 역사적, 사회적 개념이나 원리와 관련된 정보 를 재생할 수 있다.

이해

설명 예시 표상

제시된 자료의 의미를 파악하고 이와 관련된 선행지식을 연관 지어 설명할 수 있으며, 제시된 개념이나 주제와 관련된 사례를 찾거나 예시할 수 있다.

또한 상징적이거나 비언어적인 정보를 언어적인 정보로 나타낼 수 있으며, 언어적인 정보를 상징적이거나 비언어적인 정보로 나타낼 수 있다.

분석

비교 분류 오류 분석

제시된 자료를 비교하여 공통점과 차이점을 찾아낼 수 있으며, 일정한 기준을 적용하여 제시된 정보를 분류할 수 있다. 제시된 자료를 분석하여 설명한 내용이 옳고 그른지를 판단할 수 있다.

활용

일반화 추론 명세화 의사결정 문제해결

제시된 정보나 선행지식을 활용하여 상황 또는 예상되는 변화를 추론하거 나 일반화된 결론을 도출할 수 있다. 그리고 다양한 규칙, 절차, 원리 등을 구체적인 사례에 적용할 수 있다. 또한 제시된 정보나 선행지식을 활용하 여 바람직한 의사결정, 문제해결을 할 수 있다.

(30)

14

2. 2015년 사회과 학업성취도 평가의 서답형 문항³⁾

가. 연구 대상

본 연구의 대상인 2015년 중학교 사회과 학업성취도 평가는 표집 평가로 시행되었다.

표집학교는 각 시·도교육청별 학생 비율에 따라 도시화 정도, 학교의 설립유형, 성별유형, 목적유형 등의 특성을 고려한 비례층화군집표집 방법을 사용하여 중학교 3학년 학생의 약 1%를 표집하였다. 2015년 사회과 학업성취도 평가 중학교 표집 학생 수는 전체 7,430명 이며, 검사지 유형별 표집 학생 수는 <표 Ⅱ-2-1>과 같다. 사회과 학업성취도 평가 표집형 (A, B, C형)과 일반형(G형)에 응시한 학생이 본 연구의 대상이며, 서답형 문항에 대해 응답 한 그들의 답안이 분석 대상이 된다. 이 중 서답형 답안 전체를 백지로 제출한 학생 답안을 제외한 7,392명의 학생 답안이 실제로 분석되었다.

<표 Ⅱ-2-1> 2015년 사회과 학업성취도 평가의 표집 학생 수 (명)

검사지 유형

학교급 A형 B형 C형 G형 합계

중학교

3학년 사회 1,867 1,903 1,838 1,822 7,430

2015년 사회과 학업성취도 평가에 응시한 학생과 더불어, 사회과 문항 출제의 기반이 되는 사회과 교육과정 내용과 출제 범위 역시 본 연구의 또 다른 연구 대상이라 볼 수 있다. 2015년 사회과 학업성취도 평가는 2009 개정 교육과정에 기반하여 출제되었는데, 2009 개정 교육과정에서 사회과 교육과정 편성 및 운영의 가장 큰 변화 중 하나는 공통교육 과정의 기간 축소로, 이는 학업성취도 평가의 내용 영역에도 많은 변화를 가져왔다. 2007 개정 교육과정의 10학년에서 다루어지던 내용이 2009 개정 교육과정에서는 중학교 3학년 으로 이동하였기 때문이다. 따라서 이러한 변화를 고려하여 2014년에 학업성취도 평가의 성취기준 및 세부성취기준을 재정비하였으며, 표집 대상 837개 학교에 공문을 통해 교육과 정 변화에 따라 설정된 평가 범위의 적절성과 더불어 5월 말까지 이수 가능한 교육과정의

3) 연구 대상과 분석 문항과 관련된 본 절은 2015년 국가수준 학업성취도 평가 결과 분석의 내용과 크게 다른 점이 없으므로, 연구자료집의 해당 부분(이인호 외, 2016, pp. 3-11)과 2015년 보고서의 해당 부분(이인호 외, 2015a, pp. 69-71, 80-81, 145-148)을 참고하여 기술하였다.

(31)

15 단원명을 확인하였다. 이를 토대로 영역별로 평가에 포함되는 내용의 양적인 균형을 고려 하여 <표 Ⅱ-2-2>와 같이, 󰡔사회1󰡕의 지리와 일반사회 영역 전체, 󰡔역사1󰡕의 한국사 영역 과 󰡔역사2󰡕의 ‘근대 국가 수립 운동과 국권 수호 운동’ 단원이 평가 범위로 설정되었다.

설정된 평가 범위에 따라, 표집 조사 학교 837개 중 사회와 과학의 평가 범위를 모두 이수한 233개 학교를 표집 평가 대상 학교로 최종 선정하였다(이인호 외, 2015a, pp. 53-55, 69-71).

<표 Ⅱ-2-2> 중학교 사회과 평가 범위

영역 평가 범위 단원 수

지리 󰡔사회1󰡕지리 영역 전체 7

역사 󰡔역사1󰡕한국사 영역 및 󰡔역사2󰡕‘근대 국가 수립 운동과 국권 수호 운동’ 7

일반사회 󰡔사회1󰡕일반사회 영역 전체 7

* 출처: 이인호 외(2015a, p. 71)

이와 같이, 사회과 교육과정 이수현황 조사 결과에 따라 평가 범위가 일부 내용에 한정되 었기 때문에 모든 성취기준에 대해 성취수준을 개발하지 않고, 평가 범위에 포함된 성취기 준에 대해서만 성취수준 개발을 실시하였다. 분석 대상 성취기준, 개발된 성취기준별 성취 수준의 수는 <표 Ⅱ-2-3>과 같다(이인호 외, 2015a, p. 147).

<표 Ⅱ-2-3> 중학교 사회과 성취기준별 성취수준 개발 현황

내용 영역 학업성취도 평가 성취기준 수 학업성취도 평가 세부 성취기준 수 성취기준별 성취수준 수

지리 22 48 121

역사 34 66 236

일반사회 22 36 161

출처: 이인호 외(2015a, p. 147)

나. 분석 문항

2015년 중학교 사회과 학업성취도 평가는 모두 42문항으로 구성되었다. 내용 영역별/행 동 영역별 선다형과 서답형의 문항 수를 정리하면 <표 Ⅱ-2-4>, <표 Ⅱ-2-5>와 같다.

<표 Ⅱ-2-4>, <표 Ⅱ-2-5>에서 알 수 있듯이 지리, 역사, 일반사회 영역의 내용과 기억, 이해, 분석, 활용의 행동 영역이 고르게 배분·출제되어 학생들의 내용 이해도뿐 아니라 기 능적인 측면까지 종합적으로 측정할 수 있는 평가 도구를 마련하였다. 행동 영역에서 약간

(32)

16

의 문항 수 차이가 있는 것은 학교급의 특성, 시험 범위, 내용 영역의 특성 등을 반영하여 상호 보완하였기 때문이다.

<표 Ⅱ-2-4> 사회과 내용 영역별 문항 수

내용 영역 학교급

지리 역사 일반사회

선다형 서답형 선다형 서답형 선다형 서답형

중학교 11 3 (5) 11 3 (5) 11 3 (5)

※ 괄호 안은 서답형 하위문항 수 * 출처: 이인호 외(2015a, p. 81)

<표 Ⅱ-2-5> 사회과 행동 영역별 문항 수

행동 영역 문항 유형

기억 이해 분석 활용

지리 역사 일반사회 지리 역사 일반사회 지리 역사 일반사회 지리 역사 일반사회

선다형 1 3 - 7 3 8 1 4 2 2 1 1

서답형 4 - 2 1 - 2 - 2 - - 3 1

※ 선다형 문항의 경우, 2015년과 2016년 검사 도구의 동등화를 위한 가교문항을 추가적으로 출제함.

※ 서답형 문항의 경우, 하위문항 수로 합산함. * 출처: 이인호 외(2015a, p. 81)

이러한 내용을 바탕으로 제작된 2015년 사회과 학업성취도 평가 서답형 문항의 정보를 구체적으로 제시하면 <표 Ⅱ-2-6>과 같으며, 이에 따라 출제된 서답형 문항의 예시 답안 은 <표 Ⅱ-2-7>과 같다.

<표 Ⅱ-2-6> 중학교 사회과 평가 서답형 문항의 구성

문항

번호 대영역 중영역 평가 내용

서1 지리 내가 사는 세계 경도의 차이가 인간 생활에 미치는 영향을 설명하기

서2 지리 인간 거주에 유리한 지역 동남아시아에 인구가 밀집한 요인을 자연환경과 경제 활동 측면에서 설명하기

서3 지리 인구 변화와 인구 문제 세계 인구 분포의 특징을 파악하기

서4 역사 삼국의 성립과 발전 고구려의 영토 확장 과정 및 그에 따른 대내외적인 변화를 설명하기 서5 역사 조선의 성립과 발전 조선 전기 민족 문화의 발달을 훈민정음의 창제를 중심으로 설명하기 서6 역사 근대 국가 수립 운동과

국권 수호 운동 흥선 대원군의 개혁 정치를 제시하기 서7 일사 개인과 사회 생활 사회 집단의 의미와 특징을 탐구하기 서8 일사 정치 생활과 민주주의 민주 정치의 기본 원리를 설명하기

서9 일사 시장 경제의 이해 사례 분석을 통해 수요, 공급의 변화가 시장 가격 및 거래량에 미치는 영향을 설명하기

(33)

17

<표 Ⅱ-2-7> 2015년 학업성취도 중3 표집평가 사회과 서답형 문항 답안

내용 영역 문항 번호 모범 답안

지리

1 경도 차이가 더 크기 때문입니다.

2-(1) 계절풍

2-(2) 고온다습

3-(1) 아시아

3-(2) 인구밀도

역사

4-(1) 신라

4-(2) 광개토

5-(1) 집현전

5-(2) 훈민정음

6 흥선 대원군이 왕권을 강화하기 위해 중건하였다.

일반사회

7-(1) 내집단

7-(2) 외집단

8-(1) 국민 주권

8-(2) 권력 분립

9 균형 가격은 상승하고 균형 거래량은 감소합니다.

(34)

(35)

Ⅲ

서답형 문항 심층 분석

1. 지리 영역 2. 역사 영역 3. 일반사회 영역

(36)

(37)

Ⅲ. 서답형 문항 심층 분석

21

1. 지리 영역

가. 서답형 1번

(1) 문항의 개요

2015년 서답형 1번 문항은 서울, 멜버른, 타슈켄트가 포함된 백지도를 제시하고, 서울-멜 버른보다 서울-타슈켄트 간 시차가 더 큰 이유를 묻는 문항이다. 제시된 자료는 서울-타슈 켄트와 서울-멜버른 간 거리와 시차이다. 거리로 보면 서울-멜버른이 서울-타슈켄트에 비해 약 2배 가까이 먼데, 시차로 보면 훨씬 짧다는 것이 자료의 주요 내용이다.

【서답형 1】(가)에 들어갈 내용을 문장으로 서술하시오. (단, 위치를 지구 위의 좌표 형태로

표현할 때 사용하는 용어를 활용할 것)

(38)

22

아울러 지도 자료는 적도와 국경 정보가 포함된 백지도로서, 서울, 멜버른, 타슈켄트의 위치 관계를 제시하였다. 이 자료를 통해 “그것은 서울-멜버른 간보다 서울-탸슈켄트 간의 (가) .”라는 문장의 빈칸 (가)에 정답을 기재할 것을 요구하고 있다. 학생들은

“경도 차이가 더 크다.”라는 문장으로 답을 해야 배점 2점을 얻을 수 있다.

정답 문장은 ‘경도’라는 핵심어와 ‘크다’라는 술어, ‘더’와 같은 비교 부사, 그리고 ‘차이’와 같은 문장 호응을 위한 단어로 구성되어 있다. 이 중 ‘경도’와 ‘크다’가 정답을 위한 주요 요소이며, 비교 부사나 호응 단어는 경우에 따라 생략될 수 있다. ‘경도’ 대신 ‘경선’이나

‘자오선’을 쓸 수 있으며, ‘위도’나 ‘적도’, ‘날짜변경선’, ‘본초자오선’ 등의 용어는 오답이 된다. 문항을 접한 학생들은 대체로 ‘경도’와 ‘위도’ 중 어떤 것을 골라야 할지가 가장 고민스 러웠을 것이다.

(2) 평가 결과

2015년 사회과 서답형 1번 문항의 평가 결과는 <표 Ⅲ-1-1>과 같다. 전체 정답률은 27.10%로 매우 낮았고, 변별도는 0.53으로 매우 높았다. 경도 차이에 의한 시차는 중요 학습 요소이고 교실 수업에서도 늘 강조되던 주제이기 때문에, 40～70%의 난이도를 보일 것이라고 예상했으나, 예상 외로 낮은 정답률이 나온 것이다. 특히 기초학력 미달 학생들은 100%가 0점을 얻었고 1점 조차도 얻지 못했다. 기초학력 학생들은 대략 91.48%의 학생들 이 0점을 얻었고, 4.22%는 1점을, 4.31%만 2점을 얻었다. 이에 비해 보통학력 수준에서는 34.87%의 학생들이 2점을, 11.95%의 학생들이 1점을 얻었으나, 0점을 얻은 학생들이 보통 학력 수준의 절반을 넘는 53.18%나 되었다. 우수학력 수준에서는 대부분(81.74%)의 학생 들이 2점을 얻었고, 1점을 얻은 학생들의 비율(4.63%)보다 0점을 얻은 학생들의 비율 (13.62%)이 높았다. 결과적으로 이 문항은 우수 및 보통학력 학생들과 기초 및 기초미달 학생들을 뚜렷이 구분해주는 문항이 되었다.

(39)

23

<표 Ⅲ-1-1> 2015년 중학교 사회과 서답형 1번 문항의 평가 결과 성취기준 경도의 차이가 인간 생활에 미치는 영향을 설명할 수 있다.

예상정답률(%) 40-70 전체

정답률(%) 27.10 변별도 0.53 대표문항 우수

답지반응분포 (%)

성취수준 0점 1점 2점 3점 4점 정답률

우수학력 13.62 4.63 81.74 - - 84.06

보통학력 53.18 11.95 34.87 - - 40.85

기초학력 91.48 4.22 4.31 - - 6.42

기초학력 미달 100.00 0.00 0.00 - - 0.00

전 체 69.39 7.03 23.58 - - 27.10

* 출처: 이인호 외(2016, p. 55)

2015년 사회과 서답형 1번 문항의 부분 점수 비율 분포는 <그림 Ⅲ-1-1>과 같다. 2점 곡선이 보통학력 경계선에서 가파르게 상승하는 것에서 볼 수 있듯이, 이 문항은 보통 및 우수학력과 기초 및 기초학력 미달을 뚜렷하게 구분하는 문항이 되고 있다. 1점 곡선은 보통학력의 경계선에서 피크를 보이는 것처럼, 기초 및 보통학력 학생들이 상대적으로 더 많이 얻었다. 1점의 경우 ‘경도’만을 인출한 학생들인데, 시간이 경도와 연관된다는 정도만 을 습득한 학생들인 것으로 보인다. 결과적으로 이 학생들은 경도가 어떻게 도시별 시차에 영향을 미치는지에 대한 학습이 결손된 것으로 볼 수 있다.

0 20 40 60 80 100

50 100 150 200 250 300 350

0 1 2 비율

성취도 점수

기초미달 기초 보통 우수

[그림 Ⅲ-1-1] 2015년 중학교 사회과 서답형 1번: 부분 점수 비율 분포

(40)

24

(3) 심층 분석 결과 (가) 빈도분석

하나의 문장을 요구하는 문항인 만큼 답안의 종류는 매우 다양하였다. 정규화(띄어쓰기 및 구두점 제거)를 적용한 후의 답안의 종류는 약 3,000개였으며, 그중 가장 높은 빈도였던 백지 답안이 1,750개로 23.7%였다. 나머지 답안을 20위까지 제시한 것이 <표 Ⅲ-1-2>이다.

<표 Ⅲ-1-2> 2015년 사회과 서답형 1번 문항의 답안별 빈도 (무응답 제외)

순위 정규화 빈도 비율 누적비율

1 경도 차이가 크기 때문이다 113 1.5 25.2

2 경도차가 크기 때문이다 104 1.4 26.6

3 경도 차이가 더 크기 때문이다 97 1.3 27.9

4 경도차가 더 크기 때문이다 97 1.3 29.2

5 경도 차이가 더 크기 때문입니다 92 1.2 30.4

6 경도차가 더 크기 때문입니다 84 1.1 31.5

7 경도 차이가 크기 때문입니다 81 1.1 32.6

8 경도차가 크기 때문입니다 78 1.1 33.7

9 모름 63 0.9 34.6

10 위도차가 크기 때문이다 56 0.8 35.4

11 위도가 다르기 때문이다 55 0.7 36.1

12 경도가 다르기 때문이다 50 0.7 36.8

13 위도 차이가 크기 때문이다 49 0.7 37.5

14 위도 차이가 더 크기 때문이다 42 0.6 38.1

15 위도가 달라서 36 0.5 38.6

16 위도차가 크기 때문입니다 34 0.5 39.1

17 위도 차이 때문이다 33 0.4 39.5

18 경도 차이가 많이 나기 때문이다 29 0.4 39.9

19 경도 차이가 더 많이 나기 때문이다 28 0.4 40.3

20 위도 차이가 크기 때문입니다 26 0.4 40.7

이 중 가장 높은 빈도를 비오는 답안은 “경도 차이가 크기 때문이다.”라는 답안으로서 113개(1.5%)였으며, 유사 답안으로 “경도차가 크기 때문이다.”, “경도 차이가 크기 때문입 니다.”, “경도차가 크기 때문입니다.”는 답안도 각각 104개(1.4%), 81개(1.1%), 78개(1.1%)가 나왔다. ‘더’라는 비교부사를 넣은 “경도차(이)가 더 크기 때문이다(또는 때문입니다).”는

(41)

25 답안은 모두 370개(4.9%)로 나타났다. 결과적으로 경도차이가 더 크다는 응답을 한 경우는 746건으로 약 10%로 나타났다. 그 외에 모른다는 무의미한 응답이 63개로 0.9%였다. ‘경도’

대신 ‘위도’를 인출하여 “위도차가 크기 때문이다.”라는 응답이 56개로 0.8%였다. 대략 20 위 이내의 답안 중 ‘위도’의 차이가 크다는 응답을 한 경우가 207건으로 3%였다. 전체적으 로 학생들은 경도 차이가 크기 때문이라는 응답을 더 많이 했으나, 경도 대신 위도를 인출 하여 응답한 경우도 상당히 많은 것을 알 수 있다. 이러한 결과는 그러한 응답 유형이 능력 에 따라 어떻게 나타나는지 분석할 필요성을 제기한다.

한편 7,392개의 전체 응답에서 경도 또는 위도를 언급한 답안은 4,206개로서 절반이 넘는 56.39%를 차지하였다. 반면 나머지는 경도나 위도를 언급하지 않고 답안을 기재하였다.

또한 문항에는 ‘서울’, ‘멜버른’, ‘타슈켄트’가 이미 자료로 주어지기 때문에 도시명을 굳이 언급하지 않아도 되지만, 도시명을 언급하면서 답안을 기재한 경우가 많았다. 815개의 답안 (11.0%)이 도시명을 사용하여 문항이 요구하는 방향의 크기 언급과 무관하게 응답하였다.

(나) 답안 유형 분류

답안 유형을 분류하는 기준은 정답 문장을 구성하는 요소들로부터 이탈하는 정도로 하 였다. 정답 문장은 “경도 차이가 더 크다.”이다. 여기서 핵심어는 ‘경도’와 ‘크다’이다. ‘차이’

와 ‘더’는 전체 문장의 호응 상 필요한 요소로서 보조적인 요소이다. 보조적인 요소들은 기재하지 않더라도 점수에 크게 영향을 미치지 아니한다. 따라서 첫 번째 답안 유형 분류는 정답 문장을 기재한 ‘경도차이큼’, 경도만을 언급한 ‘경도차이’, 그리고 오답 문장인 ‘경도차 이작음’이다. 여기에 경도 대신 위도를 언급한 경우가 다수 있어 그 술어와 무관하게 ‘위도’

로 분류하였다. 덧붙여 경도나 위도를 전혀 언급하지 못한 답안들은 ‘기타’로 분류하였다.

그 외 무응답과 무의미한 답안을 기재한 경우를 따로 분류하였다. ‘무의미/무응답’은 사실 상 문항에 대한 접근을 거부한 경우라 할 수 있다. 이 분류가 6개의 대분류로 <표 Ⅲ-1-3>

은 이에 대한 정보를 요약한 것이다.

대분류에서 몇 가지 범주는 다시 소분류로 세분화되는데, ‘차이’와 같은 보조적 요소,

‘기타’ 대분류에서의 세분화 요소, 그리고 ‘위도’에서의 술어 형식에 따른 분류이다. 우선,

‘경도차큼’ 대분류 범주 안에는 보조 요소의 유무에 따라, 그리고 도시명 기재 여부에 따라 세분화할 수 있는 여지가 존재한다. 예컨대 “경도가 크다.”라는 응답의 경우, 경도가 각도이 므로 문장 호응 상 맞지 않아 대략적인 의미가 통한다 하더라도 경도의 개념을 정확하게