Ⅲ
서답형 문항 심층 분석
1. 지리 영역 2. 역사 영역
Ⅲ. 서답형 문항 심층 분석
21
1. 지리 영역
가. 서답형 1번
(1) 문항의 개요
2015년 서답형 1번 문항은 서울, 멜버른, 타슈켄트가 포함된 백지도를 제시하고, 서울-멜 버른보다 서울-타슈켄트 간 시차가 더 큰 이유를 묻는 문항이다. 제시된 자료는 서울-타슈 켄트와 서울-멜버른 간 거리와 시차이다. 거리로 보면 서울-멜버른이 서울-타슈켄트에 비해 약 2배 가까이 먼데, 시차로 보면 훨씬 짧다는 것이 자료의 주요 내용이다.
【서답형 1】(가)에 들어갈 내용을 문장으로 서술하시오. (단, 위치를 지구 위의 좌표 형태로
표현할 때 사용하는 용어를 활용할 것)
2015년 국가수준 학업성취도 평가의 서답형 문항 심층 분석 - 사회-
22
아울러 지도 자료는 적도와 국경 정보가 포함된 백지도로서, 서울, 멜버른, 타슈켄트의 위치 관계를 제시하였다. 이 자료를 통해 “그것은 서울-멜버른 간보다 서울-탸슈켄트 간의 (가) .”라는 문장의 빈칸 (가)에 정답을 기재할 것을 요구하고 있다. 학생들은
“경도 차이가 더 크다.”라는 문장으로 답을 해야 배점 2점을 얻을 수 있다.
정답 문장은 ‘경도’라는 핵심어와 ‘크다’라는 술어, ‘더’와 같은 비교 부사, 그리고 ‘차이’와 같은 문장 호응을 위한 단어로 구성되어 있다. 이 중 ‘경도’와 ‘크다’가 정답을 위한 주요 요소이며, 비교 부사나 호응 단어는 경우에 따라 생략될 수 있다. ‘경도’ 대신 ‘경선’이나
‘자오선’을 쓸 수 있으며, ‘위도’나 ‘적도’, ‘날짜변경선’, ‘본초자오선’ 등의 용어는 오답이 된다. 문항을 접한 학생들은 대체로 ‘경도’와 ‘위도’ 중 어떤 것을 골라야 할지가 가장 고민스 러웠을 것이다.
(2) 평가 결과
2015년 사회과 서답형 1번 문항의 평가 결과는 <표 Ⅲ-1-1>과 같다. 전체 정답률은 27.10%로 매우 낮았고, 변별도는 0.53으로 매우 높았다. 경도 차이에 의한 시차는 중요 학습 요소이고 교실 수업에서도 늘 강조되던 주제이기 때문에, 40～70%의 난이도를 보일 것이라고 예상했으나, 예상 외로 낮은 정답률이 나온 것이다. 특히 기초학력 미달 학생들은 100%가 0점을 얻었고 1점 조차도 얻지 못했다. 기초학력 학생들은 대략 91.48%의 학생들 이 0점을 얻었고, 4.22%는 1점을, 4.31%만 2점을 얻었다. 이에 비해 보통학력 수준에서는 34.87%의 학생들이 2점을, 11.95%의 학생들이 1점을 얻었으나, 0점을 얻은 학생들이 보통 학력 수준의 절반을 넘는 53.18%나 되었다. 우수학력 수준에서는 대부분(81.74%)의 학생 들이 2점을 얻었고, 1점을 얻은 학생들의 비율(4.63%)보다 0점을 얻은 학생들의 비율 (13.62%)이 높았다. 결과적으로 이 문항은 우수 및 보통학력 학생들과 기초 및 기초미달 학생들을 뚜렷이 구분해주는 문항이 되었다.
Ⅲ. 서답형 문항 심층 분석
23
<표 Ⅲ-1-1> 2015년 중학교 사회과 서답형 1번 문항의 평가 결과 성취기준 경도의 차이가 인간 생활에 미치는 영향을 설명할 수 있다.
예상정답률(%) 40-70 전체
정답률(%) 27.10 변별도 0.53 대표문항 우수
답지반응분포 (%)
성취수준 0점 1점 2점 3점 4점 정답률
우수학력 13.62 4.63 81.74 - - 84.06
보통학력 53.18 11.95 34.87 - - 40.85
기초학력 91.48 4.22 4.31 - - 6.42
기초학력 미달 100.00 0.00 0.00 - - 0.00
전 체 69.39 7.03 23.58 - - 27.10
* 출처: 이인호 외(2016, p. 55)
2015년 사회과 서답형 1번 문항의 부분 점수 비율 분포는 <그림 Ⅲ-1-1>과 같다. 2점 곡선이 보통학력 경계선에서 가파르게 상승하는 것에서 볼 수 있듯이, 이 문항은 보통 및 우수학력과 기초 및 기초학력 미달을 뚜렷하게 구분하는 문항이 되고 있다. 1점 곡선은 보통학력의 경계선에서 피크를 보이는 것처럼, 기초 및 보통학력 학생들이 상대적으로 더 많이 얻었다. 1점의 경우 ‘경도’만을 인출한 학생들인데, 시간이 경도와 연관된다는 정도만 을 습득한 학생들인 것으로 보인다. 결과적으로 이 학생들은 경도가 어떻게 도시별 시차에 영향을 미치는지에 대한 학습이 결손된 것으로 볼 수 있다.
0 20 40 60 80 100
50 100 150 200 250 300 350
0 1 2 비율
성취도 점수
기초미달 기초 보통 우수
[그림 Ⅲ-1-1] 2015년 중학교 사회과 서답형 1번: 부분 점수 비율 분포
2015년 국가수준 학업성취도 평가의 서답형 문항 심층 분석 - 사회-
24
(3) 심층 분석 결과 (가) 빈도분석
하나의 문장을 요구하는 문항인 만큼 답안의 종류는 매우 다양하였다. 정규화(띄어쓰기 및 구두점 제거)를 적용한 후의 답안의 종류는 약 3,000개였으며, 그중 가장 높은 빈도였던 백지 답안이 1,750개로 23.7%였다. 나머지 답안을 20위까지 제시한 것이 <표 Ⅲ-1-2>이다.
<표 Ⅲ-1-2> 2015년 사회과 서답형 1번 문항의 답안별 빈도 (무응답 제외)
순위 정규화 빈도 비율 누적비율
1 경도 차이가 크기 때문이다 113 1.5 25.2
2 경도차가 크기 때문이다 104 1.4 26.6
3 경도 차이가 더 크기 때문이다 97 1.3 27.9
4 경도차가 더 크기 때문이다 97 1.3 29.2
5 경도 차이가 더 크기 때문입니다 92 1.2 30.4
6 경도차가 더 크기 때문입니다 84 1.1 31.5
7 경도 차이가 크기 때문입니다 81 1.1 32.6
8 경도차가 크기 때문입니다 78 1.1 33.7
9 모름 63 0.9 34.6
10 위도차가 크기 때문이다 56 0.8 35.4
11 위도가 다르기 때문이다 55 0.7 36.1
12 경도가 다르기 때문이다 50 0.7 36.8
13 위도 차이가 크기 때문이다 49 0.7 37.5
14 위도 차이가 더 크기 때문이다 42 0.6 38.1
15 위도가 달라서 36 0.5 38.6
16 위도차가 크기 때문입니다 34 0.5 39.1
17 위도 차이 때문이다 33 0.4 39.5
18 경도 차이가 많이 나기 때문이다 29 0.4 39.9
19 경도 차이가 더 많이 나기 때문이다 28 0.4 40.3
20 위도 차이가 크기 때문입니다 26 0.4 40.7
이 중 가장 높은 빈도를 비오는 답안은 “경도 차이가 크기 때문이다.”라는 답안으로서 113개(1.5%)였으며, 유사 답안으로 “경도차가 크기 때문이다.”, “경도 차이가 크기 때문입 니다.”, “경도차가 크기 때문입니다.”는 답안도 각각 104개(1.4%), 81개(1.1%), 78개(1.1%)가 나왔다. ‘더’라는 비교부사를 넣은 “경도차(이)가 더 크기 때문이다(또는 때문입니다).”는
Ⅲ. 서답형 문항 심층 분석
25 답안은 모두 370개(4.9%)로 나타났다. 결과적으로 경도차이가 더 크다는 응답을 한 경우는 746건으로 약 10%로 나타났다. 그 외에 모른다는 무의미한 응답이 63개로 0.9%였다. ‘경도’
대신 ‘위도’를 인출하여 “위도차가 크기 때문이다.”라는 응답이 56개로 0.8%였다. 대략 20 위 이내의 답안 중 ‘위도’의 차이가 크다는 응답을 한 경우가 207건으로 3%였다. 전체적으 로 학생들은 경도 차이가 크기 때문이라는 응답을 더 많이 했으나, 경도 대신 위도를 인출 하여 응답한 경우도 상당히 많은 것을 알 수 있다. 이러한 결과는 그러한 응답 유형이 능력 에 따라 어떻게 나타나는지 분석할 필요성을 제기한다.
한편 7,392개의 전체 응답에서 경도 또는 위도를 언급한 답안은 4,206개로서 절반이 넘는 56.39%를 차지하였다. 반면 나머지는 경도나 위도를 언급하지 않고 답안을 기재하였다.
또한 문항에는 ‘서울’, ‘멜버른’, ‘타슈켄트’가 이미 자료로 주어지기 때문에 도시명을 굳이 언급하지 않아도 되지만, 도시명을 언급하면서 답안을 기재한 경우가 많았다. 815개의 답안 (11.0%)이 도시명을 사용하여 문항이 요구하는 방향의 크기 언급과 무관하게 응답하였다.
(나) 답안 유형 분류
답안 유형을 분류하는 기준은 정답 문장을 구성하는 요소들로부터 이탈하는 정도로 하 였다. 정답 문장은 “경도 차이가 더 크다.”이다. 여기서 핵심어는 ‘경도’와 ‘크다’이다. ‘차이’
와 ‘더’는 전체 문장의 호응 상 필요한 요소로서 보조적인 요소이다. 보조적인 요소들은 기재하지 않더라도 점수에 크게 영향을 미치지 아니한다. 따라서 첫 번째 답안 유형 분류는 정답 문장을 기재한 ‘경도차이큼’, 경도만을 언급한 ‘경도차이’, 그리고 오답 문장인 ‘경도차 이작음’이다. 여기에 경도 대신 위도를 언급한 경우가 다수 있어 그 술어와 무관하게 ‘위도’
로 분류하였다. 덧붙여 경도나 위도를 전혀 언급하지 못한 답안들은 ‘기타’로 분류하였다.
그 외 무응답과 무의미한 답안을 기재한 경우를 따로 분류하였다. ‘무의미/무응답’은 사실 상 문항에 대한 접근을 거부한 경우라 할 수 있다. 이 분류가 6개의 대분류로 <표 Ⅲ-1-3>
은 이에 대한 정보를 요약한 것이다.
대분류에서 몇 가지 범주는 다시 소분류로 세분화되는데, ‘차이’와 같은 보조적 요소,
‘기타’ 대분류에서의 세분화 요소, 그리고 ‘위도’에서의 술어 형식에 따른 분류이다. 우선,
‘경도차큼’ 대분류 범주 안에는 보조 요소의 유무에 따라, 그리고 도시명 기재 여부에 따라 세분화할 수 있는 여지가 존재한다. 예컨대 “경도가 크다.”라는 응답의 경우, 경도가 각도이 므로 문장 호응 상 맞지 않아 대략적인 의미가 통한다 하더라도 경도의 개념을 정확하게
2015년 국가수준 학업성취도 평가의 서답형 문항 심층 분석 - 사회-
26
인지한 경우라고 보기 어렵다. 그러므로 “경도 차이가 크다.”라고 한 경우와 “경도가 크다.”
라고 한 경우를 구분하여 소분류 범주로 재설정하였다. ‘경도 위치’나 ‘경도 거리’에서의
‘위치’나 ‘거리’도 보조 요소로 보아 ‘경도차이큼’에 포함시켰다. 또한 본 문항은 도시명 기재 가 불필요하나 다수의 학생들이 도시명을 기재하면서 답안을 작성하였다. 이 중 멜버른을 언급하면서 답안을 기재한 경우, ‘작다’ 또는 ‘비슷하다’라고 언급하여 옳은 진술을 하였으 나 문항의 발문이 요구하는 바를 정확하게 이행하지 않은 것으로 판단하여 소분류 유형으 로 설정하였다.
‘기타’ 대분류에서는 경도나 위도를 언급하는 대신, 북반구와 남반구의 차이로 기재하거 나 경도와 위도가 동시에 작용하는 것으로 기재한 경우가 다수 있어 이를 따로 분류하였다.
소분류에서의 ‘기타’는 대분류에서의 ‘기타’에서 북반구와 남반구, 경위도 모두 언급하지도 않은 경우이다. ‘위도’ 대분류는 “위도 차이가 크다.”라고 언급한 경우, “위도 차이가 작다.”
라고 언급한 경우, 그리고 ‘위도차이’만을 언급한 경우로 다시 세분화하였다. 이렇게 하여 소분류는 <표 Ⅲ-1-3>과 같이 12개로 설정되었다.
<표 Ⅲ-1-3> 2015년 사회과 서답형 1번 문항 답안 유형의 대분류와 소분류
연번 대분류 빈도 비율 총점
평균 소분류 빈도 비율 총점
평균
1 경도차큼 1,823 24.7 226.1
경도차이큼 1,597 21.6 227.4
경도큼 124 1.7 217.4
경도작음(멜) 102 1.4 216.9
2 경도차이 469 6.3 208.8 경도차이 469 6.3 208.8
3 경도차이작음 204 2.8 210.3 경도차이작음 204 2.8 210.3
4 기타 1,410 19.1 183.4
경위도 102 1.4 197.5
북반구/남반구 149 2.0 190.7 기타 1,159 15.7 181.3
5 위도 1,578 21.3 201.2
위도차이 572 7.7 191.8
위도큼 713 9.6 208.2
위도작음 293 4.0 202.4
6 무의미/무응답 1,908 25.8 163.3 무의미/무응답 1,908 25.8 163.3
전체 7,392 100 194.9 7,392 100 194.9
<표 Ⅲ-1-3>에서 볼 수 있듯이, 대분류 범주에서는 ‘무의미/무응답’을 제외하고, ‘경도차 큼’이 1,823개(24.7%)로 가장 빈도가 높고 평균 점수도 226.1점으로 가장 높다. 그 다음으로