Ⅳ. 요약 및 제언
103
1. 요약
본 연구의 목적은 국가수준 학업성취도 평가의 사회과 서답형 문항 분석을 통해 사회과 수업을 위한 교수·학습적 함의를 밝히는 데 있다. 이를 위해 본 연구에서는 학생들의 학업 성취 특성에 대한 상세한 정보를 얻고자, 2015년 중학교 사회과 학업성취도 평가 서답형 문항에 대한 학생 답안을 심층적으로 분석하였다. 먼저, 하위문항별로 학생들이 작성한 답안을 유사한 반응에 따라 군집화하여 유형화를 진행하였다. 다음으로, 유형에 따른 특징 을 학업성취도 평가 결과와 연계하여 분석하였는데, 성취도 점수에 따른 유형별 비율 분포 를 그래프로 제시함으로써 성취수준별 학업특성에 관한 차별적인 정보를 얻었다.
사회과 평가가 포함된 국가수준 학업성취도 평가는 선발 또는 우열의 변별을 목표로 하지 않는다는 점에서 절대평가, 보다 정확히는 성취 지향적인 평가이다. 학업성취도 평가 는 목표(교육과정 달성)의 도달도를 검토하여 교육 성과를 높이는 교육적 입장을 따를 뿐 만 아니라, 교육과정 중심의 교과 내용 분석에 기반하여 기본 개념과 원리가 검사 문항이 된다. 또한 평점(우수학력, 보통학력, 기초학력, 기초학력 미달)이 교육 목표에 도달한 수준 을 의미하는 것이지 집단의 평균점이 기준이 되고 평점이 평균치로부터 이탈 정도를 의미 하는 것은 아니다(이양우, 1989, pp. 84-85의 내용 참조 및 수정). 요컨대, 사회과 학업성취 도 평가 역시 이러한 발달적 교육관 및 평가관에 터하여, 학교 수업을 통해 사회과 교육과 정을 정상적으로 이수한 학생들이 성취할 수 있는 지식, 기능 및 태도 등을 중심으로 문항 을 설계한다. 특히 사회과를 포함하여 학업성취도 평가에서는 국가수준 표준화 검사 중 유일하게 서술형을 포함한 서답형 문항을 출제함으로써 학생들의 분석력, 논리적 기술 능 력 등을 평가하여 표준화 검사의 단점을 극복하고자 노력하고 있다. 또한 사회과 학업성취 도 평가에서는 내용 영역으로 지리/역사/일반사회를, 행동 영역으로 기억/이해/분석/활용 을 설정하여 이를 측정할 수 있는 문항을 개발하여 평가를 실시하고 있다.
본 연구의 대상인 2015년 중학교 사회과 학업성취도 평가는 표집 평가로 시행되었으며, 중학교 3학년 학생의 약 1%를 표집하였다. 표집 평가에 응시한 학생이 본 연구의 대상이며, 서답형 문항에 대해 응답한 그들의 답안이 분석 대상이 된다. 2015년 사회 학업성취도 평가 의 서답형 문항은 총 9문항으로, 지리, 역사, 일반사회 영역에서 동일하게 각각 3문항씩 출제되었다. 모든 영역에서 한 문항은 문장으로 응답을 요구하는 서술형 문항이고, 나머지 두 문항은 완성형 문항으로 각각 2개의 하위문항으로 구성되어 있다.
2015년 국가수준 학업성취도 평가의 서답형 문항 심층 분석 - 사회-
104
가. 지리 영역
1번 문항은 서울과 거리가 더 가까운 타슈켄트와의 시차가 멜버른과의 시차보다 더 큰 이유를 묻는 서술형 문항으로, 출제자가 기대한 정답 문장은 “경도 차이가 더 크기 때문이 다.”이다. 전체 정답률은 27.10%이고 변별도는 0.53이었다. 학생들은 이 문항에 약 3,000여 가지로 응답하였다. 이 응답들을 서로 유사한 것들끼리 군집화하여 6가지 유형으로 분류하 였는데, ‘경도차큼’, ‘경도차이’, ‘경도차이작음’, ‘기타’, ‘위도’, ‘무의미/무응답’이 그것이다.
‘경도차큼’ 유형은 보통학력 구간에서 가파르게 상승하여 우수학력 구간에 이르면 80%를 웃돌게 된다. 반대로 기초학력 구간에서는 20%를 밑돌고 있다. 대체로 기초학력과 보통학 력의 중간 이하 학력 구간에서 다양한 다른 응답들이 나타나고 있는데, ‘경도차이’ 유형은 보통학력 구간에서, ‘기타’ 유형은 기초학력 구간에서 피크를 이루고 있다. 기초학력 미달 구간에서는 대부분 ‘무의미/무응답’ 유형이 나타나고 있다.
2번 문항은 벼농사가 발달한 동남아시아에 대한 설명문 중에서 ㉠ ‘계절풍’이라는 개념과 계절풍의 성격인 ㉡ ‘고온다습’을 인출하여 기재하도록 요구하는 문항이다. 전체 정답률은 32.51%이고, 변별도는 0.59이다. ㉠에 대한 답안 유형은 ‘계절풍’, ‘기타바람’, ‘기후요소요 인’, ‘기타오답’, ‘자료요소혼합변형’, ‘무의미/무응답’으로, ㉡은 ‘고온다습’, ‘고온/다습’, ‘기 온습도오류’, ‘기타오답’, ‘무의미/무응답’으로 분류할 수 있다. ㉠에서 ‘계절풍’ 유형은 기초 학력 구간에서 가파르게 상승하여 보통 학력 구간에서는 40%를, 우수학력 구간에서는 80%를 상회하고 있다. 주로 기초학력 구간에서 다양한 오답 유형들이 나왔는데, 대표적인 유형이 ‘기타바람’ 유형에 해당하는 답을 기재한 경우로, 대개 편서풍을 많이 기재하였다.
㉡에서는 고온다습 유형이 보통학력 구간에서 가파르게 상승하여 우수학력 구간의 중간 위치에서 80%를 상회하고 있다. 기초학력과 보통학력 구간에서 다양한 오답 유형들이 나 타나고 있는데, 특히 기초학력 구간에서는 ‘기온습도오류’ 유형이, 보통학력 구간에서는
‘고온/다습’ 유형이 피크를 보이고 있다.
3번 문항은 인구에 관한 설명문에서 가장 인구가 많은 대륙과 인구밀도의 개념어를 기재 하도록 요구하는 문항이다. 하위문항 ㉠과 ㉡의 정답은 각각 ‘아시아’와 ‘인구밀도’이다.
전체 정답률은 51.56%로서 서답형 문항으로서는 낮지 않은 정답률을 보였으며, 변별도도 0.59로 높은 편이다. ㉠의 학생 답안들은 7개의 유형으로 구분할 수 있는데, ‘아시아’, ‘유라 시아’, ‘중국’, ‘부분아시아’, ‘기타대륙’, ‘기타오답’, ‘무의미/무응답’이 그것이다. ㉡에 대한 응답은 6개로 유형화할 수 있는데, ‘인구밀도’, ‘유사어구’, ‘인구포함어구’, ‘기타오답’, ‘자료
Ⅳ. 요약 및 제언
105 요소혼합’, ‘무의미/무응답’이 그것이다. ㉠에서 ‘아시아’ 유형은 기초학력 구간에서 가파르 게 상승하기 시작하여 보통학력 구간에 이르면 이미 80%를 상회하고 있다. 가장 많은 오답 유형인 ‘유라시아’는 기초학력 구간에서 가장 많이 나타나며, 보통학력 구간 또는 우수학력 구간에 속하는 소수의 학생들이 ‘중국’ 유형에 응답하였다. ㉡에서 ‘인구밀도’ 유형은 주로 보통학력 구간에서 가파르게 상승하다가 우수학력 구간의 중간 위치에 이르러 80%를 상회 한다. 오답 유형 중 ‘유사어구’ 유형이 보통학력과 우수학력의 경계 위치에서 피크를 이루 며, ‘인구포함어구’ 유형은 기초학력과 보통학력 구간의 경계에서 피크를 이룬다.
나. 역사 영역
4번 문항은 광개토대왕비를 제시한 후, 당대에 고구려가 내물왕을 도와 신라에 침입한 왜군을 몰아내었다는 사실을 아는지를 평가하는 문항으로, 하위문항 ㉠은 ‘신라’, ㉡은 ‘광 개토왕’이 정답이다. 전체 정답률이 56.84%이며, 변별도는 0.58로 양호하게 나타났다. 하위 문항별로 유사한 답안들을 군집화하여 유형화를 진행한 결과, ㉠에 대한 답안 유형은 ‘신 라’, ‘국가명’, ‘타민족왕조명’, ‘무의미/무응답’의 4가지 유형으로 나타났다. 성취도 점수에 따른 답안 유형별 비율 분포 그래프에서 정답인 ‘신라’ 유형의 경우 기초미달 학력 말미부 터 상승하여 우수학력 구간에서 100%에 이르렀으며, ‘국가명’, ‘타민족왕조명’ 유형은 기초 학력과 보통학력 경계 구간을 중심으로 종형의 형태를 보이다가 우수학력 구간에서 사라지 는 것으로 나타났다. ‘무의미/무응답’의 경우 기초학력 미달 구간의 후반부터 급격히 낮아 지는 것으로 나타났다. ㉡은 ‘광개토’, ‘왕’, ‘인물’, ‘기타답안’, ‘무의미/무응답’의 5가지 유형 으로 나타났다. 정답인 ‘광개토’ 유형은 기초미달 학력 구간 말미부터 상승하여 보통학력 구간에서 거의 80%를 넘어서는 모습을 보인다. ‘왕’, ‘인물’, ‘기타답안’ 유형은 매우 적은 사례에 불과하여 유의미한 변화가 감지되지 않고 있으며, 기초학력 미달 구간에서 ‘무의미/
무응답’ 유형이 ㉠에 비해 상대적으로 낮은 비율을 보여, 대다수의 학생들이 다른 역사적 사실보다 ‘광개토왕’을 쉽게 인지하고 있는 것으로 해석된다.
5번 문항은 역사신문 형식으로 조선 세종의 업적을 설명한 후, 세종의 집현전 설치 및 훈민정음 창제 업적을 제시할 수 있는가를 묻는 완성형 문항으로, 하위문항 ㉠은 ‘집현전’,
㉡은 ‘훈민정음’이 정답이다. 전체 정답률은 66.71%이며, 변별도는 0.60으로 상당히 높은 편이다. 하위문항별로 답안의 의미에 따라 유형화를 진행한 결과, ㉠과 ㉡ 모두 각각 5개의 유형으로 분류되었다. ㉠의 5가지 유형은 ‘집현전’, ‘기관명 및 건물명’, ‘정답 및 기관명 오
2015년 국가수준 학업성취도 평가의 서답형 문항 심층 분석 - 사회-
106
류’, ‘기타답안’, ‘무의미/무응답’이다. 성취도 점수에 따른 답안 유형별 비율 분포 그래프에 서 정답인 ‘집현전’ 유형은 기초학력 구간부터 가파르게 상승하여 우수학력 구간에서 100%
에 가까워졌으며, ‘기관명 및 건물명’, ‘정답 및 기관명 오류’ 유형은 기초학력과 보통학력에 걸쳐 낮은 산 형태로 분포하였다. 답안을 정규화하여 그 빈도를 살펴보면, 전체 학생의 44.1%가 ‘집현전’ 이라는 정답을 제시하였으며, 철자를 틀리거나 조선시대의 다른 학문 연 구 기관을 제시한 학생이 10% 이상에 이르는 것으로 보아 상당수 학생이 집현전의 존재를 어느 정도 인지하고 있다음을 알 수 있다. ㉡의 5가지 유형은 정답인 ‘한글/훈민정음’을 비롯해, ‘문자/언어/활자’, ‘훈미정음 오류’, ‘기타답안’, ‘무의미/무응답’이다. 성취도 점수에 따른 답안 유형별 비율 분포 그래프에서 ㉠과 비교해볼 때 ‘한글/훈민정음’ 유형의 비율이 기초학력 미달 구간부터 상승하여 기초학력 구간 말미에서 거의 100%에 이르는 것으로 보아 대부분의 학생들이 세종대의 훈민정음 창제를 인지하고 있음을 알 수 있다.
6번 문항은 경복궁 근정전의 사진과 관련 설명글을 바탕으로 “흥선대원군이 왕권의 회복 을 위해 경복궁을 중건했다.”는 사실을 서술하도록 한 문항이다. 정답률이 47.97%로 예상 정답률보다 높게 나타났으며, 변별도도 0.62로 상당히 높게 나타났다. 성취도 점수에 따른 답안 유형별 비율 분포 그래프에서 정답인 ‘대원군왕권’ 유형은 기초학력 구간부터 급격히 상승하여 보통학력 구간의 후반부에서 80% 비율선을 돌파했다. 이는 보통학력과 우수학력 학생의 대다수는 본 문항이 다루는 학습 요소를 충분히 인지하고 있음을 의미한다. 한편, 답안을 정규화하여 빈도를 분석한 결과를 살펴보면, 정답의 주요 키워드가 ‘대원군’과 ‘왕권 안정’인데 대다수 학생들이 ‘왕권 안정’ 대신 ‘왕권 강화’라는 표현을 사용하고 있는 점이 주목된다. 이는 학교 역사 수업에서 대다수 교사들이 ‘왕권 강화’와 ‘왕권 안정’의 개념을 구분하지 않고 사용하는 데에서 비롯된 것으로 보인다.
다. 일반사회 영역
7번 문항은 사회 집단의 의미와 특징을 이해하고 그 유형을 구분하여 이해할 수 있는지 를 평가하기 위한 완성형 문항으로, 하위문항 ㉠은 ‘내집단’, ㉡은 ‘외집단’이 정답이다. 전체 정답률이 15.20%로 학생들에게 어려운 문항으로 나타났으며, 변별도는 0.36으로 양호하게 나타났다. 하위문항별로 유사한 반응을 보이는 학생 답안들을 군집화하여 유형화를 진행한 결과, ㉠과 ㉡ 모두 각각 5개의 유형으로 분류되었다. ㉠의 5가지 유형은 ‘내집단’, ‘분류기준 오류’, ‘비사회학적 용어’, ‘기타오답’, ‘무의미/무응답’으로, 성취도 점수에 따른 답안 유형별