Ⅵ
국가수준 학업성취도 평가의 교과별 성취결과 분석 및 출제 방안
- 2014년 국가수준 학업성취도 평가 출제 연구
•연구책임자 | 이인호
•공동연구자 | 김경주, 이상일, 이정우, 서민철, 조윤동, 이광상,
김현경, 배주경, 황필아, 심재호(부산대학교),
이기영(강원대학교), 이봉우(단국대학교),
정기문(군산대학교)
Ⅰ. 연구의 필요성 및 목적
국가수준 학업성취도 평가 고유의 목적인‘ 교육과정의 점검’ 과‘ 교육의 질 관리’ 를 위한 연구
•학업성취도 평가 출제 체제에 대한 점검과 지속적인 개선
•학업성취도 평가의 교과별 평가 결과 분석을 통해 교육과정과 교수․학습 개선 및 교육 정책 의 기초 자료 산출
•학업성취도 평가 결과의 활용도 제고를 위한 문항 분석 방법 개선
[그림 1] 연구의 필요성 및 목적
Ⅱ. 연구 내용
2010~2013년 학업성취도 평가의 각 교과별 평가 결과와 추이 분석
교과별 학업성취도 평가 결과를 보다 심층적으로 분석할 수 있는 방법 모색 및 시범 적용 2014년 학업성취도 평가의 안정적 수행을 위한 출제 기반 개선
학업성취도 평가 출제, 채점, 시행에 대한 설문 결과 분석
학업성취도 평가의 개선 방안 모색 및 연구 자료의 활용 방안 제안
Ⅲ. 2013년 국가수준 학업성취도 평가의 교과별 평가 결과 분석
2010~2013년 학업성취도 평가에 나타난 교과별 학업성취도 추이
교과 시사점
국어 • 기초학력 이하 학생들에 대한 교수․학습 지원 강화 필요
• 학생들에게 기대하는 반응을 도출할 수 있는 새로운 문항 유형 개발 필요
• 문항 수 확대 및 기초학력 평가 문항 개발 필요
사회
•성취수준별로 차별화된 교수․학습 전략 필요
- 보통학력 : 개념과 원리를 다각적으로 이해하는 교수 학습 - 기초학력 : 사회과 읽기 능력 향상을 위한 교수․학습 - 기초학력 미달 : 사회과에 대한 흥미와 문제 해결 의지 진작
수학
• 중학교에서는 수학적인 기본 개념의 활용, 고등학교에서는 ‘함수’, ‘기하’, ‘확률과 통계’
영역에 대한 교수․학습 강화 필요
• 기초학력 미달 학생들에게는 수와 문자가 포함된 간단한 식을 계산하는 능력부터 갖추 도록 하기 위한 교수․학습 필요
과학 • 과학 학업성취도의 지속적인 하락 원인 분석과 처방을 위한 연구 필요
• 학생들의 인지 수준에 비해 지나치게 어려운 내용에 대한 교육과정 개선 필요
• 학생들의 성취수준별 정오답 반응의 차이에 대한 연구 필요
영어
• 중학교의 보통학력 이상 학생들에게는 ‘쓰기’ 영역, 고등학교의 보통학력 이상 학생들에 게는 ‘말하기’와 ‘읽기’ 영역에 대한 교수․학습 강화 필요
• 기초학력 이하 학생들에게는 ‘듣기’와 ‘읽기’ 영역을 중심으로 기본적인 어휘나 표현을 이해할 수 있는 교수․학습 필요
교과별 주요 시사점
Ⅳ. 2014년 국가수준 학업성취도 평가 도구 개발
2014년 학업성취도 평가 도구 개발을 위한 기초 연구
•2015년 학업성취도 평가와의 연계를 고려하여 문항 개발 계획 수립
•학교 교육과정 운영 현황을 반영하여 평가의 일관성을 유지할 수 있는 평가 범위 설정
•학업성취도 평가 문항 DB 활용의 편의성 제고를 위한 화면 및 검색 기능 개선
•출제 인력풀 DB 개선을 통한 업무 효율성 제고 및 정보 보안 강화
2014년 학업성취도 평가 도구 개발
•교과별 교육과정 성취기준에 적합한 평가 문항 개발
•연도 간 검사지 난이도의 체계적 비교․추정을 위한 검사지 특성 분석 절차 시범 도입 - 검사지 난이도를 조정하기 위한 참고 자료 확보
- 성취수준별 대표 문항 수의 추정 자료 확보
[그림 2] 검사지 특성 분석을 통한 출제 과정 개선
•2014년 학업성취도 평가 도구 개발 과정
평가 도구 개발 체제 개선 방안 모색
•출제위원과 검토위원을 대상으로 한 설문 조사 결과를 분석하여 시사점 도출
•평가회 및 정책협의회를 통해 출제 체제와 관련된 개선 방안 탐색
•학업성취도 평가의 준비 및 시행과 관련된 개선 방안 제시
Ⅴ. 2014년 국가수준 학업성취도 평가의 채점 및 결과 보고
표집 채점
•표집 채점의 목적
- 서답형 문항에 대한 표집 학생들의 반응을 반영한 채점 기준 마련 및 채점 - 문항별 채점 소요 시간 등 온라인 전수 채점 운영을 위한 기초 자료 산출 - 온라인 채점 시스템의 안정성 점검
•2014년 학업성취도 평가의 표집 채점 규모 : 중학교 7,563명, 고등학교 8,105명
•표집 채점은 표본 답안 추출 및 기준 점수 마련, 채점위원의 연습 채점, 1차 채점, 2차 채점, 3차 채점의 순서로 진행
전수 채점
•2014년 학업성취도 평가의 전수 채점 규모 : 중학교 약 58만 명, 고등학교 약 50만 명
•전수 채점은 채점 연수, 1차 채점, 2차 채점, 3차 채점, 4차 채점의 순서로 진행
평가 결과 보고
•표집 학생들의 평가 결과를 바탕으로 성취수준별 대표 문항 선정 및 평가 요소 추출
•성취수준별 학업성취 특성 진술문 작성
•2014년 학업성취도 평가의 평가결과표 제공
[그림 3] 2014년 중학교 3학년 학업성취도 평가결과표(국어)
Ⅵ. 정책 제언
학교 현장 피드백 기능 강화를 위한 학업성취도 평가 문항 DB 공개
•실행 전략
- 학업성취도 평가 문항 DB 공개 및 활용 방안 마련 - 기초 통계 자료의 조기 탑재 및 학교별 평가 정보 제공 - 학업성취도 평가 문항 DB 활용의 편의성 제고
- 학업성취도 평가 문항 DB 공개 및 활용을 위한 저작권 문제 해결
•기대 효과
- 학업성취도 평가 결과 피드백의 시의성 제고
- 학업성취도 평가 문항 DB 공개 및 결과 분석 안내를 통해 학교 현장의 문항 정보 활용도 제고
- 학업성취도 평가 문항과 결과 분석 정보의 활용 과정을 통해 교사의 평가 전문성 신장 - 학업성취도 평가와 공교육에 대한 긍정적 인식 제고
교육과정 피드백 강화를 위한 학업성취도 평가 체제 개선
•실행 전략
- 표집 평가 대상 학년 확대 및 시기 조정, 교과별 표집 분산 시행 - 평가 방식 변화 및 평가 문항 개발 관련 연구 인력 및 예산 지원
•기대 효과
- 교육과정 점검에 필요한 학업성취도 평가 결과 정보를 적절한 시기에 획득 가능 - 교육과정, 교수․학습, 교육평가의 질 제고 및 정책 수립과 시행의 효율성 제고 - 표집 중심의 정보 산출 체제를 통해 학업성취도 평가 운영의 유연성 확보
- 표집 평가 학교 수 증가, 평가 횟수 증가에 따라 문항 출제에 참여하는 현장 교사의 수 증가
학업성취도 평가를 활용한 재외 한국학교의 학사관리 선진화
•실행 전략
- 재외 한국학교를 포함한 학업성취도 평가 시행 계획 수립 - 재외 한국학교 대상 학업성취도 평가 참여 홍보
- 재외 한국학교와 국내 학교의 평가 결과 연계 연구 지원
•기대 효과
- 체계적인 학업성취도 평가 시행으로 평가 결과의 정확성과 신뢰도 제고 - 재외 한국학교의 교육과정 운영 및 교수․학습 시행의 질 제고
- 학업성취도 평가 결과를 활용하여 국내 학교의 결과와 비교 분석 가능
체계적인 학업성취도 평가 연구 체제 구축
•실행 전략
- 연구 주제의 발굴과 수행의 체계적 분화 및 일관성 유지 - 학업성취도 평가 연구 조직의 체계화
•기대 효과
- 교육과정, 교수․학습, 교육평가 및 교육정책 관련 다양한 연구 성과 창출 - 학업성취도 평가 연구의 안정성과 활용성 제고
Ⅵ
국가수준 학업성취도 평가의 교과별 성취결과 분석 및 출제 방안
- 답지 반응률 분포 곡선을 활용한 중학교 3학년 교과별 학업성취 특성 심층 분석
•연구책임자 | 이인호
•공동연구자 | 김경주, 이상일, 이정우, 서민철, 조윤동, 이광상,
김현경, 배주경, 황필아, 심재호(부산대학교),
이기영(강원대학교), 이봉우(단국대학교),
정기문(군산대학교)
Ⅰ. 연구의 필요성
학업성취 특성을 상세하게 파악하기 위한 새로운 문항 분석 방법의 탐색 필요
•전체 검사지와 개별 문항에 대하여 검사 대상 전체 학생과 성취수준별 학생들의 평균 답지 반응률을 주요 근거로 사용하는 기존의 학업성취도 평가 문항 분석은 집단 안에서 성취수준의 변화에 따라 나타나는 학업성취 특성의 변화를 분석하는 데 한계가 있음.
•기술 통계 값에 의존하는 기존의 문항 분석 방법을 개선하여 학생들의 성취수준에 따른 학업성 취 특성을 파악하고 교육과정, 교수․학습, 교육평가에 의미 있는 시사점을 도출할 것이 요구됨.
Ⅱ. 연구 목적
성취도 점수별 답지 반응률 분포 곡선을 활용한 문항 분석을 통해 교과별 학업성취 특성 심층 분석
새로운 문항 분석 방법을 활용한 연구 결과를 바탕으로 교육과정 개선과 교수·학습 적 처치 방안, 평가 개선에 대한 시사점 도출
학생들의 학업성취 특성에 대한 분석 방법을 발전시킬 수 있는 방안 탐색
Ⅲ. 연구 내용
문항별 답지 반응 특성 분석
•2010∼2013년 중학교 학업성취도 평가의 선다형 문항의 답지 반응률 분포 곡선 산출
•산출한 곡선과 문항의 유형, 내용, 구성을 바탕으로 답지 반응에 대한 정성적 분석
•정답지와 오답지에 대한 곡선을 바탕으로 학생들의 학업성취 특성 심층 분석
문항 분석 결과 활용 방안 도출
•교육과정의 내용 구성, 학생들의 성취수준을 고려한 교수․학습 방식, 답지 반응 특성을 고려
Ⅳ. 선행 연구 및 이론적 배경
•학생들이 문항에 반응한 결과는 학생들의 학업 성취 특성, 교육과정의 정확도, 문항의 질 등에 대한 여러 정보를 담고 있음.
•기존에는 전체 집단의 문항에 대한 평균 정답률, 변별도, 오답 반응률과 각 성취수준 집단의 평균 정답률과 오답 반응률 등과 같은 기술 통계값을 이용해 성취수준 집단의 학업 성취 특성 등을 추정함.
•본 연구에서는 성취수준별 평균적인 특성이 아닌 성취도 점수의 변화에 따른 문항 반응 특성, 즉 정답 반응률과 오답 반응률을 시각화하여 나타낸 답지 반응률 분포 곡선을 사용함으로써 교육과정과 교수․학습, 평가에 대해 더 깊은 함의를 도출함.
•답지 반응률 분포 곡선이란 정수 단위의 성취도 점수에 대하여 답지에 반응한 비율을 대응시 켜 나타낸 그래프임.
•[그림 1]은 선다형 문항의 다섯 개 답지에 대한 반응률의 분포를 나타낸 것이고, [그림 2]는 반응률을 곡선으로 연결한 것이며,
[그림 3]은 [그림 2]의 곡선을 다항함수로 추정하여 나타낸 그래프임.
[그림 1] 답지 반응률 분포 [그림 2] 관찰치 연결 곡선
[그림 3] 다항함수 추정 곡선
•답지 반응률 분포 곡선을 활용하면, 성취도 점수에 따라 정답률과 오답지별 반응률이 어떻게 변화하는지를 확인할 수 있기 때문에, 해당 문항이 다루고 있는 성취기준의 세부적인 내용에 대해서 학생들이 어느 정도 이해하고 있는지를 더욱 세밀하게 분석할 수 있음.
Ⅴ. 연구 결과
국어과 주요 연구 결과
•평가 대상 성취기준 외의 다른 성취기준이 간섭하는 경우가 많아 답지 반응률의 성취수준별 양상에 대한 분석만으로는 오답 반응 이유를 확정적으로 판단하기가 어려움.
(예) 듣기 영역에서 사실적 이해 능력, 추론 능력, 어휘 능력 등이 동시에 요구되는 문항
➪ 문항을 설계할 때 평가 대상 이외의 성취기준 간섭을 최소화할 필요가 있음.
•읽기 영역의 경우 중학교 학생들은 경제나 과학 분야의 지문을 낯설고 어렵게 느끼며 이 같은 내용을 다루고 있는 제재에 대한 이해도가 낮은 경우가 있음.
➪ 학생들에게 제공되는 읽기 텍스트의 범주를 다양화하고, 지문의 제재별 독해 난이도에 대한 학생의 체감도를 조사할 필요가 있음.
•쓰기 영역의 경우 선다형 문항으로는 학생들의 쓰기 능력을 온전히 평가할 수 없음.
➪ ‘표현’에 속하는 말하기와 쓰기 영역의 학업성취도를 평가하는 방안을 모색해야 함(서답형 문항의 확대, 쓰기 평가의 독립 등).
•문법 영역의 경우 모든 성취수준의 학생들이 우리말 오용 사례와 관련한 문항을 어렵게 느끼
➪ 국어 규범에 대한 학생들의 인식이 낮으므로 우리말 오용 사례를 바탕으로 국어 규범 교육 을 강화할 필요가 있음.
•문학 영역의 경우 보통 학력 이하의 학생들은 문학 작품에 대하여 다각적으로 해석하는 ‘문학 감상 능력’을 충분히 갖추지 못하고 있는 경향을 보임.
➪ 보통학력 이하 학생들의 작품에 대한 감수성과 감상 능력을 향상시킬 수 있는 중장기적인 교수․학습 전략을 마련해야 함.
사회과 주요 연구 결과
•지리 영역 : 독도가 화산섬이라는 사실 및 독도 주변의 어업 환경 등에 대한 이해가 부족함.
➪ 독도 학습시 영토 분쟁에만 초점을 맞추기보다 독도의 자연 환경이나 주민 생활, 지리적 가치와 그 중요성, 전략적 가치와 경제적 유용성 등도 강조하여 독도에 대한 자연스러운 관심을 유발할 필요가 있음.
•역사 영역 : 여러 나라에서 일어난 역사적 사건의 공통점과 차이점을 비교하는 능력이 부족함.
➪ 학생들이 한국사와 세계사를 종합적으로 이해할 수 있도록 각국의 제도와 문화에 대해 통합적으로 비교할 수 있는 기회를 좀 더 많이 부여할 필요가 있음.
•일반사회 영역 : 우리나라 정부 형태의 특징에 대한 이해가 부족함.
➪ 우리나라의 정부 형태에 대한 이해를 제고하기 위해서는 대통령제와 의원내각제의 특징 등 관련 내용에 대한 충실한 학습이 이루어지도록 교육과정상 단원의 위치를 조정할 필요 가 있음.
수학과 주요 연구 결과
•소수와 관련된 내용에서 1과 소수의 거듭제곱을 모두 소인수로 간주하거나 소수와 약수를 헷갈리거나 같다고 생각하는 경우가 많음.
➪ 소인수분해와 관련된 용어에 대한 대체어 개발 등 용어의 혼란을 줄이기 위한 연구가 필요함.
•일상생활에서 자주 듣거나 경험하는 속도를 수학적인 개념으로 바르게 이해하지 못하고 있으 며 비나 비율을 주어진 그대로 사용하는지 아니면 변환해야 하는지를 판단하는 데 취약함.
➪ 방정식과 함수 등에서 자주 다루어지는 속도와 같은 비나 비율 개념을 일상에서 사용하는 것과 수학(과학)에서 사용하는 것을 서로 보완하고 통합하여 이해시킬 필요가 있음.
•문자에 값을 대입하고 계산하여 값을 구하는 것은 능숙하나, 함수를 그래프와 관련지어 해석 하는 것과 같은 해석 능력이 떨어지고 있음.
➪ 일차함수에서 일차항의 계수와 상수항의 의미를 그래프에서 기울기, 직선의 방향, 증가와 감소, 평행이동 등의 개념과 관련지어 정확히 이해할 수 있도록 해야 함.
•기초학력과 보통학력의 경계 부근에 있는 학생들 중에 각(원)뿔의 부피를 잘못 기억하고 있는 공식에 의존하여 구하는 경우가 많이 있으며, 우수학력 학생들 중에도 각뿔대를 각기둥의 하나로 생각하는 등 각뿔대를 정확하게 이해하지 못하고 있는 경우가 있음.
➪ 각(원)뿔의 부피나 겉넓이를 각(원)기둥과 관련지어 기억하거나 유도하여 사용하도록 해 야 함. 입체도형을 분류하는 기준과 용어 사이의 관계를 명확히 이해시킴으로써, 다면체의 이름으로부터 성질을 정확히 끌어낼 수 있도록 해야 함.
과학과 주요 연구 결과
•운동과 에너지 영역 : 등속원운동과 구심력에 대해 오개념을 갖고 있는 경우가 많이 있으며, 하위 영역 중에서는 전기와 자기 영역에 대한 이해도가 가장 낮음.
➪ 교육과정의 위계를 조정하거나 오개념이 나타나는 내용에 대한 처치 전략과 학력 수준에 따른 맞춤형 교수․학습 방법이 고안될 필요가 있음.
•물질 영역 : 하위 영역 중 물질의 구조 영역에 대한 이해도가 가장 낮으며, 보통학력 학생들도 물질 영역 학습에 필요한 탐구 기능이나 실행 능력이 다소 부족함.
➪ 미시 수준의 물질세계의 내용은 중학생의 인지 수준에 비해 다소 높다고 판단되므로 물질 의 구조와 관련된 개념을 이해시킬 수 있는 교수․학습 방안이 필요함. 보통학력 학생들에 게 부족한 탐구 능력이 과학 지식과 더불어 중요하게 교수․학습에서 다뤄져야 할 필요 가 있음.
•생명 영역 : 보통학력 수준의 학생들도 하위 영역인 생물의 구성과 다양성 영역과 식물 영역에 대한 이해도가 낮음.
➪ 보통학력 학생들이 개념 사이의 통합적 연계 관계를 보다 잘 이해할 수 있는 교수․학습 방안이 요구됨.
•지구와 우주 영역 : 지질 영역에 대한 이해도가 매우 낮음.
➪ 현행 교육과정에 포함된 판구조론 등 지질 영역의 내용 수준이 중학생들의 인지 수준에 비해 대체로 높기 때문에 내용 수준의 적절성에 대한 재검토가 필요함.
영어과 주요 연구 결과
•듣기, 말하기, 읽기, 쓰기 영역에서 성취수준별로 어려움을 겪는 부분에 차이가 있음.
(예) 듣기 영역에서 보통학력 학생들은 비교적 어려운 표현이 있는 경우에 맥락 속에서 정확 한 의미를 파악하는 능력이 부족한 반면, 기초학력 학생들은 일부 알고 있는 단어나 반복되는 단어를 바탕으로 전체 내용을 추측하는 경향이 있음.
➪ 듣기, 말하기, 읽기, 쓰기 영역에서 성취수준별로 차별화된 교수․학습적 접근 방안을 마련 하는 것이 필요함.
•대부분의 학생들이 어법에 맞는 정확한 표현을 사용하는 능력이 부족함.
➪ 어법에 맞게 정확하게 쓰는 능력과 관련한 성취기준은 2009 개정 교육과정에서는 제외되 었으나, 유창성과 함께 정확성을 강조하기 위해 포함될 필요가 있음.
•말하기 영역은 문항 수가 부족하고 영어로 말하는 능력을 직접적으로 평가하는 것이 아니기 때문에 말하기 영역의 학업성취 특성 파악에 한계가 있음.
➪ 말하기 영역의 학업성취 특성을 효과적으로 파악하기 위해서 현재의 말하기 영역 평가 방식에 대한 개선이 필요함.
Ⅵ. 정책 제언
교육과정-교육평가 환류 체제 구축
•제언 배경 : 교육과정을 개정할 때 학업성취도 평가 결과를 반영하는 기회가 제도적으로 정착 되어 있지 않아 교육과정-교수․학습-교육평가의 선순환 체계가 제대로 작동하지 않고 있음.
•실행 전략 : 교육과정과 교육평가 업무 간 정보 공유 강화
- 교육과정을 개정하는 과정에서 학업성취도 평가 결과를 공유하는 시스템을 구축함.
- 교육과정 정책 담당자, 학업성취도 평가 정책 담당자, 연구진의 협의체를 마련함.
•기대 효과 : 교육과정의 타당성과 적정성 제고
교과별 학업성취도 평가 문항에 대한 질적 연구 강화
•제언 배경 : 현재 학업성취도 평가의 교과별 문항 분석 내용은 실제 학생의 생각이 아닌 교사 를 비롯한 전문가의 직관이나 유추에 의한 것이 많아 문항 분석 내용의 실제성이나 효용성을 담보하는 데 한계가 있음.
•실행 전략 1 : 사고구술법(Think-aloud method)을 이용한 질적 분석 강화
- 문항에 대한 반응의 동기를 분석하기 위해 학생들을 대상으로 사고구술법 또는 심층 면담법 적용
- 학업성취도 평가 계획을 수립할 때 문항 반응에 대한 질적 연구 계획 포함
•실행 전략 2 : 배경 변인과 연계한 문항 분석 강화
- 학생, 교사, 교장 대상의 설문조사에 문항 반응과 연계되는 교과별 주제를 반영한 설문 문항 개발
- 각 교과의 대영역, 중영역, 하위 영역별로 구분하여 심층적인 연구 수행
- 맥락 변인에 따른 정오답 반응 특성 분석을 통해 교수․학습 및 학교 경영 등에 대한 시사점 도출
•기대 효과: 실제적이고 효과적인 교수․학습 방안 개발 가능
