OECD 국제 학업성취도 평가 연구
: PISA 2012 컴퓨터 기반 평가 결과 분석
연구보고 RRE 2014-4-2 발 행 일 2014년 12월 31일 발 행 인 조 난 심
발 행 처 한국교육과정평가원
주 소 서울 중구 정동길 21-15 정동빌딩 전 화 (02)3704-3704
팩 스 (02)730-7487 홈페이지 http://www.kice.re.kr
협력진
권석일(경인교대) 박인용(KICE) 이효녕(경북대)
권영일(교육부) 백혜선(경인교대) 임정훈(인천대)
길혜지(서울대) 서수현(광주교대) 임현정(단국대)
김부미(원광대) 신명경(경인교대) 전호균(혜원여고)
김선희(강원대) 신혜숙(강원대) 정영식(전주교대)
김세엽(당곡고) 옥현진(이화여대) 조정수(영남대)
김수진(KICE) 윤구희(서울사대부중) 조지민(KICE)
김종윤(경기대) 이순영(고려대) 지경아(광남중)
김지연(홍익대) 이신영(송라중) 최인엽(교육부)
김진수(교원대) 이영주(이화여대) 최혁준(한국교원대)
김화경(상명대) 이영준(교원대) 최흥재(교육부)
노선숙(이화여대) 이홍배(천일중) 한혜숙(단국대)
박도영(KICE) 이환철(한국과학창의재단)
(이상 가나다 순)
연구협력진
OECD에서 주관하는 PISA(Programme for International Student Assessment; 이하 PISA)’ 연구는 주기를 거듭함에 따라 시대가 요구하는 역량을 평가하고자 함은 물론 새로 운 평가방법을 적용하고 있습니다. 특히 PISA 2012에서는 그동안 시행해 왔던 지필평가와 함께 문제해결력, 수학, 읽기 영역에 대한 컴퓨터 기반 평가를 병행하였습니다.
이 보고서는 PISA 2012 주기에 컴퓨터 기반으로 시행된 문제해결력(CBAPS), 수학 (CBAM), 읽기(DRA) 평가 결과를 분석하고 특히 문제해결력과 교육맥락변인과의 관계를 제시하였습니다. 21세기 역량에 대한 세계적 관심에 따라 시행된 문제해결력 평가 (CBAPS)는 해결 방법을 즉각적으로 찾을 수 없는 상황에서 요구되는 개인의 인지적 문제 해결 능력을 평가합니다. 성취결과를 보면 OECD 회원국과 협력국을 포함한 총 44개국이 참여한 가운데 우리나라 학생들은 싱가포르와 함께 1～2위의 성적을 거두었습니다. 수학 (CBAM)과 읽기(DRA) 영역에서 컴퓨터 기반 평가를 선택사항으로 시행한 총 32개 참여 국 중 수학의 경우 싱가포르, 상하이-중국에 이어 세 번째로 높은 평균점수를 보였으며, 읽기는 싱가포르에 이어 두 번째로 높은 성취를 보였습니다. OECD 23개 회원국 중에서는 모든 영역에서 가장 우수한 성취를 나타내었습니다. 물론 성취수준별 또는 성별에 있어서 의 차이나 배경변인에서 나타나는 정의적 특성에 대한 결과도 지속적으로 검토하고 있습 니다. 무엇보다도 분석 결과를 토대로 수학 교육, 읽기 교육, 과학 교육, 교육 환경 등의 개 선과 관련하여 제시한 제언이 우리 교육의 질적 발전을 위한 정책 수립에 실질적인 도움이 되길 바랍니다. 특히 문제해결력과 교육맥락변인과의 관계 분석을 통해 우리나라 학생들 의 학교 내․외의 ICT 활용 접근성과 수준에 대한 문제점을 지적하고 지식정보화 사회에 필요한 역량을 키울 수 있도록 필요한 ICT 기반 교수학습 및 평가 환경 구축에의 시사점 을 제시한 것이 의미 있습니다.
PISA 연구를 수행하는 과정에서 적극적으로 지원해 주신 교육부, 시도교육청 관계자, 학교장, 교사, 그리고 연구 협력진에게 진심으로 감사의 말씀을 드리며, PISA 2015 예비검 사를 함께 시행해야 했던 벅찬 여건 속에서도 이 연구를 성실히 수행한 연구진의 노고를
머리말
PISA는 만 15세 학생을 대상으로 지식정보화 사회의 성공적 삶에 필요한 역량 준비 정도를 점검하기 위해 새롭고 적절한 평가 방법을 모색해 왔다. 이에 PISA 2012에서는 수학․읽기․과학에 대한 지필평가와 함께 문제해결력(CBAPS)․수학(CBAM)․읽기(DRA) 영역의 컴퓨터 기반 평가가 실시되었다. 본 연구는 21세기에 요구되는 창의융합인재 양성을 위한 교육적 시사점을 도출하고자 PISA 컴퓨터 기반 환경에서의 문제해결력과 수학․
읽기 소양 수준을 파악하고, 문제해결력과 다른 소양 및 교육맥락변인들과의 관계를 분석 하였다.
PISA 2012에 컴퓨터 기반 평가로 시행된 문제해결력 평가(CBAPS)는 해결 방법을 즉각 적으로 찾을 수 없는 상황에서 문제를 이해하거나 해결하는 데 요구되는 인지적 과정과 관 련된 개인의 능력을 평가한다. OECD 회원국과 협력국을 포함하여 모두 44개국이 참여한 가운데 우리나라 학생들은 싱가포르와 함께 1～2위의 성적을 거두었고 일본, 중국, 캐나다 가 그 뒤를 이었다. 문제해결력 성취에 있어 남학생이 여학생보다 높았으며, OECD 평균 성차에 비해 우리나라의 성차는 크게 나타났다. 우리나라의 경우 2수준 미만에 해당하는 하위수준 학생은 전체 학생의 6.9%로 전체 참여국 중에서 가장 낮은 비율을 보였고, 5수준 이상의 상위수준에는 27.6%가 해당하여 전체 참여국 중에서 가장 높은 비율을 보였다.
우리나라는 문제해결력 점수와 주영역인 수학 점수 모두 최상위권이면서 학교 간 차이 에 의한 분산이 학교 내 학생 간 차이에 의한 분산보다 작았고, 전체 분산의 크기가 OECD 평균보다 낮으면서 모든 영역의 점수에 대한 경제․사회․문화적 지위(ESCS) 지표의 설 명력이 OECD 평균보다 낮게 나타나 학교에 따라 교육의 질이 큰 차이가 나지 않으며 학 습 기회도 형평성 있게 제공되고 있음을 확인하였다.
컴퓨터 기반 문제해결력 평가(CBAPS)에서의 우리나라 학생들의 성취를 평가틀 하위요 소별 정답률을 이용하여 분석한 결과는 다음과 같다. 문제 상황 속성과 관련하여 ‘상호작 용적 문제 상황’에 대한 해결 능력이 다른 나라에 비해 상대적으로 뛰어났고 남녀에 의한 차이는 발견되지 않았다. 문제해결 과정과 관련하여 ‘탐색과 이해’, ‘표현과 형식화’에서 상 대적으로 강점을 지녔으나 ‘계획수립과 실행’ 에서는 상대적으로 취약하였다. 또 ‘계획수립 과 실행’, ‘모니터링과 반성’ 부분에서는 여학생이 남학생보다 높은 성취를 보였는데, 이러 한 성차가 다른 국가에 비해 더 큰 것으로 나타났다. 이는 남학생들에 대한 ‘모니터링과 반
연구요약
성’, ‘계획수립과 실행’ 교육을 강화할 필요가 있음을 의미한다. 문항 유형을 구분하여 분석 한 결과, 단답-선다형에서는 강했지만 구성형 문항에서 취약한 것으로 나타났고, 특히 남 학생이 여학생에 비해 구성형 문항에 취약하였다.
문제해결력과 다른 소양 간 관계를 살펴본 결과, 지필 수학, 지필 과학, 지필 읽기, CBAM, DRA 순으로 문제해결력과 높은 정적 상관을 가지며, 문제해결력 점수에 대한 지 필 수학․읽기․과학 중의 특정한 한 영역에 의한 고유 설명력은 낮고, 두 영역 이상 공통 된 부분의 설명력이 훨씬 많은 것으로 분석되었다. 즉 문제해결력은 어느 한 영역보다는 두 영역 이상의 복합적인 능력과 더 관련성이 높았다. 수학․읽기․과학 점수로 예측한 문 제해결력의 기대 점수와 실제 점수의 차이인 상대적 성취를 분석한 결과, 우리나라 학생들 의 상대적 성취가 가장 높게 나타나 문제해결력 과제를 수행할 때 다른 세 영역의 소양을 충분히 활용하였을 뿐만 아니라 다양한 개인 특성도 정적 영향을 준 것으로 보인다. 이러 한 결과를 종합하면 기본적인 소양을 갖추어야 문제를 잘 해결할 수 있으며 여러 영역의 지식을 적절히 통합하여 활용함으로써 문제해결력을 높일 수 있음을 시사한다.
최근 정보화 사회에서는 실생활 맥락에서 현상을 기술하고 설명하며 예측하기 위해 수 학적 도구를 사용할 수 있는 역량이 요구된다. PISA 2012에는 수학 영역에서 지필평가와 더불어 CBAM을 선택 영역으로 도입하여 총 32개국을 대상으로 시행하였다. CBAM에서 우리나라는 전체 32개 참여국 가운데 싱가포르, 상하이-중국에 이어 세 번째로 높은 평균 점수를 보였으며, 참여한 OECD 23개국 중에는 가장 높았다. 우리나라의 5수준 이상 비율 은 27.7%로 OECD 국가 중 가장 높았으며, 2수준 미만 비율은 7.2%로 OECD 국가 중 가 장 낮은 비율을 보였다. 남녀 학생의 성차를 살펴보면, 우리나라는 남학생이 561점, 여학생 이 543점으로 OECD 국가별 평균보다 각각 58점, 52점 높았으며, 남학생의 평균이 여학생 보다 18점 유의하게 높았는데 이는 OECD 국가별 평균 성차(13점)보다 더 큰 차이였다. 이 것은 수학 소양 점수가 남학생보다 낮은 여학생들이 컴퓨터 등 공학적 도구를 활용하는 환 경에서도 수학적 소양을 신장시킬 수 있도록 지원할 필요가 있음을 시사한다.
PISA 2012 CBAM 문항에서 우리나라 학생들은 최저 13.23%부터 최고 85.99% 사이의 정답률을 보였다. 평가틀 하위요소별로 결과를 살펴보면, 맥락에서는 ‘개인적’ 맥락의 정답 률이 가장 높고, ‘사회적’ 맥락의 정답률이 가장 낮은 것으로 나타났다. 수학적 내용에서는
학생은 47.62%, 여학생은 48.02%로 나타났다.
PISA 2009에 이어 두 번째로 시행된 PISA 2012 디지털 읽기 평가(DRA)에서 우리나라 는 평균점수 555점을 기록하였다. 이는 지난 PISA 2009에 비해 13점 하락한 것이기는 하 나 OECD 23개 참여국 중 가장 높은 것으로, 전체 32개 참여국 가운데는 싱가포르(567점) 에 이어 두 번째로 높은 성취를 보인 것이다. DRA에서 우리나라 남녀 학생의 점수 차이는 7점으로 OECD 평균 성차(26점)보다 작았는데, 이는 경쟁국인 싱가포르 및 홍콩-중국, 일 본, 캐나다, 상하이-중국 성차와 비교해서도 매우 낮은 것이었다. 성취수준을 중심으로 살 펴보았을 때, 우리나라의 2수준 미만 학생 비율은 3.9%로 OECD 국가별 평균인 17.6%보다 매우 낮았다. 반면, 5수준 이상의 상위수준에 해당하는 학생 비율은 18.3%로 OECD 평균 인 7.9%보다 높았으나, 싱가포르, 홍콩-중국 및 일본에 미치지 못하였다. 이러한 국제비교 결과는 상위수준 학생 비율을 높이기 위한 DRA 교육 전략 모색이 필요함을 시사한다.
DRA의 평가틀 하위요소별로 문항 정답률을 살펴보면, 우선 읽기 상황별로 공적 상황과 교육적 상황에서는 PISA 2009 결과와 유사하였던 반면, 개인적 상황에서는 다소 하락하였 다. 텍스트 체재별로 보면, 연속적․비연속적 체재에서는 상승한 반면, 혼합적, 복합적 체 재에서는 하락하였다. 혼합적 텍스트의 경우 남학생의 정답률이 여학생보다 높았는데, 대 부분의 요소에서 여학생의 정답률이 남학생에 비해 현격히 높았던 것과 비교하면 특기할 점이다. 텍스트 유형별로 살펴보았을 때, 설명을 제외한 논증․기술․상호작용의 유형에서 여학생의 정답률이 남학생에 비해 유의하게 높았으며, 읽기 양상별로는 세 양상 모두에서 여학생의 정답률이 더 높은 것으로 나타났다. 지필평가 결과와 마찬가지로 DRA에서도 평 가틀 하위요소별 성별 특성에 따라 읽기 성취에 차이가 있음을 확인할 수 있었다.
PISA 2012의 읽기는 지필평가와 DRA가 함께 시행되었는데, 두 평가 점수 간 .72의 높 은 상관을 보였다. DRA와 지필평가의 정답률 차이를 평가틀 하위요소로 살펴보았을 때, 공적 읽기 상황, 혼합적 텍스트 체재, 논증 텍스트 유형, 통합 및 해석의 읽기 양상에서 DRA가 지필평가에 비해 정답률이 크게 높았다. 텍스트 체재의 ‘연속적’과 ‘다중적’에서는 지필평가의 정답률이 높았다. 특히 ‘다중적’은 디지털 기반 하이퍼텍스트 환경이라는 DRA 읽기 특성을 가장 잘 보여주는 하위요소이며, 이에 대한 정답률이 상대적으로 낮다는 것은 하이퍼텍스트 읽기 소양 제고를 위한 교육 방안이 필요함을 시사한다.
우리나라 학생들의 문제해결력과 관련된 정의적 특성, 즉 직면한 어려운 문제에 대한 해 결 의지인 문제해결에 대한 끈기와 문제해결에 참여하고자 하는 의지인 개방성 지수는 OECD 평균보다 낮았는데, 남학생의 지수가 여학생보다는 높았다. 문제해결력에 대한 끈
기나 개방성 지수가 높을수록 문제해결력 점수가 더 높았으며, CBAM, DRA 등의 수학과 읽기 소양에도 정적인 영향을 주었다. 이러한 결과는 문제해결 특성을 신장시키는 것은 PISA에서 평가하는 모든 영역의 성취를 향상하는 데 긍정적으로 기여할 것임을 시사한다.
컴퓨터를 평가도구로 활용하는 능력이 컴퓨터 기반으로 평가한 문제해결력에 미치는 영 향을 살펴보기 위해 문제해결력에 대한 지필 수학 점수와 CBAM 점수의 영향력을 비교한 결과, 문제해결력 성취의 전체 분산 중 평가 방식에 의해 설명되는 분산의 비율은 높지 않 았다. 이는 높은 수준의 정보소양이나 평가도구로의 컴퓨터 활용 능력이 컴퓨터 기반 문제 해결력 결과에 크게 영향을 주는 것은 아님을 보여준다. 그러나 우리나라 학생들의 학교 밖 및 학교에서의 ICT 활용 가능성(접근성)과 컴퓨터 사용 정도 지수는 OECD 평균보다 낮았는데, 그 중에서도 학교에서 컴퓨터를 사용하는 학생 비율은 42.7%로 전체 참여국 중 에서 매우 낮은 편이었으며, 학교 밖(가정)에서의 컴퓨터 사용 여부는 문제해결력 및 모든 영역의 점수와 정적 관계가 있었다. 한편 컴퓨터 관련 태도를 조사한 결과, 우리나라 학생 들의 ‘학습도구로서 컴퓨터의 유용성’과 ‘학습도구로서의 제한’에 대한 인식 지수는 가장 낮았다. 따라서 우리나라 학생들이 학교 안팎에서 ICT에 대한 접근성과 사용 빈도를 높일 수 있도록 교육환경을 조성해야 하고, 21세기 지식정보화 사회에 필요한 역량을 키울 수 있도록 적절한 교수학습과 평가 방법이 적용되도록 해야 할 것이다.
PISA 2012 컴퓨터 기반 평가 결과 분석을 기초로 하여 21세기 역량을 갖춘 글로벌 창의 융합인재를 양성하기 위해 교과 교육에서의 문제해결력 신장, 지식정보화 사회에서의 수학 및 읽기 소양 신장, 문제해결력과 의사소통능력 및 정보소양 등 21세기 역량 함양을 위한 ICT 기반 교수학습 및 평가 환경 구축 등의 교육정책 대안을 제언하였다.
차례
Ⅰ. 서론 ··· 1
1. 연구의 필요성 및 목적 ··· 3
2. PISA 2012 컴퓨터 기반 평가 개관 ··· 6
가. PISA의 컴퓨터 기반 평가 ··· 6
나. PISA 2012 평가틀과 평가도구 ··· 7
다. PISA 2012 본검사 시행 및 채점 ··· 11
3. 연구 내용 및 방법 ··· 12
4. PISA 2012 컴퓨터 기반 평가의 주요 결과 ··· 15
Ⅱ. 컴퓨터 기반 문제해결력 평가(CBAPS) 결과 ··· 19
1. 문제해결력 평가틀과 CBAPS 평가도구 ··· 21
가. 문제해결력 평가틀 ··· 21
나. CBAPS 평가도구 ··· 23
2. CBAPS 결과 분석 ··· 27
가. 전체 결과 ··· 27
나. 성취수준별 결과 및 대표 문항 ··· 35
다. 문항 정답률 및 평가틀 하위요소별 결과 ··· 55
3. 문제해결력과 다른 영역 소양 간 관계 분석 ··· 75
가. 문제해결력과의 상관관계 및 설명력 ··· 75
나. 문제해결력과 다른 영역의 상위수준 비율 ··· 79
다. 문제해결력의 상대적 성취 ··· 82
Ⅲ. 컴퓨터 기반 수학 평가(CBAM) 결과 ··· 89
1. 수학 평가틀과 CBAM 평가도구 ··· 91
가. 수학 평가틀 ··· 91
나. CBAM 평가도구 ··· 94
다. CBAM 문항 예시 ··· 97
2. CBAM 결과 분석 ··· 102
가. 전체 결과 ··· 102
나. 성취수준별 결과 ··· 108
다. 문항 정답률 및 평가틀 하위요소별 결과 ··· 116
라. CBAM과 수학 지필평가 결과 비교 ··· 121
Ⅳ. 디지털 읽기 평가(DRA) 결과 ··· 125
1. 읽기 평가틀과 DRA 평가도구 ··· 127
가. 읽기 평가틀 ··· 127
나. DRA 평가도구 ··· 129
다. DRA 문항 예시 ··· 132
2. DRA 결과 분석 ··· 135
가. 전체 결과 ··· 135
나. 성취수준별 결과 ··· 142
다. 문항 정답률 및 평가틀 하위요소별 결과 ··· 149
라. DRA와 읽기 지필평가 결과 비교 ··· 156
Ⅴ. 교육맥락변인과 관계 분석 ··· 161
1. 문제해결 특성 ··· 163
가. 문제해결에 대한 끈기 ··· 163
나. 문제해결에 대한 개방성 ··· 167
2. ICT 관련 특성 ··· 170
가. ICT 기기의 사용 가능성 ··· 171
나. 컴퓨터 사용 정도 ··· 177
나. 사회경제적 배경의 영향 ··· 191
Ⅵ. 결론 및 정책 제언 ··· 195
1. 요약 및 결론 ··· 197
가. 컴퓨터 기반 문제해결력 평가(CBAPS) 결과 ··· 197
나. 컴퓨터 기반 수학 평가(CBAM) 결과 ··· 199
다. 디지털 읽기 평가(DRA) 결과 ··· 200
라. 교육맥락변인과의 관계 ··· 202
2. 정책 제언 ··· 203
가. 창의 인재 양성을 위한 문제해결력 신장 ··· 204
나. 지식정보화 사회에서의 수학․읽기 소양 강화 ··· 214
다. 21C 역량 함양을 위한 ICT 기반 교수학습 및 평가 환경 구축 ··· 221
* 참고문헌 ··· 231
* ABSTRACT ··· 235
* 부록 ··· 241
[부록 1] PISA 2003 문제해결력 국제비교 결과 ··· 243
[부록 2] PISA 2012 수학․읽기․과학 지필평가의 국제비교 결과 ··· 244
[부록 3] 문제해결 특성 설문 문항 응답에 따른 CBA 영역별 평균점수 ··· 245
[부록 4] ICT 설문 문항 응답 비율 ··· 247
표차례
<표 Ⅰ-1-1> PISA 2012의 연차별 연구 내용 ··· 5
<표 Ⅰ-2-1> PISA 2006—PISA 2015의 컴퓨터 기반 평가 영역 ··· 7
<표 Ⅰ-2-2> PISA 2012 본검사 평가 영역과 평가 방식 ··· 8
<표 Ⅰ-2-3> PISA 2012 컴퓨터 기반 평가도구 설계 ··· 9
<표 Ⅰ-2-4> PISA 2012 전체 참여국의 컴퓨터 기반 평가 참여 현황 ··· 11
<표 Ⅰ-4-1> PISA 2012 전체 평가 방식과 영역별 우리나라 결과 ··· 16
<표 Ⅰ-4-2> PISA 2012 컴퓨터 기반 평가 참여국의 CBA 영역별 국제비교 결과 ··· 17
<표 Ⅱ-1-1> PISA 2012 문제해결력 평가틀 ··· 22
<표 Ⅱ-1-2> PISA 2012 CBAPS 문항군 구성 ··· 23
<표 Ⅱ-1-3> PISA 2012 CBAPS 문항 정보 ··· 24
<표 Ⅱ-1-4> 문항 유형에 따른 PISA 2012 CBAPS 문항 분포 ··· 27
<표 Ⅱ-2-1> PISA 2012 CBAPS 평균과 백분위 점수 ··· 28
<표 Ⅱ-2-2> PISA 2012 남녀 학생들의 CBAPS 평균과 백분위 점수 ··· 32
<표 Ⅱ-2-3> CBAPS 성취수준별 성취 행동의 특성 ··· 36
<표 Ⅱ-2-4> PISA 2012 CBAPS 성취수준별 비율 ··· 38
<표 Ⅱ-2-5> PISA 2012 남녀 학생의 CBAPS 성취수준별 비율 ··· 43
<표 Ⅱ-2-6> 문제해결력 문항의 예시와 성취수준 설명 ··· 45
<표 Ⅱ-2-7> PISA 2012 CBAPS 문항 정답률(%) ··· 55
<표 Ⅱ-2-8> 문제 맥락의 하위요소별 CBAPS 정답률 ··· 56
<표 Ⅱ-2-9> ‘문제 설정’ 하위요소별 문제해결력 소양 결과 ··· 58
<표 Ⅱ-2-10> ‘문제 초점’ 하위요소별 문제해결력 소양 결과 ··· 60
<표 Ⅱ-2-15> 문제해결 과정과 성별에 따른 문제해결력 성취 ··· 70
<표 Ⅱ-2-16> 문항 유형별 CBAPS 정답률 ··· 72
<표 Ⅱ-2-17> 문항 유형별 문제해결력 소양 결과 ··· 74
<표 Ⅱ-3-1> 우리나라 학생의 PISA 2012 평가 영역 간 상관계수 ··· 76
<표 Ⅱ-3-2> PISA 2012 참여국의 문제해결력과 지필 수학․읽기․과학 간 관계 ··· 77
<표 Ⅱ-3-3> PISA 2012 문제해결력과 지필 수학․읽기․과학 영역의 상위수준 비율 ··· 80
<표 Ⅱ-3-4> 수학․읽기․과학 성취와 비교한 문제해결력의 상대적 성취 ··· 83
<표 Ⅲ-1-1> PISA 2012 수학 평가틀 ··· 93
<표 Ⅲ-1-2> PISA 2012 CBAM 문항군 구성 ··· 94
<표 Ⅲ-1-3> PISA 2012 CBAM 문항 정보 ··· 95
<표 Ⅲ-1-4> 문항 유형에 따른 PISA 2012 CBAM 문항 분포 ··· 97
<표 Ⅲ-2-1> PISA 2012 CBAM 평균과 백분위 점수 ··· 103
<표 Ⅲ-2-2> PISA 2012 CBAM과 수학 지필평가를 합산한 평균과 백분위 점수 ··· 107
<표 Ⅲ-2-3> 우리나라 PISA 2012 수학 평가 결과 ··· 108
<표 Ⅲ-2-4> 수학 성취수준별 성취 행동의 특성 ··· 108
<표 Ⅲ-2-5> PISA 2012 CBAM 성취수준별 비율 ··· 112
<표 Ⅲ-2-6> PISA 2012 남녀 학생의 CBAM 성취수준별 비율 ··· 115
<표 Ⅲ-2-7> PISA 2012 CBAM 문항 정답률(%) ··· 117
<표 Ⅲ-2-8> 맥락의 하위요소별 CBAM 정답률 ··· 118
<표 Ⅲ-2-9> 수학적 내용의 하위요소별 CBAM 정답률 ··· 119
<표 Ⅲ-2-10> 수학적 과정의 하위요소별 PISA 2012 CBAM 정답률 ··· 120
<표 Ⅲ-2-11> 우리나라 PISA 2012 CBAM과 수학 지필평가 상관계수 ··· 123
<표 Ⅲ-2-12> 우리나라 학생의 PISA 2012 CBAM과 수학 지필평가 간 성취수준별 분포 ··· 123
<표 Ⅲ-2-13> 우리나라 남학생의 PISA 2012 CBAM과 수학 지필평가 간 성취수준별 분포 ··· 124
<표 Ⅲ-2-14> 우리나라 여학생의 PISA 2012 CBAM과 수학 지필평가 간 성취수준별 분포 ··· 124
<표 Ⅳ-1-1> PISA 2012 읽기 평가틀 ··· 129
<표 Ⅳ-1-2> PISA 2012 DRA 문항군 구성 ··· 129
<표 Ⅳ-1-3> PISA 2012 DRA 문항 정보 ··· 130
<표 Ⅳ-1-4> 문항 유형에 따른 PISA 2012 DRA 문항 분포 ··· 132
<표 Ⅳ-2-1> 우리나라 학생들의 DRA 소양 점수 추이 ··· 136
<표 Ⅳ-2-2> PISA 2012 DRA 평균과 백분위 점수 ··· 138
<표 Ⅳ-2-3> PISA 2012 DRA와 읽기 지필평가를 합산한 평균과 백분위 점수 ··· 141
<표 Ⅳ-2-4> 우리나라의 PISA 2012 읽기 평가 결과 ··· 142
<표 Ⅳ-2-5> DRA 성취수준별 과제 특성 ··· 143
<표 Ⅳ-2-6> PISA 2012 DRA 성취수준별 비율 ··· 145
<표 Ⅳ-2-7> 우리나라 학생들의 DRA 소양 성취수준의 비율 변화 추이(%) ··· 147
<표 Ⅳ-2-8> PISA 2012 남녀 학생의 DRA 성취수준별 비율 ··· 148
<표 Ⅳ-2-9> PISA 2012 DRA 추이문항의 주기 간 정답률 차이 ··· 150
<표 Ⅳ-2-10> 읽기 상황의 하위요소별 DRA 정답률과 추이 ··· 151
<표 Ⅳ-2-11> 텍스트 체재의 하위요소별 DRA 정답률 ··· 153
<표 Ⅳ-2-12> 텍스트 유형의 하위요소별 DRA 정답률과 추이 ··· 154
<표 Ⅳ-2-13> 읽기 양상의 하위요소별 DRA 정답률과 추이 ··· 155
<표 Ⅳ-2-14> 우리나라 PISA 2012 DRA와 읽기 지필평가 상관계수 ··· 158
<표 Ⅳ-2-15> 우리나라 학생의 PISA 2012 DRA와 읽기 지필평가 간 성취수준별 분포 ··· 158
<표 Ⅳ-2-16> 우리나라 남학생의 PISA 2012 DRA와 읽기 지필평가 간 성취수준별 분포 ··· 159
<표 Ⅳ-2-17> 우리나라 여학생의 PISA 2012 DRA와 읽기 지필평가 간 성취수준별 분포 ··· 169
<표 Ⅴ-1-1> 문제해결 특성 설문조사 항목 ··· 163
<표 Ⅴ-2-1> ICT 관련 특성 설문조사 항목 ··· 170
<표 Ⅴ-2-2> ICT 기기 접근성에 대한 설문 문항 내용 ··· 171
<표 Ⅴ-2-3> 가정 및 학교의 ICT 기기 접근성 지수 ··· 172
<표 Ⅴ-2-4> 컴퓨터 보유 및 사용 여부에 따른 문제해결력 ··· 173
<표 Ⅴ-2-5> 가정에서 컴퓨터 사용 여부에 따른 영역별 성취 ··· 176
<표 Ⅴ-2-6> 컴퓨터 사용 관련 설문 문항 ··· 178
<표 Ⅴ-2-7> 학교 밖의 컴퓨터 사용 정도 지수 ··· 179
<표 Ⅴ-2-8> 학교에서의 컴퓨터 사용 정도 지수 ··· 180
<표 Ⅴ-2-9> 컴퓨터 관련 태도 설문 문항 ··· 182
<표 Ⅴ-2-10> 컴퓨터 관련 태도 지수 ··· 183
<표 Ⅴ-2-11> 우리나라 학생의 컴퓨터 태도 관련 지수와 CBA 영역별 점수 간 상관계수 ··· 184
<표 Ⅴ-3-1> 문제해결력과 수학․읽기․과학 점수의 학교 간 및 학교 내 차이 ··· 189
<표 Ⅴ-3-2> ESCS 지표에 의해 설명된 문제해결력, 수학․읽기․과학 점수의 분산 비율 ··· 192
<표 Ⅴ-3-3> ESCS 지표에 따른 문제해결력, 수학․읽기․과학 점수 차이 ··· 194
그림차례
[그림 Ⅰ-2-1] PISA 2012 교육맥락변인에 대한 개념 모형 ··· 10
[그림 Ⅰ-3-1] PISA 소양 척도, 성취수준, 문항 난이도의 관계 ··· 14
[그림 Ⅱ-1-1] CBAPS 평가틀의 하위요소별 문항 분포 ··· 26
[그림 Ⅱ-2-1] 주요 국가의 CBAPS 성취도 백분위 점수 ··· 29
[그림 Ⅱ-2-2] PISA 2012 CBAPS 백분위 점수 분포 ··· 30
[그림 Ⅱ-2-3] CBAPS 국가별 점수 평균과 성차 비교 ··· 34
[그림 Ⅱ-2-4] PISA 2012 참여국의 문제해결력 소양 성취수준별 분포 ··· 39
[그림 Ⅱ-2-5] PISA 2012 참여국의 문제해결력 상위수준 비율 ··· 40
[그림 Ⅱ-2-6] PISA 2012 우리나라 남녀 학생의 CBAPS 점수 분포 ··· 44
[그림 Ⅱ-2-7] PISA 2012 CBAPS 6수준 대표 문항: 로봇 청소기 - 문제 3(CP002Q06) ··· 48
[그림 Ⅱ-2-8] PISA 2012 CBAPS 5수준 대표 문항: 승차권 - 문제 2(CP038Q01) ··· 49
[그림 Ⅱ-2-9] PISA 2012 CBAPS 4수준 대표 문항: 승차권 - 문제 3(CP038Q03) ··· 50
[그림 Ⅱ-2-10] PISA 2012 CBAPS 3수준 대표 문항: 승차권 - 문제 1(CP038Q02) ···· 51
[그림 Ⅱ-2-11] PISA 2012 CBAPS 2수준 대표 문항: 교통량 - 문제 2(CP007Q02) ···· 52
[그림 Ⅱ-2-12] PISA 2012 CBAPS 1수준 대표 문항: 교통량 - 문제 3(CP007Q03) ···· 53
[그림 Ⅱ-2-13] PISA 2012 CBAPS 1수준 미만 대표 문항: 교통량 - 문제 1(CP007Q01) ··· 54
[그림 Ⅱ-2-14] 문제 맥락의 하위요소별 문항 정답률 분포 ··· 57
[그림 Ⅱ-2-15] 문제 상황 속성의 하위요소별 문항 정답률 분포 ··· 61
[그림 Ⅱ-2-16] 문제 상황 속성의 하위요소에 대한 국가별 상대적 성취 ··· 62
[그림 Ⅱ-2-21] 문항 유형의 하위요소별 문항 정답률 분포 ··· 72
[그림 Ⅱ-2-22] 문항 유형에 따른 국가별 상대적 성취 비교 ··· 73
[그림 Ⅱ-3-1] 문제해결력에 대한 지필 수학․읽기․과학 영역의 설명력 ··· 78
[그림 Ⅱ-3-2] 우리나라 학생의 문제해결력과 지필 수학․읽기․과학의 상위수준 비율 ··· 81
[그림 Ⅱ-3-3] 우리나라 학생의 문제해결력과 지필 수학․읽기․과학의 상위수준 중복 비율 ··· 82
[그림 Ⅱ-3-4] 문제해결력에서의 상대적 성취 ··· 84
[그림 Ⅱ-3-5] 수학 점수에 따른 문제해결력의 상대적 성취 패턴 ··· 86
[그림 Ⅱ-3-6] 문제해결력에 대한 남녀 학생의 상대적 성취 ··· 87
[그림 Ⅲ-1-1] PISA 2012 수학 소양의 모델 ··· 92
[그림 Ⅲ-1-2] 수학 평가틀에 따른 하위요소별 문항 분포 ··· 96
[그림 Ⅲ-1-3] PISA 2012 CBAM 예시 문항: CD 제작(CM015Q02) ··· 98
[그림 Ⅲ-1-4] PISA 2012 CBAM 예시 문항: 스타 포인트(CM020Q01) ··· 100
[그림 Ⅲ-1-5] PISA 2012 CBAM 예시 문항: 체질량 지수(CM038Q03) ··· 101
[그림 Ⅲ-2-1] CBAM 국가별 점수 평균과 성차 비교 ··· 104
[그림 Ⅲ-2-2] PISA 2012 CBAM 백분위 점수 분포 ··· 105
[그림 Ⅲ-2-3] PISA 2012 참여국의 CBAM 성취수준별 분포 ··· 113
[그림 Ⅲ-2-4] PISA 2012 우리나라 남녀 학생의 CBAM 점수 분포 ··· 116
[그림 Ⅲ-2-5] 맥락의 하위요소별 CBAM 정답률 분포 ··· 118
[그림 Ⅲ-2-6] 수학적 내용의 하위요소별 CBAM 정답률 분포 ··· 120
[그림 Ⅲ-2-7] 수학적 과정의 하위요소별 CBAM 정답률 분포 ··· 121
[그림 Ⅲ-2-8] PISA 2012 CBAM과 수학 지필평가 국제 비교 ··· 122
[그림 Ⅳ-1-1] 읽기 평가틀 하위요소에 따른 PISA 2012 DRA 문항 분포 ··· 131
[그림 Ⅳ-1-2] PISA 2012 DRA 예시 문항: 세랭 - 문제 1(CR002Q01) ··· 133
[그림 Ⅳ-1-3] PISA 2012 DRA 예시 문항: 세랭 - 문제 2(CR002Q03) ··· 134
[그림 Ⅳ-1-4] PISA 2012 DRA 예시 문항: 세랭 - 문제 3(CR002Q05) ··· 135
[그림 Ⅳ-2-1] DRA 국가별 점수 평균과 성차 비교 ··· 137
[그림 Ⅳ-2-2] PISA 2012 DRA 백분위 점수 분포 ··· 139
[그림 Ⅳ-2-3] PISA 2012 참여국의 DRA 성취수준별 분포 ··· 146
[그림 Ⅳ-2-4] PISA 2012 우리나라 남녀 학생의 DRA 점수 분포 ··· 149
[그림 Ⅳ-2-5] 읽기 상황의 하위요소별 DRA 정답률 분포 ··· 152
[그림 Ⅳ-2-6] 텍스트 체재의 하위요소별 DRA 정답률 분포 ··· 153
[그림 Ⅳ-2-7] 텍스트 유형의 하위요소별 DRA 정답률 분포 ··· 155
[그림 Ⅳ-2-8] 읽기 양상의 하위요소별 DRA 정답률 분포 ··· 156
[그림 Ⅳ-2-9] PISA 2012 DRA와 읽기 지필평가 국제 비교 ··· 157
[그림 Ⅴ-2-1] 가정에서의 컴퓨터 사용 여부에 따른 문제해결력 ··· 174
[그림 Ⅴ-2-2] 학교에서의 컴퓨터 사용 여부에 따른 문제해결력 ··· 175
[그림 Ⅴ-2-3] 가정에서 컴퓨터 사용 여부에 따른 문제해결력과 수학․읽기․과학 점수 차이 ··· 177
[그림 Ⅴ-2-4] 문제해결력에 대한 컴퓨터 활용 능력의 영향력 ··· 185
[그림 Ⅴ-2-5] 평가 방식에 따른 문제해결력의 상대적 성취 ··· 186
[그림 Ⅴ-3-1] PISA 2012 문제해결력 교육의 질과 형평성 ··· 187
[그림 Ⅴ-3-2] 문제해결력 점수의 학교 내 및 학교 간 차이 ··· 188
[그림 Ⅴ-3-3] 문제해결력과 수학 소양의 학교 간 차이 ··· 191
[그림 Ⅴ-3-4] 경제․사회․문화적 지위(ESCS) 지표의 문제해결력과 수학․읽기․과학 점수에 대한 영향력 ··· 193
[그림 Ⅵ-2-1] PISA 2012 컴퓨터 기반 평가 결과에 기반한 교육정책 대안 ··· 204
Ⅰ. 서론
1. 연구의 필요성 및 목적
2. PISA 2012 컴퓨터 기반 평가 개관 3. 연구 내용 및 방법
4. PISA 2012 컴퓨터 기반 평가의 주요 결과
1. 연구의 필요성 및 목적
최근 세계 각국에서는 21세기 인재에 필요한 역량이 규명 및 이에 맞는 교육 패러다임 의 변화를 모색해오고 있다(Griffin, et al., 2012). 우리나라도 새 정부가 출범하면서 융합교 육 강화를 통한 창의인재 육성을 국가 발전을 위해 중요한 교육 비전 중 하나로 제시하고 있다(미래창조과학부, 교육부, 고용노동부, 2013). 창의인재란 학교에서 배운 교과 지식을 습득하는 데서 머무르지 않고 이를 자신의 ‘꿈’과 ‘끼’에 맞게 실생활 맥락에서 활용, 융합 하여 새로운 지식을 창조해 낼 수 있는 역량이 있는 인재를 의미한다. 역량(competencies) 은 지식과 기술의 집합 개념으로서 개인의 여러 능력이 융합적으로 발현되는, 맥락 의존적 이며 실생활에서 활용 가능한 능력을 뜻한다(송미영 외, 2013b, p.1; Rychen & Salganik, 2003). 미래 사회 시민에게 필요한 지식 활용 능력을 평가하는 대표적인 역량 평가로 PISA(Programme for International Student Assessment)를 꼽을 수 있다. PISA의 평가틀 은 OECD에서 1997년부터 추진한 ‘핵심 역량의 정의 및 선정(Definition and Selection of Key Competencies; DeSeCo)’ 프로젝트(OECD, 2005)에서 규명된 역량과 밀접한 관련성을 맺고 있다(송미영 외, 2014a).
PISA는 대부분의 OECD(경제협력개발기구; Organization for Economic Co-operation and Development) 회원국에서 의무교육이 종료되는 만 15세 학생을 대상으로 수학․읽 기․과학 소양을 3년 주기로 평가한다. PISA에서의 소양(literacy)이란 학생들이 일상생활 에서 직면하는 다양한 상황에서의 문제를 해결하기 위해 지식과 기술을 활용할 수 있는 능 력이며, 이를 측정하기 위해 교과 내 및 교과 간 교육과정 지식을 직접적으로 평가하지 않 는다(송미영 외, 2013e, p.13; OECD, 2014b, p.24). 실제적인 상황과 맥락에서의 소양 및 문 제해결력을 중시하는 PISA의 기본적인 취지를 살려 매주기 평가 내용이나 방식 등의 개정 또는 추가하는 등의 변화를 통해 사회적․시대적 요구를 반영해 왔다. PISA 2006부터 PISA 2012까지 컴퓨터 기반 평가(Computer Based Assessment; 이하 CBA)를 부분적으로 도입해 왔으며, PISA 2003과 PISA 2012에는 문제해결력에 대한 평가가 실시되었다(조지 민 외, 2012). PISA 2015 주기에는 미래 지식정보화 사회가 요구하는 ICT 기술과 협력 및 문제해결력에 대한 중요성을 반영하여 이전 주기까지의 지필평가(Paper Based Assessment;
이하 PBA)를 컴퓨터 기반 평가(CBA)로 전면 전환하고 협력적 문제해결력(Collaborative
과를 국제적 잣대로 가늠할 필요성에 대한 인식 확대로 PISA 참여국 수는 점차 증가하여 6주기 PISA 2015에는 71개국이 참여할 예정이다. 우리나라는 PISA 첫 주기부터 현재 진 행 중인 PISA 2015까지 지속적으로 참여하고 있으며, 지난 15년 간 PISA 참여를 통해 학 교교육의 성과를 국제적인 수준에서 모니터링하고 다른 국가들과 비교․분석함으로써 국 제화 사회에서 우리 교육의 경쟁력을 점검하고 강화할 수 있는 계기를 마련하였다.
그동안 PISA 결과는 우리나라의 교육 경쟁력 제고를 위한 교육 개선에 적극 반영되어 왔다. 예를 들어 PISA 2006에 과학 성취도의 하락으로 ‘창의적 인재 육성을 위한 초․중등 과학교육 내실화 계획(교육인적자원부, 2007)’을 추진, 과학중점학교 지정 및 확대, 여학생 친화적인 교수학습 정책 등이 강화되었으며, 그 이후 PISA 2009에서 성취도가 향상되었 고, 특히 여학생의 성취도 향상이 두드러졌다(김경희 외, 2010b). 국제비교 연구 결과의 영 향을 받아 수학과 교육과정에서는 수학의 가치 제고와 정의적 측면을 강조하고, 새로운 평 가 문항으로 PISA 문항을 예시한 바 있다(교육과학기술부, 2008a, p.38; 2008b, p.74). 뿐만 아니라 국제적으로 우리나라 학생의 수학 성취도는 높은 반면 학습동기가 낮게 나타나,
‘수학교육 선진화 방안(교육과학기술부, 2012)’을 통해 수학에 대한 흥미와 긍정적 인식을 높이기 위한 정책을 추진하고 있다. PISA 읽기 평가는 우리나라 중․고등학생이 참여하고 있는 유일한 국제 읽기 평가로, 김경희 외(2010a)와 조지민 외(2011b) 등의 연구에서 이루 어진 PISA 읽기 평가틀과 결과에 대한 다양한 분석을 통해 국어과 교육 개선에 중요한 기 초 자료를 제공해 오고 있다.
PISA 2000 이후 PISA 2012까지 우리나라 학생들의 성취도 변화 추이를 파악하고 이를 국제적으로 비교하기 위한 자료가 수집, 축적되었다. 3년 주기로 본검사를 시행하는 PISA 연구는 OECD, 참여국, 연구연합체의 유기적인 협조 하에 평가 계획부터 결과 보고까지 일 련의 과정이 이루어지며, PISA 국제본부(이하 국제본부)와 참여국의 협약에 따라 PISA의 한 주기에 대한 연구 활동은 4～5년 단위로 진행된다. 이러한 일정에 따라 올해(2014년)는 PISA 2012 결과에 대한 심층 분석과 PISA 2015 예비검사 시행 및 분석이 동시에 진행되 었다.
PISA 2012 주기에 대한 연구 진행 과정을 살펴보면, <표 Ⅰ-1-1>에 제시된 바와 같이 PISA 2012 연구 첫해인 2010년에는 주영역인 수학과 문제해결력 평가 문항, 배경변인을 조사하기 위한 설문 문항(학생, 학교장, 학부모 설문)을 개발하였고, 2011년에는 PISA 2012 예비검사를, 2012년에는 PISA 2012 본검사를 시행하였으며(조지민 외, 2011a; 2012), 2013년에는 수학․읽기․과학 지필평가의 국제비교 결과를 발표하였다(송미영 외, 2013c, 한국교육과정평가원, 2013.12.3., OECD, 2013a). 올해에는 PISA 2012의 컴퓨터 기반 문제 해결력 평가 자료를 분석하여 국제비교 결과를 발표함(한국교육과정평가원, 2014.4.1.)과
동시에 문제해결력․수학․읽기를 포함한 컴퓨터 기반 평가 결과를 비교․분석하였다. 뿐 만 아니라 2013년 12월에 발표된 PISA 2012 지필평가의 우리나라 결과를 중심으로 수학․
읽기․과학 영역의 성취 특성 및 교육맥락 배경변인들과의 관계에 대한 심층분석도 수행 하였다.
<표 Ⅰ-1-1> PISA 2012의 연차별 연구 내용
연도 PISA 2012
2010 ∙수학 및 문제해결력 문항 개발․검토
∙설문 문항 개발․검토
2011
∙예비검사 준비
∙예비검사 시행 및 결과 분석
∙예비검사 시행 보고서(조지민 외, 2011a) 작성 2012 ∙본검사 준비 및 시행
∙본검사 시행 보고서(조지민 외, 2012) 작성
2013
∙본검사 자료 검증 및 결과 분석
∙수학․읽기․과학 국제비교 결과 발표
∙결과 보고서(송미영 외, 2013c) 작성
20141)
∙수학․읽기․과학 지필평가 결과 심층연구 (국내 독자 연구)
∙컴퓨터 기반 문제해결력 평가 결과 분석 및 국제비교 결과 발표
∙컴퓨터 기반 문제해결력․수학․읽기 평가 결과 분석 (국내 독자 연구)
∙결과 보고서 2종 작성 2015 ∙심층연구 (국내 독자 연구)
* 국제본부와의 협약에 의해 상기 일정으로 진행되며, 국제본부의 결정에 따라 연구 일정은 변동 가능함.
따라서 PISA 2012와 관련된 2014년 주요 일정은 컴퓨터 기반 평가(CBA) 결과의 국제비 교 분석 및 지필평가 결과의 심층분석으로서, 본 보고서는 지식정보화 사회의 중심에 있는 ICT를 활용한 역량 평가인 PISA 2012 컴퓨터 기반 평가 결과를 중심으로 다루며, 연구의 목적을 구체적으로 기술하면 다음과 같다. PISA 2012에 실시된 컴퓨터 기반의 문제해결력 (Computer-Based Assessment of Problem Solving; 이하 CBAPS)․읽기(Digital Reading Assessment; 이하 DRA)․수학(Computer-Based Assessment in Mathematics; 이하 CBAM)
기반 평가 환경에서의 문제해결력(CBAPS), 수학(CBAM), 읽기(DRA) 소양이 국제적인 수 준에서 어떠한지를 파악하였다. 또한 문제해결력과 다른 소양 점수 간 관계 및 ICT 관련 교육맥락변인들과의 관계를 분석하여 ICT 기반의 역량 평가에 나타난 우리나라 학생들의 성취 특성을 면밀히 살펴봄으로써 21세기에 요구되는 글로벌 창의융합인재 양성을 위한 교육적 시사점을 도출하고자 하였다.
2. PISA 2012 컴퓨터 기반 평가 개관
가. PISA의 컴퓨터 기반 평가
실생활 소양을 강조하는 PISA에서는 ICT의 활용이 증가하고 있는 현실을 반영하여 컴 퓨터 기반 평가(CBA)를 도입하여 부분적으로 시행해 왔다. 컴퓨터와 인터넷, 스마트 기기 의 활용이 빈번한 환경에서 당면하는 문제 상황에 교과 지식을 적용하고 문제를 해결하는 역량이 요구되기 때문에 정보화 사회에 요구되는 역량 평가 방안으로 CBA가 도입되었다.
PISA 2006부터 도입된 CBA는 PISA 2012까지 수학․읽기․과학 영역의 지필평가(PBA) 에 추가하여 일부 영역에 한해 시행되어 왔다. 과학이 주영역2)이었던 PISA 2006에는 컴퓨 터 기반 과학 평가(Computer Based Assessment in Science; 이하 CBAS; 이미경 외, 2006), 읽기가 주영역이었던 PISA 2009에는 디지털 읽기 평가(DRA; 김경희 외, 2009)가 실시되었다. 수학이 주영역인 PISA 2012에는 컴퓨터 기반 수학 평가(CBAM)와 컴퓨터 기 반 문제해결력 평가(CBAPS)를 각각 최초로 실시하였고, PISA 2009에 도입한 디지털 읽 기 평가(DRA)도 실시하였다(조지민 외, 2012).
정보화 환경의 변화를 반영하여 컴퓨터 기반 평가(CBA)의 적용 범위를 확대하여 PISA 2015에서는 모든 영역에 CBA를 적용할 예정이다. <표 Ⅰ-2-1>에서 보듯이 PISA 2006부 터 PISA 2012까지는 PBA와 별도로 CBA를 추가 실시하고 학생들의 소양 수준과 추이는 PBA 결과로 파악해 왔으나, PISA 2015에서는 평가 방식을 전면 전환하여 PBA 대신 CBA 를 시행한다.
2) PISA는 3년을 주기로 평가하되, 주기별로 주영역과 보조영역을 설정하고, 각 주기마다 수학․읽기․과 학 중에서 순환적으로 주영역을 설정하여 심층 평가함. 이러한 설계에 따라 PISA 2000과 PISA 2009는 읽기가 주영역, PISA 2003과 PISA 2012는 수학이 주영역, PISA 2006과 PISA 2015는 과학이 주영역이 며, 특정 영역에 대한 심층적 평가는 9년마다 이루어짐. 주영역에 대해서만 이전 주기의 평가틀을 기반 으로 새로운 평가틀을 개발하고 새로운 문항을 개발하여 해당 영역의 소양을 보조영역보다 더 많은 수 의 문항으로 검사도구를 구성하고, 설문 조사도구도 주영역을 중심으로 구성하여 주영역에 대한 학생 들의 인식 및 교육맥락을 상세히 파악할 수 있도록 함.
<표 Ⅰ-2-1> PISA 2006—PISA 2015의 컴퓨터 기반 평가 영역
주기 컴퓨터 기반 평가(CBA) 지필평가(PBA)와 비교
PISA 2006 CBAS(과학)
- 수학․읽기․과학의 PBA에 부가적 으로 CBA가 시행됨.
- 두 평가 방식에 사용된 평가도구는 다 른 문항으로 구성함.
PISA 2009 DRA(읽기)
PISA 2012 CBAM(수학), CBAPS(문제해결력), DRA(읽기)
PISA 2015 수학․읽기․과학 협력적 문제해결력 - 추이문항은 PBA와 동일함.
- PBA를 CBA로 전환함.
나. PISA 2012 평가틀과 평가도구
3)PISA 2012에 실시된 평가 방식을 영역별로 살펴보면, <표 Ⅰ-2-2>에 제시된 바와 같이 주영역인 수학은 지필평가와 CBAM, 보조영역 중에서 읽기는 지필평가와 DRA가 각각 실 시되었고, 과학은 지필평가만 실시되었으며, 문제해결력에 대해서는 컴퓨터 기반 평가 (CBAPS)가 실시되었다. 이와 함께 학생, 학부모, 학교장 대상의 설문 조사도 실시되었다.
이 절에서는 CBA 평가도구와 교육맥락변인 조사도구의 설계 및 특징에 대해 기술하였다.
평가 영역 평가 방식
지필평가(PBA) 컴퓨터 기반 평가(CBA) 비고
주영역 수학 ◎ ◎ CBAM: 최초 시행
보조 영역
읽기 ◎ ◎ DRA: PISA 2009에 이어 두 번째 시행
과학 ◎ －
문제해결력 － ◎ CBAPS: 최초 시행
◎ : 시행함, — : 시행하지 않음.
∙CBAM: Computer-Based Assessment in Mathematics (컴퓨터 기반 수학 평가)
∙DRA: Digital Reading Assessment (디지털 읽기 평가)
∙CBAPS: Computer-Based Assessment of Problem Solving (컴퓨터 기반 문제해결력 평가)
※ PISA 2012의 문제해결력은 PISA 2003에 지필평가(PBA; Paper-based assessment)로 시행된 문제해 결력의 정의와 차이 있음.
<표 Ⅰ-2-2> PISA 2012 본검사 평가 영역과 평가 방식
* 출처: 조지민 외(2012, p.19)를 수정함.
(1) 컴퓨터 기반 평가도구
PISA는 수학․읽기․과학 영역 내의 개념을 이해하고 습득한 지식을 활용하여 실제 생 활에서 접할 수 있는 다양한 상황과 맥락에서 문제를 해결하는 능력의 평가를 강조한다.
이러한 평가를 위하여 지식, 과정, 상황이라는 세 차원으로 이루어진 평가틀을 설계하되, 평가 영역의 특성을 반영하여 영역에 따라 차원을 구체화하고 하위요소를 구성한다. 평가 틀의 축을 이루는 세 차원의 의미는 영역에 따라 다소 차이가 있지만 공통적인 의미는 각 각 다음과 같다. 먼저 ‘지식’은 문제해결에 필요한 개념, ‘과정’은 문제해결을 수행하는 인지 과정, ‘상황’은 지식과 인지 과정이 적용되는 상황과 맥락을 의미한다. PISA 2012에 실시된 컴퓨터 기반 평가(CBA), 즉 CBAPS, CBAM, DRA에서 평가하는 각 소양의 정의 및 평가 틀4)의 차원과 하위요소에 대해서는 각각 Ⅱ, Ⅲ, Ⅳ장에 상세히 기술되어 있다. CBA 평가 도구는 PBA 평가도구에 포함된 문항들과 다른 문항들로 구성되지만 동일 영역 내의 평가 틀은 CBA와 PBA에 거의 동일하게 적용된다. 예를 들어 수학 영역의 경우, CBAM 평가도 구는 수학 지필평가 검사지와 그 평가틀을 공유한다.
PISA 2012의 평가틀을 기초로 개발된 CBA 평가도구는 24종의 검사형(form)으로, 한 검 사형은 2개의 문항군으로 이루어져 있다. 문항군은 동일한 주제에 대한 몇 개의 하위문항 으로 구성된 단위문항의 묶음을 가리킨다. <표 Ⅰ-2-3>과 같이 행렬표집설계(matrix 4) 본 보고서의 주요 내용은 컴퓨터 기반 평가 결과에 대한 것이므로, PISA 2012에 지필평가만 실시된 과
학 평가틀은 본 보고서에서 다루지 않음.
sampling design)에 의해 구성된 각 검사형은 동일한 영역에 대한 문항군으로만 구성된 것 도 있고(예: 검사형 41, 검사형 42, 검사형 43 등), 세 영역 중 2개 영역의 문항군으로 구성 된 것도 있다(예: 검사형 44, 검사형 45 등).
검사형 (form)
문항군 구성 검사형
(form)
문항군 구성 검사형
(form)
문항군 구성
문항군 1 문항군 2 문항군 1 문항군 2 문항군 1 문항군 2
41 CP1 CP2 49 CP3 CP4 57 CR2 CP3
42 CR1 CR2 50 CM4 CR2 58 CM2 CR1
43 CM3 CM4 51 CP1 CM3 59 CP2 CP3
44 CP3 CR1 52 CR1 CP2 60 CM4 CM2
45 CR2 CM2 53 CM1 CM3 61 CR2 CR1
46 CM1 CP4 54 CP4 CP1 62 CM3 CP1
47 CR2 CR1 55 CR1 CR2 63 CR1 CM1
48 CM2 CM1 56 CP2 CM4 64 CP4 CR2
<표 Ⅰ-2-3> PISA 2012 컴퓨터 기반 평가도구 설계
※ CP1-CP4: CBAPS 문항군, CM1-CM4: CBAM 문항군, CR1-CR2: DRA 문항군
* 출처: 조지민 외(2012, p.49)을 수정함.
전체적으로 총 10개의 문항군(단위문항 37개, 하위문항 102개)으로 행렬표집설계에 의해 CBA 검사형 24종이 구성되었다. 평가 영역별로 포함된 문항군을 살펴보면, CBAPS은 CP1～CP4의 문항군 4개(단위문항 16개, 하위문항 42개), CBAM은 CM1～CM4의 문항군 4개(단위문항 15개, 하위문항 41개), DRA는 CR1～CR2의 문항군 2개(단위문항 6개, 하위 문항 19개)가 CBA 평가도구에 포함된다. 한 문항군을 푸는 데에는 20분 정도 소요되며, 한 검사형의 풀이 소요시간은 약 40분이다.
컴퓨터 기반 평가(CBA)에서는 다음과 같이 다양한 유형의 문항을 활용함으로써 지필평 가(PBA)로는 제약이 있는 주요한 능력의 측정이 가능하다. DRA 문항은 인터넷에서 흔히 접하는 하이퍼링크 구조의 복합적인 자료로 구성되었으며(김경희 외, 2009), CBAM과 CBAPS 문항에서는 학생들이 애니메이션이나 스프레드시트 프로그램을 조작하여 모의실 험을 통해 필요한 정보나 그래프를 구성하며 문제를 해결해가는 문항이 제시되었다(조지
적․비인지적 성과를 설명하기 위해 교육맥락 정보를 수집한다. 학생의 문제해결력 및 소 양 평가와 더불어 학생, 학교장, 학부모 대상의 설문을 통해 학생과 학교의 배경과 여건, 학습이 이루어지는 맥락과 관련된 다양한 정보를 조사한다. 학생의 문제해결력이나 소양 과 교육맥락변인 정보를 서로 관련지어 분석함으로써 학생의 인지적 성취의 차이가 교육 체제, 학교 자원, 개인 배경과 성향 등의 차이에 의해 설명될 수 있는지를 파악할 수 있다.
학생의 성취는 학교 활동의 결과이며, 개인적인 배경이나 다른 자원의 영향을 받는다고 보고, PISA 2012에서는 학생들의 성취를 설명하는 요인들이 크게 전제(투입), 과정, 성과 의 기본 구조를 가지는 것으로 정의하고, [그림 Ⅰ-2-1]과 같은 개념 모형에 따라서 교육 맥락변인 평가틀과 설문 조사도구를 구성하였다(김경희 외, 2010a; 송미영 외, 2013c).
* 출처: 김경희 외(2010a, p.9), 송미영 외(2013c, p.9)를 수정함.
[그림 Ⅰ-2-1] PISA 2012 교육맥락변인에 대한 개념 모형
[그림 Ⅰ-2-1]과 같은 구조의 개념 모형은 1960년대에 IEA(국제교육성취도평가협회;
International Association for the Evaluation of Educational Achievement)에 의해 개발된 모형을 개정하여 PISA 2012에서 수집된 변인들에 대한 기본 구조를 나타낸 것이다 (OECD, 2013a). 교육 성과와 관련 있는 맥락 변인은 크게 전제와 과정으로 구분되는데, 전 제는 학생 개인의 사회경제적 배경이나 가족의 특성이나 지원, 학교의 구조적 요소들이 해 당되며, 과정은 주로 교수학습 활동과 관련된 것으로 정규 수업시간 외의 각종 프로그램 참여, 학교생활 적응, 학습 동기, 학습 전략, 학습 시간 등을 가리키며 정책 실천 등도 포함 된다. 성과로는 인지적 성취에 해당하는 영역별 소양과 정의적 성취에 해당하는 인지적 성 취 관련 태도와 교육 기대 등을 들 수 있다.
학생의 성취에는 단지 학교에서뿐만 아니라 가정에서의 여러 경험도 영향을 주므로, 학 생․학교 설문 이외에 교육경험․ICT․학부모 설문도 선택 사항으로 구성되어 있다. 우리 나라는 ICT 설문을 선택하여 학교 및 가정에서의 컴퓨터 활용 가능성(접근성)과 사용 정 도, 그리고 컴퓨터 관련 태도 등을 조사하였다. PISA 2012에 우리나라는 학생 설문 3종(A, B, C형; 교육경험․ICT 설문 문항은 각 유형의 학생 설문 뒤에 포함하여 구성함)과 학교 설문 1종, 학부모 설문 1종으로 교육맥락 정보를 조사하였다(조지민 외, 2012). 교육맥락변 인 조사를 위한 설문 문항은 PISA 웹사이트(http://pisa2012.acer.edu.au/downloads.php)와 조지민 외(2012)에 제시되어 있다.
다. PISA 2012 본검사 시행 및 채점
5)PISA 2012에 실시된 컴퓨터 기반 평가(CBA)는 선택 사항이므로 전체 참여국 중에서 희 망하는 국가만 참여하였다. PISA 2012에 참여하여 결과를 산출한 국가는 65개 국가이며, 이 중 CBAPS에는 44개국(OECD 28개국, 비회원국 16개국)이, CBAM과 DRA에는 32개국 (OECD 23개국, 비회원국 9개국)이 참여하였다(<표 Ⅰ-2-4> 참조).
OECD 회원국 비 OECD 회원국
호주 헝가리 노르웨이
오스트리아 아이슬란드 폴란드
벨기에 아일랜드 포르투갈
캐나다 이스라엘 슬로바키아
칠레 이탈리아 슬로베니아
체코* 일본 스페인
덴마크 대한민국 스웨덴
핀란드* 룩셈부르크 스위스
프랑스 멕시코 터키*
독일 네덜란드* 영국*
그리스 뉴질랜드 미국
에스토니아
알바니아 요르단 카타르
아르헨티나 카자흐스탄 루마니아
브라질 라트비아 러시아
불가리아* 키프로스* 세르비아*
대만 리투아니아 상하이-중국
콜롬비아 리히텐슈타인 싱가포르
코스타리카 마카오-중국 태국
크로아티아* 말레이시아* 튀니지 아랍에미리트 몬테니그로* 우루과이*
홍콩-중국 페루 베트남
인도네시아
※ 상기 국가는 PISA 2012 전체 참여국으로, CBA 참여국가(44개국; OECD 회원국 28개국 ＋ 비회원국 16
<표 Ⅰ-2-4> PISA 2012 전체 참여국의 컴퓨터 기반 평가 참여 현황
PISA 모집단은 만 15세 학생들로서, 우리나라의 경우 대부분 중학교 3학년과 고등학교 1학년 학생들이었다. 전형적으로 각 참여국은 모집단에 해당하는 학생 중 4,500～10,000명 학생을 최소 150개 학교에서 표집하여 평가를 시행한다. 우리나라는 국제본부의 엄격한 지 침에 따라 2단계 층화표집 설계에 의해 국제본부 연구연합체 중의 하나인 Westat에서 156 개 학교(중학교 16개교, 고등학교 140개교)를 표집한 다음, PISA의 평가대상 표집 프로그 램인 KeyQuest를 활용하여 5,201명의 학생(중학생 319명, 고등학생 4,882명)을 표집하였다 (조지민 외, 2012). 표집된 전체 학생들에게 지필평가(PBA)를 실시하였으며, CBA는 이 중 에서 무선적으로 선정된 2,780명을 대상으로 실시하였다. 국제적으로는 PISA 2012에 전체 65개국에서 약 510,000명이 PISA 2012에 참여하였다(OECD, 2014b, p.26).
우리나라에서는 2012년 5월 21일(월)부터 6월 2일(토)까지 PISA 2012 본검사가 시행되 었고, 모든 표집학교에서 PBA를 먼저 시행한 후에 이어서 CBA를 실시하였다. CBA 시행 에는 문항 풀이 40분에 사전 준비와 설명, 수거 및 정리 시간을 포함하여 총 1시간 30분 가 량 소요되었다. CBA 평가도구에 포함된 구성형 문항은 15문항으로 CBAPS 6문항, CBAM 4문항, DRA 5문항이었으며, 구성형 문항 중 자동 채점 가능한 문항을 제외한 문항에 대한 응답은 전문가들이 채점하였는데, 이는 온라인 채점 시스템(Online Coding System; OCS) 을 통해 이루어졌다. PBA 경우 학생들이 작성한 답안을 별도로 스캔하여 저장한 이미지 파일을 OCS에 탑재한 반면, CBA에서 학생들이 컴퓨터에 입력한 답안은 파일로 저장되어 OCS에 탑재하였다. 채점기준에 대한 연수와 채점 과정에 대한 모니터링을 통해 채점이 원 활하고 정확하게 진행되도록 하였다. 복수 채점 대상 문항에 대해 채점자 간 점수가 불일 치할수록 큰 값을 갖는 신뢰도 지수가 OCS에서 자동으로 계산되며, 채점신뢰도 지수가 국 제본부의 기준값보다 클 경우 해당 문항은 재채점하여 채점 신뢰도를 점검․확보하였다.
채점이 종료된 후, 국제본부와 협력하여 여러 차례의 데이터 점검 절차를 통하여 5,033명 의 결과 분석을 위한 자료를 표집 가중치를 적용하여 검증하였다.
3. 연구 내용 및 방법
PISA 2012에 참여한 각 국가의 결과를 OECD에서는 총 6권의 국제비교 결과보고서에 수록하여 발간하였다.6) 제1권에서 제4권은 수학․읽기․과학 지필평가 결과에 대한 것으
6) OECD에서 발간하는 PISA 2012 국제비교 결과보고서 총 6권의 전자문서(pdf 형식)는 PISA 웹사이트 (http://www.oecd.org/pisa/keyfindings/pisa-2012-results.htm)에 게시되어 있으며, 각 보고서의 주요 내용은 송미영 외(2013c, p.20)에 제시되어 있음.
로 2013년 12월에 발간하였고, 2014년 4월에 발간된 제5권은 컴퓨터 기반 문제해결력 평가 의 결과를 주요 내용으로 하며, 7월에 발간된 제6권은 우리나라는 참여하지 않은 경제금융 소양 결과를 다루고 있다. OECD에서 발간한 국제비교 보고서 제1권에서 제4권의 내용을 중심으로 한 우리나라 학생들의 수학․읽기․과학 지필평가 결과에 대한 국제비교 분석 결과와 더불어 문항 수준에서의 수행 등을 분석하여 국내 보고서(송미영 외, 2013c)를 발 간하였다.
이 연구에서는 OECD의 국제비교 보고서 제1권의 부록표(OECD, 2014b)와 제5권(OECD, 2014a)의 내용을 중심으로 컴퓨터 기반 평가 결과를 국제수준에서 다각도로 비교하고, 뿐 만 아니라 문항 수준의 분석과 ICT 지표의 비교 및 영역별 소양과의 관계, 컴퓨터 기반 평 가(CBA)와 지필평가(PBA) 점수 비교 등 우리나라 독자적인 추가 분석을 통해 우리나라 의 교육성과와 학생들의 특성을 파악하였다. CBAM과 DRA 결과는 참여국별 평균점수와 성취수준 비율 등에 대한 표만 국제 보고서에 제시되어 있을 뿐이고, CBAPS을 비롯하여 CBAM과 DRA의 문항 분석 결과와 컴퓨터 기반 평가와 관련있는 ICT 지표에 대한 내용 은 국제 보고서에서 다루고 있지 않다. 이 절에서는 PISA 2012 컴퓨터 기반 평가에 나타 난 우리나라 학생들의 성취 특성과 교육성과를 파악하기 위한 본 연구의 분석 내용을 기술 하고, 국제비교 주요 결과를 개관하는 차원에서 OECD 회원국의 순위와 전체 참여국의 순 위를 제시하였다.
PISA에 참여한 각 국가의 순위는 PISA 점수(plausible value)를 활용하여 산출되는데, PISA 점수는 본검사 시행 결과 자료의 검증 후에 문항반응이론(Item Response Theory)의 1-모수 로지스틱 모형과 부분 점수모형에 의한 척도화를 거쳐 산출된다. PISA는 표본 조 사이므로 국가별 평균점수는 오차를 포함하고 있기 때문에, OECD는 PISA 2006부터 95%
신뢰수준에서 국가별 최고 등수와 최하 등수를 추정하여 국가별 점수 평균에 대한 순위를 제공하고 있다. 단, OECD에서 PISA 2012 CBAM과 DRA에 대한 국가별 순위 정보는 산 출하지 않았다. PISA 점수는 평균 500점, 표준편차 100점의 척도점수이며, 이 점수에 따라 성취수준을 구분하고 각 수준의 특성을 제공하는데, 이를 기준으로 영역별 성취도를 해석 하게 된다.
이 연구에서는 PISA 2012 CBA 점수와 성취수준을 활용하여 CBAPS, CBAM, DRA 성 취도 점수의 평균, 성취수준별 학생 비율, 백분위(percentile) 점수를 통해 영역별로 참여국
한 특징을 파악하고자 하였다. 또한 PISA 2009에도 시행된 DRA에 대해서는 주기별 (’09-’12) 결과를 비교하여 디지털 환경에서의 읽기 소양의 추이 변화를 파악하는 것도 중 요한 분석 내용이다. 두 주기 간 공유하는 추이문항에 기초하여 각 주기의 점수는 연계되 어 있으므로, DRA 점수의 평균을 주기별로 비교하여 추이 변화를 파악하였다.
* 출처: 송미영 외(2013d, p.12에서 재인용), OECD(2010a, p.46; 2014a, p.49)를 토대로 재구성함.
[그림 Ⅰ-3-1] PISA 소양 척도, 성취수준, 문항 난이도의 관계
전체적인 성취도에 대한 참여국 간, 남녀 학생 간, 평가 방식 간, 주기 간 비교 분석 결과 와 더불어 학생들의 수행 정도를 문항 수준에서도 파악하여 각 영역의 CBA 성취도를 보 다 상세히 분석하였다. 개별 문항의 정답률, 평가틀 하위요소별 정답률 등의 통계적인 특 성 분석과 국제본부에서 공개하는 문항에 한해서 내용 특성에 대한 질적 분석이 이루어졌 다. [그림 Ⅰ-3-1]에서 보듯이 문항반응이론에 의한 척도화를 통해 학생들의 점수와 문항 난이도가 동일한 척도(single continuum) 상에 위치하므로 해당 문항의 난이도가 성취수준 중에서 어느 수준에 해당되는지 연결할 수 있다(송미영 외, 2013d). 특히 문제해결력 성취 수준별 특성에 대한 이해를 돕기 위하여 성취수준별 대표 문항의 내용, 평가틀의 하위요소, 문항 유형, 정답률 등의 정보를 제시하였다. 각 영역의 개별 문항에 대해서는 우리나라 학
생의 문항 정답률을 국제 평균 정답률과 비교할 수 있도록 함께 제시하였다.
또한 ICT와 관련된 변인을 비롯한 교육맥락변인과 성취도의 관계 분석, CBA로 실시된 컴퓨터 기반 문제해결력 평가(CBAPS), 컴퓨터 기반 수학 평가(CBAM), 디지털 읽기 평가 (DRA) 점수 및 PBA로 실시된 수학․읽기․과학 영역의 점수 간 관계 분석도 이루어졌다.
교육맥락변인은 앞서 기술한 바와 같이 학생, 학교, 학부모 설문 조사를 통해 수집되었으 며, 학생의 문제해결에 대한 정의적 특성, ICT와 관련된 특성, 사회경제적 배경 등에 대한 지표7)를 산출하고 성취도와의 관련성을 파악하였다.
마지막으로 이상에서 기술한 내용의 분석 결과로부터 교육적 시사점을 도출하고 전문가 들의 의견 수렴을 토대로 우리나라 학생들의 역량 신장을 위한 교육 지원 전략에 대해 제 언하였다. 본 연구의 분석 결과는 컴퓨터 기반 문제해결력 평가(CBAPS), 컴퓨터 기반 수 학 평가(CBAM), 디지털 읽기 평가(DRA), 그리고 교육맥락변인과의 관계로 나누어 각각
Ⅱ장부터 Ⅴ장에서 상세히 다루고, 이에 기반하여 도출한 시사점과 정책 제언은 Ⅵ장에 기 술하였다.
4. PISA 2012 컴퓨터 기반 평가의 주요 결과
먼저 PISA 2012의 전체 평가 영역에 대한 우리나라 학생들의 성취 결과를 <표 Ⅰ -4-1>에 정리하였다. 우리나라는 지필평가(PBA)에 참여한 65개 국가 중에서 읽기 3～5위, 수학 3～5위, 과학 5～8위, CBAPS는 44개 국가 중에서 1～2위, 공식적인 순위가 발표되지 않은 CBAM과 DRA는 32개 참여국 중에서 각각 3번째, 2번째로 높은 점수를 획득하였다.
이와 같이 우리나라 학생들은 PISA 2012에서 평가 방식과 평가 영역에 관계없이 국제적으 로 최상위수준의 성취를 보였다.
