OECD 국제 학업성취도 평가 연구
: PISA 2015예비검사시행결과 보고서
연구보고 RRE 2014-4-3 발 행 일 2014년 12월 31일 발 행 인 조 난 심
발 행 처 한국교육과정평가원
주 소 서울 중구 정동길 21-15 정동빌딩 전 화 (02)3704-3704
팩 스 (02)730-7487 홈페이지 http://www.kice.re.kr
인쇄업체 사회문화&세무정보사(02-2263-0523) I S B N 978-89-6687-970-0 94370 978-89-6687-967-0 94370(세트)
※ 본 자료 내용의 무단 복제를 금함
연구협력진
협력진
강태훈(성신여대) 민보경(동대부여고) 이승희(능곡중)
권영일(교육부) 박준용(두일중) 이신영(송라중)
길혜지(서울대) 박지현(KICE) 이진경(혜화여고)
김기연(성수고) 박찬호(계명대) 이혜인(인왕중)
김미영(KICE) 배제성(성균관대) 장수길(서울시교육연수원)
김부미(원광대) 백혜선(경인교대) 전경희(KICE)
김소현(용호고) 변정희(서울대) 정행남(선유중)
김수진(KICE) 상경아(KICE) 최인엽(교육부)
김영은(이화여대) 신명경(경인교대) 최혁준(한국교원대)
김윤민(신라대) 심규철(공주대) 최흥재(교육부)
김지연(이화여대) 심수경(고양국제고) 하윤홍(서울중앙고)
김지영(둔촌중) 여은영(인천영종고) 홍승희(한성과학고)
김진희(이화여대) 옥현진(이화여대) 홍은숙(인천교육과학연구원)
맹승호(서울대) 이민희(충남대)
(이상 가나다 순)
머리말
OECD에서 주관하는 PISA(Programme for International Student Assessment; 이하 PISA) 연구는 주기를 거듭하면서 새로운 평가영역과 방법을 도입함으로써 각국의 교육성 과에 대한 시사점과 함께 미래 교육의 방향을 선도하고자 합니다. OECD 회원국과 협력국 은 PISA 연구 결과에 터하여 학업성취도 변화 추이뿐 아니라 각국의 교육체제, 맥락과 학 업성취도와의 관계 분석을 통하여 실증적 데이터 기반의 교육정책을 수립하고 있습니다.
21세기 역량 교육에 대한 세계적인 관심 증대와 맞물려 PISA 2015에서는 협력적 상황 에서 개인적 문제해결력을 평가하는 협력적 문제해결력 영역을 도입하고, 컴퓨터 기반의 상호작용, 시뮬레이션 등의 기능을 활용함으로써 다양한 문항형태로 폭넓은 내용과 영역 을 평가하게 됩니다. 또한 PISA 2015는 주영역인 과학을 포함하여, 읽기, 수학, 협력적 문 제해결력 등 전 영역을 지필평가에서 컴퓨터 기반 평가로 전환하여 시행할 것입니다. 따라 서 금년 시행한 예비검사 결과는 새로 개발된 문항의 질과 컴퓨터 기반으로의 평가 방식 전환에 따른 영향이 어떠한가를 알 수 있습니다. 금년 5월말 전국 62개 표집학교의 만 15 세 학생을 대상으로 컴퓨터 기반 평가를 실시하였고 기존 평가 방식과의 차이를 살펴보기 위해 일부 학교에서는 지필평가도 병행하였습니다. 이 보고서는 PISA 2015 예비검사를 위 해 어떻게 표집, 시행, 채점, 그리고 분석하였는지의 내용과 절차, 그 결과를 상세하게 수록 하였습니다. PISA 2015 예비검사를 표준화된 절차에 따라 실시하고 신뢰성 있는 채점 과 정을 거쳐 본검사 평가도구를 구성하게 될 문항을 선정하도록 함으로써 2015년 본검사 시 행을 위한 연구 기반을 구축하였습니다.
마지막으로 PISA 2015 연구를 위한 예비검사를 실시할 수 있도록 적극적으로 협조해 주신 교육부, 시․도 교육청 관계자, 표집학교장, 교사, 학생, 학부모 그리고 연구 협력진에 게 진심으로 감사의 말씀을 드리며, PISA 2015 예비검사의 시행 및 분석, PISA 2012 결과 의 심층분석 연구를 동시에 수행하는 어려운 여건 속에서 관련 연구를 성실히 수행한 연구 진의 노고를 치하합니다.
2014년 12월 한국교육과정평가원 원장 직무대리
연구요약
대표적인 역량 평가로 주목받고 있는 PISA 연구의 여섯 번째 주기 PISA 2015 연구가 진행되고 있다. 작년 2013년에는 과학, 읽기, 수학, 협력적 문제해결력 영역별 평가틀의 분 석, 평가도구 개발과 번역, 평가대상 학교 표집, 금년 2014년에는 평가도구 번안 검증 및 확정, 영역별 검사 및 설문 조사 시행, 구성형 문항 채점, 자료 입력, 예비검사 결과 분석 등을 수행하였다. 이는 내년 2015년에 있을 본검사에서 신뢰롭고 타당한 평가 자료 수집을 위한 연구 기반이 될 것이며, 본 연구에서 PISA 2015 예비검사를 체계적으로 준비하여 시 행하고, 그 결과를 분석한 내용을 다음과 같이 요약할 수 있다.
PISA 2015 예비검사 평가도구는 인지영역의 검사도구와 교육맥락변인의 조사도구, 시 행 지침서로 구성된다. 전 영역에 대해 컴퓨터 기반 평가로 전환함에 따라 인지영역의 검 사도구는 컴퓨터 기반 평가와 지필평가, 두 가지 시행방식에 맞게 개발되었다. 과학, 읽기, 수학 영역의 추이문항은 이전 주기의 번안 내용을 따르되, 평가방식 전환으로 인해 필요한 부분만 번안하고 국제본부의 검증을 받았다. PISA 2015의 주영역인 과학과 새로 추가된 협력적 문제해결력 문항의 번역본은 국내 전문가 검토, 국제본부의 타당성 검증을 거쳐 완 성되었다. 검사도구의 번안 및 검증 과정은 국제본부에서 정한 지침과 절차에 의거하여 원 문의 의미와 난이도 수준을 유지하는 것을 원칙으로 하여 진행되었다.
이전 주기에 이어 PISA 2015에도 기본적인 학생 설문과 학교 설문 이외에 학부모 설문 과 학생들의 초․중학교의 교육경험 및 정보통신기술 관련 설문을 선택하였으며, 학교교 육 맥락의 다각적이고 정확한 정보 수집을 위해 교사 설문도 추가하였다. 학생, 학교장, 학 부모, 교사 대상의 설문 조사도구의 번안 및 검증 과정도 인지영역의 검사도구 번안 및 검 증 과정과 유사하였다. 검사도구와 설문 조사도구 번역의 타당성을 국제본부에서 검증받 고, 문항의 내용과 형식에 관해 국제본부와 협의와 조율을 거쳐 한국어본 평가도구를 최종 확정하였다.
PISA 2015 국제본부는 모든 참여국에서 표준화된 환경과 절차에 따라 예비검사를 시행 할 수 있도록 각종 지침서를 사용하도록 관리하고 있다. 학교 책임자 지침서와 감독교사 지침서를 우리나라 상황과 맥락에 맞게 번안, 수정, 보완하고 국제본부와 여러 차례 조정 과정을 거쳐 확정하였다.
예비검사를 시행할 평가대상 학교의 표집은 작년에 이루어졌고, 올해는 해당 학교에서 학생 및 교사를 표집하였다. PISA 2015 예비검사 평가대상을 선정하는 과정과 절차 역시
국제본부의 엄격한 지침을 준수해야 하며, 상호 협의 과정과 승인을 얻어 진행하였다.
PISA 2015 예비검사에서는 편의 표집에 의하여 중학교 8개교, 고등학교 54개교를 표집하 였으며, 각 학교에서 만 15세 학생 2,363명, 고등학교에서만 교사 1,110명을 표집하였다. 평 가대상 학교는 지필평가와 컴퓨터 기반 평가를 병행하거나, 컴퓨터 기반 평가만을 시행하 는 학교로 구분된다. 전자의 경우 표집 학생들은 추이문항을 지필평가로 시행하는 집단, 추이문항을 컴퓨터 기반 평가로 시행하는 집단, 컴퓨터 기반의 새 문항을 시행하는 집단으 로 분류되어 검사가 치러졌다. 추이문항을 두 가지 방식으로 시행하는 것은 이전 주기까지 적용하였던 지필평가 방식과의 일치성 분석을 목적으로 설계된 것이다.
PISA 2015 예비검사를 시행하기에 앞서 컴퓨터 기반 평가 시스템이 우리나라 학교 환 경에서 작동되는지 사전 조사하였다. PISA 2015의 기준에 부합하는 컴퓨터를 시행에 필요 한 만큼 구비하고 있는 학교는 44개교였고, 시행 시기까지 각 학교에서 컴퓨터를 추가 구 입하거나 교체, 오전/오후 분할 시행 계획 등을 수립하였으며, 컴퓨터 기반 평가의 안정적 이고 원활한 시행을 위해서 4개 학교에 노트북 106대를 임차하여 시행 지원하였다.
PISA 2015 예비검사는 2014년 5월 16일(금)∼5월 30일(금)에 전국 62개 중․고등학교에서 시행되었다. 이를 위해 컴퓨터 기반 평가와 지필평가 시행을 위한 평가도구 및 각종 지침서와 제반 서식 등이 담긴 평가도구 상자가 각 학교로 송부되었다. 또한 예비검사를 시행하기 1개월 전인 4월 18일(금)에 시행 과정에서 발생할 수 있는 문제를 줄이고 각 학교에서 동일한 방식으로 시행되도록 안내하기 위해 학교 책임자 및 감독교사 연수를 실시하였다.
이와 별도로 11개 학교에 연구팀 및 교육부, 질 관리자가 각각 방문하여 시행 과정을 참관 하면서 PISA 표준 절차에 따라 평가가 진행되고 있는지를 점검하였다.
예비검사 결과, 표집학교 62개교 모두 참여하였으며, 인지영역의 검사에 학생 2,299명이 참여하여 97.29%의 참여율을 보였다. 학교 설문은 100%, 교사 설문은 99.18%, 학부모 설 문은 97.29% 등 설문 조사의 참여율 역시 매우 높았다. PISA 2015 예비검사는 시행 관련 기 관의 원활한 협조 하에 재시험 없이 성공적으로 시행되었다.
구성형 문항의 채점기준은 국제 지침에 따라 번역되었으며 전문가 검토와 협의를 통해 채점기준을 검증하였다. 학생들의 답안 중에서 선다형 문항과 간단한 구성형 문항, 협력적 문제해결력 문항은 자동으로 채점하며, 전문가 판단이 요구되는 구성형 문항에 한해 교과 전문가에 의해 채점을 실시하였다. 채점연수를 통해 영역별 채점기준을 각 채점자가 숙지 하도록 하고, 채점을 진행하였다. 과학교육 전문가 8명, 국어교육 전문가 4명, 수학교육 전문가 4명이 학생들의 응답을 채점하였는데, 지필평가의 응답은 수기로, 컴퓨터 기반 평가의 응답은 OECS 채점 시스템을 통해 이루어졌다. 컴퓨터 기반 평가의 경우 채점 일 관성 확보를 위해 복수 채점을 진행하고, 매일 구성형 문항 채점의 신뢰성을 점검하였다.
KeyQuest 및 DME 프로그램을 사용하여 예비검사 응시 여부를 비롯한 시행 관련 사항, 구성형 문항의 채점이 완료된 검사 및 설문 응답을 정해진 양식에 따라 각 평가도구별로 입력하였다. 자료입력을 위한 코드북 번안 및 수정이 완료된 후, 자료 입력이 실시되었으며 자체 교차검토 후에 KeyQuest 및 DME 프로그램을 통한 타당성 검증을 실시하였다. 표집 및 시행 정보, 검사와 설문 자료의 기본 정보 간 일치성 점검, 채점 누락 여부 등 타당성 검 증까지 완료된 데이터는 최종적으로 국제본부에 송부되었다.
예비검사는 궁극적으로 본검사를 준비하는 목적으로 시행되며, 예비검사 문항 분석 결과를 기초로 참여국의 검토와 영역별 전문가 집단의 합의를 거쳐 본검사의 문항을 선정 하게 된다. 또한 본검사 시행 전에 예비검사 결과에 터하여 교육과정이나 번역에 의한 문 제를 검토할 수 있다. 검사 문항의 경우, 국제본부에서 정답률이 매우 낮거나 높은 문항, 변별도가 낮은 문항, 문항반응 모형의 적합도가 낮은 문항 등의 다양한 정보를 함께 제공하 여, 우리나라 학생들의 반응 정보를 국제 결과와 비교하였다. 이와 더불어 두 가지 평가방식 간 문항특성을 비교하기 위해 국내 독자적으로 차별기능문항 분석 방법을 적용하여 평가 방식 간 차이를 보이는 문항을 추출하였다. 그 결과 전반적으로 두 평가방식의 측정은 매 우 유사함을 확인하였다.
PISA 2015 본검사에는 추이문항의 경우 예비검사와 동일한 문항이 그대로 사용될 것이다.
과학과 협력적 문제해결력 새 문항 중에서 본검사에 사용될 문항은 2014년 11월에 선정하였 으며, 설문 문항은 10월말에 국제본이 확정된 상태이다. 우리나라는 2015년 5월에 시행될 본 검사에 대비하여 본검사 선제 문항에 대해 전문가들의 계속적인 검토와 수정을 받아 한국 어본 번역의 정확성 및 타당성을 확보할 것이다. 10월부터 Westat과 공동으로 학교 표집틀을 작성하는 등 PISA 2015 본검사 대상을 선정하기 위한 준비를 하고 있으며, 내년 3월까지 학 교 표집 및 확정의 과정을 거치게 될 것이다.
성공적인 본검사 시행을 위해 요구되는 대응 전략으로 개인정보보호 강화 정책에 따른 초․중등교육법 개정과 컴퓨터 기반 평가의 안정적 시행을 위한 환경 조성, 유관기관과의 협조체제 구축 및 채점 전문 인력의 확보 등을 제안하였다. 또한 예비검사 시행 결과에 따 라 21세기 역량 신장을 위한 교육 개선 방안과 컴퓨터 기반의 역량 평가 도입 및 활성화 방안을 제시하였다.
차례
Ⅰ. 서론 ··· 1
1. 연구의 필요성 및 목적 ··· 3
2. PISA 2015 개관 ··· 6
3. 연구 내용 ··· 10
가. PISA 2015 예비검사 준비 ··· 10
나. PISA 2015 예비검사 시행 ··· 11
다. PISA 2015 본검사 문항 선제 및 시행 준비 ··· 11
4. 연구 방법 ··· 12
가. 문헌연구 ··· 12
나. 통계분석 ··· 12
다. 전문가 협의회 ··· 12
라. 국제본부 및 국내외 유관기관과의 협력 ··· 12
Ⅱ. PISA 2015 예비검사 시행 ··· 13
1. 평가 설계 및 표집 ··· 15
가. 예비검사 설계 ··· 15
나. 표집 설계 ··· 16
다. 표집학교의 확정 ··· 18
라. 학생 및 교사 표집 ··· 20
2. 평가도구 번역 및 제작 ··· 24
가. 평가도구 번역 및 확정 ··· 26
나. 평가도구 제작 ··· 31
3. 예비검사 시행 및 질 관리 ··· 34
가. 컴퓨터 기반 평가 시행을 위한 사전 점검 ··· 34
나. 학교 책임자․감독교사 연수 ··· 35
다. 평가도구 상자의 제작과 발송 ··· 38
라. 지필평가와 컴퓨터 기반 평가 시행 ··· 40
마. 검사 시행 질 관리 ··· 45
Ⅲ. PISA 2015 예비검사 채점 및 자료 입력 ··· 49
1. 예비검사 채점 ··· 51
가. 채점 조직 ··· 51
나. 지필평가 채점 ··· 52
다. 컴퓨터 기반 평가 채점 ··· 59
2. 예비검사 자료 입력 ··· 64
가. 자료 입력 및 송부 일정 ··· 64
나. KeyQuest 자료 입력 ··· 66
다. DME 자료 입력 및 확인 ··· 67
3. 예비검사 시행검토서 송부 ··· 72
Ⅳ. 예비검사 결과 분석 및 본검사 준비 ··· 75
1. 예비검사 문항 분석 결과 ··· 77
가. 새 문항의 양호도 분석 ··· 77
나. 추이문항의 양호도 분석 ··· 88
2. 평가방식의 효과 검증 ··· 100
가. 과학 영역 ··· 101
나. 읽기 영역 ··· 103
다. 수학 영역 ··· 104
3. 본검사 문항 선제 및 준비 ··· 106
가. 과학 ··· 106
나. 읽기 ··· 119
다. 수학 ··· 124
라. CPS ··· 128
Ⅴ. 정책 제언 ··· 131
1. PISA 2015 본검사의 원활한 시행을 위한 제언 ··· 133
가. 개인정보보호법 강화에 따른 초․중등교육법 개정 ··· 133
나. 컴퓨터 기반의 평가의 안정적 시행을 위한 환경 구축 ··· 134
다. 유관 기관과의 협조 체제 구축 및 채점 전문 인력의 확보 ··· 136
2. 예비검사 결과에 따른 제언 ··· 138
가. 21세기 역량 신장을 위한 교육 개선 ··· 138
나. 컴퓨터 기반의 역량 평가 도입 및 활성화 ··· 140
* 참고문헌 ··· 143
* Abstract ··· 145
* 부 록 ··· 149
[부록 1] 지필평가 및 컴퓨터 기반 평가 검사 일정 서식 ··· 151
[부록 2] 대상 학생 명단 ··· 153
[부록 3] 과학교사 명단 ··· 154
[부록 4] 과학 외 교과 교사 명단 ··· 155
[부록 5] CBA 컴퓨터 진단 결과표 ··· 156
[부록 6] 학생 명세서 ··· 157
[부록 7] 과학교사 명세서 ··· 158
[부록 8] 과학 외 교과 교사 명세서 ··· 159
[부록 9] 지필평가 검사 응시자 명단 ··· 160
[부록 10] CBA용 검사 응시자 명단 ··· 161
[부록 11] 학생 로그인 서식 ··· 162
[부록 12] 교사 로그인 서식 ··· 163
[부록 13] 지필평가용 검사 실시 보고서 ··· 164
[부록 14] CBA용 검사 실시 보고서 ··· 166
[부록 15] 평가도구 상자 수령 서식 ··· 169
[부록 16] 평가도구 자료 송부 서식 ··· 170
[부록 17] TAS(TEST Adaptation Spreadsheet) ··· 171
[부록 18] PBA 검토용 TAS(TEST Adaptation Spreadsheet) ··· 172
[부록 19] CBA FLC(Format and Layout Check) ··· 173
[부록 20] QAS(Questionnaire Adaptation Spreadsheet) ··· 174
표차례
<표 Ⅰ-1-1> PISA 2015의 연차별 연구 내용 ··· 5
<표 Ⅰ-2-1> PISA 2006∼PISA 2015의 컴퓨터 기반 평가 영역 ··· 7
<표 Ⅰ-2-2> PISA 2015 예비검사 평가 영역과 평가 방식 ··· 8
<표 Ⅰ-2-3> PISA 2015 참여국 현황 ··· 9
<표 Ⅱ-1-1> PISA 2015 예비검사의 2단계 표집 설계 ··· 17
<표 Ⅱ-1-2> PISA 2015 예비검사 평가방식별 표집학교 수와 학교당 표집 학생 수 ·· 18
<표 Ⅱ-1-3> PISA 2015 예비검사 표집틀 및 층화변인별 표집학교 수 ··· 19
<표 Ⅱ-1-4> 학생 명단(LST) 데이터 클리닝을 위하여 활용 가능한 자료들 ··· 21
<표 Ⅱ-1-5> PISA 2015 예비검사의 학생과 교사 표집 수 ··· 22
<표 Ⅱ-1-6> KeyQuest 프로그램에서 생성되는 표집 산출물 ··· 23
<표 Ⅱ-1-7> 표집학교군별 검사형 할당 ··· 24
<표 Ⅱ-2-1> PISA 2015 예비검사 평가도구 및 지침서 ··· 25
<표 Ⅱ-2-2> PISA 2015 예비검사 평가도구 인쇄 내역 ··· 33
<표 Ⅱ-3-1> PISA 2015 예비검사 시행을 위한 표집학교 협조 사항과 제출 내용 ··· 35
<표 Ⅱ-3-2> 학교 책임자 및 감독교사 연수 일정과 내용 ··· 36
<표 Ⅱ-3-3> 학교 책임자의 주요 활동 ··· 37
<표 Ⅱ-3-4> 감독교사의 주요 활동 ··· 38
<표 Ⅱ-3-5> PISA 2015 예비검사 평가도구 수령 서식 ··· 39
<표 Ⅱ-3-6> PISA 2015 예비검사 컴퓨터 기반 평가․지필평가 응시 및 설문 응답 현황 ··· 41
<표 Ⅱ-3-7> PISA 2015 예비검사 CBA 소요 시간 ··· 42
<표 Ⅱ-3-8> PISA 2015 예비검사 지필평가의 소요 시간 및 시간표 ··· 43
<표 Ⅱ-3-9> 검사 시행 당일 질 관리자의 일정과 주요 업무 ··· 45
<표 Ⅱ-3-10> 질 관리 참관 보고서 상황 보고 결과 ··· 46
<표 Ⅱ-3-11> 감독교사의 검사 실시 보고서 결과 ··· 47
<표 Ⅲ-1-1> PISA 2015 예비검사 채점 설계 ··· 51
<표 Ⅲ-1-2> 채점 본부 조직 인원(명) ··· 52
<표 Ⅲ-1-3> 검사지별 문항군 구성 및 표집 학생 수 ··· 53
<표 Ⅲ-1-4> 지필평가 채점 문항 수 ··· 53
<표 Ⅲ-1-5> 과학 지필평가 채점 설계 ··· 54
<표 Ⅲ-1-6> 읽기 지필평가 채점 설계 ··· 55
<표 Ⅲ-1-7> 수학 지필평가 채점 설계 ··· 55
<표 Ⅲ-1-8> 지필평가 채점일자별 채점 영역 ··· 56
<표 Ⅲ-1-9> 수학 지필평가 채점 분량 ··· 56
<표 Ⅲ-1-10> 읽기 지필평가 채점 분량 ··· 57
<표 Ⅲ-1-11> 과학 지필평가 채점 분량 ··· 58
<표 Ⅲ-1-12> 컴퓨터 기반 평가 검사형 구성 및 표집 학생 수 ··· 60
<표 Ⅲ-1-13> 컴퓨터 기반 평가 채점 문항 수 ··· 61
<표 Ⅲ-1-14> 컴퓨터 기반 평가 채점일자별 채점 영역 ··· 62
<표 Ⅲ-1-15> 과학 영역의 컴퓨터 기반 평가 채점 분량 ··· 62
<표 Ⅲ-1-16> 읽기 영역의 컴퓨터 기반 평가 채점 분량 ··· 63
<표 Ⅲ-1-17> 수학 영역의 컴퓨터 기반 평가 채점 분량 ··· 63
<표 Ⅲ-2-1> PISA 2015 예비검사 자료 정리, 입력 및 검토 일정 ··· 65
<표 Ⅲ-2-2> KeyQuest 입력 자료 목록 ··· 66
<표 Ⅲ-2-3> DME 입력 자료 목록 ··· 68
<표 Ⅲ-2-4> PISA 2015 예비검사 검사 자료 입력 수 ··· 69
<표 Ⅲ-2-5> PISA 2015 예비검사 시행 결과 ··· 71
<표 Ⅲ-3-1> PISA 2015 예비검사 시행검토서(Field Trial Review)의 구성 ··· 72
<표 Ⅳ-1-1> 예비검사 결과 분석의 특이 문항 기준 ··· 78
<표 Ⅳ-1-2> PISA 2015 예비검사 과학 새 문항의 특이 반응 문항 빈도와 비율 ··· 78
<표 Ⅳ-1-3> PISA 2015 예비검사 과학 새 문항의 특이 반응 문항 ··· 79
<표 Ⅳ-1-4> 고전검사이론에 따른 특이반응을 보인 과학 새 문항의 문항 상세 정보 ··· 81
<표 Ⅳ-1-5> 문항반응이론에 따른 특이반응을 보인 과학 새 문항의 문항 상세 정보 ··· 83
<표 Ⅳ-1-6> 우리나라 학생들에게 상대적으로 어려운 과학 문항 상세 정보 ··· 84
<표 Ⅳ-1-7> 우리나라 학생들에게 상대적으로 쉬운 과학 문항 상세 정보 ··· 86
<표 Ⅳ-1-8> PISA 2015 예비검사 협력적 문제해결력 문항의 특이 반응 문항 빈도와 비율 ··· 86
<표 Ⅳ-1-9> PISA 2015 예비검사 협력적 문제해결력 평가의 특이 반응 문항 ··· 87
<표 Ⅳ-1-10> PISA 2015 예비검사 과학-추이문항의 특이 반응 문항 빈도와 비율 ···· 89
<표 Ⅳ-1-11> PISA 2015 예비검사 과학 추이문항의 특이 반응 문항 ··· 90
<표 Ⅳ-1-12> PISA 2015 과학 추이문항의 고전검사이론에 따른 우리나라의 특이 반응 문항 상세 정보 ··· 91
<표 Ⅳ-1-13> PISA 2015 과학 추이문항의 문항반응이론에 따른 우리나라의 특이 반응 문항 상세 정보 ··· 92
<표 Ⅳ-1-14> PISA 2015 예비검사 읽기 영역의 특이 반응 문항 빈도와 비율 ··· 93
<표 Ⅳ-1-15> PISA 2015 예비검사 읽기 영역의 특이 반응 문항 ··· 93
<표 Ⅳ-1-16> PISA 2015 읽기 추이문항의 고전검사이론에 따른 우리나라의 특이 반응 문항 상세 정보 ··· 94
<표 Ⅳ-1-17> PISA 2015 읽기 추이문항의 문항반응이론에 따른 우리나라의 특이 반응 문항 상세 정보 ··· 96
<표 Ⅳ-1-18> PISA 2015 예비검사 수학 영역의 특이 반응 문항 빈도와 비율 ··· 97
<표 Ⅳ-1-19> PISA 2015 예비검사 수학 영역의 특이 반응 문항 ··· 98
<표 Ⅳ-1-20> PISA 2015 수학 추이문항의 고전검사이론에 따른 우리나라의 특이 반응 문항 상세 정보 ··· 99
<표 Ⅳ-1-21> PISA 2015 수학 추이문항의 문항반응이론에 따른 우리나라의 특이 반응 문항 상세 정보 ··· 100
<표 Ⅳ-2-1> PISA 2015 예비검사 추이문항의 평가방식별 정답률과 상관계수 ··· 101
<표 Ⅳ-2-2> PISA 2015 평가방식에 따라 차이를 보인 과학 추이문항 목록 ··· 102
<표 Ⅳ-2-3> PISA 2015 평가방식에 따라 차이를 보인 읽기 추이문항 목록 ··· 103
<표 Ⅳ-2-4> PISA 2015 평가방식에 따라 차이를 보인 수학 추이문항 목록 ··· 104
<표 Ⅳ-3-1> PISA 2015 과학 새 문항 문항군 및 문항의 수 ··· 107
<표 Ⅳ-3-2> PISA 2015 본검사 선제 과학 영역 새 문항 정보 ··· 108
<표 Ⅳ-3-3> PISA 2015 본검사 선제 과학 영역 추이문항 정보 ··· 114
<표 Ⅳ-3-4> PISA 2015 본검사 역량에 따른 과학 선제 문항 분포 ··· 117
<표 Ⅳ-3-5> PISA 2015 본검사 과학적 지식의 유형에 따른 과학 선제 문항 분포 ·· 117
<표 Ⅳ-3-6> PISA 2015 본검사 지식의 깊이에 따른 과학 선제 문항 분포 ··· 118
<표 Ⅳ-3-7> PISA 2015 본검사 맥락에 따른 과학 선제 문항 분포 ··· 118
<표 Ⅳ-3-8> PISA 2015 본검사 문항의 유형에 따른 과학 선제 문항 분포 ··· 119
<표 Ⅳ-3-9> PISA 2015 본검사 선제 읽기 영역 문항 정보 ··· 119
<표 Ⅳ-3-10> PISA 2015 본검사 상황에 따른 읽기 영역 문항 분포 ··· 123
<표 Ⅳ-3-11> PISA 2015 본검사 텍스트 체재에 따른 읽기 영역 문항 분포 ··· 123
<표 Ⅳ-3-12> PISA 2015 본검사 양상에 따른 읽기 영역 문항 분포 ··· 123
<표 Ⅳ-3-13> PISA 2015 본검사 문항 유형에 따른 읽기 영역 문항 분포 ··· 124
<표 Ⅳ-3-14> PISA 2015 본검사 선제 수학 영역 문항 정보 ··· 124
<표 Ⅳ-3-15> PISA 2015 본검사 맥락에 따른 수학 영역 문항 분포 ··· 127
<표 Ⅳ-3-16> PISA 2015 본검사 수학적 내용에 따른 수학 영역 문항 분포 ··· 127
<표 Ⅳ-3-17> PISA 2015 본검사 수학적 과정에 따른 수학 영역 문항 분포 ··· 128
<표 Ⅳ-3-18> PISA 2015 본검사 문항 유형에 따른 수학 영역 문항 분포 ··· 128
<표 Ⅳ-3-19> PISA 2015 본검사 선제 협력적 문제해결력 평가 문항 정보 ··· 129
<표 Ⅳ-3-20> PISA 2015 본검사 CPS 역량에 따른 협력적 문제해결력 평가 문항 분포 ··· 130
<표 Ⅳ-3-21> PISA 2015 본검사 문제해결과정에 따른 협력적 문제해결력 평가 문항 분포 ··· 130
<표 Ⅴ-1-1> PISA 2015 본검사 시행을 위한 연수 프로그램(안) ··· 137
그림차례
[그림 Ⅰ-2-1] PISA 주기별 평가 영역과 평가 방식 ··· 6
[그림 Ⅱ-1-1] PISA 2015 예비검사 평가 설계 ··· 16
[그림 Ⅱ-1-2] PISA 2015 예비검사 참여 학교 확정을 위한 절차 ··· 20
[그림 Ⅱ-2-1] CBA 추이문항 번역 및 검증 절차 ··· 26
[그림 Ⅱ-2-2] CBA 새 문항 번역 및 검증 절차 ··· 28
[그림 Ⅱ-2-3] 설문 번역 및 검증 절차 ··· 29
[그림 Ⅱ-2-4] 학생용 CBA 시스템의 구동 화면 ··· 32
[그림 Ⅱ-2-5] 온라인 설문 시스템의 접속 화면 ··· 34
[그림 Ⅱ-3-1] 결시율 계산을 위한 순서도 ··· 44
[그림 Ⅲ-1-1] OECS와 DME 작업 흐름도 ··· 64
[그림 Ⅲ-2-1] DME 프로그램 - 코드북 수정 메뉴 화면 ··· 68
[그림 Ⅲ-2-2] DME 프로그램 - 자료 확인 및 검증 메뉴 화면 ··· 70
[그림 Ⅳ-2-1] PISA 2015 예비검사 평가방식별 과학 영역의 델타 플롯 분석 결과 ··· 102
[그림 Ⅳ-2-2] PISA 2015 예비검사 평가방식별 읽기 영역의 델타 플롯 분석 결과 ··· 104
[그림 Ⅳ-2-3] PISA 2015 예비검사 평가방식별 수학 영역의 델타 플롯 분석 결과 ··· 105
Ⅰ. 서론
1. 연구의 필요성 및 목적 2. PISA 2015 개관 3. 연구 내용
4. 연구 방법
1. 연구의 필요성 및 목적
새 정부가 출범하면서 융합교육 강화를 통한 창의인재 육성을 국가 발전을 위해 중요한 교육 비전 중 하나로 제시하고 있다(미래창조과학부, 교육부, 고용노동부, 2013). 창의인재 란 학교에서 배운 교과 지식을 습득하는 데서 머무르지 않고 이를 자신의 ‘꿈’과 ‘끼’에 맞 게 실생활 맥락에서 활용, 융합하여 새로운 지식을 창조해 낼 수 있는 역량이 있는 인재를 의미한다. 역량(competencies)은 실생활에 처한 맥락에 맞게 개인의 여러 능력이 융합적으 로 발현되는 능력을 뜻한다(송미영 외, 2013b, p.1; Rychen & Salganik, 2003). 최근 세계 각국에서도 이러한 역량을 21세기 인재의 요건으로 보고, 이에 맞는 교육 패러다임의 변화 를 모색해오고 있다(Griffin, et al., 2012). 이러한 관점에서 PISA(Programme for International Student Assessment)는 미래 사회 시민에게 필요한 지식 활용 능력을 평가 하는 대표적인 역량 평가로 주목받고 있다. PISA 2000을 시작으로 현재 여섯 번째 주기 본검사를 준비 중에 있는 PISA의 평가틀은 OECD에서 1997년부터 추진한 ‘핵심 역량의 정의 및 선정(Definition and Selection of Key Competencies; DeSeCo)’ 프로젝트(OECD, 2005)에서 규명된 역량과 밀접한 관련성을 맺고 있다(송미영 외, 2014).
PISA는 대부분의 OECD(경제협력개발기구; Organization for Economic Co-operation and Development) 회원국에서 의무교육이 종료되는 만 15세 학생을 대상으로 과학․읽기․
수학 소양을 3년 주기로 평가한다. PISA에서의 소양(literacy)이란 학생들이 일상생활에서 직면하는 다양한 상황에서의 문제를 해결하기 위해 지식과 기술을 활용할 수 있는 능력을 발하며, 이를 측정하기 위해 교과 교육과정 지식을 직접적으로 평가하지 않는다(송미영 외, 2013c, p.13; OECD, 2014b, p.24). 실제적인 상황과 맥락에서의 소양 및 문제해결력을 중시 하는 PISA의 기본적인 취지를 살려 매주기 평가 내용이나 방식 등의 개정 또는 추가하는 등의 변화를 통해 사회적․시대적 요구를 반영해 왔다. PISA 2006부터 PISA 2012까지 컴퓨터 기반 평가(Computer Based Assessment; 이하 CBA)를 부분적으로 도입해 왔으며, PISA 2003과 PISA 2012에는 문제해결력에 대한 평가가 실시되었다(조지민 외, 2012).
PISA 2015 주기에는 미래 지식정보화 사회가 요구하는 ICT 기술과 협력 및 문제해결력에 대한 중요성을 반영하여 이전 주기까지의 지필평가(Paper Based Assessment; 이하 PBA)를 컴퓨터 기반 평가로 전면 전환하고 협력적 문제해결력(Collaborative Problem Solving competency; 이하 CPS) 평가를 신설하였다(송미영 외, 2013c).
PISA 결과로 산출된 지표는 각국 학생들의 성취수준 및 교육성과를 파악하는 데 중요한 정보를 담고 있으며, 세계 각국이 자국의 교육체제를 점검하고 교육정책을 수립하는 데 활용된다(송미영 외, 2013a). 우리나라는 교육을 통한 국가 경쟁력을 확보하기 위한 노력의
하나로 국가 차원에서 PISA 첫 주기부터 현재 진행 중인 PISA 2015까지 지속적으로 참여 하고 있으며, 지난 15년 간 PISA 참여를 통해 학교교육의 성과를 국제적인 수준에서 모니터링 하고 다른 국가들과 비교․분석함으로써 국제화 사회에서 우리 교육의 경쟁력을 점검하고 강화할 수 있는 계기를 마련하였다. 우리나라가 PISA에 지속적으로 참여하는 것은 시대가 요구하는 인재가 갖추어야 할 소양을 국제적 수준에서 파악하고 글로벌 창의융합인재 양성을 위한 교육전략 수립에 있어 매우 중요한 의미를 갖는다.
PISA 2000 이후 PISA 2012까지 우리나라 학생들의 성취도 변화 추이를 파악하고 이를 국제적으로 비교하기 위한 자료가 수집, 축적되었다. 3년 주기로 본검사를 시행하는 PISA 연구는 OECD, 참여국, 연구연합체의 유기적인 협조 하에 평가 계획부터 결과 보고까지 일 련의 과정이 이루어지며, PISA 국제본부(이하 국제본부)와 참여국의 협약에 따라 PISA의 한 주기에 대한 연구 활동은 4～5년 단위로 진행된다. 이러한 일정에 따라 올해(2014년)는 PISA 2012 결과에 대한 심층 분석과 PISA 2015 예비검사 시행 및 분석이 동시에 진행되 었다.
PISA 2015 주기에 대한 연구 활동은 이전 주기보다 이른 본검사 시행 3년 전인 2012년 5월부터 추진되어 본검사 시행 이듬해인 2016년에 종료된다(<표 Ⅰ-1-1> 참조). PISA 2006에 선택 사항으로 도입된 컴퓨터 기반 평가를 전체 영역으로 확대하고, 국제본부의 연 구연합체 구성을 변경함으로 인해 PISA 2015 연구 주기는 예비검사 시행 이전까지의 연구 기간을 이전 주기에 비해 더 확보하여 진행하였다. PISA 2015 연구 첫해인 2012년에는 주 영역인 과학과 협력적 문제해결력(CPS) 평가틀을 설정하여 두 영역에 대한 평가 문항, 배 경변인 조사를 위한 평가틀과 문항 개발을 시작하였고, 2013년에는 과학․CPS 평가 문항 과 설문 문항(학생, 학교장, 학부모, 교사 설문1))을 개발하여 국문으로 번역하고, CBA 시 스템의 평가도구 구성 작업을 착수하였으며, 또한 평가대상 학교를 표집하였다(송미영 외, 2013c). 그리고 2014년에는 평가 문항과 설문 문항을 확정하여 예비검사 도구를 완성하고, 표집학교 내 만 15세 학생을 표집하여 예비검사를 시행하였다. 그 결과를 기초로 내년에 있을 2015년 본검사 시행을 준비하였다. 2015년 본검사를 거쳐 2016년에 PISA 2015 결과 를 발표하게 된다.
1) PISA 2015에 교사 설문을 새롭게 도입함. CBA 시행과 더불어 학생 대상의 설문도 컴퓨터 기반으로 실시되며, 학부모 설문을 제외한 학교장, 교사 설문은 온라인으로 실시됨(송미영 외, 2013c).
연도 PISA 2015 2012 ∙평가틀 설정
∙과학 및 협력적 문제해결력 문항, 설문 문항 개발 착수
2013
∙과학 및 협력적 문제해결력 문항, 설문 문항의 검토, 선제
∙예비검사 평가도구 번역 및 검증
∙예비검사를 위한 학교 표집
∙예비검사 시행 기반 구축 보고서(송미영 외, 2013c) 작성
20142)
∙예비검사 평가도구 완성(CBA 시스템 검증, PBA 검사지 인쇄)
∙예비검사를 위한 학생, 교사 표집
∙예비검사 시행, 채점 및 결과 분석
∙본검사 평가도구 선제
∙본검사를 위한 학교 표집틀 작성 2015 ∙본검사 대상 표집
∙본검사 시행
2016 ∙국제비교 결과 분석 및 발표
<표 Ⅰ-1-1> PISA 2015의 연차별 연구 내용
* 국제본부와의 협약에 의해 상기 일정으로 진행되며, 국제본부의 결정에 따라 연구 일정은 변동 가능함.
PISA 2015는 전체 영역의 평가를 지필평가에서 컴퓨터 기반 평가로 전환하여 시행할 예정이므로 올해 시행된 예비검사는 새로 개발한 과학․CPS에 대한 CBA 문항의 질 점검 과 추이문항3)의 PBA에서 CBA로의 전환에 따른 영향 평가에 그 목적이 있다(OECD, 2013b). 예비검사는 과학․읽기․수학 추이문항을 두 가지 방식으로 시행하여 PBA와 CBA 간 측정의 일관성을 점검하고, 새로 개발한 과학․CPS 평가 문항과 설문 문항에 대 한 양호도를 분석하여 질 높은 본검사 평가도구를 구성하는 데 초점을 둔다. 올해 PISA 2015 연구는 예비검사를 표준화된 절차에 따라 실시하고 신뢰성 있는 채점 과정을 거쳐 2015년에 있을 본검사 평가도구를 구성하게 될 문항을 선정하며, 본검사 대상 선정을 위한 표집틀 작성 및 세부 계획을 수립하여 학업성취도 국제비교 연구의 기반을 구축하는 데 목 적이 있다. 본 연구에서 PISA 2015 예비검사를 체계적으로 준비하여 시행, 채점, 결과를 도출한 일련의 과정은 내년에 시행될 본검사에서 타당하고 신뢰성 있는 자료 수집의 밑거 름이 될 것이다.
2) 본 연구진은 PISA 2012 관련 연구와 함께 PISA 2015 관련 연구를 동시에 진행하였으며, 3종의 보고서 (PISA 2012 컴퓨터 기반 평가 결과 분석, PISA 2012 결과의 남녀 및 성취수준별 학생 특성 분석,
PISA 2015 예비검사 시행 결과 보고서)를 산출함. 각 보고서에서 “서론”의 일부 내용을 공통적으로 다루되, 해당 연구 목적과 내용을 중심으로 기술함.
3) 추이문항(trend item)은 성취도 추이 분석을 위해 평가 주기 간 공통으로 사용되는 문항을 가리킴.
2. PISA 2015 개관
4)PISA는 3년마다 본검사를 시행하는 연구로서, 주기적인 평가를 통해 영역별 성취도 추이를 분석한다. 매 주기 주영역과 보조영역을 설정하는데, 과학․읽기․수학 영역이 순환적으로 주영역이 된다. [그림 Ⅰ-2-1]에 제시된 바와 같이 9년마다 PISA의 특정 영역 에 대한 심층적 평가가 진행된다. PISA 2015는 PISA 2006에 이어 과학이 두 번째로 주영역이 되는 주기이며, 읽기와 수학은 보조영역에 해당한다. 주영역에 대해서만 평가틀을 개정하고 새로운 문항을 개발하여 해당 영역의 소양을 보조영역보다 더 많은 수의 문항으로 검사 도구를 구성하고, 설문 조사도구도 주영역을 중심으로 구성하여 주영역에 대한 학생들의 인식 및 교육맥락을 상세히 파악할 수 있도록 구성한다.
※ ◯ : 지필평가(PBA), ◎ : 컴퓨터 기반 평가(CBA) − : 시행하지 않음, (＋) : 우리나라 선택사항 ∙음영 처리는 주영역을 가리킴
∙CBAS : Computer Based Assessment in Science (컴퓨터 기반 과학 평가) ∙DRA : Digital Reading Assessment (디지털 읽기 평가)
∙CBAM : Computer Based Assessment of Mathematics (컴퓨터 기반 수학 평가)
∙CBAPS : Computer Based Assessment of Problem Solving (컴퓨터 기반 문제해결력 평가) ∙CPS : Collaborative Problem Solving Competency (협력적 문제해결력)
※ 학생 대상의 설문에는 기본 설문과 함께 선택 사항인 ICT, 교육경험(EC) 설문이 포함되어 있음.
* 출처 : 송미영 외(2013c, p.13)
[그림 Ⅰ-2-1] PISA 주기별 평가 영역과 평가 방식
4) 이 절의 내용은 송미영 외(2013c)를 참고하여 재구성함. “PISA의 컴퓨터 기반 평가”에 대한 내용은 본 연구진이 동시에 산출하는 PISA 2012 컴퓨터 기반 평가 결과 분석, PISA 2015 예비검사 시행 결과 보고서에서 공통적으로 다루고 있음을 밝힘.
[그림 Ⅰ-2-1]에서 보듯이 PISA 2015는 컴퓨터 기반 평가로 전환된 새로운 방식으로 시행 된다. 실생활 소양을 강조하는 PISA에서는 ICT의 활용이 증가하고 있는 현실을 반영하여 컴퓨터 기반 평가를 도입하여 부분적으로 시행해 왔다. 컴퓨터와 인터넷, 스마트 기기의 활용이 빈번한 환경에서 당면하는 문제 상황에 교과 지식을 적용하고 문제를 해결하는 역량이 요구되기 때문에 정보화 사회에 요구되는 역량 평가 방안으로 CBA가 도입되었다.
주기 컴퓨터 기반 평가(CBA) 지필평가(PBA)와 비교
PISA 2006 CBAS(과학)
- 과학․읽기․수학의 PBA에 부가적으로 CBA가 시행됨.
- 두 평가 방식에 사용된 평가도구는 다른 문항으로 구성함.
PISA 2009 DRA(읽기)
PISA 2012 CBAM(수학), CBAPS(문제해결력), DRA(읽기)
PISA 2015 과학, 읽기, 수학, 협력적 문제해결력 - 추이문항은 PBA와 동일함.
- PBA를 CBA로 전환함.
<표 Ⅰ-2-1> PISA 2006∼PISA 2015의 컴퓨터 기반 평가 영역
PISA 2006부터 도입된 CBA는 PISA 2012까지 과학․읽기․수학 영역의 PBA에 추가하 여 일부 영역에 한해 시행되어 왔다(<표 Ⅰ-2-1> 참조). 과학이 주영역이었던 PISA 2006 에는 컴퓨터 기반 과학 평가(Computer Based Assessment in Science; 이하 CBAS; 이미 경 외, 2006), 읽기가 주영역이었던 PISA 2009에는 디지털 읽기 평가(Digital Reading Assessment; 이하 DRA; 김경희 외, 2009)가 실시되었다. 수학이 주영역인 PISA 2012에는 컴퓨터 기반 수학 평가(Computer Based Assessment of Mathematics; 이하 CBAM)와 컴 퓨터 기반 문제해결력 평가(Computer Based Assessment of Problem Solving; 이하 CBAPS)를 각각 최초로 실시하였고, PISA 2009에 도입한 디지털 읽기 평가(DRA)도 실시 하였다(조지민 외, 2012). 정보화 환경의 변화를 반영하여 CBA의 적용 범위를 확대하여 PISA 2015에서는 모든 영역에 적용한다. PISA 2006부터 PISA 2012까지는 PBA와 별도로 CBA를 추가 실시하고 학생들의 소양 수준과 추이는 PBA 결과로 파악해 왔으나, PISA 2015에서는 평가 방식을 전면 전환하여 PBA대신 CBA를 시행한다. CBA에서는 다양한 유 형의 문항을 활용함으로써 PBA로는 제약이 있는 주요한 능력에 대한 측정, 문항 풀이를 위한 접근에 대한 정보 수집과 측정이 가능하다는 장점이 있다.
21세기 역량 교육에 대한 세계적인 관심 증대와 맞물려 OECD는 문제해결력 및 협력의 중요성을 인지하고 PISA 2015에는 협력적 문제해결력(CPS) 평가를 도입하였다. 폭넓은 인지 기술을 측정하기 위해 PISA 2003에서는 범교과 기반의 문제해결력을 평가했으며,
PISA 2012에는 교과와 직접적인 관련이 없는 개인적 문제해결력에 대한 CBA를 시행한 바 있다. 최근 실생활에서 접하게 되는 문제해결 과제는 팀을 중심으로 수행되는 경우가 많고 협력의 중요성이 부각되고 있기 때문에, 협력적 문제해결력을 미래 사회에 필요한 주 요 능력으로 간주하고 PISA 2015에 컴퓨터 기반의 CPS 평가 시행을 계획하였다.
PISA 2015에는 전 영역 CBA 시행을 계획하면서 이전 주기까지 PBA로 실시된 추이문 항은 CBA 문항으로 전환하고 이번 주기에 새로 개발하는 문항(새 문항)은 CBA 문항 형 식으로 개발하였다. 이에 따라 예비검사를 통하여 주영역인 과학과 처음 도입한 CPS에 대 해 새롭게 개발한 문항에 대한 질 점검과 주기간 추이 분석을 위한 추이문항의 PBA와 CBA 간 비교를 수행할 필요가 있다. 따라서 이전 주기까지의 예비검사가 보조영역을 제외 한 주영역을 중심으로 실시된 반면, PISA 2015의 예비검사에서는 주영역과 보조영역 모두 포함한 과학ㆍ읽기ㆍ수학 추이문항, 주영역인 과학에 대한 새 문항, 그리고 새롭게 도입된 CPS의 새 문항을 평가한다. PISA 2015 예비검사에 실시된 평가 방식을 영역별로 살펴보 면 <표 Ⅰ-2-2>에 정리하였다. 앞서 기술하였듯이 각 영역에 대한 평가와 함께 학생, 학 부모, 학교장, 교사 대상의 설문 조사도 실시되었다.
평가 영역
평가 방식
주요 목적 지필평가
(PBA)
컴퓨터 기반 평가 (CBA)
주영역 과학
새 문항 － ◎ 문항 양호도 점검
추이문항 ◎ ◎ 평가방식간 호환 점검
보조영역
읽기 추이문항 ◎ ◎ 평가방식간 호환 점검
수학 추이문항 ◎ ◎ 평가방식간 호환 점검
협력적 문제해결력 새 문항 － ◎ 문항 양호도 점검
※ ◎ : 시행함, — : 시행하지 않음.
<표 Ⅰ-2-2> PISA 2015 예비검사 평가 영역과 평가 방식
PISA는 학생들이 일상생활에서 직면하는 다양한 상황에서 지식과 기술을 활용하여 문 제를 해결하는 ‘소양(literacy)’에 대한 평가와 더불어 교육맥락변인들에 대해서도 함께 조 사한다. 교육맥락변인의 조사는 학생의 가정과 학교교육의 영향에 의해 학생의 성취 결과 차이를 설명하기 위한 목적으로 실시하고 있다. PISA 2015에는 교육맥락변인을 조사하기 위한 설문 대상과 시행 방식도 변화하였다. [그림 Ⅰ-2-1]과 같이 PISA 2012까지는 설문
대상이 학생, 학교(장), 학부모이었고, PISA 2015에는 교사 설문을 추가하였다. 그동안 학 교장 설문을 통해 교사와 관련된 특성에 대해 조사해왔으나, 학교에서 이루어지는 교수학 습 활동에서 핵심적인 역할을 담당하고 있는 교사들에 대한 심층적인 분석과 수집 자료의 신뢰도 제고 차원에서 교사 설문을 새롭게 도입하였다. 한편, PISA 2015에서는 모든 영역 의 평가를 CBA로 전환함과 함께 물론 학부모 설문을 제외한 설문 조사도 컴퓨터 기반으 로 실시한다. 과학․읽기․수학․CPS 등의 평가 문항과 학생 대상의 설문 문항을 하나의 시스템으로 엮어서 컴퓨터 기반으로 실시되며, 학교(장), 교사 설문은 인터넷에 접속하여 온라인으로 실시된다. 온라인 설문은 PISA 2012의 학교장 대상의 설문에서 처음 실시되었 고, 학생 설문을 컴퓨터 기반으로 조사하는 것은 PISA 2015에서 처음 실시되는 것이다.
PISA의 첫 번째 주기에 해당하는 PISA 2000에 32개국이 참여한 이래, PISA 참여국 현황을 살펴보면, 점차 참여국 수가 증가하는 추세이다. 이는 교육 경쟁력 확보에 대한 세계적 관심의 증가와 자국 교육성과를 국제적 잣대로 가늠할 필요성에 대한 인식이 확대된 결과라 할 수 있다. 지난 PISA 2012에 참여하여 결과를 산출한 국가는 65개국이며, 이번 PISA 2015에는 <표 Ⅰ-2-3>의 71개국이 참여한다.
OECD 회원국 (34개국) 비 OECD 회원국 (37개국) 호주, 오스트리아, 벨기에, 캐나다, 칠레, 체코, 덴마크,
핀란드, 프랑스, 독일, 그리스, 에스토니아, 헝가리, 아이슬란드, 아일랜드, 이스라엘, 이탈리아, 일본, 대한민국, 룩셈부르크, 멕시코, 네덜란드, 뉴질랜드, 노르웨이, 폴란드, 포르투갈, 슬로바키아, 슬로베니아, 스페인, 스웨덴, 스위스, 터키, 영국, 미국
알바니아, 알제리, 아르헨티나, 브라질, 불가리아, 중국, 대만, 콜롬비아, 코스타리카, 크로아티아, 도미 니카공화국, 마케도니아, 그루지야, 홍콩-중국, 인도 네시아, 요르단, 카자흐스탄, 코소보, 라트비아, 레바논, 리투아니아, 마카오-중국, 말레이시아, 몰타, 몰도바, 몬테네그로, 페루, 카타르, 루마니아, 러시아, 싱가포 르, 태국, 트리니다드 토바고, 튀니지, 아랍에미리트, 우루과이, 베트남
<표 Ⅰ-2-3> PISA 2015 참여국 현황
3. 연구 내용
PISA의 여섯 번째 주기에 해당하는 PISA 2015 연구는 1절에서 기술한 바와 같이 2012년 5월부터 추진되어 2016년에 기본 국제비교 분석 결과를 도출하기까지 약 5년의 일정으로 진행된다. 국제본부는 각 참여국의 평가도구의 번역과 제작, 평가대상의 표집, 시행, 채점, 평가자료 관리와 분석 등의 과정을 엄격하게 관리하고 있으며, 각 연구 내용의 추진은 국제본부의 검증을 받거나 협의하여 결정하였다. PISA 2015 연구와 관련하여 추진한 2014년 연구 내용을 항목별로 정리하면 다음과 같다.
가. PISA 2015 예비검사 준비
1) 예비검사 평가도구의 번안 확정
◦ 과학, 읽기, 수학 추이문항의 CBA 전환에 따른 번안 확정
◦ 과학, CPS에 대한 CBA 새 문항의 번안 확정
◦ 영역별 문항의 채점기준 번안 확정
◦ 학생, 학교, 교사, 학부모 설문 문항의 번안 확정
◦ 검사 시행 지침서(학교 책임자, 감독교사용)의 번안 확정 2) 예비검사 평가도구의 제작 및 국제본부 검증
◦ 과학, 읽기, 수학 추이문항의 PBA 검사지 편집 및 검증
◦ 과학, 읽기, 수학, CPS 문항의 CBA 운영 시스템 탑재 및 검증
◦ 학생, 학교, 교사 설문 조사도구의 컴퓨터 기반 조사 운영 시스템 탑재 및 검증
◦ 학부모 설문 조사도구 편집 및 검증
◦ 검사 시행 지침서(학교 책임자, 감독교사용)의 편집 3) 예비검사 표집학교 확정 및 학생, 교사 표집
◦ 예비검사 시행 학교 확정
◦ 예비검사 표집학교 내 학생과 교사 표집(KeyQuest 프로그램 활용)
◦ 예비검사 표본의 학생/교사 정보 입력
◦ 예비검사 시행 설계에 따른 검사지 할당 4) 예비검사 표집학교별 컴퓨터 환경 진단
◦ 표집학교 보유 컴퓨터 현황 진단 및 지원 계획 수립
◦ 학생용 CBA 시스템(Student Delivery System; SDS) 운용 호환성에 대한 사전 점검
나. PISA 2015 예비검사 시행
1) 예비검사 시행을 위한 연수
◦ PBA 및 CBA 검사 시행을 위한 학교 책임자 및 감독교사 연수
◦ 표집학교의 시행 모니터링을 위한 질 관리자 연수 2) 평가도구 인쇄, 제작 및 발송
◦ 검사도구 60종(PBA 18종, CBA 42종)
◦ 설문 조사도구 8종(학생 4종, 학교(장)1종, 교사 2종, 학부모 1종)
◦ 학교 책임자 지침서, 감독교사 지침서, 온라인 설문 안내서(학교장 1종, 교사 1종)
◦ 평가 시행 관련 각종 정보 기록 양식과 점검지 3) 표집학교별 예비검사 시행
◦ 기간 : 2014년 5월 16일～30일
◦ 대상 : 전국 62개교(고 54개, 중 8개)의 학생 2,363명, 고교 교사 1,110명, 학교장 62명, 학부모 2,363명
4) 채점
◦ 과학, 읽기, 수학 구성형 문항 채점 설계
◦ 채점자 연수 및 채점(OECS 프로그램 사용) 5) 자료 입력(DME 프로그램 사용)
◦ 코드북의 확인
◦ 응답자료의 입력
◦ 입력자료의 확인 및 불일치 검사 6) 예비검사 시행 점검 및 개선안 마련
다. PISA 2015 본검사 문항 선제 및 시행 준비
1) 예비검사 자료 분석 및 본검사 문항 선제 2) 본검사 문항의 번역, 번안에 대한 검토 3) 본검사 시행 설계 및 학교 표집 계획
4. 연구 방법
가. 문헌연구
1) 국제본부에서 송부한 각종 자료에 대한 분석 및 피드백
◦ 대상 : PISA 2015 평가틀, 국제본부에서 송부한 문항, 지침서 등
◦ 내용 : PISA 2015 예비검사 도구 개발 및 표집, 시행, 채점 관련 자료의 내용 분석 2) PISA 국내 시행 관련 연구 자료 분석
◦ 대상 : PISA 2000∼PISA 2012의 국내 시행 보고서 및 평가도구, PISA 2015 예비검 사 시행 기반 보고서 등
◦ 내용 : 기존의 평가도구(문항, 채점기준 등), 각종 지침서와 보고서 내용 분석
나. 통계분석
1) 목적 : PISA 2015 예비검사 자료의 타당성 검토, 문항 양호도와 평가방식 간 차이 검증 2) 방법 : 고전검사이론, 문항반응이론 등의 측정 이론 적용
다. 전문가 협의회
1) 목적 : PISA 2015 예비검사를 위한 검사도구와 설문 조사도구의 검토, 표집 방법과 예비검사 결과 분석에 대한 자문
2) 대상 : 과학, 수학, 읽기․국어교육 전문가, 협력적 문제해결력 관련 전문가, 교육평가 전문가 등
라. 국제본부 및 국내외 유관기관과의 협력
5)1) 목적 : PISA 2015 예비검사 관련 연구의 원활한 진행 2) 내용 :
◦ PISA 이사회(PGB) 및 국가 연구 책임자(NPM) 회의 참석
◦ 예비검사 평가도구 번안 및 평가대상 선정 관련 의견 조율 및 협의 3) 대상
◦ 국내 : 교육부, 시도교육청, 표집학교, 한국교육개발원 등
◦ 국외 : OECD 교육기술국, 연구연합체(ETS, DIPF, Westat, Pearson, cApStAn) 등 5) PISA는 평가 계획부터 결과 보고까지 연구 내용의 많은 부분이 국제본부와 참여국의 협업 하에 이루어
지기 때문에 ‘국제본부 및 국내외 유관기관과의 협력’을 연구 방법의 하나로 봄.
Ⅱ. PISA 2015 예비검사 시행
1. 평가 설계 및 표집
2. 평가도구 번역 및 제작
3. 예비검사 시행 및 질 관리
1. 평가 설계 및 표집
6)가. 예비검사 설계
PISA는 만 15세 학생들을 대상으로 하여 교과 지식과 역량이 결합된 실생활 소양 중심 의 평가를 과학ㆍ읽기ㆍ수학 영역에서 지속적으로 시행하여 왔으며, PISA 2003의 범교과 문제해결력 평가, PISA 2012에 개인적 문제해결력 평가를 실시한 이후로 PISA 2015부터 는 협력적 문제해결력(CPS) 평가를 도입하였다. 그리고 가장 큰 특징은 PISA 2015에서는 과학․읽기․수학․CPS 등 모든 영역에서뿐만 아니라 학부모를 제외한 교육맥락변인 설 문 조사 역시 컴퓨터 기반으로 실시된다는 점이다. 즉 이전 주기와 달리 PISA 2015에서는 지필평가(PBA)에서 컴퓨터 기반 평가(CBA)로 평가 방식이 변경되었다. 이러한 평가 방식 의 변화에 따라, 3년 주기로 시행되는 PISA의 주요 특징인 추이 변화를 지속적이고 신뢰 롭게 조사․분석하기 위해 PISA 2015 예비검사의 목적은 이전 주기보다 확대되었으며(송 미영 외, 2013c), 두 가지 주요 목적은 다음과 같다.
우선 이전 주기까지 사용된 지필평가(PBA) 문항이 컴퓨터 기반 평가(CBA) 문항으로 변경되었을 때, 평가 시행 방식의 변화로 인하여 발생할 수 있는 차이가 있는지 분석하고, 만약 평가 방식 간 차이(mode effect)가 존재한다면 이를 최소화하기 위한 방안을 마련할 필요가 있다. 따라서 PISA 2015 예비검사에서는 추이문항에 대하여 PBA와 CBA를 모두 시행한 후 그 결과를 비교하는 것이 주요 목적 중의 하나이다.
두 번째 목적은 이전 주기의 예비검사와 같은 성격으로서, PISA 2015의 주영역에 해당 하는 과학 영역과 새롭게 도입한 협력적 문제해결력 평가를 위하여 새롭게 개발된 문항의 질이 양호한지 점검하는 것이다. PISA 2015는 PISA 2006에 이어 과학 영역이 9년 만에 주 영역이 되는 주기에 해당하므로, 과학 영역의 소양을 심층 평가하고 설문 조사 역시 과학 영역을 중심으로 학생들의 인식 및 학습 경험 등 다양한 교육맥락을 파악하게 된다. 또한 컴퓨터 기반으로 협력적 문제해결력에 대한 평가가 실시됨에 따라 학생들의 협력을 위한 의사소통기술과 문제해결 과정을 명확히 이해하기 위해서는 무엇보다 양질의 문항 개발이 선결되어야 하므로, 예비검사를 통하여 새롭게 개발된 평가 문항의 양호도를 점검해야 한 다. 뿐만 아니라 학생, 학교(장), 학부모, 교사 설문 문항을 면밀히 분석하여 번역 상의 문 제가 있거나 문화적인 차이에서 오는 문제는 없는지도 확인하여 타당도를 높여야 한다. 이 러한 과정을 거쳐 본검사 도구에 포함될 평가 문항과 설문 문항을 선제하게 된다.
이상의 목적에 근거하여 PISA 2015 예비검사 설계 개요를 그림으로 나타내면 [그림 Ⅱ
6) 이 절의 내용 중 예비검사 설계, 표집 설계, 학교 표집에 대한 내용은 송미영 외(2013c)을 재구성함.
-1-1]과 같다. PISA 2015 예비검사에서는 평가대상 학생을 학교별로 세 집단으로 나누어 Group 1은 PBA, Group 2와 Group 3은 CBA를 실시한다. 세 집단 중에서 Group 1과 Group 2에게는 과학․읽기․수학 추이문항으로 구성된 검사형을 각각 PBA와 CBA에 의 해 시행하며, 이는 전술한 첫 번째 목적의 평가 방식간 차이 평가를 위한 것이다. 그리고 두 번째 목적의 평가 문항의 양호도 점검을 위해 Group 3에게 과학 새 문항과 CPS 새 문 항으로 구성된 CBA 검사형을 시행한다. [그림 Ⅱ-1-1]과 같이 인지 영역의 검사를 시행한 후에 이어서 교육맥락변인을 조사하는데, 지필과 컴퓨터 기반의 두 가지 방식으로 실시된 다. Group 1의 학생들은 인지영역의 검사 직후 주요 배경변인에 관해 묻는 5개의 문항으로 구성된 ‘간단한 학생 설문’에, Group 2와 Group 3의 학생들은 컴퓨터 기반의 학생 설문 A, B, C, D의 4종 가운데 무선 배정된 1종, 교육경험 설문과 ICT 설문을 작성하게 된다. 학교 (장), 교사, 학부모 대상 설문은 별도의 절차로 진행되며, 각각의 결과로부터 설문 문항의 양호도를 평가한다.
* 출처 : 송미영 외(2013c, p.78)
[그림 Ⅱ-1-1] PISA 2015 예비검사 평가 설계
나. 표집 설계
PISA 연구는 각 참여국의 전체 학생으로부터 일정 크기의 표본(sample)을 추출하여 이루어지는 조사 연구로서, 학생 모집단을 대표하는 표본을 추출하기 위해서 체계적이고 타당한 표집 과정이 필수적이다. 국제본부에서 제공하는 엄격한 기준과 표준화된 표집
절차와 방법을 준수하여 2단계 표집 절차에 따라 2013년에 학교를 표집한 다음, 2014년에 표집학교를 확정하고 각 학교 내에서 학생과 교사 표집이 수행되었다. 평가 대상 표집을 위한 모든 단계는 연구연합체 중에서 표집 담당 기관인 Westat과의 협의와 승인 과정을 거쳐 진행되었다.
이전 주기와 달리 PISA 2015에서는 컴퓨터 기반으로 평가 자료가 수집되나 평가 대상 인 학생 모집단(population)7)에 대한 정의와 이에 따른 표집 설계 및 절차는 이전 주기와 유사하다. 중․고등학생 중에서 학생들의 연령에 근거하여 만 15세 학생들을 대상으로 한 예비검사의 표집이 실시되었는데, PISA 2015 예비검사의 국내 시행 시기에 부합하는 학생 모집단의 생년월일을 ‘1998년 3월 1일부터 1999년 2월 28일 사이에 출생한 학생’로 결정하 였다(송미영 외, 2013c). 평가대상이 되는 학생 표본을 표집하기 위하여 PISA에서는 2단계 비례층화(proportionate stratified sampling) 설계를 사용하고 있다. <표 Ⅱ-1-1>에는 PISA 2015 예비검사의 평가대상 표집을 위한 설계가 요약되어 있다.
구 분 1 단계 2 단계
표집 단위 학교 학생 교사
표집 방법 크기 비례 방법에 의한
편의 표집 무선 표집
층화 변인
- 학교급 : 중학교, 고등학교 - 계열 : 일반계, 비일반계
- 지역규모 : 대도시, 중소도시, 읍면지역
표본 대상 만 15세 재학생 (연령에 기초한 표집) 과학교사 과학 외 교과 교사 목표 군집 크기
(학교별 표집 인원) 39명 10명 15명
<표 Ⅱ-1-1> PISA 2015 예비검사의 2단계 표집 설계
* 출처 : 송미영 외(2013c, p.156)을 수정함.
먼저 학교급, 학교 계열, 지역규모(도시화 정도)의 세 가지 변인을 고려하여 구분된 9개 의 표집층을 활용하여 학교 모집단을 상호 배타적인 층으로 분류하고, 각 층의 모집단 크 7) PISA 2015의 평가 대상 모집단의 정의는 다음과 같음. “검사 기간의 시작 시점에 만 15세 3개월∼만 16세 2개월인 학생으로 해당 국가 내에 위치한 교육기관에 재학하고 있어야 하며, 7학년 이상이어야 한다. 즉 우리나라의 경우 중학교 1학년 이상인 학생이어야 한다(OECD, 2013c, p.2; 송미영 외, 2013c, p.153 재인용).”
기에 비례하는 크기의 학교 표본을 추출하였다. 학교 표집 후에 표집된 학교 내에서 개별 학생을 표집하였다. 평가 대상으로 추출된 학생은 인지 영역의 검사와 학생 대상 설문에 응답하며, 학생 표본과 직접 연계된 학부모가 학부모 설문지를 작성하고, 학교 설문은 표 집학교의 교장 또는 교장이 지정한 사람이 작성한다. 교사 설문의 작성은 표본 학생들과 직․간접적으로 연계된 표집학교의 교사가 작성하는데, 표집학교의 교사 중에서 표집된 학생 표본을 가르치는 교사를 과학 교과와 그 외 교과 교사로 구분하여 표집하였다.
국제본부에서 요구하는 표본 크기, 이전 주기와의 유사성, 전체 표본의 대표성, 평가 시 행의 용이성 등을 종합적으로 고려하여 Westat과 협의 하에 예비검사를 위해 필요한 최소 학교 수와 학교당 표집해야 학생 수를 결정하였다. 국제본부의 검토를 거쳐 PISA 2015 예 비검사를 위해 62개 학교에서 각각 학생 39명씩 추출하기로 계획하였다. 한편 PISA 2015 예비검사는 CBA와 PBA를 모두 시행하고, 추이문항과 새 문항 모두 평가하는데, 각 학교 내에서 표집된 학생은 [그림 Ⅱ-1-1]의 세 집단(Group 1—Group 3) 중의 1개 집단에 무선 배정된다. 이를 위하여 표집학교를 크게 둘로 나누어 일부 학교에서는 PBA와 CBA가 모 두 시행되며 각 학교 내의 표집 학생을 1/3씩 각 집단에 배정한다. 다른 학교는 CBA만 시 행되며 각 학교 내에서 표집 학생의 1/3은 추이문항, 나머지 2/3은 새 문항에 대해 평가한 다(송미영 외, 2013c). 이러한 설계 방식에 따라 우리나라에서는 표집학교 중 44개 학교는 PBA와 CBA를 모두 시행하고, 18개 학교에서는 CBA만 실시하도록 계획하였다(<표 Ⅱ -1-2> 참조).
평가 방식 학교급 학교 수 Group 1
(PBA 추이문항)
Group 2 (CBA 추이문항)
Group 3 (CBA 새 문항) CBA
+ PBA
중학교 5개교
44개교 13명 13명 13명
고등학교 39개교
CBA만 중학교 3개교
18개교 - 13명 26명
고등학교 15개교
<표 Ⅱ-1-2> PISA 2015 예비검사 평가방식별 표집학교 수와 학교당 표집 학생 수
다. 표집학교의 확정
PISA 2015 예비검사의 학교 표집을 위해서, 먼저 우리나라 중학교 1학년 이상 만 15세 학생 대상 모집단을 규정한 후 이를 활용하여 PISA 대상이 재학하고 있는 학교 표집틀을 작성하였다. 학교 규모가 너무 작거나 PISA 평가를 실시할 수 있는 여건이 되지 않거나,
