국제 교육 모니터링 체제 구축을 위한 학습성과 지표 개발 연구
-수학·읽기 영역의 학습성과 명세화 및 평가 방안-
연구책임자 상경아 공동연구자 오은순 김미경 최지선 김성훈 김영란
교육평가본부장 이명애 연구보고 RRE 2014-7
국제 교육 모니터링 체제 구축을 위한 학습성과 지표 개발 연구
-수학·읽기 영역의 학습성과 명세화 및 평가 방안-
연구보고 RRE 2014-7 발 행 일 2014년 12월 31일 발 행 인 조 난 심 발 행 처 한국교육과정평가원
주 소 서울 중구 정동길 21-15 정동빌딩 전 화 (02)3704-3704
팩 스 (02)730-7487 홈페이지 http://www.kice.re.kr 인쇄업체 서경문화(02-2278-9979) I S B N 978-89-6687-975-5 93370
※ 본 자료 내용의 무단 복제를 금함
연구협력진
협력진 고은성(전주교대) 권석일(경인교대) 권점례(KICE)
길혜지(서울대) 김나현(교육부) 김선희(강원대)
김성숙(KICE) 김성여(교동초) 김성준(부산교대)
김수진(KICE) 김연석(교육부) 김진호(대구교대)
남진영(경인교대) 박선화(KICE) 박승용(덕수초)
박종효(건국대) 박지현(KICE) 박현정(서울대)
백석윤(서울교대) 변희현(KICE) 서동엽(춘천교대)
서민희(KICE) 서 혁(이화여대) 송미영(KICE) 엄문영(한국교육개발원) 옥현진(이화여대) 윤영순(KICE)
윤준채(대구교대) 이광현(부산교대) 이동환(부산교대)
이순영(고려대) 이종열(인천대) 이창근(전주교대)
이천희(길원초) 이현숙(건국대) 임해미(KICE)
장혜원(서울교대) 전경희(KICE) 정은빈(국제영어대학원대학교)
조영미(공주교대) 조지민(KICE) 채재은(가천대)
천경록(광주교대) 최숙기(한국교원대) 최영미(미추홀외고)
한대희(청주교대) 한정아(KICE) 홍갑주(부산교대)
<가나다순>
머리말
교육은 인간이 만든 제도 중 인류의 삶에 가장 지대한 영향을 미친 위대한 산물이라고 합니다. 이러한 인식하에 세계 각국은 국가의 경쟁력제고를 위한 수월성(excellence) 교육 과, 개개인이 미래 사회에서 뒤쳐지지 않고 행복한 삶을 영위해 갈 수 있도록 하는 형평성 (equity) 교육에 심혈을 기울이고 있습니다. 특히, 자국은 물론, 국제적으로도 교육의 형평 성에 대한 관심은 최근 들어 더 많은 국가들의 관심의 대상이 되고 있습니다.
하지만, 이러한 세계 교육의 흐름 속에서도 저개발 국가의 아동들은 공교육을 받아도 기 초학력을 보장받지 못하거나 아예 교육의 기회를 가지지 못하고 있어 국제적인 쟁점이 되 고 있습니다. 더욱 문제가 되는 것은 이러한 학습 문제의 현황과 심각성이 어느 정도이며, 어떤 요인에 기인한 것인지, 그리고 어떤 지원이 필요한지를 파악할 수 있는 국제 수준의 자료나 정보가 매우 부족하다는 점입니다.
이를 해결하기 위해, 지난 2012년 UNESCO는 산하 통계연구소(UIS)와 미국 브루킹스 연구소의 보편교육센터(CUE)를 중심으로 세계 각국의 전문가들이 참여하는 학습성과측정 위원회(LMTF)를 구성하고, 국제 학습성과 지표를 개발하고, 국가별 교육의 실태를 진단 하며, 개선하도록 지원하는 과제를 추진하고 있습니다. 우리 원은 수학과 읽기 영역의 학 습성과 지표를 개발하는 연구에 참여하고 있습니다. 특히, 수학은 학습성과 지표 개발 그 룹의 공동리더로서 이 분야에 대한 우리 원의 전문성을 인정받고 있습니다.
올해는 위와 같은 세계 교육 변화를 위해, 우리 원은 수학과 읽기 영역의 학습성과 지표 개발을 위한 기초 연구를 수행하였습니다. 즉, 학습성과 지표 개발에 앞서, 지표 개발의 근 거가 되는 교과별 학습성과의 주요 내용을 추출하여 성취수준을 기술하고, 이러한 성취수 준을 기반으로 각국의 성취수준을 진단하여 비교할 수 있는 방안이 무엇인지를 심도 있게 탐색하였습니다. 연구과정에서 이 분야에 깊은 관심을 가지고 참여하고 있는 세계적인 전 문가들과 직접 혹은 수차례의 웹상 회의를 통해 매우 진지한 협의를 하기도 했습니다.
이처럼 많은 노력을 기울여 맺은 연구의 결과가 국제적으로 각국의 교육을 진단하고 지 원하는 근거가 되어, 결국 전 세계 아동들이 진정한 학습의 기회를 가지게 되며, 나아가 미 래 사회에서 행복하게 살아가게 하는 데 크게 기여하기를 기대합니다. 무엇보다 우리 원이 이번 연구를 통해 국제적으로 수학과와 읽기 교육 발전에 적극 협력함은 물론, 우리 원에
서 주관하는 PISA와 TIMSS 결과에서 드러난 교육의 우수성을 세계에 보급하여 국제 교 육을 선도해 나가는 계기가 되길 바라는 마음 간절합니다.
본 연구가 이처럼 알찬 결과를 맺기까지 많은 분들의 도움이 있었습니다. 우선, 국제적 인 경험과 안목을 가지고 교과 교육과정 분석 등, 연구의 전 과정에 적극 참여해 주신 교수 님들께 깊이 감사드립니다. 특히, 정책 현안에 매여 자리를 비우기 어려운 여건에서도 정 책 제언 도출을 위해 적극 관여해 주신 교육부 관계자들께 진심 어린 감사를 표합니다. 끝 으로, 국내외 전문가들과 긴밀한 협조 하에 이 연구를 마무리하기까지 심혈을 기울여 주신 외부 공동연구원과 원내 연구진들께도 감사의 마음을 전합니다.
2014년 12월 한국교육과정평가원
원장 직무대리
연구요약
연구의 필요성 및 목적
국제사회는 보편교육의 확대를 넘어서 학습의 실질적인 질 제고를 위한 다양한 논의를 진행하고 있으며, 학습성과의 측정 및 점검을 통한 교육의 질 개선을 목표로 출범한 학습 성과측정위원회(LMTF)는 수학, 읽기를 포함한 7개 영역에 대해 국제 수준의 학습성과 지 표 개발을 추진하고 있다. 한국교육과정평가원은 LMTF 산하의 수학, 읽기 영역 지표 개 발 그룹에 참여하고 있으며, 특히 수학 영역에서는 지표 개발 그룹(WGNI)의 공동리더로 서 주도적 역할을 수행하고 있다.
본 연구에서는 수학, 읽기 영역의 학습성과 지표 개발과 관련된 이론적, 실제적 문제들 에 대해 검토하고 그 해법을 모색함으로써 타당하고 유용한 지표 개발을 위한 기초자료를 제공하고자 하며, 이를 바탕으로 학습성과 지표 개발 과정에서 한국교육과정평가원이 담당 한 역할을 성공적으로 수행하고자 하였다. 이 연구는 2년에 걸쳐 수행되며, 1차년도인 이 번 연구의 목적은 학습성과 지표 개발을 위해 선행되어야 할 국제 수준의 학습성과 측정 방안을 마련하는 것이다. 이를 위해 국제 공통의 수학, 읽기 영역 학습성과를 명세화하고, 세계 각국의 학습성과를 일관된 기준에 의해 해석, 보고할 수 있는 학습성과 평가 방안을 탐색하고자 하였다.
연구 내용 및 주요 결과
m 학습성과 지표 개념 및 개발 방안 고찰
학습성과 지표 개발의 근거를 마련하고자, 학습성과 지표의 개념과 기능, 선택의 준거, 그리고 개발 방법론 및 절차에 대한 이론 및 선행연구를 고찰하였다. 학습성과 지표는 수 학과 읽기에서 기대되는 학습목표의 달성 정도를 보여줄 뿐 아니라, 수학과 읽기의 학습성 과 실태와 변화정도에 대한 요약적인 정보를 제공할 수 있는 수치라고 정의하였다. 그리고 현상과 변화에 대한 이해 및 진단, 기관 및 프로그램의 평가를 통한 교육체제의 개선 및 지 원 수요 예측, 정책적 판단을 위한 근거 제공, 교육연구에의 활용 등을 지표의 기능으로 제
시하였다. 한편 학습성과 지표가 갖추어야 할 바람직한 특성 혹은 지표 선택의 준거를 추 출하기 위해 교육지표 관련 선행연구들을 검토하였으며 그 결과 타당성, 신뢰성, 유용성, 이해 가능성, 비용대비 효율성, 비교 가능성, 관련성 및 융통성, 그리고 포괄성을 학습성과 지표의 선택 준거로 선정하였다. 끝으로, 지표 개발의 방법론으로 체제적 접근과 주제영역 별 접근, 그리고 교육단계별 접근을 각각 살펴보고, 본 연구에서도 학습성과 지표 개발 시 이 모두를 적용하여 종합적이고 체계적인 접근을 할 것을 제언하였다.
m 수학, 읽기 영역 학습성과 명세화
학습성과 지표가 구체적으로 정의되기 위해서는 수학, 읽기 영역에서 아동이 달성하기 를 기대하는 학습목표가 구체적으로 설정되어야 한다. 이 연구에서는 국내외 교육과정과 기존 평가도구를 분석하고, LMTF의 수학, 읽기 학습성과 지표 개발 그룹과의 논의 과정 을 통해 각 영역의 학습성과를 명세화하였다.
먼저 수학 영역에서는 국제 공통의 학습성과를 명세화하기 위해 내용 영역과 내용 요소 를 추출하고, 성취수준을 기술하였다. 이를 위해서 지리적, 경제적 특성을 고려하여 12개국 을 선정하여 각국의 초등교육과정 문서를 분석하였고, 국제적으로 혹은 권역별로 실시되고 있는 초등교육 단계 아동 대상의 평가도구들을 분석하였다. 이러한 교육과정과 평가도구 의 분석결과를 WGNI와의 논의와 검토를 거쳐 학습성과 명세화 결과를 도출하였다. 초등 수학은 수와 연산, 기하, 측정, 자료의 4개 내용 영역으로 구분하였고, 각 내용 영역의 내용 요소를 초등 전기와 후기로 구분해 제시하였다. 성취수준은 기초, 보통, 능숙, 탁월의 4개 수준으로 구분하고 각 성취수준의 능력 특성을 기술하였다.
읽기 영역에서는 지리적, 경제적 특성과 함께 언어적 특징을 고려해 10개 국가의 초등교 육과정을 분석하였고, 초등교육 단계 아동에게 실시되는 국제 및 권역별 평가도구들을 분 석하였다. 또한 읽기 영역 지표 개발 그룹 내에서의 논의 결과를 바탕으로 교육과정 및 평 가도구 분석 결과를 종합해 읽기 영역의 학습성과를 명세화하였다. 초등 전기의 학습성과 내용 영역은 해독, 어휘, 독해로, 초등 후기의 내용 영역은 유창성, 어휘, 독해로 구분하였 고, 이 시기에 배워야 할 학습 내용들을 구체화하였다. 이와 함께 세계 각국 언어의 다양성 으로 인해 학습성과 지표 개발 과정에서 고려해야 할 사항을 제시하였다.
m 학습성과 평가 방안
수학·읽기 영역의 학습성과 명세화 결과를 토대로 국제 수준의 학습성과 평가 방안을 탐 색하였다. 수학, 읽기 영역의 경우 세계 많은 국가들이 아동의 학업 성취도를 파악하기 위 해 다양한 평가를 실시하고 있으므로, 이 연구에서는 기존의 평가도구를 활용하여 국제 학 습성과 지표를 개발하는 방안을 검토하였다. 먼저 기존에 실시되고 있는 다양한 국제 및 권역별 평가도구들이 국제 수준에서 합의된 학습성과를 타당하게 측정하고 있는가를 검토 하였다. 그 결과 초등 전기의 수학 영역 학습성과를 측정하는 기존 평가도구들은 대부분 수와 연산 영역의 기초 기능만을 평가하고 있어서 초등 전기의 학습성과 내용 영역 전반에 대한 학업성취 정보를 파악하기 위해서는 평가도구의 보완이나 추가적인 정보 수집이 필 요한 것으로 확인되었다.
한편 서로 다른 평가도구들을 활용해 측정된 학습성과 평가 결과를 국제적으로 일관된 기준에 의해 해석, 보고하기 위해서는 각 평가도구들의 점수 척도를 연계할 필요가 있다.
이 연구에서는 학습성과를 국제적으로 비교할 수 있는 방안으로 판단적 조정 방안과 국제 공통척도 개발 방안을 제안하고 각각의 원리와 방법, 적용 예시, 장점과 제한점을 논의하 였다. 판단적 조정 방안은 상대적으로 적은 노력과 자원을 투입해서 간편하게 적용할 수 있는 방법이지만, 평가도구들 간 성취수준 분할점수의 동등성을 전적으로 내용 전문가들의 판단에만 의존해야한다는 한계가 있다. 반면 국제 공통척도 개발 방안은 학습성과의 변화, 발달 정도를 연속적인 척도 상에서 확인할 수 있고 평가 결과에 대한 가감승제의 변환, 분 석이 가능하여 다양한 형태의 지표를 개발할 수 있다. 그러나 국제 공통척도 개발에는 많 은 자원과 노력, 국제적 동의와 협력이 요구된다. 따라서 학습성과 지표 개발을 위한 기존 평가도구의 연계 방법을 결정하기 위해서는 지표 개발의 목적과 활용 방법, 지표 개발을 위해 투입할 수 있는 자원과 국제적 협력 가능성 등을 종합적으로 고려해야 한다.
제 언
이상의 연구 결과를 토대로 이 연구에서는 후속연구로 세계 각국의 실행 교육과정 분석 을 통한 학습성과 명세화 연구, 국제 공통척도 개발 방안을 시범적으로 적용해보는 경험적 연구, 국제 학습성과 지표의 내용 구성 및 조사 방안 연구를 제안하였다. 또한 정책적 측면 에서는 기초교육 강화를 위한 초등 교육과정 및 학습성과 점검 체제 개선과 국제 학습성과 지표 개발 및 적용을 위한 정부 차원의 지원과 협력을 제언하였다. 기초교육 강화를 위한 교육과정 및 학습성과 점검 체제 개선의 추진과제로는 첫째, 초등교육 단계의 학습성과에 대한 국가수준의 점검 체제를 구축하고 둘째, 기초교육 강화를 위해 초등 수학, 읽기 교육 과정의 내용요소를 재검토한다. 국제 학습성과 지표 개발 및 적용을 위한 정부 차원의 지 원과 협력을 위해서는 첫째, 국제 학습성과 지표 개발 및 적용을 위한 행·재정적 지원을 강 화하고 둘째, 국제 학습성과 지표 개발과 관련한 교육협력을 강화하며, 셋째, 국제 교육 모 니터링 체제 구축·운영을 위한 전문가 포럼을 운영한다.
차례
Ⅰ. 서 론 ··· 1
1. 연구의 필요성 및 목적 ··· 3
가. 연구의 배경 및 필요성 ··· 3
나. 연구 목적 ··· 7
2. 연구 내용 ··· 8
가. 학습성과 지표 개발의 배경 및 관련 동향 분석 ··· 8
나. 학습성과 지표의 개념 및 개발 방안 고찰 ··· 8
다. 수학·읽기 영역의 학습성과 명세화 ··· 8
라. 국제 학습성과 평가 방안 탐색 ··· 9
3. 연구 방법 ··· 9
가. 문헌 분석 ··· 9
나. 전문가 협의회 ··· 9
다. 국제 회의 ··· 10
라. 수학 영역 성취수준 기술문 개발을 위한 전문가 패널 운영 ··· 11
마. 세미나 개최 ··· 11
바. 전문가 의견 조사 ··· 11
Ⅱ. 학습성과 지표의 개념 및 개발 방안 고찰 ··· 13
1. 개념 및 기능 ··· 15
가. 개념 ··· 15
나. 기능 ··· 16
2. 선택의 준거 ··· 18
3. 개발 방법론 및 절차 ··· 22
가. 지표 개발 방법론 ··· 22
나. 지표 개발의 방법 및 절차 ··· 24
Ⅲ. 수학·읽기 영역의 학습성과 명세화 ··· 27
1. 수학 ··· 29
가. 수학적 능력 발달에 관한 이론적 고찰 ··· 29
나. 교육과정 분석 ··· 33
다. 평가도구 분석 ··· 41
라. 수학 영역 학습성과 명세화 ··· 49
마. 시사점 ··· 60
2. 읽기 ··· 61
가. 읽기 능력 발달에 관한 이론적 고찰 ··· 61
나. 교육과정 분석 ··· 67
다. 평가도구 분석 ··· 75
라. 읽기 영역 학습성과 명세화 ··· 80
마. 시사점 ··· 82
Ⅳ. 학습성과 평가 방안 ··· 85
1. 기존 평가도구의 활용 가능성 검토 ··· 88
가. 수학·읽기 영역 학업성취도 평가 현황 ··· 88
나. 기존 평가도구 내용 분석 ··· 90
2. 학습성과 평가 결과의 국가 간 비교 방안 ··· 96
가. 판단적 조정 방안 ··· 97
나. 국제 공통척도 개발 방안 ··· 103
3. 시사점 ··· 111
Ⅴ. 결론 및 제언 ··· 113
1. 결론 ···115
2. 후속연구 제언 ···118
3. 정책 제언 ···122
* 참 고 문 헌 ···135
* ABSTRACT ···147
* 부 록 ···151 1. 교육과정 분석 대상인 각국 교육과정 문서 목록 ··· 153 2. KICE 수학과 학습성과 명세화 시안에 대한 LMTF 전문가 검토
요청 자료 ··· 155 3. 초등 전기와 후기의 읽기 영역 요소 분석 ··· 164
표차례
<표 Ⅰ-1> 국제 학습성과 측정 영역 및 지표 예시(LMTF, 2013c, p11) ··· 6
<표 Ⅱ-1> WGNI가 권고한 지표 준거 ··· 20
<표 Ⅱ-2> 학습성과 지표 선택의 준거 항목 ··· 21
<표 Ⅲ-1> Piaget의 발달 단계별 사고의 특징과 관련 수학적 개념 ··· 31
<표 Ⅲ-2> van Hiele의 기하 학습 수준과 수학 학습 수준 ··· 32
<표 Ⅲ-3> 수학 영역 교육과정 분석 대상 국가 ··· 33
<표 Ⅲ-4> 12개국의 초등교육과정 구분 ··· 34
<표 Ⅲ-5> 12개국의 수학 내용 영역 ··· 36
<표 Ⅲ-6> 12개국의 초등 전기 수학 내용 요소 ··· 38
<표 Ⅲ-7> 12개국의 초등 후기 수학 내용 요소 ··· 39
<표 Ⅲ-8> 교육과정 분석을 통한 초등 전기의 공통된 수학 내용 요소 ··· 40
<표 Ⅲ-9> 교육과정 분석을 통한 초등 후기의 공통된 수학 내용 요소 ··· 40
<표 Ⅲ-10> 수학 평가도구의 내용 영역 ··· 46
<표 Ⅲ-11> 초등 전기 평가도구의 수학 내용 영역 ··· 46
<표 Ⅲ-12> 초등 후기 평가도구의 수학 내용 영역 ··· 46
<표 Ⅲ-13> 수학 평가도구의 내용 요소 ··· 48
<표 Ⅲ-14> 평가도구 분석을 통한 수학 내용 요소 ··· 48
<표 Ⅲ-15> TIMSS의 인지 영역 ··· 49
<표 Ⅲ-16> 수학 내용 영역 ··· 50
<표 Ⅲ-17> WGNI가 제안한 초등 전기의 수학적 개념과 기능 ··· 51
<표 Ⅲ-18> WGNI가 제안한 초등 후기의 수학적 개념과 기능 ··· 52
<표 Ⅲ-19> 초등 수학 내용 요소에 대한 WGNI 검토 의견 및 반영 결과 ··· 53
<표 Ⅲ-20> 초등 전기의 수학 내용 요소 ··· 54
<표 Ⅲ-21> 초등 후기의 수학 내용 요소 ··· 54
<표 Ⅲ-22> 초등 수학의 내용 영역별 성취수준 ··· 57
<표 Ⅲ-23> 초등 성취수준에 대한 WGNI의 검토 의견과 반영 결과 ··· 58
<표 Ⅲ-24> 초등 수학의 성취수준 기술문 ··· 59
<표 Ⅲ-25> 선행연구에서 제안한 읽기 능력 발달 단계 구분 ··· 62
<표 Ⅲ-26> 읽기 능력의 발달 단계와 주요 특징 ··· 65
<표 Ⅲ-27> 읽기 영역 교육과정 분석 대상 국가 ··· 69
<표 Ⅲ-28> UNESCO-UIS(2012)의 개발도상국 읽기 영역 교육과정과 교과서 분석 결과 ··· 70
<표 Ⅲ-29> 각국 읽기 교육과정의 독해 능력 수행 수준 ··· 72
<표 Ⅲ-30> 교육과정·교과서 분석에 따른 읽기 내용 영역 ··· 75
<표 Ⅲ-31> 국제 읽기 평가도구의 구성 요소 ··· 78
<표 Ⅲ-32> 평가도구 분석에 따른 초등 전기와 후기 읽기의 내용 영역 ··· 79
<표 Ⅲ-33> 각국 읽기 교육과정의 내용 영역별 포함 여부 ··· 79
<표 Ⅲ-34> 초등 전기 읽기 학습성과의 명세화 ··· 82
<표 Ⅲ-35> 초등 후기 읽기 학습성과의 명세화 ··· 82
<표 Ⅳ-1> 수학, 읽기 영역 학업성취도 평가 실시 현황 ··· 89
<표 Ⅳ-2> 초등 전기 수학 평가도구의 평가 방법 및 세부 평가 영역 ··· 91
<표 Ⅳ-3> 초등 후기 수학 평가도구의 평가 방법 및 세부 평가 영역 ··· 92
<표 Ⅳ-4> 초등 전기 읽기 평가도구의 평가 방법 및 세부 평가 영역 ··· 93
<표 Ⅳ-5> 초등 후기 읽기 평가도구의 평가 방법 및 세부 평가 영역 ··· 95
<표 Ⅳ-6> 판단적 조정 방안과 국제 공통척도 개발 방안의 비교 ··· 109
<표 Ⅴ-1> 국제 교육 모니터링 체제 구축·운영을 위한 전문가 포럼 주제 ··· 133
그림차례
[그림 Ⅰ-1] 수학, 읽기 영역 국제 학습성과 지표 개발을 위한 연구 추진 계획 ··· 7
[그림 Ⅱ-1] 학습성과 지표 개발 방법 및 절차 ··· 25
[그림 Ⅲ-1] 수학 영역 학습성과 명세화 과정 ··· 50
[그림 IV-1] 판단적 조정에 의한 기본 검사형에 대한 분할점수 설정 ··· 98
[그림 IV-2] 검사 동등화를 통한 분할점수의 연계 및 발달점수척도의 유지 ··· 99
[그림 IV-3] 국내 및 국제 검사 점수척도의 국제공통 발달점수척도로의 연계 ··· 105
[그림 IV-4] 국제공통 능력평가 검사 제작 및 발달점수척도의 개발 예시 ··· 106
[그림 Ⅴ-1] 국제 학습성과 지표 개발을 위한 후속연구 ··· 118
[그림 Ⅴ-2] 국제 학습성과 지표 개발을 통한 학습성과 점검 및 개선 ··· 122
1. 연구의 필요성 및 목적 2. 연구 내용
3. 연구 방법
Ⅰ. 서 론
1. 연구의 필요성 및 목적
가. 연구의 배경 및 필요성
20세기 들어 인간의 기본적인 권리이자 개인과 사회의 발전을 위한 중요 수단으로 교육 의 중요성에 대한 인식이 확대되었다. 1946년 설립된 국제연합교육과학문화기구(United Nations Educational, Scientific and Cultural Organization: UNESCO)는 교육, 과학, 문화 분야의 국제협력을 통하여 상호 이해증진과 발전에 기여함으로써 궁극적으로 세계평화에 이바지함을 헌장에서 명시하고 인권적 관점에서 인간성을 회복하고 평등한 권리를 보장할 수 있도록 기초교육 분야의 협력을 강조하였다. 1948년 발표된 세계인권선언에서도 교육 을 인간의 기본적인 권리로 명시하였다(이승환, 2009). 또한 인권적 측면에서의 중요성 외 에 빈곤퇴치와 경제성장에 있어서 교육의 역할도 강조되었는데, 교육을 통해 개인의 역량 이 강화되고 이에 따라 개인은 노동시장에서 더 좋은 직업을 얻을 수 있으며 사회적으로는 노동생산성이 향상되어 경제성장에 기여하게 된다는 것이다(윤종혁 외, 2013).
교육의 중요성과 의의에 대한 이러한 인식을 바탕으로 1990년에 태국 좀티엔에서 ‘모두 를 위한 교육(Education for All: EFA)’을 주제로 한 국제회의가 개최되었다. 이 회의에서 국제사회는 ‘교육은 기본적 인권의 하나이며, 모든 사람이 살아가는 데 필요한 지식·기능 을 배울 기회를 얻고 직면한 다양한 문제를 해결하기 위해 기초교육의 양적 질적 확대가 필요하다’는 점을 강조하였다(WCEFA, 1990). 그리고 이러한 공동의 목표 달성을 위한 세 부 목표와 추진전략(Framework for Action)을 채택하고, 2000년까지 국제사회가 그 결과 를 지속적으로 모니터링할 수 있도록 했다(김희웅, 2012). 그러나 이러한 국제사회의 노력 에도 불구하고 EFA 세부 목표들을 실제로 달성하는 데는 한계가 있었으며, 이에 2000년 세네갈 다카르에서 열린 세계교육포럼에서는 EFA 달성을 위한 보다 구체적인 세부 목표 와 추진전략(The Dakar Framework for Action)을 채택하고 세계 각국이 2015년까지 EFA 목표 달성을 위해 노력할 것을 재차 강조하였다(UNESCO, 2000).
한편 같은 시기에 UN은 새천년 정상회의(UN Millenium Summit)의 공식 의제로 ‘초등 교육 보편화’를 포함한 7개의 새천년개발목표(Millenium Development Goal, 이하 MDG)를 설정하고, 전체 193개 회원국들과 23개의 국제기구들이 2015년까지 이들 목표를 달성하기 로 합의하였다(엄문영 외, 2013). 교육 분야 전문가들의 논의를 넘어서 MDG라는 국제사회 개발 의제에 교육 분야 목표가 포함되었다는 사실은 교육의 중요성에 대한 인식이 사회 전 부문으로 확산되었으며, 동시에 이를 계기로 국제사회의 개발협력 논의에서도 교육발전이 중요한 과제로 등장하게 되었음을 의미한다.
(1) 학습성과 측정 필요성
지난 수십년간 EFA, MDG 등 교육기회의 확대를 위한 국제적 노력에 힘입어 전 세계 수백만 명의 아동들에게 학교교육 기회가 확대되어 왔다. 그러나 여전히 전 세계 모든 아 동에게 균등한 교육기회를 제공하고 있지 못하며, 학습의 성과 또한 아직 낮은 수준에 머 물러 있는 경우가 많다(Brookings Institution, 2011). 최근의 조사에 의하면 약 5천 7백만 명의 아동들이 학교교육을 받지 못하고 있으며, 학교교육을 받고 있는 전체 아동의 25%가 초등학교를 졸업하지 못하고 중도 탈락하는 것으로 나타났다(The World We Want, 2013).
또한 약 2억3천만 명의 초등학교 연령 아동들이 최소 학습 기준을 충족할 수 있는 정도의 읽기, 쓰기, 셈하기 능력을 갖추지 못하고 있으며, 약 2억만 명의 청소년들이 생활과 고용 에 필요한 기술을 습득하지 못하고 있다(UNESCO, 2012).
이처럼 세계 많은 아동과 청소년들이 여전히 교육기회에 심각한 제약을 받고 있음에도 불구하고, 이러한 문제의 현황과 심각성을 구체적으로 파악할 수 있는 국제 수준의 자료나 정보는 매우 부족한 실정이다(LMTF, 2013c). 경제협력개발기구(Organization for Economic Cooperation and Development: OECD), UNESCO 등 다양한 기관에서 국제 교육지표를 조사·발표하고 있으나, 학습성과와 관련된 지표들은 취학률, 졸업률 등에 대한 지표가 대 부분이다. OECD는 일찍이 학습성과 측정의 중요성을 인식하고 국가 간 학습성과를 비교·
분석하기 위한 국제 학업성취도 평가(Programme for International Student Assessment:
PISA)를 시행하고 있다. 그러나 PISA는 OECD 회원국 및 PISA 참여를 희망하는 국가들 이 참가하는 평가로, 학습성과를 점검하고 학습의 질을 개선해야 할 필요성이 특히 높은 개발도상국의 상당수가 여기에 참여하지 못하고 있다. 또한 PISA는 만 15세 학생을 대상 으로 하여 수학, 읽기 등의 기초 기능이 형성되는 초등학교 단계의 학습 수준에 대한 정보 를 제공하지 못한다. UNESCO 역시 국가별 문해율을 정기적으로 조사해 발표하고 있으나, 조사 대상이 청소년 및 성인으로 초등교육 단계의 학습성과에 대한 정보를 제공하지 못하 며 문해율 조사 방식에서도 개별 국가별로 ‘문해’에 대한 정의, 판단 기준에 차이가 있어서 국가 간 문해율을 비교, 해석하는 데 한계가 있다.
따라서 세계 각국 아동들의 학습 현황과 문제점을 파악하고 개선하기 위해서는 개발도 상국을 비롯한 전 세계 국가들을 포괄하는 체계적인 학습성과 측정 및 모니터링이 요구된 다. UN고위급패널(UN High-Level Panel)의 보고서에서는 국제사회가 교육기회의 확대와 교육의 질 향상이라는 목표에 동의한다면, 이러한 목표를 달성하기 위한 국제사회의 노력 이 효과가 있는가를 확인할 수 있는 데이터의 확보와 이를 위한 교육성과의 측정이 중요함
을 강조하였다(LMTF, 2013c). 2012년 유네스코 통계연구소(UNESCO Institute for Statistics: UIS)와 브루킹스 연구소 산하 보편교육센터(Center for Universal Education:
CUE)를 주축으로 구성된 학습성과측정위원회(Learning Metrics Task Force, 이하 LMTF)에서도 전 세계적으로 학습 문제의 현황과 심각성이 어느 정도인지를 파악할 수 있 는 자료나 정보가 매우 부족함을 지적하고, 학습성과의 체계적인 점검과 개선을 위해 학습 성과 지표를 개발할 것과 세계 각국의 학습성과 측정 역량을 제고할 것을 제안하였다 (LMTF, 2013c).
(2) 한국교육과정평가원의 LMTF 관련 활동
2012년 구성된 LMTF는 다양한 국제기구 및 세계 각국의 전문가들과의 다자간 협의 과 정을 통해 교육과 관련한 국제적 논의의 초점을 ‘교육 기회의 확대(access)’에서 ‘교육 기회 의 확대 및 학습(access plus learning)’으로 전환시키고, 국제 학습성과 지표 개발 및 각국 의 학습성과 측정 역량 향상을 위한 국제적인 공감대를 형성하기 위해 노력해 왔다. 한국 교육과정평가원(이하, 평가원)은 2012년에 LMTF 회원으로 참여하기 시작했다. 2012∼
2013년에 걸친 LMTF의 주요 활동과 성과를 요약하면 다음과 같다.
먼저, 세계 각국 전문가들의 검토와 의견수렴 과정을 통해 세계 모든 아동과 청소년이 꼭 배워야할 학습영역으로 신체적 건강(Physical Well-being), 사회·정서(Social and Emotional), 문화·예술(Culture and Art), 문식성(Literacy and Communication), 인지·학습 방법(Learning Approaches and Cognition), 기초수학·수학1)(Numeracy and Mathematics), 과학·기술(Science and Technology)을 선정하였다(LMTF, 2013a).
다음으로 앞서 제시된 7개 학습영역의 학습성과들 중 국제적 모니터링의 필요성과 가능 성이 높다고 판단되는 측정 영역을 선정해 학습성과 지표를 개발하고 국제적으로 모니터 링할 것을 제안하였다. LMTF가 제안한 구체적인 학습성과 측정 영역은 모두를 위한 학습 /학습과 연령(Learning for All/ Age and Education Matter for Learning), 읽기(Reading), 기초수학(Numeracy), 학습준비도(Ready to Learn), 세계시민성(Citizen of the World), 학 습 기회의 폭(Breadth of Learning Opportunities), 형평성(Equity)이다(LMTF, 2013b).
<표 Ⅰ-1>은 7개 학습성과 측정 영역과 각 영역별로 가능한 지표를 예시한 것이다.
1) Numeracy는 자연수와 자연수의 연산을 포함하는 부분으로, 수학 전체에서 일부에 해당함. 본고에서는 수학과 구별하여 특히 초등학교 저학년에서 강조되는 수학을 지칭하는 Numeracy를 기초수학으로 번역
<표 Ⅰ-1> 국제 학습성과 측정 영역 및 지표 예시(LMTF, 2013c, p11)
학습성과 측정 영역 가능한 지표 예시
모두를 위한 학습/학습 연령 적정 연령에서의 교육 입문과 졸업. 미취학/ 중퇴 비율
읽기 읽기 기초 기능 및 유창성
기초수학 수학 기초 기능 및 유창성
학습준비도 적정 수준의 조기 학습 및 발달 정도
세계시민성 지역사회, 국가, 세계에서 요구되는 가치/기능
학습 기회의 폭 7개 학습 영역에 대한 학습 기회 노출 정도 형평성 성별, 지역별, 사회경제 지위 등을 고려한 학습 기회 제공과
측정의 공정성
* 음영으로 표시된 부분은 한국교육과정평가원이 지표 개발에 직접 참여하는 학습성과 측정 영역이다.
LMTF는 2012∼2013년의 1단계 활동을 마무리하면서 그 간의 논의 결과를 토대로 국제 수준의 학습성과 지표 개발, 세계 각국의 평가 시스템 강화 및 이를 통한 학습 수준 제고 등을 포함하는 7가지 권고사항을 제안했다. 그리고 이러한 권고사항을 구체적으로 실천하 기 위해 2014∼2015년까지 2년 간 위원회 활동을 연장하기로 하고, 이 기간 동안 ‘세계, 국 가, 지역 수준에서의 학습성과 평가 체제를 발전시키고, 학습의 질을 개선하기 위해 평가 데이터를 효과적으로 활용하도록 지원하는 것’을 목표로 학습성과 지표 개발, 국가별 평가 체제 진단 및 개선을 위한 지원, 평가 결과의 공개와 활용 등을 추진하기로 했다(LMTF, 2013d).
평가원은 2012년부터 LMTF 회원으로 학습성과 측정 및 향상을 위한 논의에 참여해 왔 으며, 2014∼2015년에는 LMTF 추진과제 중 수학, 읽기 영역2)의 학습성과 지표 개발에 직 접 참여한다. 특히 수학 영역에서는 독일의 GIZ(Deutsche Gesellschaft für Internationale Zusammenarbeit)와 함께 지표 개발 그룹의 리더로서 지표 개발 그룹 회의를 주관하는 역 할을 수행한다. 따라서 수학, 읽기 영역의 국제 학습성과 지표 개발 그룹의 일원으로 주어 진 과제를 성공적으로 수행하기 위한 기초 작업으로, 학습성과 지표의 개념 및 개발 절차 를 구체화하고, 국제 수준에서 수학, 읽기 영역의 학습성과를 명세화하고 평가하는 방안을 모색할 필요가 있다.
2) 수학, 읽기 영역은 한국교육과정평가원이 PISA, TIMSS, 국가수준 학업성취도 평가 등 다양한 국제 및 국내 학업성취도 평가를 추진해오면서 평가를 위한 전문성과 노하우를 축적해온 영역으로, 7개 학습성 과 측정 영역 중 특히 한국교육과정평가원의 전문성이 가장 잘 발휘될 수 있는 영역이다.
나. 연구 목적
이 연구는 LMTF에서 제안한 7개 학습성과 측정 영역 중 수학, 읽기 영역의 국제 학습 성과 지표를 개발하기 위한 것으로, 세계 각국의 학습성과를 타당하게 평가할 수 있는 방 안을 탐색하고 이를 바탕으로 학습성과 지표 시안을 개발하고자 한다. 이 연구는 2014～
2015년 2년에 걸쳐 수행되며, 1차년도인 이번 연구에서는 학습성과 지표의 개념 및 개발 절차를 구체화하고 국제 공통의 수학, 읽기 영역 학습성과를 명세화하며 국제적으로 비교 가능한 학습성과 평가 방안을 탐색한다. 이를 바탕으로 2차년도 연구에서는 국제 학습성과 지표 시안을 개발하고 그 타당성을 검토할 예정이다([그림Ⅰ-1] 참조).
[그림 Ⅰ-1] 수학, 읽기 영역 국제 학습성과 지표 개발을 위한 연구 추진 계획
1차년도인 이번 연구의 목적을 구체적으로 진술하면 다음과 같다.
첫째, 학습성과 지표의 개념과 개발 절차를 구체화한다.
둘째, 국제 수준에서 공통적으로 설정할 수 있는 수학, 읽기 영역의 학습성과를 구체화한다.
셋째, 국제적으로 비교 가능한 수학, 읽기 영역의 학습성과 평가 방안을 탐색한다.
2. 연구 내용
3)1차년도인 이번 연구에서 수행하게 될 구체적인 연구 내용은 다음과 같다.
가. 학습성과 지표 개발의 배경 및 관련 동향 분석
국제 교육개발협력의 현황과 쟁점, LMTF 1단계 활동의 주요 내용과 성과 등 국제 학습 성과 지표 개발의 배경 및 관련 논의를 검토하고 학습성과 지표 개발의 목적과 방향을 명 확히 한다.
∘ EFA, MDG 등 국제 교육개발협력 동향 관련 문헌 분석
∘ LMTF 구성 목적 및 주요 활동, 2014～2015년 2단계 활동 계획 관련 문헌 분석
나. 학습성과 지표의 개념 및 개발 방안 고찰
지표의 개념 및 준거, 개발 방법과 관련된 국내외 문헌 및 선행연구를 고찰하고, 학습성 과 지표의 개발 목적을 고려해 학습성과 지표 개념을 정의하고 개발 방안을 마련한다.
∘ 지표의 개념 및 조건, 개발 방법에 대한 이론적 고찰
∘ 학습성과 지표의 개념 및 개발 방안 수립
다. 수학·읽기 영역의 학습성과 명세화
수학, 읽기 능력의 발달에 대한 이론적 고찰, 지리적· 경제적 특성을 달리하는 다양한 국 가들의 교육과정 분석, 기존에 활용되고 있는 국제 및 권역별 평가도구의 평가 내용 분석 을 통해 국제 수준에서 공통적으로 강조되는 초등교육 단계의 수학, 읽기 영역의 학습성과 를 명세화한다.
∘수학, 읽기 능력의 발달에 대한 이론적 고찰
∘수학, 읽기 영역의 국내외 교육과정 분석
∘수학, 읽기 영역의 국제 및 권역별 평가도구 분석
∘수학·읽기 영역의 학습성과 명세화
3) 수학, 읽기 영역 지표 개발 실무그룹 구성이 2014년 3월에 완료되고 이후 LMTF 사무국과의 협의를 통 해 지표 개발을 위한 과제 진행 방향 및 방법이 구체화됨에 따라 본 연구의 실행계획서 단계에서 설정되 었던 연구내용 중 일부가 조정·보완되었다.
라. 국제 학습성과 평가 방안 탐색
기존의 국제 및 권역별 평가도구들이 본 연구에서 도출된 수학, 읽기 영역의 국제 공통 학습성과를 적절히 평가하고 있는가를 검토하고, 서로 다른 평가도구들을 활용해 측정되는 각국의 학업성취도 평가 결과를 국제적으로 일관되게 해석, 보고할 수 있도록 하는 국제 학습성과 평가 방안을 탐색한다.
∘수학, 읽기 영역의 국제 및 권역별 학업성취도 평가 실시 현황 분석
∘수학, 읽기 영역의 학습성과 국제 비교를 위한 평가도구 연계 방안 탐색
3. 연구 방법
가. 문헌 분석
∘ 목적: 학습성과 지표 개발 관련 문헌 및 선행연구 검토
∘ 내용: 지표의 개념 및 개발 방안에 대한 이론적 검토 수학, 읽기 능력 발달에 대한 이론적 검토 국내외 수학, 읽기 교육과정(초등학교) 분석
수학, 읽기 능력을 평가하는 기존의 국제 및 권역별 평가도구 분석 검사 연계에 관한 이론 및 선행연구 분석
LMTF 보고서, MDG, EFA 등 국제 교육개발협력 동향 자료 검토
∘ 시기: 2～7월
나. 전문가 협의회
∘ 수학, 읽기 영역의 학습성과 내용 영역 및 요소 추출을 위한 전문가 협의회 - 대상: 수학, 읽기 교육 전문가
- 내용: 수학, 읽기 능력 발달과 학습 관련성, 국내외 교육과정 분석 결과 검토, 국제 및 권역별 평가도구 분석 결과 검토
- 시기: 3∼7월
∘국제 학습성과 평가 방안 탐색을 위한 전문가 협의회 - 대상: 교육평가 전문가
- 내용: 검사 연계의 개념 및 조건 검토
국제 및 권역별 평가도구의 척도 연계 방안 검토 - 시기: 4∼8월
다. 국제 회의
∘읽기 영역 지표 개발 그룹 회의
- 목적: 읽기 영역 지표 개발 방안 탐색을 위한 실무그룹 협의 - 시기: 3월 30일∼4월 1일(캐나다)
∘수학 영역 지표 개발 그룹 회의4)
- 목적: 수학 영역 지표 개발 방안 탐색을 위한 실무그룹 협의 - 회의 일자 및 주요 협의 내용
일자 회의내용
4월 3일 지표 개발 그룹의 목표, 회의 진행 방법 협의 4월 10일 초등 수학의 학습성과 영역 정의
4월 17일 학습성과 영역의 세부 요소 정의
4월 24일 읽기 지표 개발 그룹 협의사항 검토 및 수학 지표와의 조율 방안 논의 4월 30일 주요 협의 사항에 대한 최종 의견 수렴
5월 8일 수학 학습성과 지표 개발을 위한 WGNI 권고사항 초안 검토 9월 4일 Post-2015 교육개발의제 설정을 위한 수학 학습성과 측정 방안 10월 2일 LMTF 파트너들의 활동성과 및 쟁점 공유
4) 수학 영역 지표 개발 그룹 회의는 7번의 온라인회의(webinar)와 1번의 전화회의로 진행되었다.
라. 수학 영역 성취수준 기술문 개발을 위한 전문가 패널 운영5)
∘목적: 성취수준에 대한 일반적 정의 및 성취수준 기술문 시안 개발
∘대상: 수학 교육 전문가 5명
※ 개발도상국 교육 원조 경험자 2명, TIMSS 연구 참여 경험자 2명
∘방법: 3차에 걸친 패널 협의를 통해 성취수준 기술문 시안 개발 및 합의
∘일정 및 주요 협의 내용
구분 일자 협의내용
1차 회의 8월 21일 전문가별 성취수준 기술문 작성 및 후 논의, 수정 2차 회의 8월 28일 1차 수정된 성취수준에 대한 논의 및 수정 3차 회의 9월 4일 2차 수정된 성취수준에 대한 논의 및 초안 확정
마. 세미나 개최
∘목적: 국제 학습성과 지표 개발을 위한 국제 협력 연구의 추진 현황 및 쟁점 논의
∘대상: 교육 관련 연구자, 교사, 국제교육개발협력기관 관계자 등
∘내용: 국제 학습성과 지표 개발의 의의 및 현황 수학, 읽기 영역의 학습성과 지표 개발 방안
학습성과 지표의 국제적 비교 가능성 제고를 위한 검사 연계 방안
∘시기: 9월 19일
바. 전문가 의견 조사
∘목적: 수학 영역 학습성과 명세화 시안에 대한 검토
∘대상: 수학 지표 개발 그룹(WGNI) 구성원, LMTF 구성원 중 수학 영역 관련 전문가
∘절차
- 1단계: 학습성과 명세화 시안에 대한 검토의견서를 검토자들에게 e-mail로 송부 - 2단계: 수집된 검토 의견을 분석하여 KICE 연구진이 학습성과 명세화 시안을 수정
∘시기: 10월
5) 성취수준기술문 개발은 수학 영역에 한해 진행되었다. 읽기 영역은 언어, 문자의 국가 간 다양성으로
Ⅱ. 학습성과 지표의 개념 및 개발 방안 고찰
1. 개념 및 기능 2. 선택의 준거
3. 개발 방법론 및 절차
1. 개념 및 기능
가. 개념
지표는 ‘방향이나 목적, 기준 따위를 나타내는 표지’(표준국어대사전, http://stdweb2.
korean.go.kr/search/List_dic.jsp, 2014, 11, 17 검색) 라는 매우 간단한 사전적 의미를 지니 고 있다. 하지만, 지표 개발 관련 연구들에서는 지표 개발의 목적이나 범위 혹은 수준 등에 따라 다양하게 지표를 정의하고 있다. 이처럼 다양한 지표의 정의 방식을, 김영화 외(1997) 는 두 가지의 관점으로 대별하여 다음과 같이 정의하였다.
지표는 사회나 교육의 합의된 가치 및 목적과 관련하여 이의 현황과 발전 추 세를 나타내는 규범적 성격을 지닌 증거라는 협의의 관점과, 규범적인 상태를 포함하여 사회나 교육의 현황 또는 상태를 드러내 주는 기술치라는 광의의 관 점이 있다(김영화 외, 1997, p.11).
예컨대, 사회지표의 창시자라고 불리는 Bauer(1966)는 지표를 ‘우리의 가치와 목표를 지 향하여 우리가 어디에 서 있으며, 어디로 가고 있는가를 평가할 수 있는 통계, 통계계열 및 다른 형태의 모든 증거’라고 정의하여 지표의 규범적 성격을 강조하였다(엄문영 외, 2013, 재인용). Clemmer et al.(1973)도 지표란 시간상의 어떤 특정한 시점에서, 목적 및 목표를 향한 발전상태의 분석을 위해 유용한 증거를 제공하는 중요한 조건 또는 변수의 술어 (descriptor)라고 정의하였고(김창환 외, 2011, 재인용), Moser(1973)도 사회지표를 ‘사회 여 건의 상태와 변동을 요약함으로써 현존하거나 파생되는 중요한 사회적 문제를 지적하고 사회정책과 프로그램의 성과를 전달하는 것’이라고 정의함으로써(엄문영 외, 2013, 재인용) 양측 모두 지표의 규범적 성격을 강조한 듯 보인다.
하지만, OECD(1982)는 이전의 지표에 대한 정의와는 다른 입장을 보였다. 즉, 지표를
‘여러 사회적 관심과 관련된 사실들과 그 변화를 보고·예측하는 것’, ‘주요 관심 영역의 사 회적 수준과 변화에 관련된 직접적이고 유효한 통계적 척도’라고 하여 규범적이고 기술적 인 성격 모두를 포괄하는 개념으로 정의한 것이다. 이와 같은 정의는 지표를 개념화하는 두 가지 관점이 서로 배타적이지 않으며, 오히려 협의의 규범적 성격이 광의의 기술적 성 격에 포함되는 형태를 띠게 된다는 류방란 외(2006)의 주장을 잘 드러내고 있다.
김해동 외(2001)도 이상적인 지표는 사회가 요구하는 가치에 대한 판단을 가능케 하는 규범적 성격의 지표와 사회의 현재 상태를 정확하게 측정·보고하여 주는 기술적 성격을 가 진 지표를 적절하게 조화시킬 수 있어야 한다고 보았다.
이 연구에서도 학습성과 지표가 바람직한 학습성과 목표와 그 달성 정도를 보여줄 수 있어야 하는 동시에 학습성과의 실태와 변화정도를 요약적인 정보를 형태로 보여주는 기 술적 수치로 제공할 수 있어야 한다는 점에서 지표를 규범적 성격과 기술적 성격을 모두 포함하는 광의의 의미로 사용하고자 한다.
일반적으로 학습성과란 성취도, 교육 이수율, 사회·경제적 영향 등 학습을 통해 얻을 수 있는 장·단기적인 성과 모두를 생각할 수 있으며, 국제 수준의 교육지표 사업이나 연구 등 에서도 교육의 성과 혹은 산출 지표를 이러한 광의의 의미로 사용하고 있다. 예를 들어 OECD 교육지표에서는 교육의 효과를 중등교육 이수, 인지적인 성취 및 그 외의 평가 결 과, 중등교육 이수 이후의 활동의 세 영역으로 구분하고 각 영역에서의 지표 개발을 추진 했다(한유경 외, 2001). 엄문영 외(2013)도 아시아 국가 대상의 교육지표를 교육제도, 여건, 성과의 3영역으로 구분한 후 교육성과 영역에는 유급자수, 진학률, 문해율 등의 지표를 포 함시켰다.
본 연구의 경우, LMTF가 국제 수준에서 학습성과를 모니터링할 것을 제안한 7개 학습 성과 측정 영역 중 수학, 읽기 영역의 학습성과 지표를 개발하고자 하므로 이를 전제로 하 여 학습성과 지표를 다음과 같이 정의하고자 한다. 먼저, 본 연구에서 학습성과란 수학, 읽 기 영역의 형식적, 비형식적 학습의 결과로서 아동이 갖게 되는 지식과 기능 즉 해당 영역 의 성취도를 의미한다. 그리고 학습성과 지표란 즉, 위에서 언급한 협의적 관점과 광의적 관점 모두를 고려해 볼 때, 수학과 읽기에서 기대되는 학습목표의 달성 정도를 보여줄 뿐 아니라, 동시에 수학과 읽기의 학습성과 실태와 변화정도에 대한 요약적인 정보를 제공할 수 있는 수치라고 정의할 수 있다.
나. 기능
그렇다면 이러한 지표는 무엇을 위해 개발하며 어떤 기능을 하는가? 본 연구와 관련된 교육지표 관련 연구들을 살펴본다. 김영화 외(1997)는 이전의 교육지표 연구들에서 추출한 지표의 기능을 종합하여, 교육정책의 목적 및 추진과정, 그리고 결과의 평가, 교육정책 추 진 결과의 예측, 교육실태의 측정 및 평가, 교육실태 변화의 측정 및 평가, 교육실태 변화 의 예측을 지표의 기능으로 제시한 바 있다. 또한, 강무섭 외(1988)는 교육 정책 수립의 기
초자료로 활용, 교육체제의 감시․평가(monitoring), 교육연구에의 활용, 교육체제의 활용 으로 구분하여 비교적 지표의 기능을 상세히 설명하였다.
김창환 외(2011)도 위에서 제시된 지표 기능과 큰 차이 없이, 사회 각 분야의 현상과 변 화의 이해, 정책형성, 모니터링, 기관 및 프로그램 평가 등을 지표의 기능으로 제시하였다.
학교폭력지수 개발을 위해 지표의 개념을 정의하고 기능을 설명한 박효정 외(2008)는 지표 가 현상에 대한 정보가 쉽게 전달될 수 있도록 복잡한 현상을 계량화하고 단순화시킨 것으 로 단순화, 계량화, 의사전달의 기능을 가진다고 설명하였다. 즉, 지표는 상세한 자료와 정 보의 해석을 잇는 가교 역할을 하여 일반 국민과 정책결정자가 쉽게 이해하고, 정책적 관 심 사항과 관련되어 유용하게 사용할 수 있어야 한다는 것이다.
한편, 이광현(2007)은 여러 현황에 대한 구체적인 정보를 제공한다는 점을 지표의 포괄 적인 기능으로 제시하였다. 이에 반하여, 미국의 국가교육통계포럼(National Forum on Education Statistics)에서는 교육지표를 위한 포럼 안내 자료에서, 지표의 기능을 다음과 같이 매우 구체적으로 설명하였다. 즉, 교육지표를 활용하여, 교육 관련자들이 소속 기관과 타 기관을 비교할 수 있고, 성취도 평가의 기본적인 체제를 구축할 수 있으며, 책무성 체제 를 수립할 수도 있고, 교육체제의 현 상태와 진보를 확인할 수 있으며, 끝으로, 수업과 행 정적 지원을 위한 수요 평가를 할 수도 있음을 제시하였다(NFES, 2005).
지금까지 위의 연구자들이 제시한 지표의 기능을 정리해 보면, 현상과 변화에 대한 이해 및 진단, 기관 및 프로그램의 평가를 통한 교육체제의 개선 및 지원 수요 예측, 정책적 판 단을 위한 근거 제공, 교육연구에의 활용 등으로 집약할 수 있다. 본 연구에서 개발할 학습 성과 지표도 국제적으로 각국의 수학과 읽기 영역 학습성과 실태를 파악하고, 이와 관련된 요인들을 평가하여 교육체제를 변화시키기 위한 지원의 근거로서 그 기능을 충실히 할 것 으로 기대된다.
2. 선택의 준거
지표가 의미 있게 개발되고 활용되기 위해 어떤 특성이나 조건을 갖추어야 하는가는 관 심의 대상이 되는 사상이나 현상의 특성, 지표가 개발되고 활용되는 맥락 등에 따라 차이 가 있을 수 있다. 이런 이유로 대부분의 지표 개발 연구에서는 지표 개발에 앞서 지표 개발 의 목적, 맥락, 활용방법 등을 고려해 좋은 지표가 어떤 특성을 지녀야 하며 선택의 준거는 무엇인지를 설정하고 있다. 아직 지표 연구가 본격적으로 이루어지지 않은 시기에 강무섭 외(1988)는 충족성, 적합성, 균형성, 수월성, 효율성, 다양성, 자율성의 7가지를 교육지표 준 거로 설정하고, 이를 활용하여 교육지표를 선정하고 체계화하였다. 본 연구에서도 같은 맥 락에서 지표가 갖추어야 할 바람직한 속성으로 중요하게 언급되는 항목들을 국내외 지표 관련 연구에서 살펴본다.
먼저 김영화 외(1997) 연구는 지표가 갖추어야할 조건으로 타당성과 포괄성, 준거점, 자 료의 안정성, 이해 가능성, 비교 가능성이라는 5가지를 제시하였다. 첫째, 지표는 측정하고 자 하는 요소들의 실제를 표현해야 하며, 지표가 대상으로 하는 모집단(대상 인구의 전체 또는 부분)의 대표성을 보장할 수 있는 자료로부터 산출되어야 한다. 둘째, 지표는 하나의 준거점을 가져야 한다. 준거점은 사회적으로 결정된 표준 혹은 가치로서 비교의 기준이 된 다. 셋째, 지표 산출에 사용되는 자료가 지표의 내용을 변화시킬 정도로 시간과 장소에 따 라 변화해서는 안 된다. 넷째, 일반인, 정책입안자, 연구자 등 다양한 또는 모든 사람들에게 이해 가능해야 한다. 다섯째, 집단 간에, 시계열적으로, 국제적으로 비교가 가능해야 한다.
지역별, 성별 등 제 기준에 따라 지표를 나누어 제시할 수 있어야 하며, 시계열적으로 동일 한 지표의 수준 변화를 비교할 수 있어야 한다. 또한 국제적인 비교가 가능하기 위해서는 공통된 개념 틀을 사용하고, 정립된 정의와 통계적 방법 및 계산식을 사용하며, 자료가 비 교 가능한 대상으로 수집되어야 한다.
Fitz-Gibbon & Kochan(2002)은 지표 선택의 준거로 다음의 5가지를 제안하였다(김창환 외, 2011, 재인용). 첫째, 지표는 단위기관의 가치 있는 결과(목적)과 연계되어 있어야 하며 그 기관의 영향력이 미칠 수 있을 것으로 기대되는 결과와 관련된 것이어야 한다. 둘째, 지 표는 해당 조직에 피드백되어 조직이 지표의 향상을 도모할 수 있도록 해야 한다. 셋째, 지 표는 단위기관 또는 조직의 행위자들에게 정보로서 공개되고 활용될 수 있어야 하며, 따라 서 이해되고 설명될 수 있어야 한다. 넷째, 지표는 조직이나 단위 기관의 구성원들의 행위 의 결과이자 변인이 되기 때문에 변경 또는 조작되지 말아야 하고, 지속적인 점검을 통해
신뢰성이 확보되어야 한다. 다섯째, 지표는 비용 대비 효과성을 고려해 개발되어야 한다.
위의 지표 선택 준거를 포함한 많은 연구들을 근거로, 김창환 외(2011)는 선정의 준거는 그 지표가 개발됨으로써 활용될 범위나 기간, 대상 등을 고려해 탄력적으로 고려되어야 한 다고 지적하면서, 지표 선정 준거를 지표 선정 시 항상 적용해야 하는 필수준거, 가급적 적 용해야 하는 핵심준거, 적용하면 좋지만 적용하지 않아도 치명적인 결함은 없는 임의준거 로 구분하였다. 우선, 필수준거로는 지표의 사회적 조건 반영 가능성, 지표와 가치의 연관 성, 기관 간의 영향력을 강조하였고, 핵심준거로는 지표의 양적 특성, 자료 확보 가능성, 타 당성 및 신뢰도, 지표의 분할 및 합산 가능성, 내용의 안정성, 비용 효율성을 제시하였다.
임의적 준거로는 정책입안자 등의 정보 요구, 시계열성, 이해 가능성, 환류성, 외국과의 비 교 가능성, 정책을 통한 조작가능성, 접근가능성을 제시하였다.
최근, 엄문영 외(2013)의 연구는 아시아 국가 대상 교육지표를 개발하면서 기존의 국제 교육지표와 전문가들의 사전 수요 조사 등의 과정을 거쳐 최종적으로 교육지표를 다음 네 가지의 준거에 따라 선정하였다. 즉, 사회적 조건 반영 원칙, 국제 및 지역 간 비교가능성 원칙, 자료의 확보가능성 및 비용 효율성 우선 원칙, 수요자 적합성 고려의 원칙이 그것들 이다.
미국의 국가 교육통계 포럼에서는 교육지표의 질을 평가하는 하나의 방법으로 지표의 유용성, 타당도, 신뢰도, 적시성, 비용 대비 효과성을 검토할 것을 제안한다. 유용성이란 지 표가 중요한 정책적 질문에 답하거나 또는 답하는 데 도움이 되는 유용한 정보를 제공할 수 있어야 함을 의미한다. 타당도는 관심의 대상이 되는 절차나 산출물과 측정치 간의 일 치 정도를 뜻하며, 신뢰도는 측정치의 일관성과 반복가능성(동일한 지표를 여러 번 반복 측정한다고 할 때 동일한 결과가 얻어지는가)을 의미한다. 적시성(timeliness)은 지표가 의 사결정 과정에 반영될 수 있도록 관련 정보가 적시에 제공되어야 함을 의미하고, 비용 대 비 효과성은 수집되는 자료의 중요성 및 필요성과 자료 수집에 소요되는 비용과 노력을 동 시에 고려해야 함을 의미한다(National Forum on Education Statistics, 2005).
OECD는 국제 지표 개발의 선두 주자로서 다양한 지표를 개발하여 국제적인 진단과 비 교, 그리고 모니터링을 해 왔다고 할 수 있다. 그 중, OECD CERI(1994)는 일찍이 국제 교 육지표를 개발하면서, 지표는 개념적으로나 방법적으로 비교가능성, 정확성, 타당성, 해석 가능성의 네 가지의 준거를 충족시켜야 함을 강조하였다. 각각의 기준에 대한 설명을 좀 더 살펴보면 다음과 같다.
첫째, 비교가능성은 데이터가 적절히 표준화될 수 있는지에 대한 기술적 요구와 관련된 준거이다. 비교하는 접근은 관련자들의 인식과 관찰을 나타내거나 실재(reality)를 서술하 는 하나의 방법이다. 둘째, 국가수준에서 양질의 데이터를 산출해 내는 것이 반드시 국제 수준에서 건실한 데이터가 제공될 수 있음을 함의하지는 않는다. 결국, 국가수준의 데이터 생산자와 제공자, 그리고 국제 수준에서 정해진 사용자 간의 관계는 지표들에 의해 제공되 는 정보의 정확성을 결정하는 중요한 요인이 된다. 셋째, 타당도는 지표가 관련되었다고 믿어지는 현상을 실제적으로 기술하고 있는지를 의미하는데, 이것은 중요하지만 확보하기 가 꽤나 어렵다. 넷째, 해석의 가능성은 지표 정보가 읽혀지고 적용되는 정치적 맥락을 의 미한다. 이러한 차원에서 자국의 교육체제를 모니터할 책임이 있는 이들을 위해, OECD 지 표들은 다양한 양상들에 대한 관련 정보를 제공해 준다.
또한, OECD(2008)는 지표의 선택은 이론적 틀에 근거해야 함을 강조하면서, 지표 구성 의 강점과 약점은 주요 변인들의 질에 따라 좌우됨을 전제로, 관련성(relevance), 분석적 건강성(analytical soundness), 적시성(timeliness), 접근성(accessibility) 등을 지표 선정의 이상적인 기준으로 제시하였다.
무엇보다, 본 연구가 국제적으로 참여하고 있는 LMTF의 수학 학습성과 지표 개발 그룹 (WGNI)은 읽기 영역 전문가팀이 제안한 지표 준거를 지지함으로써 지표 개발의 주요 준 거를 다음 <표 Ⅱ-1>와 같이 권고한 바 있다(WGNI, 2014).
<표 Ⅱ-1> WGNI가 권고한 지표 준거
준거 내용
통계적 강건성: 정확성,
신뢰성, 타당성 지표는 통계적으로 강건해야 하며, 최신 평가 이론에 기초를 두어야 한다. 지 표는 정확하고 신뢰로우며 타당한 양질의 데이터에 근거해야 한다.
이해 가능성 지표는 정책입안자들이 이해할 수 있는 정보를 제공해야 할 뿐 아니라, 비전문 가일 수도 있는 교육 관련 이해당사자까지 쉽게 파악할 수 있어야 한다.
맥락적인 관련성과
융통성 지표는 맥락을 인식하고 지역적 요구를 반영해야 한다.
포괄성 지표의 범위가 학교 밖 아동들까지 포함하는 모든 학령기 인구를 포함하는지 가 중요한 준거로서 고려되어야 한다.
지금까지 지표 개발 관련 선행연구들이 좋은 지표를 선택하는 조건들로 제시한 항목들 을 정리해 보면, 표현에 있어서 약간의 차이가 있으나, 위의 다양한 준거들에 공통적으로 포함된 요인은 타당성 및 신뢰성, 유용성, 이해 가능성, 비용대비 효율성, 비교 가능성, 관
련성 및 융통성, 포괄성 등임을 알 수 있다. 향후 본 연구의 학습성과 지표 항목 선정 및 타당화 근거를 위한 준거 설정을 위해, 이들 8가지 준거를 중심으로, 지금까지 제시되었던 항목들을 <표 Ⅱ-2>와 같이 재정리해 본다6).
<표 Ⅱ-2> 학습성과 지표 선택의 준거 항목 구분 타당성 신뢰성 유용성 이해
가능성 비용대비 효율성 비교
가능성 관련성/
융통성 포괄성 기타
강무섭 외(1988) √ √ √ √ √ √ 자율성
김영화 외(1997) √ √ √ √ √
김창환 외(2011) √ √ √ √ √ √ 기관 간
영향력
엄문영 외(2013) √ √ √ √
Fitz-Gibbon &
Kochan(2002) √ √ √ √ √
National Forum on Education
Statistics(2005) √ √ √ √ OECD CERI
(1994) √ √ √ √
OECD(2008) √ √ √ √
WGNI(2014) √ √ √ √ √
<표 Ⅱ-2>에 제시된 지표의 선택 준거는 WGNI의 것들을 제외하고면 대부분 일반적인 교육지표 연구들로부터 추출된 것들이다. 따라서 향후 학습성과 지표를 개발함에 있어서 WGNI의 제안을 중심으로 하되, 나머지 준거들이 학습성과 지표와 얼마나 밀접한 관련이 있으며, 학습성과 지표의 선택 준거로서 타당한지를 전문가 협의 혹은 전문가 의견 조사 등을 거쳐 타당화하는 절차를 거쳐야 할 것이다. 그리고 그 결과를 근거로 지표 항목을 선 택하고, 지표 시안을 개발하여 본 연구에서 궁극적으로 개발하고자 하는 학습성과 지표를 확정해야 할 것이다.
6) <표 Ⅱ-2 > 학습성과 지표 선택의 준거 항목 표는 다수의 지표 개발 연구에 참여했던 교육정책 전공자
3. 개발 방법론 및 절차
가. 지표 개발 방법론
지표 개발 방법론은 지표를 어떻게 선정하고 지표 값을 어떻게 산출하여 어떤 형태로 제시할 것인가를 결정하는 데 매우 중요한 요인이다. 이런 이유로 지표 개발 관련 연구들 은 개발에 앞서 지표를 어떤 방법으로 체계화하고 그 내용을 개발할 것이냐에 대한 심도 있는 탐색을 해 왔다. 본 연구의 지표 개발을 위해 선행연구들이 사용한 지표 개발 방법을 간단히 분석해 보면, 두 유형으로 구분해 볼 수 있다.
먼저, 지표 개발을 위해 철저히 체제적 접근을 따르는 경우이다. 강무섭 외(1988)는 지수 의 개념이 일반화되지 않은 시기에 지표를 개발하는 연구를 수행하면서, 지표 개발 방법론 으로 체제적 접근이 적절함을 주장하면서, 이전의 많은 선행연구의 방법과 체계를 분석하 여 제시하였다. 체제적 접근이 지표를 체계적으로 구성하고 이를 통하여 지표에 포함될 요 인들이 상호 관련되어 있음을 잘 드러내 줄 수 있기 때문이라는 그의 주장은 이후 많은 지 표 개발 연구에서 입증되고 있다.
둘째, 지표 개발을 위해 다양한 접근을 절충하는 경우이다. 예컨대, 지표 개발을 위한 체제적 접근과 지수 개발을 위한 통계적 방법을 병행 내지는 절충하는 방법이다. 지수 개 발을 위해서는 대부분의 연구들이 OECD(2008)가 제공한 지표 개발 방법 핸드북의 내용을 근거로 하였다. 최근, 김창환 외(2011, 2013)와 엄문영 외(2013)의 연구는 이를 잘 보여주고 있다. 즉, 지표․지수 체계를 체제적인 접근을 사용하여 개발하되, 종전과는 다른 연역적, 귀납적 방법 모두를 사용하여 체계를 마련하고 이를 전문가 집단의 의견을 수렴하여 타당 화해 가는 과정을 거쳤다. 또한, 김창환 외(2011, 2013)의 연구에서는 모두 지수 산출을 위 해 OECD(2008)의 방법론을 사용하였다.
van Herpen(1992)은 지표를 개발하는 데 있어서 어느 한 편을 전적으로 따르기 보다는 다양한 접근을 취할 것을 제안한 바 있어, 국내 연구들의 절충적 접근은 매우 바람직해 보 인다. 왜냐하면, 개념적이고 실용적인 입장과 정책적인 관심을 모두 고려할 수 있는 접근 들을 절충함으로써, 지표체계의 안정성과 융통성의 균형을 유지할 수 있는 이점이 있기 때 문이다(OECD CERI, 1994, 재인용).
이런 맥락에서, 본 연구도 연구의 특성7)을 고려하되, 이론 및 선행연구를 기반으로 체제 적 접근을 사용하여 지표를 구성하고, 이를 다방면의 전문가들의 의견을 수렴하여 타당화 하는 절충적인 접근을 사용하고자 한다. 이에 먼저, 본 연구의 궁극적 목적인 학습성과 지 표 전체를 개발하는 방법론으로서 체제적 접근을 살펴보고, 수학과 읽기로 구분해야 하는 주제영역별 접근, 그리고 초등 전기와 후기로 구분해야 하는 교육단계별 접근을 간단히 살 펴보고자 한다.
(1) 체제적 접근
지표는 일차적으로는 개발하고자 하는 지표와 관련된 많은 요인들을 일목요연하게 보여 줄 필요가 있다. 이를 위해 지표와 관련된 상·하위 체제들 간의 관계를 체계화하고 이를 종 합적으로 가시화하여 표현하는 것이 바람직하다. 이를 가능하게 하는 지표 개발의 방법이 체제적 접근이라고 할 수 있다.
체제적 접근은 사회적 체제 모형에서 파생한 것으로 교육지표에서 가장 일반적으로 활 용되는 지표체계로서(엄문영 외, 2013), 체제를 구성하고 있는 각 하위 체제간의 상호 관련 성과 상호작용을 규정함은 물론, 체제가 놓여 있는 환경과의 상호관련성과 상호작용을 분 석하려는 접근 방법이다(강무섭 외, 1988). 체제적 접근에서는 대체적으로, 교육체제를 투 입, 과정, 산출로 구성된 것으로 파악한다. 하지만, 최근의 지표 개발 연구들에서는 이러한 체제를 반드시 따르기 보다는 개발하고자 하는 지표의 내용을 고려하여 이와 관련된 이론 및 선행연구를 고찰함으로써 그 체제를 달리하는 경향을 보이고 있다(김창환 외, 2011;
2013; 엄문영 외, 2013).
(2) 주제영역별 접근
주제영역별 접근은 학생, 교사, 학교, 재정, 고등교육 등 주제영역에 따라 지표를 구성하 는 접근법이다. OECD 교육지표는 주제영역별 접근과 체제적 접근을 혼용하는 대표적인 교육지표라고 할 수 있다(엄문영 외, 2013). 본 연구도 수학과 읽기 학습성과의 각각을 진 단하고 그 결과에 따라 처방 내지는 지원하는 것이 목적이기 때문에 주제영역별 접근이 적 절해 보인다.
7) 앞서 서론에 제시된 바와 같이, 본 연구는 LMTF의 요청에 따라 학습성과 지표 중, 수학과 읽기 학습성
(3) 교육단계별 접근
교육단계별 접근은 유아교육부터 대학교까지 학교 단계별로 지표를 구성하는 방법이다 (엄문영 외, 2013). 본 연구가 근거로 하는 LMTF 연구에서는 원래 초등학교와 중등학교 시기의 학습성과 지표 개발을 목표로 하였으나, 본 연구에서는 초등 전기와 후기로 구분 하여 개발해야 하므로, 이 두 단계의 지표를 포함하는 교육단계별 접근을 적용해야 할 것 이다.
지금까지 제시한 체제적 접근과 주제영역별 접근, 그리고 교육단계별 접근은 엄밀히 말 하면 각각 배타적이기 보다는 상호보완적인 접근이라 할 수 있다. 즉, 이 중 어느 하나의 접근을 사용하여 지표를 개발하기 보다는 둘 혹은 셋을 사용하여 다양한 측면의 지표 결 과를 보여줄 수 있는 접근들이라 할 수 있다. 이에 본 연구에서도 연구의 목적을 고려해 볼 때, 위의 세 가지 접근 모두를 사용하여 종합적이고 체계적이면서도 어느 한 면을 좀 더 심층적으로 명료하게 보여줄 수 있어야 할 것이다.
나. 지표 개발의 방법 및 절차
일반적으로 지표 개발 방법과 절차는 각각의 목적과 특성에 따라 차이가 있으나, 대부 분의 연구들이 취하고 있는 공통적인 방법과 절차들은 이론적 고찰, 모형 설정, 지표 항 목 및 체계 개발, 타당화, 측정도구 개발 및 조사, 지표 혹은 지수 산출, 그리고 결과 분석 및 활용 등으로 집약된다. 하지만, 본 연구의 목적인 학습성과 지표는 방대한 교육지표 중의 일부로서, 학습성과를 측정하고, 이를 활용하여 학습성과를 산출하고 지표화하며, 그 학습성과 결과에 영향을 미칠 수 있는 맥락변인들로 그 범위를 제한할 수밖에 없다. 따라 서 지표 개발의 방법과 절차가 일반 지표 개발의 그것과는 차이가 있다. 이에, 이러한 본 연구의 특성을 전제로, 학습성과 지표 개발의 방법 및 절차를 구조화하면 [그림 Ⅱ-1]과 같다.
[그림 Ⅱ-1]은 먼저, 학습성과 지표의 개념, 기능, 선택 준거, 개발 방법론 등의 이론적인 면을 고찰하고, 학습성과 방안을 탐색하며, 지표 시안을 개발하는 과정을 나타낸다. 좀 더 구체적으로 살펴보면, 우선 측정 방안 마련을 위해, 수학과 읽기 영역의 학습성과 내용 영 역 및 요소를 추출하고, 성취기준 및 수준을 명세화하며, 학습성과의 국제 비교 방안을 마 련한다. 다음 단계에서는, 학습성과 지표 시안을 개발하고 타당성을 검토하며, 자료 수집 및 분석 방안을 모색하여, 학습성과 지표를 시범적으로 산출한다. 끝으로, 지표의 활용 방 안과 이를 위한 정책 수립을 제안하는 것으로 지표 개발을 끝맺게 된다.
[그림 Ⅱ-1] 학습성과 지표 개발 방법 및 절차
