Research design and central findings from language arts effectiveness studies

지난 10년 동안 영재 학습자, 저소득 및 소수자 출신의 유망한 학습자 및 일반적인 학습자의 학습 이익을 파악하기 위한 연구가 수행되었다. 준 실험 및 실험 설계는 모델을 기반으로 한 커리큘럼을 사용하는 능력 유사 학습자 그룹 간의 차이를 입증하기 위해 이러한 커리큘럼에 노출되지 않은 사람들과 비교하여 사용 되었다. 이러한 연구에 대한 개요와 언어 예술, 과학 및 사회 연구 결과는 다음과 같다.

6.1. Research design and central findings from language arts effectiveness studies

언어 예술 효과에서 연구 디자인 및 중심 결과 연구

The William and Mary language arts curriculum for high-ability learners in grades 3–8, based on the ICM model, has been rigorously evaluated with demonstrated effectiveness and acceptance by teachers. Over the last six years, specific units were evaluated by the National Association for Gifted Children curriculum division and described as “exemplary,” resulting in a designated award. Not only have the units undergone four major revisions, the next-to-last edition of the units was field-tested across multiple school districts.

ICM 모델을 기반으로 3-8학년의 고학력 학습자를 위한 William and Mary 언어 과목 교육과정은 교사의 효과와 수용력을 통해 엄격하게 평가되었다. 지난 6년 동안 국립 영재 아동 협회에 의해 평가된 특정 부 분에서 교육과정 부문에서 "모범적"으로 기술되어 지정된 상을 수여하였다. 이 단원들은 4번의 주요 개정 을 받았을 뿐만 아니라, 다음 학기의 마지막 판은 여러 학군에서 현장 테스트를 거쳤다.

The programmatic goals across all units have consistently been to (a) develop student understanding of the concept of change, (b) develop literary analysis and interpretation, persuasive writing skills, and linguistic competency skills, and (c) promote the reasoning process. Specific learning outcomes have been aligned with the intent of the National Council of Teachers of English and the International Reading Association standards that advocate for substantive content, high-level thinking processes, and mastery of meaningful language arts skills.

모든 부분의 프로그램 목표는 (a) 변화의 개념에 대한 학생의 이해 개발, (b) 문학적 분석 및 해석, 설득력 있는 작문 능력 및 언어 능력 능력 개발 (c) 추론 과정의 촉진이다. 구체적인 학습 결과는 실질적인 내용, 높은 수준의 사고 과정 및 의미있는 언어 과목 기술의 숙달을 옹호하는 전국 영어 교사 협의회 및 국제 독서 협회 표준의 의도와 일치한다.

However, the studies conducted focused explicitly on student application of literary analysis and interpretation, persuasive writing, and linguistic competency (VanTassel-Baska, Johnson, Hughes, & Boyce, 1996; VanTassel-Baska, Zuo, Avery, & Little, 2002). Using a

quasi-experimental design, selected school districts nationally have implemented one or more of these units. Comparison data were gathered from students of comparable ability in the same schools. Post-tests were administered after approximately 36 h of instruction, and between-group analyses were conducted using an ANCOVA to covary pre-test differences.

Elementary and middle school students from a national network of schools participated in the sample, including volunteer schools from seven states. Implementation involved 2189 students in experimental and control classrooms in nine schools. All participating teachers received implementation training for 2 to 5 days.

그러나 수행된 연구는 문학 분석 및 해석, 설득력 있는 글쓰기 및 언어 능력의 학생 응용에 명백하게 (explicitly) 초점을 맞추었다. 국정적으로 선택된 학군은 준 실험적 설계를 사용하여 이러한 단위 중 하나 이상을 구현했다. 같은 학교에서 비슷한 능력을 가진 학생들로부터 비교 데이터를 수집했다. 시험 후 대략 36시간 후에 사후 검사를 실시하였고, 군간 분석을 ANCOVA를 사용하여 시험 전 차이를 분석하였다. 7개 주에서 온 자원봉사 학교를 포함하여 전국 학교 네트워크의 초등 및 중학생이 표본에 참여했다.

Implementation involved 2189 students in experimental and control classrooms in nine schools. All participating teachers received implementation training for 2 to 5 days.

Curriculum effectiveness was assessed on two performance-based instruments modeled after existing instrumentation developed by the National Assessment of Educational Progress in Reading (National Assessment Governing Board, 1992).

구현(Implementation)에는 9개 학교의 실험 및 제어 교실에서 2189명의 학생들이 참여했다. 모든 참여 교사는 2-5일 동안 구현 교육을 받았다. 교과 과정의 효과는 읽기에 대한 국가 교육 진행 평가에 의해 개 발된 기존의 측정(instrumentation) 후 모델링 된 두 가지 성능 기반 도구에 대해 평가되었다.

The first assessment was a performance-based test of literary analysis and interpretation.

Rubrics and exemplars evolved from pilot testing of a literary analysis assessment. The second instrument was a performance-based persuasive writing assessment, the rubric for which was based on a rubric used in earlier studies to assess thinking in persuasive writing.

Both assessments were reviewed for content validity by experts in English and gifted education and were given favorable reviews. Interrater reliability estimates for scoring each instrument exceeded .90 for each scorer team (VanTassel-Baska et al., 2002).

첫 번째 평가는 문학 분석 및 해석에 대한 성과 기반 테스트이다. 문학적 해석은 문학적 분석 평가의 예비 검사에 비해 발전했다. 두 번째 도구는 성과 기반 설득력 쓰기 평가였으며, 이 채점기준표(rubric)는 설득 력 있는 글쓰기의 사고를 평가하기 위해 초기 연구에서 사용된 채점기준표를 기반으로 하였다. 두 평가 모 두 영어 및 영재 교육 전문가에 의해 내용의 유효성을 검토하고 호의적인 평가를 받았다. 각 기기의 득점 에 대한 평가자 신뢰도 추정치는 각 득점자 팀의 .90을 초과했다.

Participating districts were recruited from summer and other training institutes from 1996 to 2000. Guidelines for participation included (a) the designation of an on-site coordinator, (b)

selection of at least one experimental and one comparison class, (c) a written description of general district demographics and program descriptors (i.e., grade level, grouping arrangement, and duration of intervention), and (d) permission from an authorized district official. Post-test analyses were conducted using an ANCOVA that covaried pre-test between-group differences. Effect sizes were calculated for all analyses involving comparison groups.

참여 지역은 1996년부터 2000년까지 여름 및 기타 교육 기관에서 모집되었다. 참여지침은 (a) 현장 진행 자(coordinator) 지정, (b) 적어도 하나의 실험 및 하나의 비교 클래스의 선택, (c) 일반 구역 인구 통계 및 프로그램 설명자에 대한 서면 설명(즉, 학년, 그룹 구성 및 중재 기간) (d) 공인 지역 공무원의 허가를 포함한다. 그룹 간 차이를 사전 테스트 한 ANCOVA를 사용하여 테스트 후 분석을 수행하였다. 효과 그룹 은 비교 그룹과 관련된 모든 분석에 대해 계산되었다.

The four William and Mary language arts units employed in the study showed significant pre-post student gains and significant differences between the experimental and comparison groups (pb.001); effect sizes were very high for persuasive writing at 2.42 and high for literary analysis at .70. Repeated exposure to the units produced significant gains as well (pb.05). Low SES students showed significant gains in both literary analysis and interpretation and persuasive writing (pb.001). Gender differences found were small and not educationally important.

이 연구에 사용된 4개의 William 및 Mary 언어과목 단위는 실험 전과 비교 그룹간에 상당한 사전 사후 학생의 이득과 상당한 차이를 보여주었다; 효과 크기는 2.42에서 설득력 있는 글쓰기에 대해 매우 높았고 .70에서 문학적 분석에 대해 높았습니다. 단위에 반복적으로 노출되는 경우에도 상당한 이익을 얻었다.

(pb.05). SES가 낮은 학생들은 문학적 분석과 해석 및 설득력 있는 글쓰기에서 상당한 이점을 보였다 (pb.001). 성별 차이는 작고 교육적으로 중요하지 않았다.

An analysis of a subsample from one of the school districts that targeted low-socio economic learners for intervention found that gains in persuasive writing were greater than for the rest of the sample, suggesting the high success potential of the curriculum for this population. A further analysis of student responses from the fieldtest sample was also conducted, showing that more than 50% of the students had room to grow in higher-level skill categories such as elaboration and interpretation, suggesting that the curriculum was sufficiently challenging for high-ability learners.

중재(intervention)를 위해 저(low) 사회 경제 학습자를 대상으로 한 학군 중 하나의 하위 표본 분석에서 설득력 있는 글쓰기가 나머지 표본보다 더 큰 것으로 나타났으며, 이는 이 인구에 대한 교과 과정의 높은 성공 가능성을 시사한다. 현장 테스트 샘플의 학생 응답에 대한 추가 분석도 수행되었으며, 50% 이상의 학생이 교과 과정이 정교함과 해석 같은 고급 기술 범주에서 성장할 여지가 있음을 보여준다.

Although enhanced student learning is the primary indicator of curriculum effectiveness,

teachers' favorable experiences with materials and related instructional strategies are also important. Such experiences support teacher acceptance of the materials and contribute to sustained use over time. Teacher acceptance was evaluated and found to be high in respect to curriculum elements employed, challenge, and reuse 350 J. VanTassel-Baska, S. Wood / Learning and Individual Differences 20 (2010) 345–357 (VanTassel-Baska et al., 1996).

강화된 학생 학습이 교과 과정의 효율성을 나타내는 주요 지표이지만, 교사의 자료 및 관련 교육 전략에 대한 유리한 경험도 중요하다. 이러한 경험은 교사의 자료 수용을 지원하고 시간이 지남에 따라 지속적인 사용에 기여한다. 교사의 수용도는 평가되고 고용된 교과 과정 요소, 도전 과제 및 재사용과 관련하여 높 은 것으로 판명되었다.

Findings from a six-year longitudinal study which examined the effects over time of using the William and Mary language arts for gifted learners in a suburban school district suggested that gifted student learning at grades 3 to 5 was enhanced at significant and educationally important levels in critical reading and persuasive writing. Repeated exposure over a 2 to 3 year period demonstrated increasing achievement patterns and the majority of stakeholders reporting the curriculum to be beneficial and effective (Feng, VanTassel-Baska, Queck, Bai, &

O'Neill, 2005). Moreover, a study of using selected school districts demonstrated that the curriculum also impacted positive school change (VanTassel-Baska, Avery, Little, & Hughes, 2000).

교외 학군에서 영재 학습자에게 William 및 Mary 언어 과목을 사용한 결과를 조사한 6년간의 종단 연구 를 한 결과 3-5학년의 영재 학습이 비판적 읽기 및 설득력 있는 쓰기에서 중요하고 교육적으로 중요한 수 준에서 향상되었다고 제안되었다. 2-3년에 걸친 반복 노출은 성취 패턴의 증가와 함께 커리큘럼이 유익하 고 효과적이라고 보고하는 이해 관계자가 대다수임을 보여주었다. 또한, 선택된 학군을 사용한 연구에 따 르면 교과 과정은 긍정적인 학교 변화에도 영향을 미쳤다.

Findings from a six-year longitudinal study which examined the effects over time of using the William and Mary language arts for gifted learners in a suburban school district suggested that gifted student learning at grades 3 to 5 was enhanced at significant and educationally important levels in critical reading and persuasive writing. Repeated exposure over a 2 to 3 year period demonstrated increasing achievement patterns and the majority of stakeholders reporting the curriculum to be beneficial and effective (Feng, VanTassel-Baska, Queck, Bai, &

O'Neill, 2005). Moreover, a study of using selected school districts demonstrated that the curriculum also impacted positive school change (VanTassel-Baska, Avery, Little, & Hughes, 2000).

교외 학군의 영재 학습자에게 적용한 William and Mary 언어 기술을 활용한 결과를 연구한 6년간의 종단 연구 결과에 따르면 3학년에서 5학년까지 영재 학습은 비판적 읽기와 설득적 글쓰기에서 교육적으로 의미 있고 중요한 수준으로 향상되었습니다. 2-3년에 걸친 반복 학습(exposure)은 수행 패턴의 증가를 보 여주고 이해 관계자의 대다수가 커리큘럼이 효과적이고 효율적이라고 주장한다는 것을 보여주었습니다.

(Feng, VanTassel-Baska, Queck, Bai, & O'Neill, 2005). 또한, 특정 학군에서 시행된 연구에 따르면 교 과 과정은 긍정적인 학교 변화에도 영향을 미쳤습니다. (VanTassel-Baska, Avery, Little, & Hughes, 2000)

6.2. Project Athena findings 6.2. 프로젝트 아테나 결과

Based on the growing research evidence on the use of The College of William & Mary's language arts units with gifted learners, the team at William and Mary began a three-year longitudinal study of using the curriculum in Title 1 schools and inclusive classrooms with all learners (VanTassel-Baska & Bracken, 2008).

영재 학습자에게 William & Mary 언어 기술 단위(units) 사용 연구 증거가 증가함에 따라 William과 Mary 팀은 타이틀1 학교와 전체학급의 모든 학생을 대상으로 커리큘럼을 사용하는 3년 종단 연구를 시작 하였습니다.

Using an experimental design, 28 experimental classrooms implemented a William and Mary unit in grades 3, 4, or 5. More rigorous assessment was included in this study: an investigator�developed Test of Critical Thinking (TCT) and the use of the reading comprehension section of the Iowa Test of Basic Skills (ITBS) in addition to the performance-based measures used in earlier studies.

3, 4, 5학년에 William 및 Mary 언어 기술 단위(units)을 적용하는 28개의 학급을 실험으로 설계했습니 다. 이 연구에는 더 철저한 평가가 포함되었습니다. 이전 연구에서 사용된 성과 기반 측정에 더해 아이오 와 기본 스킬 테스트(ITBS)의 독해력 부분과 비판적 사고 테스트(TCT)에서 개발된 평가지표를 활용합니 다.

The longitudinal sample for this three-year study was 1346 students, with 735 in the experimental group and 611 in the control group. Formal training for teachers in the implementation of the units was conducted for four days across each year. Data analysis featured the use of MANOVA to assess pre-post results for between-group differences. Effect sizes were calculated for all groups. Results suggested that students in experimental classes showed significant and important educational gains in critical thinking with effect sizes at the moderate level across three years (pb.05). While control students also showed significant gains in critical thinking, significant differences favored the experimental group with small effect sizes of ή²= .037. All groups within the experiment showed gains including gifted, high readers/promising learners, and typical learners. On the ITBS, reading comprehension subtest, both the experimental and control students showed significant growth. Performance-based measures also yielded significant and educationally important results for the experimental students in all ability groups, suggesting that the curriculum is effective with a broad range of learners.

3년 연구의 종단 표본은 1,346명의 학생으로, 실험군은 735명, 대조군은 611명입니다. 언어 기술 단위

(units) 연구를 수행할 수 있는 공식적인 교사 교육은 매년 4일 동안 실시되었습니다. 데이터 분석은 그룹 간 차이에 대한 사전 사후 결과를 평가하기 위해 MANOVA를 사용했습니다. 모든 그룹에 대해 효과 크기 를 계산하였습니다. 결과는 실험군 학생들이 3년 동안 중간 수준의 효과 크기로 비판적 사고에서 유의미 하고 중요한 교육적 성취를 보여주었습니다. (pb.05) 대조군 학생들도 비판적 사고에서 상당한 성취를 보 였지만, 유의미한 차이는 작은 효과 크기가 ή² = .037인 실험군을 선호했습니다. 실험 내 모든 그룹(영재, 유능한 독자 / 유망한 학습자 및 일반적인 학습자)이 성취를 보여주었습니다. ITBS에서 읽기 하위 테스트 에서 실험군과 대조군 학생 모두 크게 성장했습니다. 성과 기반 측정은 모든 능력 그룹의 실험 학생들에게 중요하고 교육적으로 중요한 결과를 낳았으며, 커리큘럼은 광범위한 학습자에게 효과적임을 시사합니다.

Data were also collected on teacher change as a result of both training and use of a differentiated curriculum. Pre-post data using a classroom observation instrument (the COS-R) suggest that experimental teachers showed significant growth patterns in the use of key elements of differentiation (i.e. critical thinking, creative thinking, accommodation to individual differences) across two years of implementation of the William and Mary units of study in comparison to control teachers not trained in the curriculum.

또한, 차별화된 커리큘럼의 훈련과 사용으로 교사 변인에 대한 자료가 수집되었습니다. 교실 관찰 도구 (COS-R)를 사용한 사전 사후 데이터는 커리큘럼을 교육받지 않은 대조군 교사와 비교하여 William and Mary 언어 기술 단위(units) 연구를 활용한 실험군 교사들이 2년 동안 차별화된 핵심 요소(비판적 사고, 창의적 사고, 개인 차이에 대한 수용)의 사용으로 중요한 성장 패턴을 보여주었습니다.

6.3. Research design and central findings from science curriculum effectiveness studies 6.3. 과학 커리큘럼 효과 연구의 연구 설계 및 중심 연구 결과

One quasi-experimental study tested the effectiveness of the William and Mary problem-based learning science curriculum with gifted learners on designing original scientific experiments. It was hypothesized that gifted learners, using a PBL curriculum designed for higher-level concept development and thinking, would outperform equally able learners not using the intervention in the dimension of scientific research skills. The sample consisted of 62 classrooms in grades 2–7 in 7 states. Instrumentation was a pre-post performance�based assessment of integrated science process skills developed by Fowler (1990) and validated for such use by Adams and Callahan (1995). Procedures for the study involved the training of teachers on the intervention for 5 days and the pre-post administration of the Fowler test in treatment and comparison classes. Analysis of covariance and paired-samples t-tests were employed to test differences between experimental and control students; effect sizes were also calculated. Significant and important treatment effects for integrated scientific process skills as seen in a student-generated experimental design were found for experimental groups over controls. No significant gender effects were found. Students improved significantly after unit instruction regardless of the grouping model employed. All students exposed to the units (average and gifted) enhanced their learning at significant levels (VanTassel-Baska et al., 1998).