Week 2
Teaching and Testing
￭ What is a test?
- A test is a systematic procedure for measuring a sample of behavior.
* systematic: selecting items constructed according to certain set of principles
* sample: can't test the whole set of behavior so we must select items which will reflect the whole domain of behavior
e.g. a writing test (hoping the test reflects the whole set of behavior)
- Tests may be inaccurate (or unreliable) in the sense that repeated measures may give different results. These measures may also be invalid in
the sense that other abilities are mixed in.
e.g. A test of reading comprehension may turn out to be a test of grammar or vocabulary. --> invalid
￭ Backwash (=Washback): the effect of testing on teaching and learning
- Backwash could be either beneficial or harmful.
- Our problem: mismatch between the goal and the practice in our language teaching
Reason?: Testing does not encourage good and appropriate teaching/learning.
￭ Achieving beneficial backwash
1. Test the abilities whose development you want to encourage.
2. Sample widely and representatively.
3. Use direct testing.
4. Make testing criterion-referenced.
5. Base achievement tests on proficiency.
※ prochievement test
6. Ensure test is known and understood by the teacher and the students.
History of Language Testing
1. Pre-scientific period (~ 1950s)
1) Testing followed the grammar-translation techniques in language teaching.
2) Students answer written questions on points of grammar or carry out other exercises intended to demonstrate their intellectual knowledge of the target language structure.
2. Psychometric-Structuralist period (Fries, Lado) (1950 ~ 1970)
1) structural (descriptive) linguistics, behavioristic psychology
2) focused on overtly observable responses
※ emphasis on "discrete-point" approach in language testing
3) Language can be divided into small pieces.
4) measures discrete linguistic points
5) advantages:
(1) yield easily quantifiable data (2) wide coverage of items
(3) objective scoring -> high reliability
6) disadvantages:
(1) Is proficiency that neatly quantifiable?
(2) the crucial properties of language are lost when its elements are
separated. (Oller: "The whole is more than the sum of its parts.")
(3) testing linguistic competence is a necessary, but not sufficient component of language proficiency test
3. The Psycholinguistic(=Integrative)-Sociolinguistic period (1970s -)
1) a widespread turning away from the discrete-point, structuralist approach toward an approach which views language learning (or use) not as a mathematical sum-of-the-parts, but as a dynamic, highly complex process
2) Functional-Notional approach to curriculum design (1) 1970s (Oller)
(2) global and integrative test measures more than the limited part of language competence achieved by 'discrete-point' tests.
3) Oller: "General Language Proficiency (GLP) is a single principal factor underlying all language skills." ('unitary competence hypothesis')
4) There is a growing body of evidence favouring 'divisibility hypothesis.'
5) Tests such as cloze and dictation are global, but they are indirect.
6) Neither cloze nor dictation tells us nothing directly about one's actual communication ability.
4. The Communicative Paradigm
1) move away from the discrete-point, individual-element testing approach toward "integrative" techniques,
2) the performance tasks test takers are faced with in a communicative test should be representative of the type of task they might encounter in their real-life situation --> problem: hard to generalize!!
3) divisible hypothesis (partial divisibility hypothesis)
<Appendix A>
교수. 학습이론의 변화와 새로운 평가 방향
- 교육은 지식과 깊은 관계에 있다. 지식의 생성과 존재에 대한 인식론적 견해에는 객관주의(objectivism)와 구성주의(constructivism)가 있다. 이러한 견해를 바탕으 로 교수-학습 이론도 다르게 나타난다.
￭ 객관주의(objectivism)
1) 지식이란 경험과는 무관하게 객관적으로 존재하며 불변하는 것이라고 봄.
2) 개인은 독립적으로 존재하는 객관적 지식을 발견, 수용, 흡수하여 마음속에 차근 차근 쌓아 나가는 것으로 파악함.
3) 지식의 습득을 위해 개인은 반복적인 노력을 부단히 해야 한다고 봄.
1. 객관주의에 바탕을 둔 전통적인 교수. 학습 이론
1) 교사는 객관적인 지식이나 정보를 학습자들에게 전달하고 학습자들은 이를 축적 하여 다시 기억하거나 재생산할 수 있도록 하는 것이 교육이라고 봄.
2) 암기를 통한 지식의 학습을 강조함.
3) 교사는 지식의 근원으로서, 학생은 지식의 수용자로서 각각 독립적인 역할을 하 는 것으로 규정함.
4) 지식은 교사로부터 학생에게로 일방적으로 흘러가는 것으로 보았기 때문에 교사 의 권위에 대한 복종이 강조됨.
5) 같은 내용을 같은 교사에게서 배운다면 모든 학생은 똑같은 내용을 똑같이 학습 할 것이라는 가정을 가지고 있었음.
6) 행동주의적 교수/학습관과 같은 맥락에 있으며, 과학주의, 객관주의가 풍미하여
전체는 부분으로 나눌 수 있고, 나누어진 부분을 합하면 전체가 된다고 봄.
7) 따라서 학습내용의 부분부분을 누적적으로 학습시키고, 부분의 학습에 대한 성 공과 실패를 상과 벌로 강화하는 방법을 사용함.
8) 교육에서의 주안점은 교사는 가능하면 짧은 시간에 많은 양의 지식을 가르치고, 학생들이 가르친 지식을 잘 기억하도록 하는 데 초점을 둠.
9) 학생의 관심과 흥미는 별로 중요하지 않고, 소위 전문가들이 미리 정해 놓은 교 육 내용을 잘 정리하여 학생에게 전달하는 교사주도의 일제식 수업과 주입식 수업 이 중심.
10) 학생은 창의적 사고력이나 문제 해결력 같은 능력을 기를 수 있는 기회가 별로 없고, 언제나 수동적으로 받아들이는 입장.
11) 학습 성취도의 평가도 단편적 지식을 얼마나 많이 축적하고 있느냐에 초점이 맞추어질 수밖에 없음.
￭ 구성주의(constructivism)
- 독일 철학자 Wertheimer(1880-1943)를 중심으로 한 형태 심리학(Gestalt Psychology)의 발현으로 이제까지의 전통적인 관념이 깨어짐. 게슈탈트(Gestalt)란 전체, 혹을 패턴이란 뜻으로, 인간이 자기의 주변 세계를 이해하기 위해서 자신이 지각한 것을 패턴이나 관계성으로 구조화하려는 경향을 말하는데, 즉 “사물은 그 구 성요소 하나하나를 연구해서가 아니라 그 전체를 연구함으로써 이해된다.(A thing cannot be understood by study of its component parts, but only by study of it as a totality. Biggie 1964: 61)"고 보았고, 인간의 지적 활동을 지배하는 요인이 환경적 요인보다는 인간 내적 요인이 더 크다고 봄.
1) Dewey, Bruner, Piaget, Vygotsky 등을 중심으로 한 구성주의적 견해가 나오게 됨.
2) 구성주의란 이전의 객관주의적 인식론과는 대립되는 견해로서, 지식이 객관적, 독립적으로 인간의 외부에 존재하고 있는 것이 아니라, 개인의 경험을 바탕으로 개 인이 능동적, 주관적으로 재구성한다고 봄. 이 때 각자의 주변에 있는 사회 구성원
들의 영향을 받는다고 봄.
3) 전통적인 교육에서처럼 모든 학생이 똑같이 배울 것이라고 생각하는 것은 잘못 된 것이며, 학생은 교사가 제시하는 지식의 수동적 흡수자가 아니라 자기 경험에 비추어 분석, 평가하고, 재구성하여 새로운 환경과 상황에 적응할 수 있는 존재이 며, 교육도 그렇게 해야 한다고 봄.
4) 교사는 관찰자, 진행자, 학습의 자극자로서 학생 개개인과 수업하며, 그들의 의 미 있는 학습활동에 참여할 수 있도록 유도하는 역할을 강조함. 이러한 학생 중심 의 교육 원리는 Rousseu에서 Dewey로 이어지는 진보주의 교육이념과 직접 연결되 는 것임.
2. 구성주의에 바탕을 둔 새로운 교수. 학습 이론
1) 80년대 이후 대두됨.
2) 학습자의 개별 성향과는 무관하게 동일한 내용이 모든 학습자에게 전달되는 교 육이 아닌 학습자가 학습의 주체가 되어 자신에게 의미 있는 교육을 받고 이를 스 스로 재구성하고 조직하는 과정을 강조함.
3) 학습이란 학습자의 지식구조의 구축과정 (a process of knowledge construction) 및 새로운 사실을 수용할 때 일어나는 인지구조의 지속적인 변화를 의미하며, 따라서 선언적 (declarative) 또는 결과적(product) 지식만이 아니라 절 차적(procedural) 또는 과정적 (process) 지식을 중요시함.
평가:
이상과 같은 새로운 교수. 학습 이론의 대두로 인하여 기존의 교육 평가 체제에 대한 재구조화가 필요하게 되었다. 즉 학습자들의 인지 구조 안에 중요한 정보들이 어떻게 조직되며 이러한 정보가 주어진 문제 해결을 위해 어떻게 활용되는가를 측 정할 수 있는 평가를 요구하게 되었다.
이러한 요구는 1980년대 미국과 영국 등 선진 국가들에서 세계화(globalization)에 대처하기 위한 교육 혁신의 한 부분이 되어 평가 방식의 과감한 개혁으로 이어졌 다. 이는 기존의 교육 평가 방식을 대처하는 대안 평가 방식으로서의 수행 평가의 개발로 이어진 것이다.
<Appendix B>
수행평가 (Performance Assessment)
◆ 수행평가(performance assessment)의 개념
: 수행평가는 전통적인 선택형 검사에 의한 평가의 형태와 구별한다는 점에서 로, 수행과제들이 실제 생활의 문제들과 직접적으로 관련된다는 점에서 로, 피험자의 능력과 기술에 대한 증거를 직접적인 측정치로 확보한다는 점에서 로 사용되고 있다. 하지만 수행평가는 이들 평가 와 다음과 같이 구별되기도 한다.
▯ : 지식이나 기능, 혹은 기술의 수행 정도를 측정하는 평가 (performance assessment)
▯ : 기존의 어떤 방법을 대치할 수 있는 평가 (alternative assessment)
▯ : 실제 상황에서 수행 정도를 측정하는 평가 (authentic assessment)
▯ : 표출되는 행위를 직접 관찰에 의하여 실시하는 평가 (direct assessment)
▯ : 개인의 작업이나 작품을 모아둔 자료집이나 서류철을 통해 평가 (portfolio assessment)
영어과 수행평가의 특징
1. 학습자들이 문제의 정답을 선택하는 것이 아니라 직접 작성하거나 행동으로 나 타나도록 하는 평가 방식이다.
2. 인위적인 가상 상황을 설정하기보다는 실생활에 관련되는 실제 상황을 제시하여
학습자들에게 과제 수행이 보다 의미 있고 도전적이며 참여적인 활동이 되도록 한 다.
3. 교수ㆍ학습의 결과뿐만 아니라 그 과정도 중시하므로 다양한 해결책을 모색해 가는 절차나 전략에도 관심을 갖는다.
4. 일회적으로 평가하기보다는 학습자의 변화, 발전 과정을 종합적으로 파악하기 위 하여 전체적이고 지속적으로 이루어지는 것을 강조한다.
5. 수행과제는 여러 가지 지식과 기능을 통합하거나 여러 교과목의 내용에 걸쳐 통 합적으로 제시될 수 있다.
6. 실제생활에서 모든 사람들은 다른 사람들과 어울려 도움을 주고받으며 살아간다.
그러므로 개인이나 집단을 평가할 때도 서로간의 성취를 상대적으로 비교하는 것이 아니라 절대적인 준거에 의하여 평가하여야 하고 학습자들은 서로 경쟁하기보다는 협력적으로 과제를 수행해 갈 수 있다.
7. 단순 암기력보다는 종합력, 응용력, 분석력, 창의력, 문제 해결력과 같은 고등 정 신 능력에 대한 평가를 주로 하며, 아울러 태도, 흥미와 같은 정의적 능력과 신체적 능력까지의 종합적이고 전인적인 평가를 중시한다.
8. 수행평가의 결과가 학습자들을 선발, 분류, 배치하는 데 쓰일 수도 있지만 근본 적인 목적은 학습 과정을 진단하고 학습자 개인의 강점과 약점을 알려주어 개별 학 습을 촉진하는 데 있기 때문에, 평가 과정 자체가 교실 수업 활동의 일부로 쉽게 통합될 수 있다.
9. 수행과제에 관련된 평가 기준이 미리 공개되고 알려진다. 학습자들은 과제를 수 행하기 이전에 자신들이 받게 될 평가의 기준을 알고 있으므로 이것을 이용하여 자 신의 수행 정도를 스스로 파악해 볼 수 있고 자가 평가에 대한 연습을 하게 된다.
수행평가의 제작과 적용
제 1단계:
- 영어과 수행평가의 제작은 먼저 학습자의 욕구를 바탕으로 한 학습 내용과 목표 에 대한 검토로부터 시작하여 평가 목표, 내용, 상황 설정으로 이어진다.
제 2단계:
- 평가 목적에 가장 적절한 평가 방식을 선택하고 평가명세서를 기초로 실제 평가 과제를 제작하여 수정 보완한다. 더불어 이에 적절한 채점 기준을 개발함과 동시에 채점 방법을 선정하여야 한다.
제 3단계:
- 작성된 평가를 실행하여 채점하는 것이다. 이러한 평가 제작 및 실행 절차는 평 가 결과 해석과 처리로 종결되는데, 이 단계에서는 평가 결과를 바탕으로 학습자의 학습 진전 과정 및 차후 학습지도에 필요한 정보를 얻는다.
▷교육부 제시 수행평가의 시행 방법 및 절차:
“--- 평가 방법이나 절차만을 고려하는 것이 아니라, 교육 목표 및 수업 방법도 동시에 고려해야 한다.---”
(즉, 수행평가는 교수․학습 활동이 평가와 분리되지 않는 평가이므로, 평가 방법이 다양화․전문화․특성화되기 위해서는 우선 교수․학습 방법의 다양화․전문화․특성화가 선행되어야하는 것이다.)
▷수행평가의 시행 방법 및 절차 (백순근, 1999, p.33)
1) 학기별 혹은 연간 ‘수업 및 평가 계획서’를 작성한다.
2) 가르치고자 하는 ‘성취 기준’ (교육 목표 및 내용)을 구체화한다.
3) 실제로 다양화․전문화․특성화된 수업을 진행한다.
4) 성취 기준을 실제로 얼마나 성취했는지, 그 성취 정도를 파악하기 위한 ‘평가 기 준’을 명확히 한다.
5) 적절한 평가 방법을 결정하고 적절한 평가 도구를 제작한다.
(모범 답안 및 채점기준 표 작성 포함)
6) 실제로 다양화․전문화․특성화된 평가를 실시한다.
7) 채점기준 표에 따라 채점을 하고, 그 결과를 보고한다.
8) 평가의 결과를 교수․학습 활동에 피드백으로 활용한다.
(아래 도표)
1. 학습자의 학습 욕구 분석:
- 교육과정을 개발할 때 설문 조사 등의 방법을 통해 일반적으로 학습자의 욕구와 학습 목적을 반영. 하지만 현 초중등 영어교육과정이 개별학습자의 욕구를 정확히 파악하고 있다고 보기는 어렵다. 따라서 일선학교 교사들이 학생들의 성향과 학습 동기, 목적 등을 고려하여 주어진 여건 하에 내용을 취사선택해야 한다.
▷수행평가 제작 및 실행 단계 (최연희, 2000, p.43)
학습 내용 및 학습 목표 선정, 평가 상황 (목적, 목표, 내용) 설정
학습자의 학습욕구 분석
평가 명세서 작성
평가도구 및 채점 기준개발
평가 및 채점 실시
수행 결과 보고 및 처리
학습지도 계획
학습지도
2. 평가 목적, 목표 및 내용 선정
- 평가 목표란 “평가하고자 하는 교육 목표 및 내용을 구체화한 진술문”이다 . (한 국교육과정평가원, 1996, p.39).
e.g.
․ 영어 말하기 영역의 목표 일부 (한국교육과정평가원)
‧ 일상생활에 흔히 쓰이는 관용적인 표현을 상황과 목적에 맞게 사용한다.
‧ 과거에 일어났던 인상적인 일에 관한 느낌을 말한다.
‧ 지나간 일, 앞으로 할 일 등에 대해서 묻고 답한다.
‧ 그림이나 만화 등에 나타난 여러 가지 일을 차례로 말한다.
‧ 간단한 말로 대상을 비교한다.
‧ 실물, 그림, 표 등의 자료를 이용하여 간단히 설명한다.
‧ 글을 읽고 원인과 결과를 말한다.
‧ 결미를 완성하여 말한다.
‧ 좋아하는 짧은 이야기를 암송한다.
‧ 존경하거나 존경하는 사람에 대해 간단히 설명한다.
‧ 비교적 긴 지시나 설명을 한다. (1999, p.39)
▷ 평가 목표 기술을 위한 지침 (Hermon, Aschbacher & Winter, 1992)
1. 인지적 영역: 학습자가 개발해야 할 중요한 인지적 즉 언어적 기능은?
e.g. 친구에게 영어로 편지 쓰는 능력, 전화로 만날 약속을 하는 능력 등.
2. 사회․정의적 영역: 학습자가 개발해야 할 사회․정의적 기능은?
e.g. 자율적 학습력, 협동학습력, 긍적적 학습 태도 소유 등.
3. 상위(메타) 인지적 영역: 학습자가 개발해야 할 상위 인지적 기능은?
e.g. 학습자 자신의 언어 사용을 고찰할 수 있는 능력, 전략 사용의 효과를 평가하 는 능력, 학습 진전 상황을 검토하고 자신의 능력을 평가할 수 있는 능력 등.
4. 문제 유형 영역: 학습자가 해결하기를 기대하는 문제의 유형은?
e.g. 문맥 안에서 의미를 유출하는 능력, 상황을 추론하는 능력, 그림을 보고 구두 로 전이하는 능력 등.
5. 개념 및 원리 영역: 학습자의 적용이 기대되는 개념과 원리는?
e.g. 실제 언어 사용으로의 적용 능력 등.
※ 현행 영어과 교육과정의 학습 목표와 성취 기준은 인지적 영역 중심이며 사회․정 의적 영역, 개념 및 원리 영역 등은 거의 언급하고 있지 않으면서 한국교육과정평
가원에서 제시하고 있는 중학교 영어과 수행평가 방안을 보면 채점 기준에 ‘활동참 여도’ 등 다른 영역들까지 포함하고 있다.
3. 평가 계획서 작성
<Appendix C>
FSI Absolute Oral Proficiency Ratings
All the ratings except the S-5 may be modified by a plus (+), indicating that proficiency substantially exceeds the minimum requirements for the level involved but falls short of those for the next higher level.
Elementary proficiency
S-1 Able to satisfy routine travel needs and minimum courtesy requirements.
Can ask and answer questions on very familiar topics; within the scope of very limited language experience can understand simple questions and statements, allowing for slowed speech, repetition or paraphrase; speaking vocabulary inadequate to express anything but the most elementary needs; errors in pronunciation and grammar are frequent, but can be understood by a native speaker used to dealing with foreigners attempting to speak the language;
while topics which are "very familiar" and elementary needs vary considerably from individual to individual, any person at the S-1 level should be able to order meal, ask for shelter or lodging, ask for and give simple directions, make purchases, and tell time.
Limited working proficiency
S-2 Able to satisfy routine social demands and limited work requirements. Can handle with confidence but not with facility most social situations including introductions and causal conversations about current events, as well as work, family, and autobiographical information; can handle limited work requirements,
needing help in handling any complications or difficulties; can get the gist of most conversations on nontechnical subjects (i.e. topics which require no special knowledge) and has a speaking vocabulary sufficient to respond simply with some circumlocutions; accent, though often quite faulty, is intelligible; can usually handle elementary constructions quite accurately but does not have thorough or confident control of the grammar.
Professional proficiency
S-3 Able to speak the language with sufficient structural accuracy and vocabulary to participate effectively in most formal and informal conversations on practical, social, and professional topics. Can discuss particular interests and special fields of competence with reasonable ease; comprehension is quite complete for a normal rate of speech, vocabulary is broad enough that he rarely has to grope for a word; accent may be obviously foreign; control of grammar good; errors never interfere with understanding and rarely disturb the native speaker.
Distinguished proficiency
S-4 Able to use the language fluently and accurately on all levels normally pertinent to professional needs. Can understand and participate in any conversation within the range of own personal and professional experience with a high degree of fluency and precision of vocabulary; would rarely be taken for a native speaker, but can respond appropriately even in unfamiliar situations;
errors of pronunciation and grammar quite rare; can handle informal interpreting from and into the language.
Native or bilingual proficiency
S-5 Speaking proficiency equivalent to that of an educated native speaker.
Has complete fluency in the language such that speech on all levels is fully accepted by educated native speakers in all of its features, including breadth of vocabulary and idioms, colloquialisms, and pertinent cultural references.