정책방안의 교육적 효과 연구

(1)

연구보고 RRO-2011-11

대학수학능력시험 외국어(영어) 영역 시험의 지시문, 질문 및 선택지를 영어로 제시하는

정책방안의 교육적 효과 연구

(2)

대학수학능력시험 외국어(영어) 영역 시험의 지시문, 질문 및 선택지를 영어로 제시하는 정책방안의 교육적 효과 연구

연구보고 RRO-2011-11 발 행 일 2011년 12월 15일 발 행 인 성 태 제 발 행 처 한국교육과정평가원

주 소 100-784 서울 중구 정동길 21-15 정동빌딩 전 화 (02)3704-3704

팩 스 (02)730-7487 홈페이지 http://www.kice.re.kr 인쇄업체 리드릭출판사(02-2269-1919) I S B N

(3)

이윤정(배명고등학교) 김설(가좌고등학교)

양춘오(벌교고등학교) 최재화(덕소고등학교)

연구협력진

(4)

(5)

머리말

앞으로 국가적 영어평가에 있어서 많은 변화가 예상된다. 수능에 있어서는 제 7차 교육과정에서 강조하는 의사소통중심의 영어교육 강조 정책으로 외국어 영역(영어) 의 읽기문항이 줄고 듣기 문항이 확대될 것이며 수능 체제의 수준별(A/B) 영어시험 이 치러 질 것이다. 또한 그와 발맞춰 국가영어능력평가시험이 2016학년도부터 읽기 와 듣기뿐만 아니라 말하기와 쓰기를 혼합한 진정한 영어의 네 가지 하위 언어영역 에 대하여 평가를 실시할 예정이다. 이러한 영어평가의 변화에 적극적으로 대처하 고, 더 나아가 외국어(영어) 영역 시험의 체제를 개편할 내․외적 필요성에 부응하 기 위해, 본 연구는 정책적 방향에 있어 교육적 타당성이 있는지 점검해 보았다. 그 결과 16년간 시행되어져 오며, 대학수학능력 외국어(영어)영역 문항의 고착화와 정 형화에 따른 영어영역 문항 유형 다변화 및 지시문, 질문, 선택지 유형 정책 변화 모색에 있어 한국어보다 영어로 주어질 때 문항 자체의 난이도 조절 외에 체감난이 도에도 영향을 줄 수 있다는 점을 발견하였다. 즉, 수능의 영어영역에서 영어문항 자체의 난이도외에 영어로 제시되는 지시문, 질문 및 선택지가 수험자들의 시험 수 행 면에서 하나의 난이도 조절을 위한 방법이 될 수 있음을 보여주고 있는 연구라 고 할 수 있다. 이러한 연구결과는 단기적으로는 수능의 듣기부분강화에 난이도 조 절 면에서 적용될 것이며, 더 나아가서는 국가영어능력평가시험의 네 가지 언어영역 의 난이도 조절에 응용될 전망이다.

끝으로 본 연구를 위해 설문 조사, 데이터 수집 및 인터뷰에 응해 주신 영어 교육 전문가, 현장에서 묵묵히 최선을 다하는 교사들에게 감사드리며, 또한 전문가 협의 회를 통해 귀중한 조언과 지도를 아까지 않는 교수, 교사, 장학사, 교과부 관계자 여 러분께 진심으로 감사드린다. 아울러 본 연구를 수행한 연구진 및 연구 협력진의 노 고에 진심으로 감사드리는 바이며, 본 연구를 통해 대학수학능력시험 외국어(영어) 평가가 좀 더 국가 영어교육의 수준을 한층 높이는 데에 기여하길 바란다.

(6)

(7)

연구요약

본 연구는 현 대학수학능력시험의 시대적 흐름인 의사소통중심의 영어교육과정 및 평가 개선을 위한 연구로서 대학수학능력시험 외국어(영어) 영역의 지시문, 질문 지 및 선택지에 대한 한글 및 영어 언어 선택에 따른 학습자들의 체감 난이도 검증 을 위한 실험연구이다. 즉, 현 대학수학능력시험의 외국어(영어) 시험의 한글 지시 문, 질문 및 선택지를 영어로 제시할 때 학습자 수준(성취수준: 우수, 보통, 기초, 기 초미달)에 따라 시험수행에 미치는 교육적 효과에 대한 정책연구이다. 이를 위해 크 게 다음의 세 가지 연구 목적을 가지고 연구를 수행했다. 첫째, 전국 고등학교 중 무선표집으로 서울, 경북, 대전, 대구, 인천, 전남 지역에서 각 1개 학교를 선정하였 고, 경기 지역에서는 2개 고등학교를 선정하였다. 그리고 각 학교 내에서 2학년 641 명을 선택하여 1) 한국어 지시문, 질문 및 선택지로 된 읽기 및 듣기 문항지와 2) 영어 지시문, 질문 및 선택지로 된 읽기 및 듣기 문항지를 통제 집단과 실험 집단으 로 분류하여 풀게 하였고, 그 결과에 대하여 일변량 일원과 이원 분산분석 방법으로 검증하였다. 둘째, 학교 현장의 선생님들과 협의회를 통해 그 의견을 수렴하여 질적 분석하였다. 셋째, 통계분석결과와 협의회의 질적 분석 결과를 토대로 지시문, 질문 및 선택지에 있어 언어선택효과가 학생과 지역학교에 미치는 영어정책변화에 대한 세부 방안을 모색한다.

본 실험의 결과로서, 전체 학생들의 총점수와 읽기에서 한국어 집단이 영어 집단 보다 높았다. 그와 반면에, 듣기 점수에는 한국어 집단이 영어 집단보다 높은 점수 를 보였지만 통계적으로 지시문, 질문 및 선택지 언어의 종류가 학생들의 시험 결과 에는 영향을 미치지 않은 것으로 나타났다.

다음으로는 학습자의 영어능력 수준을 전국단위 국가수준의 성취도 수준, 즉 우 수, 보통, 기초, 기초미달로 분류하고 문두(지시문, 질문) 및 선택지 언어 종류의 차 이 효과를 알아보았다. 우수 집단에서는, 총 점수, 읽기 점수 그리고 듣기 점수에서 한국어 집단이 영어 집단보다 모두 높은 점수를 획득하였다. 다시 말해 영어 성취도 수준 우수학력의 학생들은 영어 읽기, 듣기 시험 모두에서 지시문, 질문, 선택지가

(8)

대학수학능력시험 외국어(영어) 영역 시험의 지시문, 질문 및 선택지를 영어로 제시하는 정책방안의 교육적 효과 연구

ii

영어인 경우보다 한국어로 된 경우에 더 높은 점수를 받는 것으로 밝혀졌다. 전체 학생 대상의 결과와 다른 부분은 듣기 점수에서도 우수학생의 한국어 집단이 뛰어 났다는 것이다. 이 결과는 본 실험에서 가정(assumption)하였던 것과는 다른 점이라 하겠다. 즉, 본 실험에서는 하위학생들일수록 문지방 효과(threshold effect)의 영향 으로 영어로 된 지시문, 질문 및 선택지의 체감 난이도가 높을 것으로 예측하였으 나, 결과는 오히려 상위집단일수록 읽기와 듣기 점수 모두에서 체감 난이도가 높게 나왔다. 보통 수준의 학력을 가진 학생들을 대상으로 문두효과의 여부를 알아본 결 과, 보통학생의 한국어 집단은 총점과 읽기 점수에서 영어 집단보다 우수하였으며, 듣기 점수에서는 그 차이가 통계적으로 유의미하지 않았다. 기초와 기초미달 학생들 의 결과에서는 아주 흥미롭게도 앞선 우수학력, 보통학력 학생의 경우와 달리 읽기 영역에서 비록 통계적 차이는 없었지만, 영어 집단의 학생들이 한국어 문두 집단 학 생들보다 높은 평균점수를 보여 주었다. 종합적으로 볼 때, 영어 성취도 수준 기초 학력의 학생들에겐 영어 읽기, 듣기 시험에서 지시문, 질문, 선택지의 언어 종류가 그들의 시험난이도에 영향을 미치지 않는 것으로 나타났다.

전국 7개 지역 8개 고등학교를 서울/대도시/중소도시/읍면 지역으로 나누어 지역 적 차이를 살펴보았다. 먼저 서울 지역의 고등학교의 학생들은 영어 읽기, 듣기 시 험 두 영역 모두에서 지시문, 질문, 선택지의 언어 종류에 따른 시험 결과에 영향을 받지 않는 것으로 나타났다. 반면에 대도시 및 읍면 지역의 고등학교 학생들은 영어 읽기 시험에서 지시문, 질문, 선택지의 언어 종류에 따른 시험 결과에 영향을 받는 것으로 나타났다. 마지막으로 중소도시 지역의 고등학교 학생들은 읽기와 듣기 시험 두 영역 모두에서 지시문, 질문, 선택지의 언어 종류에 따라 시험 결과에 영향을 받 는 것으로 나타났다. 그리고 이러한 결과는 일관되게 한국어 집단이 영어 집단 보다 더 높은 점수를 획득하는 것으로 나타났다. 결과를 종합해 보면, 지역적으로 서울이 나 대도시의 학생들이 중소도시나 읍면도시의 학생들보다 상대적으로 이번 평가에 서 점수가 낮게 나왔다. 즉, 서울이나 대도시의 학생들은 상대적으로 읽기와 듣기 점수가 낮았으며, 영어 지시문, 질문 및 선택지의 영향도 덜 받는 것으로 나타났다.

그와 반면에 중소도시나 읍면도시의 학생들은 서울이나 대도시의 학생들보다 이번 평가에서 전반적으로 높은 점수를 받았으며, 영어로 문두 및 선택지가 주어졌을 때 통계적으로 영향을 받는 것으로 나타났다. 이 현상에 대한 심층 분석 결과, 이 학교

(9)

교사들은 평소 영어로 수업을 진행하고, 학생들과 영어로 상호작용을 많이 하는 것 으로 조사되었다. 이 학교들의 사례가 시사 하는 바는 학교가 어느 지역에 속해있던 지 교사의 수업 방식이 학생들의 전반적인 영어 능력향상에 많은 영향을 미치는 것 으로 여겨진다.

성별에 있어서는 남학생들의 경우 읽기 점수에서 한국어 집단과 영어 집단 간에 유의미한 점수 차이를 보였다. 즉 남학생들은 영어 읽기 시험에서 지시문, 질문, 선 택지의 언어의 종류에 따라 그들의 시험 결과에 영향을 받는 것으로 나타났다. 하지 만 영어 듣기 시험에서는 지시문, 질문, 선택지의 언어가 그들의 시험 결과에 어떠 한 영향을 미치지 않는 것으로 나타났다. 여학생들의 경우에도 남학생들과 동일한 패턴을 보여 주었다. 따라서 영어시험에서 지시문, 질문, 선택지의 언어 종류에 따른 효과는 남녀의 성별과는 상관없이 일관되게 나타난다고 할 수 있겠다. 그런데 효과 의 차이를 비교해 본다면 그러한 현상은 여학생들의 경우에 더욱 두드러지게 나타 났다.

둘째, 학교 현장의 선생님들과 협의회를 통해 그 의견을 수렴하여 질적 분석하였 다. 본 연구를 위해 학교 현장에서 직접 실험을 수행해 주신 선생님들께서 실험 시 행 상에 느끼셨던 생각들과 그리고 향후 문두 및 선택지를 영어로 제시하는 방안에 대한 다양한 의견들을 다음과 같이 제시하였다. 전체적인 의견은 이번 영어시험 정 책에 대해서 긍정적인 의견을 주었다. 그리고 이는 본 연구의 결과와 큰 차이는 없 었다. 즉, 수험자들이 영어로 된 지시문, 질문 및 선택지 시험을 수행할 때, 초기에 는 영어학습 부담과 시험지의 안면 타당도(face validity)면에서 어느 정도 혼선이 예상된다는 것이다. 하지만 시간이 지남에 따라 연습효과로 수험자들의 혼란이 진정 이 될 것이라고 예측하였다. 또한 수험자의 학업 성취도가 낮을수록 영어 문두 및 선택지 문제에 대한 체감 난이도가 클 것이며, 영어로 된 문제에 대해 집중도가 떨 어져서 시험문항을 풀 때 힘들 것이라는 예상이다(1등급과 2등급의 학생들에게는 영향력이 적을 것 같지만 3등급 이하의 학생들에게는 영향력이 현재로는 있을 것으 로 예측됨). 그리고 영어 문두로 바뀐다고 실용영어 영어 사용에 영향력이 미치지는 않을 것이라는 예상이었다. 영어 문두 및 선택지 사용에 따른 사교육비가 증가할 것 이라는 것 역시 크지 않을 것으로 예상했다.

종합적으로 볼 때, 문두 및 선택지효과는 학생 간, 성취수준 간, 지역 간 그리고 성

(10)

iv

별 간에서 일관적으로 나타났으며, 하위집단보다는 우수 집단에서 그 효과가 컸다.

학교현장의 전문가 의견 또한 긍정적이었으며, 이 정책을 시행하는데 있어서 큰 무리 가 없을 것으로 예상된다. 마지막으로 대학수학능력 외국어(영어) 영역 문항의 고착 화와 정형화에 따른 영어 영역 문항 유형 다변화 및 지시문, 질문, 선택지 유형 정책 변화 모색에 있어 한국어보다 영어로 주어질 때 문항 자체의 난이도 조절 외에 체감 난이도에도 영향을 줄 수 있다는 점에서 이 연구의 결과가 시사한 바가 크다고 여겨 진다.

(11)

차례

Ⅰ. 서론 ··· 1

1. 연구의 필요성 및 목적 ··· 3

가. 연구의 필요성 ··· 3

나. 연구의 목적 ···4

2. 연구 내용 및 기대효과 ··· 5

Ⅱ. 문헌 연구 ··· 7

1. 지시문, 질문 및 선택지의 언어 선택(L1, L2 혹은 L1과 L2) 관련 국내외 문헌 조사 및 선행 연구 ···9

2. 선행 연구: 대학수학능력시험 외국어(영어) 영역 개선 연구 ··· 10

Ⅲ. 연구 방법 ··· 15

1. 실험 개요 ··· 17

가. 실험 대상자 및 지역(대도시, 광역시, 중소도시, 읍면 지역) ··· 17

나. 연구 도구 ··· 17

2. 실험 자료: 한국어/영어 문두 및 선택지 듣기/읽기 문항 ··· 18

3. 실험 방법 ··· 21

가. 문헌 연구 ··· 21

나. 통계 분석:일변량 일원 및 이원 분산 분석 (One-way & Two-way ANOVA) ··· 21

다. 전문가 협의회 ··· 21

Ⅳ. 연구 결과 ··· 25

1. 문두(지시문, 질문) 및 선택지 언어 차이의 효과 ··· 27

(12)

vi

2. 영어 성취도 수준별 문두(지시문, 질문) 및 선택지 언어 유형의 효과 ··· 29

가. 우수학력 집단 ··· 29

나. 보통학력 집단 ··· 31

다. 기초학력 집단 ··· 32

라. 성취도 수준과 문두(지시문, 질문) 및 선택지 언어유형 효과와의 상호작용 ··· 33

3. 지역별 문두(지시문, 질문) 및 선택지 언어 유형 효과 ··· 35

가. 서울 지역 ··· 36

나. 대도시 지역 ··· 37

다. 중소도시 지역 ··· 38

라. 읍면 지역 ··· 39

마. 지역과 문두(지시문, 질문) 및 선택지 언어 유형 효과와의 상호작용 ··· 40

4. 남, 여 성별에 따른 문두(지시문, 질문) 및 선택지 언어 유형 효과 ··· 41

가. 남학생 ··· 42

나. 여학생 ··· 43

다. 성별과 문두(지시문, 질문) 및 선택지 언어 유형 효과와의 상호작용 ··· 44

Ⅴ. 결론 및 정책적 제언 ··· 47

1. 결론 ··· 49

2. 정책적 제언 ··· 51

* 참고 문헌 ··· 53

* ABSTRACT ··· 55

* 부 록 ··· 59

[부록 1] 한국어 문두(지시문, 질문) 및 선택지 시험 ··· 61

[부록 2] 영어 문두(지시문, 질문) 및 선택지 시험 ··· 72

(13)

표 차례

<표 Ⅱ-1> 주요 국가의 국가 주도형 영어시험의 시험지 양상 분석 ··· 11

<표 Ⅱ-2> 지시문, 질문 및 선택지 영어로 제시하는 4개 방안의 장․단점 ··· 12

<표 Ⅲ-1> 각 지역별 연구 참가 학생 수 및 성취도 수준별 학생 수 ··· 17

<표 Ⅳ-1> 한국어 집단과 영어 집단의 사전 성취도 수준 ··· 27

<표 Ⅳ-2> 한국어 집단과 영어 집단의 사전 성취도 수준의 동질성 검증 ··· 27

<표 Ⅳ-3> 읽기, 듣기, 총 점수의 기술통계 ··· 28

<표 Ⅳ-4> 일원 분산 분석: 읽기, 듣기, 총 점수 각각의 문두 및 선택지 언어 유형 효과 ··· 29

<표 Ⅳ-5> 기술통계: 우수학력 집단의 읽기, 듣기, 총 점수 ··· 30

<표 Ⅳ-6> 일원 분산 분석: 우수학력 집단의 읽기, 듣기, 총 점수 각각의 문두 및 선택지 언어 유형 효과 ··· 30

<표 Ⅳ-7> 보통학력 집단의 읽기, 듣기, 총 점수의 기술통계 ··· 31

<표 Ⅳ-8> 일원 분산 분석: 보통학력 집단의 읽기, 듣기, 총 점수 각각의 문두 및 선택지 언어 유형 효과 ··· 32

<표 Ⅳ-9> 기초학력 집단의 읽기, 듣기, 총 점수의 기술통계 ··· 32

<표 Ⅳ-10> 일원 분산 분석: 기초학력 집단의 읽기, 듣기, 총 점수 각각의 문두 및 선택지 언어 유형 효과 ··· 33

<표 Ⅳ-11> 이원 분산 분석: 성취도 수준과 문두 및 선택지 언어 유형 ··· 34

<표 Ⅳ-12> 각 지역별 읽기, 듣기, 총 점수의 기술통계 ··· 35

<표 Ⅳ-13> 일원 분산 분석: 서울 지역 학생들의 읽기, 듣기, 총 점수 각각의 문두 및 선택지 언어 유형 효과 ··· 37

<표 Ⅳ-14> 일원 분산 분석: 대도시 지역 학생들의 읽기, 듣기, 총 점수 각각의 문두 및 선택지 언어 유형 효과 ··· 38

<표 Ⅳ-15> 일원 분산 분석: 중소도시 지역 학생들의 읽기, 듣기, 총 점수 각각의 문두 및 선택지 언어 유형 효과 ··· 39

(14)

viii

<표 Ⅳ-16> 일원 분산 분석: 읍면 지역 학생들의 읽기, 듣기, 총 점수

각각의 문두 및 선택지 언어 유형 효과 ··· 40

<표 Ⅳ-17> 이원 분산 분석: 지역과 문두 및 선택지 언어 유형 효과 ··· 40

<표 Ⅳ-18> 남, 여 학생의 읽기, 듣기, 총 점수의 기술통계 ··· 42

<표 Ⅳ-19> 일원 분산 분석: 남학생의 읽기, 듣기, 총 점수 각각의 문두 및

선택지 언어 유형 효과 ··· 43

<표 Ⅳ-20> 일원 분산 분석: 남학생의 읽기, 듣기, 총 점수 각각의 문두 및

선택지 언어 유형 효과 ··· 44

<표 Ⅳ-21> 이원 분산 분석: 성별과 문두 및 선택지 언어 유형 효과 ··· 45

(15)

그림 차례

[그림 Ⅳ-1] 성취도 수준과 문두 및 선택지 언어 유형에 따른 점수 변화 추이 ··· 34 [그림 Ⅳ-2] 지역과 문두 및 선택지 언어 유형에 따른 점수 변화 추이 ··· 41 [그림 Ⅳ-3] 성별과 문두 및 선택지 언어 유형에 따른 점수 변화 추이 ··· 46

(16)

(17)

Ⅰ. 서론

(18)

(19)

1 연구의 필요성 및 목적

가. 연구의 필요성

본 연구는 교육인적자원부에서 발표한 제7차 개정 영어과 교육과정(교육인적자원 부 제 2007-79호)과 관련이 있다. 또한 대학수학능력시험 외국어(영어) 영역 개선 연구(연구보고 대수능 CAT 2010-11)의 기반을 둔 연구이다. 현 대학수학능력시험의 시대적 흐름인 의사소통중심의 영어교육개선에 발맞추어 2014년도 대학수학능력시 험 체제 개편(안)의 한 연구로 대학수학능력시험 외국어(영어) 영역의 질문지 언어 선택의 다각적 난이도 모색에 그 목적을 둔다. 즉, 대학수학능력시험 외국어(영어) 영역 시험에서 한글로 된 지시문, 질문 및 선택지를 영어로 제시하는 정책방안에서 학생들(국가수준의 성취도 평가척도에 따른 4영역) 간의 영어/한글로 된 지시문, 질 문 및 선택지의 효과에 대한 연구정책연구이다. 이러한 지시문, 질문 및 선택지를 영어로 제시하므로 발생할 수 있는 교육적 효과를 분석하고 더 나아가 학생, 학교, 지역적 정책방안을 모색하고 대학수학능력시험 외국어(영어) 시험의 난이도 다양화 를 위한 개선을 도모하는 것이 목적이다.

본 연구는 국가적 영어과 정책연구로 시행이 된 선행연구(연구보고 대수능 CAT 2010-11)를 바탕으로 시행되었다. 김용명 외(2010)의 선행연구에 의하면 지금의 대 학수학능력시험은 16년간 시행되어져 오며 영어시험의 ‘고착화’ 혹은 ‘정형화’가 되 어온 것이 사실이다. 그로 말미암아, 영어평가의 다각화를 위해 많은 연구를 하고 있으며, 그 방안으로 외국어(영어) 영역 시험의 현 한글 지시문, 질문 및 선택지를 원어(영어)로 제시하는 방안의 연구 필요성이 대두되었다.

언어학적으로, 질문지 언어의 선택(i.e., 모국어, 목적어, 또는 둘 다)이 언어평가에 서 어떻게 수험자의 시험수행에 영향을 미치는 가에 대한 논의가 꾸준히 되어져왔 다(Bachman, 1990; Cohen, 1994; Chun, 2005; Park, 2000, 2001; Shohamy, 1984;

Shohamy & Inbar, 1991; 신상근, 2010). 즉, L2 읽기 평가에서 질문을 모국어(L1)로 제시할 때와 목적어(L2)로 제시할 때 수험자의 성취도의 변화를 살펴보는 것이다.

(20)

4

선행연구의 예로, Shohamy(1984)의 연구결과에서는 성취도수준이 낮은 학생들에게 질문을 L1으로 제시했을 때와 L2로 제시했을 때 그 차이가 더 크게 나타났으며, 이 는 수험생들의 정의적 요소(anxiety)의 영향의 결과라고 역설하고 있다. 또한 L1으 로 질문을 주는 것이 좀 더 언어평가에 있어서 진정성(authenticity)을 부여하는 것 이라고 주장한다. 그와 반면에 Rahimi(2007)의 실험연구에서는 언어의 선택에 따른 차이가 없었지만, 영어 성취도가 낮은 학생들의 경우에는 차이가 있음을 보고하였 다. 이렇듯 읽기에서의 질문지 언어 선택에 대한 연구는 진행되었지만, 다른 언어 영역, 즉 듣기, 말하기, 쓰기 등의 영역에 대한 이전 연구는 거의 없으며, 아직도 그 영향에 관한 연구는 지금까지 많이 보고되고 있지 않은 실정이다. 또한 국내에서의 연구는 거의 보고되지 않고 있다. 이에 본 연구는 2014학년도 대학수학능력시험 외 국어(영어) 영역체제 개편에 맞춰 질문지 언어선택에 대한 교육 및 정책적 타당성 검증 및 방향제시를 그 목적으로 수행되었다.

나. 연구의 목적

본 연구는 지시문, 질문 및 선택지에 있어 언어의 선택(한국어, 영어)이 대학수학 능력시험 외국어(영어)평가에 미치는 효과를 실험한 연구이다. 학습자들 간의 성취 수준에 따라 우수, 보통, 기초, 기초미달로 구분할 때 체감 난이도 효과를 사전 검증 하는 것이 목적이다. 이를 위해 크게 다음의 세 가지 연구 목적을 가지고 연구를 수 행했다. 첫째, 전국 고등학교 중 무선표집으로 서울, 경북, 대전, 대구, 인천, 전남 지 역에서 각 1개 학교를 선정하였고, 경기 지역에서는 2개 고등학교를 선정하였다. 그 리고 각 학교 내에서 2학년 641명을 선택하여 1) 한국어 지시문, 질문 및 선택지로 된 읽기 및 듣기 문항지와 2) 영어 지시문, 질문 및 선택지로 된 읽기 및 듣기 문항 지를 풀게 하였고, 그 결과에 대하여 통계적 방법으로 검증 분석하였다. 둘째, 학교 현장의 선생님들과 협의회를 통해 그 의견을 수렴하여 질적 분석하였다. 셋째, 통계 분석결과와 협의회의 질적분석 결과를 토대로 지시문, 질문 및 선택지에 있어 언어 선택효과가 지역과 학교에 미치는 영어정책변화에 대한 세부 방안을 모색한다. 본 연구의 상세한 연구 질문은 다음과 같다:

(21)

1. 영어 읽기/듣기 성취도 평가에서 문항의 지시문/질문/선택지의 언어 종류(영어 vs. 한국어)에 따라 학습자의 성취도 점수 차이(i.e., 문두어 효과)가 있는가?

2. 학습자의 영어능력 수준(우수, 보통, 기초, 기초미달)에 따른 영어 지시문/질문/

선택지 효과의 차이가 있는가?

3. 지역 내 또는 지역 간의 영어 지시문/질문/선택지 효과 차이가 있는가?

4. 학습자변인(성별) 따른 영어 지시문/질문/선택지 효과의 차이가 있는가?

2 연구 내용 및 기대효과

◦ 대학수학능력시험 외국어(영어) 영역 시험의 지시문, 질문 및 선택지를 영어로 제시하는 정책방안 방향 설정을 위한 기초 연구

◦ 영어성취수준(우수, 보통, 기초, 기초미달)/지역/성별에 따른 한국어/영어 지시 문, 질문 및 선택지 효과가 난이도에 미치는 영향 연구

◦ 수능 외국어(영어) 영역 평가 개선 정책 방향 설정 근거자료로 활용

◦ 2014 수능 체제의 수준별 영어시험의 검사지 구성의 선행 연구 자료로 활용

◦ 2012학년도 이후 수능 모의평가 및 수능 출제 및 2014학년도 수능 출제에 반영

◦ 듣기 문항 확대, 문두(지시문, 질문) 및 선택지를 영어로 출제하는 방안에 따른 수능 외국어(영어) 시험의 세부 시행 방안을 제시함으로서 실제 시행에서 생겨 날 수 있는 문제점 최소화

◦ 실험효과 타당성을 바탕으로 실제적 영어 영역 정책변화 기대

◦ 평가의 환류효과(washback effect)로서 학교현장에서 실용영어 수업에 긍정적 영향 상승 기대

◦ 영어시험의 안면 타당도(face validity) 향상 기대

◦ 수험생, 학부모 및 언론 홍보 자료 제작에 활용

(22)

(23)

Ⅱ. 문헌 연구

(24)

(25)

1 지시문, 질문 및 선택지의 언어 선택(L1, L2 혹은 L1과 L2) 관련 국내외 문헌 조사 및 선행 연구

언어 평가 방법이 언어 평가의 결과에 영향을 미친다는 것은 널리 알려진 사실이 다. 예를 들면, 읽기 평가에서 평가 방법이 선다형이냐, 단답형이냐, 요약하기냐, 회 상하기냐, 번역하기냐 등에 따라 피험자의 읽기 능력의 평가 결과는 달라질 수 있 다. 또한 같은 선다형 평가라 하더라도 선택지가 3지선다이냐, 4지선다이냐에 따라 서 평가 결과는 또 달라질 수 있다. 이에 대해 신상근(2010)은 평가 결과에 대한 평 가 방법의 영향을 연구자들이 평가 방법에 관심을 가져야 하는 이유라고 말하고 있 으며, 평가방법의 영향에 대해 조사할 때에는 선다형이나 단답형과 같은 큰 단위에 서보다는 응답방법, 선택지 수, 선택지 언어 등처럼 더 세분화된 수준에서 연구가 필요하다고 주장한다.

Bachman(1990)이 평가 방법의 분석을 위한 기준 틀(framework)로써 제시한 시험 방식양상(test method facet)에 따르면 입력(input)은 그 틀(framework)을 구성하는 주요 요소 중 하나이며, 제시 언어의 선택(i.e., 모국어, 목적어, 또는 둘 다)은 입력 (input)의 형식(format) 측면에서 반드시 고려해야 할 한 요소임을 분명하게 밝히고 있다. 마찬가지로 Cohen(1994)도 “질문의 형태 및 언어, 제시문의 종류, 요구되는 응 답의 파악은 타당하고 신뢰할만한 문항의 개발을 위한 매우 중요한 정보를 제공한 다.”라고 주장한다(전지현, 2008). 다시 말해서 언어 평가에 있어 질문의 유형 및 언 어는 평가의 결과에 영향을 미치는 주요한 요소이다.

질문의 유형이 학습자들의 언어 과업 수행, 또는 언어 평가 결과에 미치는 영향에 대한 연구들은 많이 보고되어 왔다(e.g., Chun, 2005; Park, 2000, 2001; Shohamy, 1984; Shohamy & Inbar, 1991). Shohamy(1984)는 그의 연구에서 읽기 능력을 평 가할 때 선다형 질문이냐 개방형 질문이냐에 따라 피험자의 읽기 점수에 큰 차이 가 있음을 보고하였다. Chun(2005)은 한국 대학생들의 질문 유형에 따른 영어 듣기 과업 수행에 있어 차이를 알아보는 연구에서 한국 대학생들은 구체적인 정보를 묻 는 질문보다는 전체적인 내용을 파악하는 질문에 더 어려움을 느끼는 것으로 나타 났다. 그러나 Park(2001)의 연구에서는 Chun(2005)의 연구와 정 반대의 결과를 보

(26)

10 여주었다.

한편 언어 평가에 있어 질문지 언어의 종류가 학습자들의 언어 평가 결과에 미 치는 영향에 관한 연구는 지금까지 많이 보고되고 있지 않은 실정이다. Shohamy (1984)는 L2 읽기 평가에서 질문을 모국어(L1)로 제시할 때와 목적어(L2)로 제시할 때 피험자의 읽기 평가 점수의 차이가 크게 나타남을 보여 주였으며, 특히 성취도 가 낮은 학생들에게 그 차이가 더 두드러지는 것으로 나타났다. 이 결과에 대해 Shohamy는 질문을 모국어로 제시하는 것이 피험자들의 긴장도(anxiety)를 줄여줌으 로써 평가 결과에 영향을 미칠 수 있다고 주장하였다. 아울러 질문을 모국어로 제시 하는 것이 평가를 좀더 진정성(authentic)있게 만든다고 주장하였는데, 그 이유는 일 반적으로 피험자들은 목적어로 제시된 질문을 모국어로 변역 하는 경향이 있기 때 문이라고 하였다. 이와 유사한 연구로 Rahimi(2007)는 이란 대학생들을 대상으로 연 구를 실시하였는데, 그 결과 영어 읽기 평가에서 질문의 제시 언어에 따른 평가 점 수의 차이는 나타나지 않았다. 하지만, Shohamy의 연구 결과와 마찬가지로 영어 성 취도가 낮은 학생들의 경우에는 차이가 있음을 보고하였다. 한국인 영어 학습자를 대상으로 한 유사한 연구는 보고된 바가 없는데, 전지현(2008)은 사무영어(Business English) 평가의 문항유형에 따른 난이도에 관한 연구에서, 질문지 언어 그리고 선 택지 언어의 유형(영어 vs. 한국어)에 따른 정답률의 차이는 각각 없다는 결과를 보 고하였다.

2 선행 연구: 대학수학능력시험 외국어(영어) 영역 개선 연구

이러한 가운데 본 연구의 바탕이 된 최근 교육과학기술부의 위탁을 받은 한국교 육과정평가원의 “대학수학능력시험 외국어(영어) 영역 개선 연구”(김용명 외 3인, 2010)에서 실용영어 강화에 따른 수능 영어시험 평가 방법의 개선 방안을 모색하는 일환으로 수능 영어시험의 문두(지시문과 질문)와 선택지를 영어로 제시하는 방안에 대한 교육적 의의와 사회적 영향을 고찰하는 연구가 이루어 졌다. 김용명 외 3인

(27)

(2010)의 연구는 주요 국가들의 국가 주도 영어시험의 시험지 양상을 비교 제시하였 으며, 수능 영어시험에서 지시문, 질문, 선택지를 영어로 제시하는 방안에 대한 학 생, 교사, 학부모, 전문가 집단의 의견을 설문조사 하였고, 또한 전문가 협의회를 통 해 개선 방안에 대한 의견을 수렴하였다.

먼저 <표 Ⅱ-1>에서 보는 바와 같이 국가 주도형 영어시험에서 시험지의 지시문, 질문, 선택지를 모두 자국어로 제시하고 있는 국가는 한국 밖에 없었다.

<표 Ⅱ-1> 주요 국가의 국가 주도형 영어시험의 시험지 양상 분석

양상

국가 지시문 질문 선택지 비고

한국 한국어 한국어 한국어/영어 ∙지시문, 질문 한국어

∙선택지 한국어/영어 혼용

중국어 중국어 영어 영어

일본 일본어 영어 영어

독일 - 영어 - ∙주관식 3문항

러시아 러시아어 영어 영어

인도네시아 영어 영어 영어

(발췌: 김용명 외 3인, 2010, p. 33)

김용명 외 3인(2010)은 지시문, 질문, 및 선택지를 영어로 제시하는 양상에 따라 4가지 안을 제시하였으며, 각각의 안에 따른 장점과 단점을 다음과 같이 기술하고 있다.

(28)

12

<표 Ⅱ-2> 지시문, 질문 및 선택지 영어로 제시하는 4개 방안의 장․단점

양상 장점 단점

지시문 질문 선택지

1안 영어 영어 영어

∙영어사용능력에 부합

∙교육과정의 목표에 부합

∙환류효과로서 실용영어 수업에 긍정적 영향(washback effect)

∙수행력 시험(proficiency test) 에 대한 시험 전략 학습 효과

∙안면 타당도(face validity) 높음

∙학습자의 학습 부담 가중

∙교사의 수업 부담 증가

∙체제 변화에 따른 수험생의 혼란

∙최하위 학습자들에게 영항

∙체제 개편에 따른 사회적 비용 가중

2안 한국어 영어 영어

∙실제적 체제 변화 효과 있음

∙환류효과로서 실용영어 수업에 긍정적 영향(washback effect)

∙수행력 시험(proficiency test) 에 대한 시험 전략 학습 효과

∙안면 타당도(face validity) 있음

∙학습자의 학습 부담 있음

∙교사의 수업 부담 있음

∙체제 변화에 따른 수험생 혼란

∙최하위 학습자들에게 영항

∙체제 개편에 따른 사회적 비용 증가

3안 한국어 한국어 영어

∙점진적 변화에 따른 혼란의

∙하위학습자에 대한 다소간의최소화

∙체제 개편에 따른 사회적 비용배려 최소화

∙실제적 체제 변화 효과 없음

∙교수-학습이론에 부합하지

∙안면 타당도 낮음않음

4안 한국어

/영어 한국어

/영어

∙하위학습자에 상당한 대한 배려

∙체제 변화에 따른 수험생 혼란

∙체제 변화에 따른 수험생의 적최소화 응에 도움을 줌

∙체제 변화의 실효성 없음 - 시험 전략상 영어로 된 지시문

등 읽지 않음

∙출제 및 시행에 어려움

(발췌: 김용명 외 3인, 2010, p. 40)

한편, 지시문, 질문, 선택지를 영어로 제시하는 방안에 대한 집단별(i.e., 학생, 학 부모, 교사, 전문가) 찬성률을 살펴보면 각각 31.8%, 42.7%, 85.1%, 87.5%의 찬성률 을 보여주었다. 학생 집단과 학부모 집단은 낮은 찬성률을 보여주고 있는 반면, 교 사 집단과 전문가 집단은 상당히 높은 찬성률을 보여주었다. 찬성하는 이유에 대해 서는 “질문 및 선택지를 영어로 듣고․읽고 이해하는 것도 영어능력의 한 부분이 므로”라는 항목에 모든 집단에서 가장 높은 응답률을 보였다(학생, 79.9%; 학부모

(29)

72.6%; 교사, 83.2%; 전문가, 84.4%). 그 다음으로 높은 응답률을 보인 찬성 이유는

“실용 영어 중심 수업이 강화되므로”라는 항목에 응답한 학부모 집단(47.5%)을 제 외하고, 나머지 세 집단에서는 “영어시험에서 질문과 선택지 등을 영어로 제시하는 것이 당연하므로”라는 항목을 두 번째로 높은 찬성 이유로 꼽았다(학생, 44.5%; 교 사, 47.4%; 전문가, 44.2%). 반대하는 이유를 살펴보면, 학생과 학부모 집단에서는

“수험생의 시험 부담 증가”(학생, 81.8%; 학부모, 79.7%)와 “지역․계층 간 성적편 차심화”(학생, 50.4%; 학부모, 38.8%)를 각각 첫 번째와 두 번째로 높은 이유로 꼽 았고, 교사 집단에서는 “지역․계층 간 성적편차심화”(50.0%)를 첫 번째 높은 이유 로, “수험생의 시험 부담 증가”(41.7%)를 두 번째로 높은 이유로 꼽았으며, 전문가 집단에서는 “수험생 시험 부담 증가”(45.5%)와 “실용 영어 수업의 효과 증대 어려 움”(45.5%)을 같은 비율로 반대의 이유로 꼽았다. 학생과 학부모 입장에서는 시험 부담의 증가가 가장 주된 반대 이유였으며, 교사와 전문가 입장에서는 지역․계층 간 편차와 시행 방안의 효과에 대한 의문이 각각 더 주된 반대의 이유였다고 할 수 있겠다.

마지막으로 김용명 외 3인(2010)의 연구 결과 보고서에서는 지시문, 질문 및 선택 지를 영어로 제시하는 방안에 대한 전문가들은 다음과 같은 의견들을 제시하였다:

- 실제 영어 사용 능력의 진작 및 고수준 학습자의 실력 차이 측정이 필요하다 는 측면에서, 그리고 실용 영어 사용을 강화한다는 측면에서 지시문과 질문, 선택지를 영어로 사용하는 것이 바람직함.

- 지시문과 질문, 선택지를 영어로 하는 것이 언어의 4기능을 공부하는 방식 자 체에 큰 변화를 가져올 것 같지는 않음.

- 지시문은 한국어를, 질문과 선택지는 영어를 사용하는 것도 교육 효과 측면에 서 별로 차이가 없으므로 무방할 것임.

- 사교육이 요동치는 사태는 우려되지 않음.

- 영어로 선택지를 주는 경우에도 선택지의 내용이 너무 복잡하여 듣기 능력 평가가 아닌 영어 읽기 평가가 되지 않도록 주의해야 함.

- 듣기 문항에 읽기 문항에서 사용될 영어 지시문관 질문, 선택지를 우선 도입 하여 청각적으로 익숙하게 한 다음, 읽기 지문에 보다 복잡한 형태의 영어 질

(30)

14

문, 선택지를 도입하는 것도 학습 부담을 줄이는데 효과적일 것임.

- 모의평가를 통한 사전 연습 기회를 제공하고, 정형화된 지시문과 질문의 영어 유형을 학교 일선에 자료로 제공하고, 영어 질문을 구(phrases)에서 완전한 문장(full sentence)으로, 그리고 영어 선택지를 짧은 것부터 긴 것으로 단계 적이고 점진적으로 시행한다면 영어 지시문과 질문, 선택지 사용에 따른 학교 교육 현장의 혼란이나 학생의 시험 부담은 크지 않을 것. (pp. 49-50)

(31)

Ⅲ. 연구 방법

1. 실험 개요

(32)

(33)

1 실험 개요

가. 실험 대상자 및 지역(대도시, 광역시, 중소도시, 읍면 지역)

본 연구를 위해서 전국에서 8개 고등학교를 선정하였다. 8개 학교를 서울/대도시/

중소도시/읍면 지역으로 나누었다. 그래서 서울 지역에 1개 학교, 대도시 지역에 3 개 학교, 중소도시 지역에 1개 학교, 읍면 지역에 3개 학교로 분포되었다. 그리고 각 학교 내에서 2학년 학생들을 무선표집하였다. 총 참가 학생 수는 641명이었다.

학생들의 영어 성취도 수준은 4등급으로 우수, 보통, 기초, 기초미달로 나뉘어졌으며, 각각 1, 2, 3, 4 로 값을 부여하여 각 학교 학생들의 전체 평균을 구하였다. 학생들의 사 전 영어 성취도 수준에 대한 정보는 해당 학교의 교사들로부터 제공 받았다. 읍면 지역 의 전체 참가 학생 중 3명의학생의 성취도 수준을 알 수가 없었다. 따라서 읍면 지역의 성취도 수준 평균 점수는 260명이 아닌 257명의 평균이다.

<표 Ⅲ-1> 각 지역별 연구 참가 학생 수 및 성취도 수준별 학생 수

지역 성별 성취도 수준

남학생 여학생 총 1 2 3 4 평균

서울 59 0 59 10 40 7 2 2.02

대도시 104 149 253 93 145 15 0 1.69

중소도시 69 0 69 55 13 1 0 1.22

읍면 지역 117 143 260 115 119 21 2 1.65

총 349 292 641 273 317 44 4

나. 연구 도구

본 연구에서는 영어시험에서 문두(지시문, 질문) 및 선택지의 언어 선택(한국어 vs. 영어)에 따른 영어 성적 차이를 알아보기 위해, 특정 회 차의 수능 모의고사 외

(34)

18

국어 영역 문항 중에서 읽기 7문항, 듣기 21문항을 발췌하였다. 읽기 7문항은 모두 5지 선다형 문항이고, 듣기는 21문항 중 4지 선다형 문항 4문항을 제외하고 나머지 17문항은 5지 선다형 문항으로 구성되었다. 각 문항의 점수는 1점으로 배점하여 총 점수는 28점 만점이었다.

원 시험지에서 문두 및 선택지가 영어로 된 시험지와 문두 및 선택지가 한국어로 된 시험지를 각각 만들었다. 즉 영어로 된 시험지를 만들기 위해 원 시험지에서 한 국어로 된 문두 및 선택지는 영어로 변환하였으며, 반대로 한국어로 된 시험지를 만 들기 위해서 영어로 된 선택지를 한국어로 변화하는 작업을 거쳤다. 이 변환 작업에 는 본 연구의 연구자 중 2명이 참여하였으며, 각각의 변환 결과에 대해 상호 교차 검수 과정을 거쳐 의견이 불일치하는 부분에 대해서는 협의를 통해 일치된 결과를 이끌어내도록 하였다.

2 실험 자료 : 한국어/영어 문두 및 선택지 듣기/읽기 문항

한국어 문두(지시문, 질문) 및 선택지 듣기 문항 예시

[20~21] 다음을 잘 듣고 물음에 답하시오.

20.

무엇에 관한 설명인지 고르시오?

① 폼페이의 난방 시스템 ② 폼페이의 전형적인 부엌

③ 폼페이의 전통 요리법 ④ 폼페이에서 요리 시 사용하는 연료

21.

연기를 밖으로 내보내는 기능 외에 굴뚝의 또 다른 기능으로 대화에서 언 급된 것은?

① 물을 모으기 위해 ② 햇빛이 들어오도록 하기위해

③ 홍수를 예방하기위해 ④ 주방기구들을 말리기 위해

(35)

22.

다음 글을 쓴 목적으로 가장 적절한 것은?

We are Ms. Brown’s twelfth grade art class. We are concerned about the future of art classes at our school, so we hope that you will agree with the points that we raise in our letter. As you know, school funding has been cut, so that instead of coming to school every day, Ms. Brown now only comes once a week. As a result, many art classes have been canceled. Research studies say that art can help relieve stress as well as help students achieve higher levels of concentration in all subjects.

The school funding for art classes should be secured. We hope that you will seriously consider our need.

① 미술 강좌에 대한 지원을 요청하려고

② 미술관 운영비 삭감에 항의하려고

영어 문두(지시문, 질문) 및 선택지 듣기 문항 예시

[20~21] Listen Carefully and Answer the following questions below

20.

What are the speakers mainly talking about?

① Heating systems in Pompeii. ② Typical kitchens in Pompeii.

③ Pompeii’s traditional recipes. ④ Fuels for cooking in Pompeii.

21.

Besides letting smoke out, what function of the chimney is mentioned in the conversation?

① To collect water. ② To let sunlight in.

③ To prevent floods. ④ To keep pots and pans dry.

한국 문두(지시문, 질문) 및 선택지 읽기 문항 예시

(36)

20

③ 미술 전시회 개최를 홍보하려고

④ 미술 강사의 교체를 건의하려고

⑤ 수강료 인하를 요구하려고

영어 문두(지시문, 질문) 및 선택지 읽기 문항 예시

22.

Which one best describes the purpose of the passage?

We are Ms. Brown’s twelfth grade art class. We are concerned about the future of art classes at our school, so we hope that you will agree with the points that we raise in our letter. As you know, school funding has been cut, so that instead of coming to school every day, Ms. Brown now only comes once a week. As a result, many art classes have been canceled. Research studies say that art can help relieve stress as well as help students achieve higher levels of concentration in all subjects.

The school funding for art classes should be secured. We hope that you will seriously consider our need.

① To ask people to support art classes.

② To complain about the cut in funding for art classes.

③ To advertise the opening of an art exhibition.

④ To propose that art teachers be replaced.

⑤ To ask for a discount in art class registration fees

(37)

3 실험 방법

가. 문헌 연구

◦ 제7차 교육과정 영어과 선택 과목 교육과정 분석

◦ 지시문, 질문 및 선택지에서 언어선택(L1, L2 혹은 L1과 L2) 관련 국내외 문헌 조사

◦ 시기 : 8월∼10월

나. 통계 분석 : 일변량 일원 및 이원 분산 분석(One-way & Two-way ANOVA)

문두 및 선택지가 영어로 된 시험지를 본 학생 집단(이후 ‘영어 집단’)과 한국어로 된 시험지를 본 학생 집단(이후 ‘한국어 집단’) 간의 시험 성적 차이를 비교하기 하 기 위하여 일변량 일원 분산 분석을 실시하였다. 학생들의 읽기, 듣기, 총 점수를 각 각 종속 변수로 채택하였으며, 독립변수는 문두 및 선택지의 언어 차이(한국어 vs.

영어)이다. 성취도 수준별, 지역별, 성별에 따른 문두 및 선택지의 언어 차이의 단순 효과(simple effect)도 일원 분산 분석을 통해서 알아보았다. 그리고 문두 및 선택지 의 언어 차이 변수와 다른 독립변수들(e. g., 학생들의 성취도 수준, 성별)과의 상호 작용효과(interaction effect)를 알아보기 위해 이원분산 분석 또한 실시하였다. 통계 적 유의수준은 .05 수준에서 검증하였다.

다. 전문가 협의회

◦ 1차 전문가 협의회(2011. 11. 21): 한국어 지시문, 질문 및 선택지로 구성된 시 험과 영어 지시문, 질문 및 선택지로 구성된 시험을 수행한 결과를 채점, 검토 협의

◦ 시기 : 11월 21일

(38)

22

본 연구를 위해 학교 현장에서 직접 실험을 수행해 주신 선생님들께서 실험 시행 상에 느끼셨던 생각들과 그리고 향후 문두 및 선택지를 영어로 제시하는 방안에 대 한 다양한 의견들을 다음과 같이 제시하였다.

◦ 학생들이 똑같은 문제일지라도 질문이 영어로 되어 있을 때에 이해도가 낮았으 며, 문제 푸는 시간이 길어지고 점수도 떨어지는 경향이 있음.

◦ 학생의 학업 성취도가 낮을수록 영어 문두 문제를 더 많이 틀리게 되며, 영어 로 된 문제에 대해 집중도가 떨어져서 쉽게 졸거나 끝까지 문제를 풀지 못하는 경우도 발생하였음.

◦ 문제 유형이 정해져 있고 5지선다를 보면 뭘 묻는지 쉽게 알 수 있기 때문에 큰 문제는 없을 것 같음. 그러나 독해 문제에서는 난이도가 조금 생길 것 같으 며, 학생들은 매우 달가워하지 않을 거라 여겨짐.

◦ 학생들이 우려하는 것은 우리말이 영어로 바뀌는 것으로 인한 심리적 독해부담 증가와 기존의 것을 지키고자 하는 마음이 전부인 것으로 판단됨.

◦ 수능시험 외국어 영역 문두로 영어를 바꿀 경우, 변별력에 관한 연구와 관련하 여 1등급과 2등급의 학생들에게는 영향력이 적을 적 같지만 3등급 이하의 학생 들에게는 영향력이 현재로는 있을 것으로 예측됨.

◦ 영어 문두로 바뀐다고 하여 실용영어 사용에 영향력이 미치지는 않을 것 같음.

학생들에게 영어를 읽어야 하는 부담감을 증가시킬 가능성이 있지만 평가라는 것은 충분히 연습이 가능하기 때문에 그 부담감 또한 초반에만 있을 것으로 예 상됨.

◦ 지시문과 질문이 영어로 바뀌는 것으로 사교육이 늘어날 것이라는 것 역시 지 나친 기우이며 시행초기에는 학생들의 독해부담이 다소 늘어날 것으로 보이나 2～3회 후에 정착되면 응시자의 부담은 없으리라 생각됨.

◦ 학생들의 거부감이 상당할 것으로 예상되지만 이는 현장에서 충분히 지도할 수 있는 부분이라 생각됨.

◦ 영어로 지문을 만드는 것은 큰 문제가 될 것 같지 않음.

◦ 학생들이 외국어 영역에서 한국어 없이 영어로 시험을 풀 때, 영어에 몰입할 수 있는 상황을 만들게 되므로 EFL 상황인 우리나라에서는 무조건 시행해야

(39)

하는 방안이라고 생각됨.

◦ 영어를 가르치는 영어교사로서 영어문제 제시문도 당연히 영어로 제시가 되어 야하지 않을까 생각됨.

◦ 처음으로 학생들이 접하는 영어 문두 지시문 시험이라서 한국어 문두 지시문 영어 문제 점수보다 성적은 낮게 나왔으나 계속해서 실시하면 학생들도 적응이 되리라고 생각되며 영어교육의 개선을 위한 좋은 방안 중의 하나라고 생각됨.

◦ 많은 공인영어시험이 그러하듯 영어시험의 모든 부분은 영어로 제시되어야 한 다고 생각됨.

◦ 일 년간 열심히 연습을 한다면 2013학년도 수능에 반영이 되도 좋으리라 생각됨.

(40)

(41)

Ⅳ. 연구 결과

1. 문두(지시문, 질문) 및 선택지 언어 차이의 효과

2. 영어 성취도 수준별 문두(지시문, 질문) 및 선택지 언어 유형의 효과

(42)

(43)

1 문두(지시문, 질문) 및 선택지 언어 차이의 효과

지시문, 질문, 및 선택지 언어 차이에 따른 효과를 검증하기에 앞서 한국어 집단 과 영어 집단의 영어 성취도 수준 동질성 검증을 실시하였다. 즉 두 집단 간에 사전 영어 성취도 수준에 차이가 있는지 없는지 알아보고자 하였다. <표 Ⅳ-1>에서 보는 바와 같이 한국어 집단의 사전 성취도 평균 점수는 1.61이었으며, 영어 집단의 사전 성취도 수준 평균 점수는 1.63이었다. 두 집단의 성취도 수준 평균 점수를 일변량 일원 분산 분석을 실시하였다. 그 결과에 따르면 두 집단 간의 성취도 수준 평균 점 수의 차이는 통계적으로 유의미하지 않았다(F (1, 636) ＝ .250, p＝ .617) 즉 이는 두 집단 간의 사전 성취도 수준에 있어 동질 한 집단임을 의미한다.

<표 Ⅳ-1> 한국어 집단과 영어 집단의 사전 성취도 수준

종속변수 집단 평균 표준편차 학생 수

성취도 수준 한국어 1.67 .617 332

영어 1.64 .654 306

<표 Ⅳ-2> 한국어 집단과 영어 집단의 사전 성취도 수준의 동질성 검증

독립변수 SS df MS F Sig.

언어 차이 .101 1 .101 .250 .617

오차 256.346 636 .403

전체 2001.000 638

* p< .05, ** p< .01

<표 Ⅳ-3>에서 전체 연구 참가 학생들의 읽기, 듣기 점수와 총 점수를 보여 주고 있다. 한국어 집단의 읽기와 듣기 점수가 각각 4.20, 13.81로 영어 집단의 3.31, 13.23 보다 높은 것을 알 수 있다. 따라서 총 점수에서도 한국어 집단이 18.01로 16.54의

(44)

28

영어 집단 보다 높았다.

<표 Ⅳ-3> 읽기, 듣기, 총 점수의 기술통계

종속변수 집단 평균 표준편차 참가 인원

읽기 점수 한국어 4.20 1.92 333

영어 3.31 2.05 308

듣기 점수 한국어 13.81 4.98 333

영어 13.23 5.13 308

총 점수 한국어 18.01 6.45 333

영어 16.54 6.48 308

읽기, 듣기, 총 점수에 있어 두 집단 간의 평균 점수 차이의 통계적 유의미성을 알 아보기 위해 각각의 점수를 종속변수로 일변량 일원 분산 분석을 실시하였다. <표

Ⅳ-4>에 보는 바와 같이, 그 결과에 따르면 총 점수에서 한국어 집단이 영어 집단 보다 높은 점수를 보였으며 그 차이는 통계적으로 유의미하였다(F (1, 639) ＝ 8.229, p< .05). 그리고 읽기 점수에 있어서도 한국어 집단이 더 높은 점수를 보였으며, 두 집단 간의 점수 차이는 통계적으로 유의미하였다(F (1, 639) ＝ 31.630, p< .05). 반면 에 듣기 점수에 있어서도 한국어 집단이 영어 집단보다 높은 점수를 보였지만, 그 차 이는 통계적으로 유의미하지 않았다(F (1, 639) ＝ 2.154, p＝ .143). 정리하면 지시문, 질문, 선택지가 영어로 된 영어 읽기 시험보다 지시문, 질문, 선택지가 한국어로 된 영어 읽기 시험에서 학생들은 더 높은 점수를 받는 것으로 밝혀졌다. 하지만 영어 듣 기 시험에서는 지시문, 질문, 선택지 언어의 종류가 학생들의 시험 결과에는 영향을 미치지 않는 것으로 나타났다.

(45)

<표 Ⅳ-4> 일원 분산 분석: 읽기, 듣기, 총 점수 각각의 문두 및 선택지 언어 유형 효과

종속변수 독립변수 SS df MS F Sig. η²

읽기 점수 언어 유형 123.982 1 123.982 31.630 .001** .047

오차 2504.764 639 3.920

듣기 점수 언어 유형 55.047 1 55.047 2.154 .143 .003

오차 16330.547 639 25.556

총 점수 언어 유형 344.254 1 344.254 8.229 .004** .013

오차 26733.424 639 41.836 5

* p< .05, ** p< .01

2 영어 성취도 수준별 문두(지시문, 질문) 및 선택지 언어 유형의 효과

학생들의 성취도 수준별 문두(지시문, 질문) 및 선택지 언어 유형에 따른 효과가 있는가 알아보기 위해, 연구 참가 학생들의 영어 성취도 수준을 우수, 보통, 기초, 기초미달로 나누었다. 그리고 각각의 성취도 수준에서 언어 유형에 따른 영어 읽기, 듣기, 총 점수의 차이를 비교 분석하였다. 그런데 기초미달의 성취도 수준으로 보고 된 학생의 수는 불과 4명에 불과하여 이 연구 질문을 위한 분석에서는 제외되었다.

가. 우수학력 집단

<표 Ⅳ-5>는 성취도 수준 우수학력 학생들의 읽기, 듣기, 총 점수를 한국어 집단 과 영어 집단으로 나누어서 보여주고 있다. 읽기, 듣기 두 영역 모두에서 한국어 집 단의 학생들이 각각 5.33, 17.27으로 4.13, 16.25을 획득한 영어 집단 학생들보다 높 은 점수를 보여 주었다.

(46)

30

<표 Ⅳ-5> 기술통계: 우수학력 집단의 읽기, 듣기, 총 점수

읽기 점수 한국어 5.33 1.47 135

영어 4.13 1.75 138

듣기 점수 한국어 17.27 3.80 135

영어 16.25 4.55 138

총 점수 한국어 22.60 4.93 135

영어 20.38 5.89 138

읽기, 듣기, 총 점수에 있어 한국어 집단과 영어 집단 간의 평균 점수 차이의 통계 적 유의미성을 알아보기 위해 각각의 점수를 종속변수로 일변량 일원 분산 분석을 실시하였다. 그 결과에 따르면 총 점수에서 한국어 집단이 영어 집단보다 높은 점수 를 보였으며 그 차이는 통계적으로 유의미하였다(F (1, 271) ＝ 11.330, p< .05). 그리 고 읽기 점수에 있어서도 한국어 집단이 영어 집단 보다 더 높은 점수를 보였으며, 두 집단 간의 점수 차이는 통계적으로 유의미하였다(F (1, 271) ＝ 37.814, p< .05).

그리고 흥미롭게도 전체 연구 참가자의 경우와 달리 영어 성취도 수준 우수학력 학 생들의 경우 듣기 점수에 있어서도 한국어 집단이 영어 집단보다 높은 점수를 보였 고, 그 차이가 통계적으로 유의미하였다(F (1, 271) ＝ 3.982, p< .05). 정리하면 영어 성취도 수준 우수학력의 학생들은 영어 읽기, 듣기 시험 모두에서 지시문, 질문, 선 택지 언어에 따라 그 들의 시험 결과에 영향을 받는 것으로 나타났다.

<표 Ⅳ-6> 일원 분산 분석: 우수학력 집단의 읽기, 듣기, 총 점수 각각의 문두 및 선택지 언어 유형 효과

읽기 점수 언어 유형 98.743 1 98.743 37.814 .001** .122

오차 707.652 271 2.611

듣기 점수 언어 유형 70.034 1 70.034 3.982 .047* .014

오차 4766.523 271 17.589

총 점수 언어 유형 335.094 1 335.094 11.330 .001** .040 오차 8015.045 271 29.576

* p< .05, **p< .01

(47)

나. 보통학력 집단

<표 Ⅳ-7>은 영어 성취도 수준 보통학력 학생들의 읽기, 듣기, 총 점수를 한국어 집단과 영어 집단으로 나누어서 보여주고 있다. 읽기, 듣기 두 영역 모두에서 한국 어 문두 집단의 학생들이 각각 3.55, 11.72로 2.54, 11.00을 획득한 영어 문두 집단 학생들보다 근소하게 높은 점수를 보여 주었다.

<표 Ⅳ-7> 보통학력 집단의 읽기, 듣기, 총 점수의 기술통계

종속변수 집단 평균 표준편차 수

읽기 점수 한국어 3.55 1.78 175

영어 2.54 1.53 142

듣기 점수 한국어 11.72 4.31 175

영어 11.00 4.03 142

총 점수 한국어 15.27 5.40 175

영어 13.54 4.85 142

<표 Ⅳ-8>에서 보는 바와 같이 총 점수에서 한국어 집단이 영어 집단보다 높은 점수를 보였으며 그 차이는 통계적으로 유의미하였다(F (1, 315) ＝ 8.821, p< .05).

읽기 점수에 있어서는 한국어 집단이 영어 집단 보다 더 높은 점수를 보였으며, 두 집단 간의 점수 차이는 통계적으로 유의미하였다(F (1, 315) ＝ 28.659, p< .05). 그런 데 듣기 점수에서는 한국어 집단이 영어 집단보다 높은 점수를 보였지만, 그 차이는 통계적으로 유의미하지 않았다(F (1, 315) ＝ 2.317, p＝ .129). 다시 말하면 영어 성 취도 수준 보통학력의 학생들은 영어 읽기 시험에서 지시문, 질문, 선택지가 영어로 된 경우보다 한국어로 된 경우에 더 높은 점수를 받는 것으로 밝혀졌다. 하지만 이 러한 문두(지시문, 질문지) 및 선택지 언어 종류의 차이 효과는 영어 듣기 시험에서 는 나타나지 않았다.

(48)

32

<표 Ⅳ-8> 일원 분산 분석: 보통학력 집단의 읽기, 듣기, 총 점수 각각의 문두 및 선택지 언어 유형 효과

읽기 점수 언어 유형 80.289 1 80.289 28.659 .001** .083

오차 882.481 315 2.802

듣기 점수 언어 유형 40.638 1 40.638 2.317 .129 .007

오차 5525.280 315 17.541

총 점수 언어 유형 235.168 1 235.168 8.821 .003** .027

오차 8398.081 315 26.661

* p < .05, **p < .01

다. 기초학력 집단

<표 Ⅳ-9>는 영어 성취도 수준 기초학력 학생들의 읽기, 듣기, 총 점수를 한국어 문두 집단과 영어 문두 집단으로 나누어서 보여주고 있다. 그런데 아주 흥미롭게도 앞선 우수학력, 보통학력 학생의 경우와 달리 읽기 영역에서는 영어 문두 집단의 학 생들이 3.08로 2.40을 획득한 한국어 문두 집단 학생들보다 높은 점수를 보여 주었 다. 듣기 영역에서는 앞선 우수학력, 보통학력의 경우와 마찬가지로 한국어 집단 학 생들이 9.00로 8.54를 획득한 영어 집단 학생들 보다 높은 점수를 받았다.

<표 Ⅳ-9> 기초학력 집단의 읽기, 듣기, 총 점수의 기술통계

읽기 점수 한국어 2.40 1.60 20

영어 3.08 3.90 24

듣기 점수 한국어 9.00 2.96 20

영어 8.54 4.02 24

총 점수 한국어 11.40 4.11 20

영어 11.63 5.87 24

(49)

<표 Ⅳ-10>에서 보는 바와 같이 총 점수에서 영어 집단이 한국어 집단보다 높은 점수를 보였으나 그 차이는 통계적으로 유의미하지 않았다(F (1, 42) ＝ .021, p＝ .886). 바로 위에서 언급한 것처럼 영어 성취도 기초학력 학생들의 읽기 점수에 있어 서 영어 문두 집단이 한국어 문두 집단 보다 더 높은 점수를 보였다. 그러나 그 점 수 차이는 통계적으로 유의미하지 않았다(F (1, 42) ＝ .5370, p＝ .468). 듣기 점수에 서는 한국어 집단이 영어 집단보다 높은 점수를 보였지만, 그 차이는 통계적으로 유 의미하지 않았다(F (1, 42) ＝ .179, p＝ .674). 정리하면 영어 성취도 수준 기초학력 의 학생들에겐 영어 읽기, 듣기 시험에서 지시문, 질문, 선택지의 언어 종류가 그들 의 성적에 영향을 미치지 않는 것으로 나타났다.

<표 Ⅳ-10> 일원 분산 분석: 기초학력 집단의 읽기, 듣기, 총 점수 각각의 문두 및 선택지 언어 유형 효과

읽기 점수 언어 유형 5.094 1 5.094 .537 .468 .013

오차 398.633 42 9.491

듣기 점수 언어 유형 2.292 1 2.292 .179 .674 .004

오차 537.958 42 12.809

총 점수 언어 유형 .552 1 .552 .021 .886 .000

오차 1114.425 42 26.534

* p< .05, **p< .01

라. 성취도 수준과 문두(지시문, 질문) 및 선택지 언어유형 효과와의 상호작용

학생들의 성취도 수준과 문두(지시문, 질문) 선택지 차이 효과와의 상호작용을 알 아보기 위해, 읽기, 듣기, 총 점수를 각각 종속 변수로 일변량 이원 분산 분석을 실 시하였다. <표 Ⅳ-11>에서 보이는 것같이, 전체적으로 읽기, 듣기 및 총점의 설명력 에서 성취도 수준 독립변수의 효과크기가 각 각 19%, 33% 그리고 34%로 언어 유 형 독립변수의 설명력보다 매우 큰 것으로 나타났다.