지리 용어에 대한 학습자의 블러핑(Bluffing) 유형에 관한 연구
장의선*
A Study on the Classification of Student’s Bluffing on Geographical Terms
Eui-Sun Jang*
요약 :본 연구는 서답형 문항의 채점에서 평가의 객관성, 타당성, 신뢰성을 보장하기 위해 가장 중요한 주제의 하나인 블러핑 문제를 탐구한 것이다. 먼저 연구자는 블러핑의 개념과 주요 유형을 선행 연구를 바탕으로 이론 적 수준에서 정리하였다. 다음으로, 한국지리 교과의 주요 용어를 사례로 학습자의 블러핑 전략과 유형을 실증 적으로 분석해 보았다. 기존의 연구 보고와 비교할 때, 본 연구에서 밝혀진 전체 학생들의 평균적 블러핑율은 상당히 낮은 것으로 나타났다. 그러나, 남녀 학생의 블러핑율이 유사하다는 점, 최고 성적 집단의 블러핑율이 가장 낮았다는 점은 기존의 연구 보고와 유사하였다. 블러핑의 실제 유형은 크게 ‘발문의 반복 서술형’, ‘기존 지식 편중형’, ‘추상적 개념 활용형’, ‘채점자 공감 유도형’의 네 가지로 구분되었다. 분석 결과를 토대로 보다 타 당성과 신뢰성이 있는 서답형 문항 채점을 위해 몇 가지 시사점 및 과제를 다음과 같이 제안하였다. 첫째, 블러 핑과 학생들의 성별 및 학령, 학습 성적 및 지적 수준, 학습자의 학습 스타일 등과의 관계에 대해 지속적인 연 구가 필요하다. 둘째, 블러핑 유형과 사례 분석 내용이 포함된 서답형 문항 채점 매뉴얼 개발 보급 및 채점 관 련 연수가 확대되어야 한다. 셋째, 일반적인 블러핑 유형 외에 지리 영역의 특수한 블러핑 유형을 탐구하는 실 증적인 후속 연구가 요구된다.
주요어 : 서답형 문항, 블러핑, 한국지리 주요 용어, 채점자 연수
Abstract : This study aims to explore ‘bluffing’, one of the most important topics in order to ensure the objectivity, validity, reliability of scoring of constructed-response items. The author identifies the conception of bluffing, and classifies major types of bluffing on the basis of previous studies on the theoretical level. Next, the author analyzes empirically the bluffing strategies and types of learners on key terms of Korean Geography subject. Compared with the existing research reports, the result of this study shows a significantly lower average bluffing score. On the other hand, it is consistent in results of previous studies reported that average bluffing score is similar between genders and that those students who got highest grades did least bluffing. Actually bluffing types are classified into four categories: ‘repeating the question’ type, ‘depending on a well-known or existing knowledge’ type, ‘applying some basic concepts regardless of understanding’ type, and ‘inducing scorer’s basic beliefs’ type. Some comments and suggestions are as follows. First, it is necessary to continue researches of the relations among bluffing and age, gender, grade, intelligence and learning styles. Second, it is required for scorers who score constructed- response items to develop and supply the scoring guide including analysis contents of bluffing types and cases, and increase opportunity for training. Third, we need to inquire the domain-specific bluffing types in geography subject based on the generalizable sample size.
Key Words : constructed-response item, bluffing, key terms of korean geography subject, scorer training
* 한국교육과정평가원 연구위원(Korea Institute for Curriculum and Evaluation Research Fellow), [email protected]
1. 머리말
일반적으로 서답형 문항은 선택형 문항에 비해 고 차적 사고력과 종합적 사고력을 측정하는 데 유용할 뿐만 아니라 교육적인 면에서 보다 바람직한 평가 방 식으로 인식되고 있다. 특히, 도해력, 장소감, 지리적 상상력 등 사실-기능-추론을 서로 연관시켜 사고하 는 고등 사고력 및 인간-자연의 관계를 중심으로 종 합적 사고력을 요구하는 지리 영역의 경우 서답형 문 항의 효용성과 활용 문제는 교육적으로 매우 중요한 사안이 된다. 하지만, 우리나라에서는 아직 서답형 문항이 보편적인 평가 방식으로 널리 활용되지 못하 고 있다. 그 가장 큰 이유는 채점의 객관성, 타당성, 신뢰성 등과 관련한 여러 가지 쟁점들이 산적해 있기 때문이다.
그러한 쟁점들에도 불구하고, 최근 각 지역 교육청 수준에서 시도되고 있는, 서답형 문항의 개발 및 현 장 적용을 위한 노력들은 추후 우리나라에서 서답형 문항의 개발과 확산적 적용에 대단히 고무적인 일이 다. 뿐만 아니라 최근 학계에서도 지리과 서답형 문항 의 주요 유형에 관한 연구나 서답형 문항의 채점 방안 에 대한 연구 등 서답형 문항과 관련된 주요 주제들이 탐구되고 있어 현장에서 이루어지고 있는 일련의 노 력들에 이론적 바탕을 제공하고 있다(장의선, 2012;
2013). 본 논문 역시 서답형 문항의 채점에서 중요한 쟁점 중 하나인 블러핑(bluffing)의 문제를 거론함으 로써 그러한 이론적 논의에 참여하려고 한다.
블러핑이란, 서답형 시험을 치르는 학생들이 ‘실제 로는 답을 잘 모르는 문항임에도 불구하고 마치 알고 있는 것처럼 답안을 서술하는 행위’를 말한다. 우리말 로 표현한다면 아마도 ‘의사(擬似) 답안’, 즉 ‘실재인 것처럼 보이지만 사실은 실재가 아닌, 실재와 유사하 다고 착각할 수 있는 답안’과 그 의미가 가까울 것이 다. 채점자의 수준에서 핵심되는 키워드만 보이면 채 점자의 지식수준이 보다 광범위하기 때문에 키워드 가 보이는 답안에 대해 후한 점수를 주는 경우가 있 고, 또 학생들 중에는 지식에 대한 명료한 이해 보다 점수를 잘 받는 요령이 아주 뛰어난 경우가 있기 때문
에 채점 시 이러한 블러핑을 주의해야 한다.
그러나 블러핑의 문제는 채점의 과정과 절차가 객 관적이고 타당할지라도 좀처럼 쉽게 해결되기 어려 운 문제이다. 왜냐하면 이 문제는 채점의 과정 및 절 차의 문제이기보다는 의사 답안을 감지하고 분별해 낼 수 있는, 고도로 훈련받은 채점자를 요구하는 문제 이기 때문이다.
우리나라에서 서답형 문항의 채점과 관련해 블러 핑의 문제를 연구 주제로 다룬 경우는 아직 없어 보인 다. 현 시점에서 무엇보다 필요한 것은 블러핑의 개념 과 주요 유형에 대한 지식일 것이며, 나아가 이를 토 대로 지리 교과에서 특수하게 나타나는 블러핑의 유 형들에 대한 구체적 사례 연구 역시 시급하다고 할 것 이다. 이에 본 연구에서는 주요 지리 용어에 대한 학 습자들의 답안을 검토하여 지리교과에서 나타날 수 있는 블러핑의 사례와 유형을 탐색하고자 한다. 이를 위해 고등학교 한국지리에 나오는 주요 용어 수준에 서 실험을 진행하였고, Waugh and Gronlund(2013) 의 블러핑 유형 분석 방법을 원용하여 그 결과를 분석 해 보았다.
2. 블러핑의 개념과 주요 유형
1) 블러핑의 개념 및 선행 연구 고찰
서답형 문항에 대한 답을 기술할 때 왜 학생들이 블 러핑을 행하는가에 대해서는 흔히 자기 방어의 원리 로 설명되고 있다(Carson, 1993, 326). 우리는 블러 핑을 내재한 답안을 어떤 면에서 ‘거짓 답안’, ‘사기 답 안’으로 규정할 수도 있겠지만, 보다 교육적인 관점에 서 본다면 그것은 단순한 거짓이나 사기의 범주에 포 함되기 보다는, 수험생이 채점자를 염두에 두고 그와 의 점수 협상 과정에서 좀 더 유리한 고지를 점령하려 는 일종의 자기 방어 전략이라 할 수 있다. 앞에서 정 의했듯이 블러핑은 일종의 의사 답안으로서, 수험생 들이 자기가 실제로 가지고 있는 지식이나 경험에 비 해 훨씬 더 많은 지식이나 경험을 가지고 있는 것처럼
가장하는 답안이다. 그럼으로써 그들의 목표는 좀 더 나은 점수를 얻는 데에 있다.1)
이런 점에서 ‘블러핑’을 거짓이나 사기 개념과는 차 별되는, 일종의 협상 전략의 하나로 이해하는 것은 가 능하다. 따라서 학생들에게 블러핑을 하지 말라고 강 요하거나 설득하는 것은 부적절할 뿐만 아니라 가능 하지도 않을 것이며, 그 대신 블러핑의 여러 유형들을 채점자로 하여금 인지하고 대응하도록 하는 것이 바 람직 할 것으로 보인다.
그러면, 얼마나 많은 수험생들이 어느 정도로 블러 핑 전략을 구사하는 것일까? 1927년 미국 펜실베이 니아 대학교의 Fernberger 교수는 얼마나 많은 수험 생들이 블러핑을 구사하는지 알아보기 위해 실험 연 구를 수행하였다(Fernberger, 1927). 그는 한 반을 이 루는 29명의 학생들에게 10개의 용어를 제시하고 각 용어에 대해 1쪽 이상씩 답안을 작성해보라고 주문하 였다. 그는 10개 용어 중 7번째 용어로서 세상에 존 재하지 않는 ‘psychoterminality’라는 가짜 단어를 끼 워 넣었다. 시험 결과는 놀라웠다. 총 29명의 학생 중
‘psychoterminality’라는 단어를 모른다고 적극적으로 대답한 학생은 단지 2명뿐이었기 때문이다. 6명은 그 냥 공란으로 비워두는 식으로 소극적인 대답을 보였 다. 그리고 나머지 21명의 학생들은 최하 반쪽 분량에 서 최대 3쪽에 이르는 블러핑 전략을 구사하였다.
신시내티 대학교의 Thelin 교수와 Scott 교수 역시 대학생과 일반인을 대상으로 블러핑에 관한 실험 연 구를 하였다(Thelin and Scott, 1928). 연구 결과, 모 든 대학생들이 블러핑을 보이는 것으로 확인되었고, 학생마다 블러핑의 정도는 5%에서 81%까지 다양하 게 나타났으며 평균 블러핑율(percent of bluffing)2)은 44.6%였다. 이 결과는 학습자가 작성한 답지의 내용 중 평균 44.6%가 의사 답안이라는 뜻이다. 실험 대 상 학생 수의 절반이 46.58% 이상의 블러핑율을 보였 고, 1/4은 60.97%의 블러핑율을 나타냈다.
Thelin and Scott(1928)은 대학생이 아닌 세탁소 직 원, 점원, 장부 계원 등 일반인들을 대상으로 한 실험 연구도 하였는데, 흥미롭게도 일반인들의 평균 블러 핑율은 대학생에 비해 훨씬 낮은 25.7%로 나타났다.
요컨대 일반인들보다 대학생들이 블러핑을 더 많이
구사한다는 것을 보여주었다.
그들은 연령과 블러핑의 관계에 대해서도 알아보 았다. 그 결과 대학 1학년의 블러핑율은 50.9%, 2학 년은 40.3%, 3학년은 45.4%, 4학년은 39.4%로서, 연 령과 블러핑의 관계가 뚜렷한 상관관계로 나타나지 는 않았지만, 대체로 볼 때 학년이 저학년일수록 블 러핑율이 높았다. 성별과 블러핑의 관계도 제시되었 다. 1학년에서는 남학생의 블러핑율 63.1%, 여학생의 블러핑율 38.6%, 2학년에서는 남학생 34.7%, 여학생 46.0%, 3학년에서는 남학생 44.8%, 여학생 46.0%, 4 학년에서는 남학생 39.2%, 여학생 39.9%로, 1학년 때 에는 남학생의 블러핑율이 여학생보다 크게 높았지 만 학년이 올라가면서 남학생과 여학생 사이의 의미 있는 차이는 확인되지 않았다.
이 외에도 성적과 블러핑의 관계에 있어서는 최고 성적을 보이는 집단에서 블러핑율이 가장 낮게 나타 나긴 했지만, 통계적으로 의미 있는 상관관계는 보이 지 않았고, 지적 수준과 블러핑의 관계에 있어서도 지 적 수준이 최고인 집단의 블러핑율이 다소 낮게 나타 나긴 했지만 지적 수준이 최하인 집단의 블러핑율도 매우 낮게 나타나는 등 통계적으로 유의미한 상관관 계는 확인되지 않았다.
블러핑에 관한 사례 연구는 경제학이나 윤리학 분 야에서는 여러 편 찾아볼 수 있지만(Rebecca et al., 2009; Carson,1993) 교육학 분야의 연구는 학생들의 상황에 대한 주변적 용어로 언급된 것(Smith, 1985;
Terrence, 1990)을 제외하면 1920년대에 발표된 두 편 의 논문 외에는 거의 확인되지 않는다.
Fernberger(1927)와 Thelin and Scott(1928)의 연구 는 비록 오래 전의 연구이긴 하지만 블러핑과 관련한 다양한 연구 주제들을 상기시켜준다는 점에서 서답 형 평가 방식의 진전을 위해 귀중한 사례 연구들이 되 고 있다. 또한 블러핑에 대한 연구가 객관적이고 신뢰 성 있는 채점의 범주를 넘어, 학생들의 연령과 성별, 지적 수준 등 학습자의 서답 태도와 학습 스타일에 대 한 연구 범주로까지 확장될 수 있는 주제임을 시사한 다.
2) 블러핑의 주요 유형과 사례
그러면 블러핑의 주요 유형에는 어떤 것들이 있을 까? 연구자는 서답형 문항에 대한 기존의 사례 연구 (Fernberger, 1927; Thelin and Scott, 1928)와 관련 이 론(Rebecca et al., 2009; Carson,1993; Waugh and Gronlund, 2013)을 바탕으로 블러핑의 가능한 유형 을 다음과 같이 네 가지로 분류할 수 있다고 본다. 물 론 이들 유형은 실증적인 사례 연구를 통해 각각에 대 한 세부적인 탐구와 함께, 지리교육 영역에서 다루는 고유한 콘텐츠 및 사고력을 고려하여 보다 지리 영역 특수적인 블러핑의 유형들에 대한 연구로 나아갈 필 요가 있다.
(1) 발문의 반복 서술형
발문에 제시된 용어와 표현들을 ‘다른 식으로 표현 만 바꿔’ 재활용하면서 발문의 내용을 반복하는 서술 유형이다. 그럼으로써 마치 해당 주제가 매우 중요하 다는 점을 강조하는 것 같은 인상을 풍기게 만든다.
이러한 인상 때문에 채점자는 실제 답안 내용에 비해 점수를 후하게 줄 가능성이 있다. 예를 들면 <지리학 에서 사용하는 주요 지리 조사 방법에 대해 기술하시 오>라는 서답형 문항이 있다고 해보자. 이 경우 ‘발문 의 반복 서술형’의 블러핑을 구사하는 학생이라면 ‘지 리학에서 지리 조사는 매우 중요하다. 지리 조사 방법 을 모르는 지리학자는 상상하기도 힘들다’와 같이 발 문 내용을 반복 서술하며 그럴 듯한 내용을 답지로 만 드는 식이다.
(2) 기존 지식 편중형
이 유형은 자기가 ‘기존에 알고 있는 지식이나 경험 을’ 십분 활용하여 그것들을 중심으로 답지를 채우는 유형이다. 예를 들면 <지역과 경관의 차이에 대해 설 명하시오>라는 문항이 있다고 해보자. 이 경우 ‘기존 지식 편중형’의 블러핑을 구사하는 학생이라면, 지역 과 경관 개념 중 잘 모르는 것은 간단히 서술하고 잘 알고 있는 내용을 비중 있게 서술하는 식으로 답지를 채우게 된다. 심지어, 해당 학생이 둘 중 어느 한 개념 을 모르고 있는 경우라면, 자기가 알고 있는 내용만
지나치게 상세할 정도로 다루면서 모르는 개념에 대 해서는 ‘그것도 마찬가지이다’라는 식으로 짧게 마무 리할 것이다. 이 유형 또한 채점자가 자칫 후한 점수 를 줄 수 있다.
(3) 추상적 개념 활용형
이 유형은 자기가 그 의미를 잘 모르면서도 ‘일반적 으로 알려진 핵심 개념이나 기본 개념’들을 적절히 섞 어서 서술하는 유형이다. 가령 <지리적 사고의 주요 방식에 대해 서술하시오>라는 문항이 있다고 해보자.
이 유형의 블러핑을 구사하는 학생이라면, ‘지리적 사 고는 인간과 자연의 관계를 탐구하는 것이다. 지표에 는 다양한 인간과 자연의 관계가 있다. 인간과 자연의 관계는 조화로운 것이다.’라는 답지를 작성할 가능성 이 있다. 이 경우 해당 학생의 답지에 서술된 ‘인간과 자연의 관계’, ‘다양한 인간과 자연의 관계’, ‘조화로운 인간과 자연의 관계’ 등은 일반적으로 알려진 매우 추 상적인 용어의 나열에 불과하며 뚜렷한 정의 없이 사 용되고 있음을 볼 수 있다. 이러한 답지를 추상적 개 념 활용형이라 할 수 있다.
(4) 채점자 공감 유도형
이 유형은 실제로 확인되지 않고 ‘검증되지 않은 내 용을 그럴듯하게’ 서술함으로써 채점자의 공감을 유 도하는 유형이다. 채점자의 신념을 역이용하는 유형 이라고도 할 수 있다. 채점자로 하여금 ‘어쩌면 그럴 수도 있겠다’는 생각을 들도록 만드는 유형인 것이다.
예를 들면 <도시 내부 구조에 대해 논의하시오>라는 문항이 있다고 해보자. 이 경우 이 유형에 속한 학생 이라면 ‘도시 내부에는 다양한 지대가 펼쳐진다. 각 지대마다 고유한 특성이 있다고 알려져 있지만 사실 을 파악하기 위해서는 설문 조사와 사례 연구가 매우 중요하다. 도시 내부 구조를 파악하기 위한 설문 조사 와 사례 연구를 위해서는 ……’이라 서술할 가능성이 있다. 이 경우 채점자는 학생의 서술에 공감할 가능성 이 있다. 하지만 사실 해당 학생은 도시 내부 구조에 대해서는 잘 모르기 때문에 도시 내부 구조라는 단어 를 언급하되 엉뚱한 방향으로, 하지만 그럴 듯한 느낌 을 주도록 답지를 서술하고 있는 것이다.
이상에서 제시한 블러핑의 유형을 살펴보건대 서 답형 문항에 대한 주의 깊은 채점 계획과 체계적인 채점 방법이 수립되지 않는다면 우리는 학생들의 의 사 답안에 속기 쉬울 것이다. 이와 같은 맥락에서 Waugh and Gronlund(2013, 138-139)는 학생들의 블 러핑에 대처하는 채점 전략으로 다음과 같은 채점 방 법을 제시하였다. 즉 같은 문항에 대한 학생의 답안을 두 번 정도는 읽어야 일반적으로 각 점수 등급의 평 균적인 수준을 얻을 수 있다고 하였다. 만약 5개의 점 수 등급을 부여해야 한다면, 첫 번째 답안을 읽을 동 안에는 높은 수준에서 낮은 수준에 이르기까지 5단계 로 학생들의 답안들을 잠정적으로 분류한 다음, 두 번 째 읽을 때에는 각 수준의 답변들에 대한 균일성을 확 인하고, 점수 이동의 필요성이 있는 답안을 확인할 수 있다고 하였다.
3. 연구 절차와 방법
1) 질문지의 구성
먼저 한국지리 과목에서 주요 용어3)로 인식되고 있 는 것은 무엇인지 알아보고자 하였다. 이를 위해 고등 학교 교직 경력 10년 내외의 교사 5명으로 하여금 한 국지리 과목에서 가장 중요하다고 생각되는 용어들 을 추출하도록 하였다. 5명의 교사에게서 중요하다고 언급된 용어는 총 90개였다. 추출된 90개의 용어에 대해 동일한 5명의 교사에게 다시 고·중·저 난도별 로 구분하도록 하였다. 총 90개의 용어에서 2명 이상 의 교사가 공통적으로 추천한 용어는 25개였고 이들 을 고·중·저 난도별 추출 회수로 분류해 보면 다음 표 1과 같다.
질문지는 한국지리 과목에서 학습자들이 일반적으 로 배우는 ‘주요 용어’, 개별 단어 수준에서는 각자 존 재하지만 2개 이상의 조합으로는 존재하지 않는 ‘있 을 법한 용어’, 그리고 세상에 존재하지 않는 ‘의사 용 어’로 구성하였다. 이를 위해, 먼저 위에서 제시한 25 개의 주요 한국지리 용어 중 교사들의 추천 빈도가 가
장 많았던 용어들을 중심으로 고·중·저 난도별 2개 씩 골라 총 6개의 ‘주요 용어’를 선별하였다. 다음으 로 3개는 지리 영역을 배운 학생들이라면 다소 익숙 할 수 있는 단어들을 가져와 이들의 조합으로 ‘있을법 한 단어’를 만들어 냈다. 끝으로, 세상에 존재하지 않 는 단어 3개를 조작적으로 만들어냈다. 이렇게 연구 에 사용된 용어는 세 가지 종류, 총 12개의 용어로 이 루어졌다.
위의 12개 용어 중에 ‘있을 법한 용어’와 세상에 존 재하지 않는 ‘의사 용어’를 포함시킨 것은 선행 블러 핑 연구(Fernberger, 1927)에서도 사용되었던 방법이
표 1. 한국지리 주요 용어의 난도별 추출 회수
구분 고난도 중난도 저난도 계
분수계 2 2 4
대보조산운동 2 2 4
구조선 3 3
지향사 2 2
지체 구조 2 2
인구 공동화 3 1 4
공업의 이중 구조 3 3
감조 하천 2 2
경동성 요곡 운동 2 1 3
인구 고령화 3 3
고위 평탄면 2 2
기종점 비용 2 2
배산임수 2 2
감입곡류하천 1 1 2
교외화 1 1 2
배타적 경제수역 1 1 2
역도시화 1 1 2
열하 분출 1 1 2
인구 부양비 1 1 2
정주 체계 1 1 2
중위 연령 1 1 2
집적(불)이익 1 1 2
침식 기준면 1 1 2
푄 현상 1 1 2
하안 단구 1 1 2
※ 추출 교사 2명 이상에게서 공통적으로 언급된 25개의 용어를 제시함.
다. 다시 말해서, 기존에 존재하는 용어만으로는 학 습자들이 어떠한 블러핑 전략을 구사하는지 충분히 파악할 수 없기 때문에 학생들의 블러핑 전략 및 유 형을 다양하게 파악하기 위한 방법이다. 그리고 12개 용어의 배열순서는 서로 교차 배열하는 식으로 열거 하였다(그림 1).
2) 연구 대상과 분석 절차
(1) 연구 대상
본 연구는 수도권 소재 일반계 인문고에 재학 중인 남녀 고등학생 중 한국지리 과목을 학습한 3학년 학 생 123명을 대상으로 2014년 5월 첫째 주와 둘째 주 기간 중에 진행하였다. 질문지에 대한 학생들의 답안 작성 시간은 최대 30분을 넘지 않도록 하였다. 감독 교사에게는 학생들이 작성하는 동안 질문지의 문항 에 대해 안내하거나 학생들의 질문에 대한 답변은 최 대한 자제하도록 사전에 설명하였다. 따라서 학생들 은 교사의 설명이나 도움 없이 ‘아는 대로 작성하라’
는 안내성 멘트만 듣고 질문지의 답안을 작성하였다.
학생들이 답안을 작성하는 동안 감독 교사들은 함께
교실에서 지도하도록 하였다.
작성이 끝난 질문지는 교사가 곧바로 회수하여 수 합하였다. 회수된 학생들의 답안지 중 완성된 답안 작성이 1문항 미만인 경우는 본 연구를 위한 의미가 미흡하다고 판단하여 분석 대상에서 제외하였다. 이 에 따라 본 연구에서 최종적으로 분석된 질문지는 총 100명의 학생들이 작성한 것이었으며, 이들 중 남학 생과 여학생은 각각 50명이었다.
(2) 분석 절차
수집된 학생들의 답안지에 대해서는 연구자가 다 음과 같은 분석 절차를 거쳤다. 첫째, Waugh and Gronlund(2013, 138-139)가 제시한 바와 같이 문항 별로 같은 문항에 대한 전체 학생의 답안을 두 번 읽 으면서 정·오답을 확인하였다. 이때에는 학생들이 한국지리 과목에서 학습한 6개의 ‘주요 용어’들을 대 상으로 분석하였다. 둘째, 한 문항에 대한 전체 학생 들의 답안을 한 번씩 두 번 읽으면서 전체 문항을 대 상으로 블러핑의 유형을 분류하였다. 답안을 첫 번 째 읽을 동안에는 학생들의 답안에 대해 블러핑 유형 을 잠정적으로 분류한 다음, 두 번째 읽을 때에는 각 그림 1. 질문지에 제시된 용어의 구분(좌), 학생들에게 배부된 질문지(우)
유형별 답안 내용의 특징에 대한 유사성과 분류 유형 의 적절성을 확인하였다. 셋째, 정·오답의 객관성 및 신뢰성과 유형별 분류의 주관성을 최소화하고 해석 의 타당성 및 일관성을 검증하기 위하여 앞서 한국지 리 주요 용어 추출에 참여했던 교사 중 2명으로 하여 금 채점 및 분류 결과를 확인하게 하고 필요한 부분은 보완하였다. 이러한 절차를 통해 본 연구 결과에 대한 해석의 타당도를 높이고자 하였다.
4. 연구 결과
1) 한국지리 용어에 대한 블러핑의 특징
본 연구의 대상인 100명의 남녀 고등학생들은 전 체 문항에 대한 평균 블러핑율4)이 24.58%로 나타났 다. 여학생의 경우 50명의 학생이 대답한 600개 문항 중 블러핑을 구사한 문항은 144개의 문항으로 나타 나 블러핑율은 24.00%였다. 남학생의 경우에는 151 개 문항에 대해 블러핑을 구사하였으므로 블러핑율 은 25.17%로 여학생의 24.00%보다 약간 높게 나타났 다. 그러나 그 차이는 미미한 수준으로 통계적 의미는 유의하지 않았다.5) 이와 같은 경향은 성별과 블러핑 의 관계에 대해 남학생과 여학생의 블러핑율 정도에 서는 통계적으로 의미 있는 차이를 나타내지 않았다 는 Thelin and Scott(1928)의 연구 결과와 유사하다고 볼 수 있다.
그러나 이러한 수치들은 Fernberger(1927)나 The- lin and Scott(1928)이 연구했던 시기의 미국 대학생 들에 비해 상당히 낮은 수준이므로 우리나라 고등학 생들의 블러핑 정도를 가늠해 볼 수 있는 준거가 될 수 있을 것으로 판단된다. 또한 주요 용어와 있을 법 한 용어, 의사 용어에 대한 블러핑율 차이를 살펴본 결과 남학생의 경우에는 주요 용어에 대한 블러핑율 (24.67%)과 가짜 용어에 대한 블러핑율(있을 법한 용 어 24.67%, 의사 용어 24.67%)이 거의 유사하게 나타 났다. 여학생의 경우에도 주요 용어에 대한 블러핑율 (23.67%)과 있을 법한 용어 및 의사 용어에 대한 평균
블러핑율(22.33%)에서 큰 차이는 보이지 않았다. 다 만 여학생의 경우에는 의사 용어(20.00%)에 비해 있 을 법한 용어(24.67%)에 대한 블러핑율이 상대적으 로 높았다는 점이 특징으로 분석될 수 있겠다.
전체 문항에 대해 그냥 공란으로 비워두는 식 의 소극적인 대답을 보인 답안은 남학생이 297개 (49.50%), 여학생이 266개(44.33%)로 남학생이 여학 생에 비해 다소 높게 나타났다.6) 그러나 이 중 한국지 리에서 이미 학습한 ‘주요 용어’를 제외하고 있을 법 한 용어나 의사 용어에 대한 공란의 비율을 살펴보면 남학생이 223개(37.17%), 여학생이 224개(37.33%)로 거의 유사하게 나타났다. 있을 법한 용어나 의사 용어 에 대한 소극적인 대답의 문항 중 남학생의 경우에는
‘2번 황역층’에 대한 공란이 43명으로 가장 많았으며, 다음으로 ‘6번 풍역 작용’과 ‘12번 지역 확실성’에 대 해서 각각 42명으로 많이 나타났다. 여학생의 경우에 는 ‘12번 지역 확실성’에 대한 공란이 42명으로 가장 많았으며, 다음으로 ‘10번 염곡’에 대해서 40명, ‘2번 황역층’과 ‘6번 풍역 작용’에 대해 각각 39명으로 많이 나타났다. 따라서 있을 법한 용어와 의사 용어에 대한 소극적인 대답에서 남녀 학생의 차이는 크지 않음을 알 수 있었다.
그런데 특이한 점은 한국지리 수업 시간에 이미 학 습한 주요 용어에 대해 공란으로 비워둔 소극적 대 답의 사례는 남학생이 74개(12.33%), 여학생은 42개 (7.00%)로 나타나, 있을 법한 용어 및 의사 용어에 대 한 결과와는 달리 남학생이 여학생보다 상당히 높은 것으로 나타났다. 이는 남학생과 여학생의 한국지리 과목에 대한 학습 정도의 차이 및 답안 작성과 시험에 임하는 정서적 특징의 차이에서 비롯된 것일 가능성 이 있으므로 이에 대해서는 향후 더욱 면밀한 분석과 연구가 필요할 것으로 판단된다.7)
한편, 있을 법한 용어 3개와 의사 용어 3개를 묻는 문항에 대해 100명의 학생 중 모른다고 적극적으로 대답한 학생은 단 6명뿐이었으며 600개의 답안 중 12 개의 답안에서만 제시되었다. 특히 남학생의 경우에 는 단 1명의 학생만이 3개 문항에 대해 ‘몰라요’라고 답했으며, 여학생의 경우에는 5명의 학생이 9개의 문 항에 대해 ‘처음 듣는다.’, ‘생소한 용어이다.’라고 적
극적으로 답하였다. 특이한 것은 한국지리에서 이미 학습한 주요 용어에 대해서도 이와 같이 답한 학생이 있었다는 점이다. 구체적으로 살펴보면, 여학생이 2 개 용어(5번 분수계, 9번 인구 공동화)에 대해서 각 1 명씩 2명, 남학생에서는 1명이 3개 용어(5번 분수계, 7번 공업의 이중구조, 9번 인구 공동화)에 대해서 ‘몰 라요.’라고 답을 하였다. 이러한 이유는 이들 학생들 이 아마도 해당 용어에 대한 이해가 다소 미흡했기 때 문인 것으로 추정된다. 그리고 남학생 1명의 경우에 는 학습한 주요 용어에서 3개, 있을 법한 용어 1개, 그 리고 의사 용어에 대해서 2개 등 모두 6개의 문항에 대해 ‘모른다.’라고 답안을 작성하여 다소 신중하지 못한 태도를 나타내기도 하였다. 문항별 학생들의 답 안을 블러핑 구사, 소극적 답안, 적극적 답안, 정답으 로 구분하여 구체적 개수로 정리하면 표 2, 표 3과 같 다.
학생 개인별로 살펴보면 블러핑을 전혀 구사하지 않은 학생에서부터 12개의 문항에 대해 모두 구사한 학생까지 있어 다양한 블러핑 전략을 분석할 수 있었 다. 블러핑을 전혀 구사하지 않은 학생은 모두 21명으 로 나타났고 이중 9명이 남학생이었다. 이들 남학생
중 4명은 한국지리 과목에서 학습한 6개의 주요 용어 에 대해서 모두 정답을 작성하였고 나머지 5명 역시 4 개 이상에 대해서 정답을 작성하였다. 또한 이들 중 1 명을 제외한 8명은 모두 고난도 용어인 ‘5번 분수계’
와 ‘11번 대보조산운동’에 대해 정답을 작성하여 학습 을 성실히 수행한 학생들이 블러핑율이 높지 않음을 암시한다고 볼 수 있다.
여학생의 경우에는 남학생보다 다소 많은 12명의 학생들이 블러핑을 전혀 구사하지 않은 것으로 나타 났다. 이들 중 3명은 한국지리 과목에서 학습한 6개 의 주요 용어에 대해서 모두 정답을 작성하였고 나머 지 9명 역시 4개 이상의 용어에 대해 정답을 작성하였 다. 그리고 12명 중 고난도 용어인 ‘5번 분수계’와 ‘11 번 대보조산운동’에 대해 모두 정답을 작성한 학생은 7명이었다. 남학생과는 결과에서 다소 차이가 있지만 여학생 역시 성실히 학습을 수행한 학생들이 블러핑 율이 상대적으로 높지 않음을 나타낸다고 볼 수 있다 (표 4). 이러한 결과는 성적과 블러핑의 관계에서 통 계적으로 의미 있는 상관관계는 보이지 않았지만 최 고 성적을 보이는 집단에서 블러핑율이 가장 낮게 나 타났다는 Thelin and Scott(1928)의 연구 결과와도 유
표 2. 남학생의 문항별 답안 수
구분* 1저 2Ø 3저 4◉ 5고 6◉ 7중 8Ø 9중 10Ø 11고 12◉ 계(%)
블러핑구사 13 6 21 21 17 8 7 16 8 15 11 8 151(25.17)
소극적 답안 2 43 1 28 7 42 32 33 20 35 12 42 297(49.50)
적극적 답안 0 1 0 1 1 0 1 1 1 0 0 0 6(1.00)
정답** 35 0 28 0 25 0 10 0 21 0 27 0 146(48.67)
* 음영 표시 문항은 고·중·저 난도에 따른 한국지리 주요 용어, ‘◉’는 있을 법한 용어, ‘Ø’는 의사 용어를 나타낸 것임.
** 정답률은 한국지리 주요 용어 6개를 대상으로 산출 한 것임.
표 3. 여학생의 문항별 답안 수
구분* 1저 2Ø 3저 4◉ 5고 6◉ 7중 8Ø 9중 10Ø 11고 12◉ 계(%)
블러핑구사 11 6 11 19 18 10 16 15 7 9 14 8 144(24.00)
소극적 답안 0 39 0 29 2 39 21 35 3 40 16 42 266(44.33)
적극적 답안 0 5 0 2 1 1 0 0 1 1 0 0 11(1.83)
정답** 39 0 39 0 29 0 13 0 39 0 20 0 179(59.67)
* 음영 표시 문항은 고·중·저 난도에 따른 한국지리 주요 용어, ‘◉’는 있을 법한 용어, ‘Ø’는 의사 용어를 나타낸 것임.
**정답률은 한국지리 주요 용어 6개를 대상으로 산출 한 것임.
사한 맥락으로 볼 수 있다.
이 같은 맥락에서 고난도 용어인 ‘5번 분수계’와 ‘11 번 대보조산운동’을 포함하여 한국지리 과목에서 학 습한 주요 용어 6개 중 4개 이상을 정답으로 기술한 학생들의 블러핑율을 살펴보았다. 남학생의 경우 고 난도 2개 용어를 포함하여 4개 이상의 한국지리 주요 용어에 대해 정답을 작성한 학생들은 모두 16명이었 다.8) 이들 16명의 학생에게 주어진 192개의 문항 중 14개 문항에 대한 답안에서 블러핑이 구사된 것으로 나타났다.
따라서 성적 상위 집단으로 볼 수 있는 남학생들의 블러핑율은 7.29%로 전체 학생의 블러핑율보다 상당 히 낮게 나타났다. 개별 학생들의 답안을 살펴보아도 블러핑을 전혀 구사하지 않았거나 대부분 한두 개의 문항에서 블러핑을 구사하였고 가장 많은 블러핑을 나타낸 학생도 최대 3개 문항에서만 블러핑을 구사하 였다. 다소 개인차는 있어 보이지만 차별성은 크지 않 을 것으로 추정된다.
여학생의 경우에도 고난도 2개 용어를 포함하여 4 개 이상의 한국지리 주요 용어에 대해 정답을 작성한 학생들은 모두 16명이었다.9) 이들 16명의 학생에게 주어진 192개 문항 중 25개 문항에 대한 답안에서 블 러핑이 구사된 것으로 나타났다. 따라서 블러핑율은 13.02%로 성적 상위의 여학생 집단 역시 전체 학생의 블러핑율보다 낮을 결과를 보였다. 다만 성적 상위의 남학생 집단에 비해서는 약 2배 가까이 높은 블러핑 율을 나타내 향후 성적 상위집단에서의 남학생과 여 학생의 블러핑 차이에 대한 심도 깊은 연구가 필요할 것으로 보인다(표 5). 또한 여학생의 경우 개별 학생 들의 답안을 살펴보면 단 한 문항에 대해서도 블러핑
을 전혀 구사하지 않은 학생이 있는가 하면 6개의 문 항에 이르기까지 블러핑을 구사한 학생들의 개인차 가 상당히 큰 것으로 분석되어 이에 대한 고려도 필요 할 것으로 판단된다.
한편, 6개의 한국지리 주요 용어에 대해 1개 이하 에서만 정답을 작성한 학생은 모두 16명 이었고, 이중 남학생은 12명이었다. 남학생은 12명은 144개 문항 에 대해 55개의 답안에서 블러핑을 구사한 것으로 나 타나 블러핑율은 38.19%로 전체 학생들에 비해 상당 히 높은 편이었다. 학생들 개인별로는 최소 1개 문항 에서 최대 12개 문항에 이르기까지 블러핑을 구사하 였으며, 정답과 블러핑을 구사한 답안을 제외하면 나 머지 문항에 대해서는 대부분 공란으로 비워두었다.
반면, 여학생의 경우 한국지리 주요 용어에 대해 1개 이하에서만 정답을 작성한 학생은 모두 4명뿐이었다.
이들은 48개 문항에 대해 22개의 답안에서 블러핑을 구사한 것으로 나타나 블러핑율은 45.83%로 남학생 의 경우와 마찬가지로 전체 학생들에 비해 상당히 높 은 편이었다. 학생들 개인별로는 최소 1개 문항에서 최대 11개의 문항에 이르기까지 블러핑을 구사하였 으며, 정답과 블러핑을 구사한 답안 및 공란 외에 ‘처 음 접하는 용어다’, ‘모르겠다’ 등의 다양한 내용의 답 안들도 살펴 볼 수 있었다(표 6).
앞에서도 밝혔듯이 Thelin and Scott(1928)의 연구 표 4. 블러핑을 구사하지 않은 학생들의 답지 반응*
해당 학생 수(명)
답지 반응별 학생 수(명)
모두 정답 4개 이상 정답
고난도 모두 정답
21 남 9 4 5 8
여 12 3 9 7
* 한국지리 주요 용어 6개에 대한 답지 반응을 살펴 본 것임.
표 5. 한국지리 주요 용어 중 4개 이상 정답자의 블러핑율*
학생 수 및 블러핑율 32명
(10.16%)
남 16명 7.29%(최소 0%~최대 25.00%) 여 16명 13.02%(최소 0%~최대 50.00%)
* 한국지리 주요 용어 중 고난도인 ‘5번 분수계’와 ‘11번 대보조산운동’을 포함하여 4개 이상 정답자에 대한 블러 핑율을 살펴 본 것임.
표 6. 한국지리 주요 용어 중 1개 이하 정답자의 블러핑율 학생 수 및 블러핑율
16명 (40.10%)
남 12명 38.19%(최소 0.33%~최대 100.00%) 여 4명 45.83%(최소 0.33%~최대 91.67%)
결과에서는 성적과 블러핑의 상관관계가 통계적으로 의미가 없었다. 물론 연구 시기와 연구 대상 및 조건 등에 많은 차이가 있지만 본 연구 결과를 토대로 한다 면 우리나라 고등학생의 경우에는 성적 상위 집단이 하위 집단에 비해 상대적으로 ‘도덕적이다’라는 가설 을 제시 할 수 있을 것이다. 그러나 일반화를 위한 검 증 절차가 미흡한 실험적 수준의 연구이고 사례 수 역 시 일반화하기에는 부족한 수준의 실증적 한계가 있 을 뿐만 아니라 지식적 이해 정도는 미흡하지만 지리 학습에 대한 열의가 블러핑 구사로 표출되었을 가능 성도 배제할 수는 없다고 생각된다. 따라서 연구 결과 의 신뢰성을 위해서는 향후 보다 구체적이고 치밀한 설계와 실험 검증 연구가 이어질 필요가 있다.
2) 블러핑의 주요 유형별 특징과 사례
질문지에 대한 학생들의 답안을 분석한 결과 앞에 서 제시하였던 블러핑의 주요 유형 네 가지의 사례를 모두 살펴볼 수 있었다. 블러핑 구사 전략 중 가장 많 은 사례를 나타낸 유형은 남학생(93개, 61.59%)과 여 학생(81개, 56.25%) 모두 ‘기존 지식 편중형’이었으 며, 다음으로 많은 사례는 ‘발문의 반복 서술형(남학 생, 46개,30.46%·여학생 50개, 34.72%)’이었다. ‘추 상적 개념 활용형(남학생 7개, 여학생 3개)’과 ‘채점자 공감 유도형(남학생 2개, 여학생 4개)’은 앞의 두 유형 에 비해 사례수가 상당히 적은 편이었다. 그리고 추가 적으로 학생들이 단순한 단어만을 제시하였거나 답 안을 작성하다가 완성하지 않은 경우 등은 모두 기타 로 묶어 분류하였다(표 7).
학습한 주요 용어와 있을 법한 용어 및 의사 용어에
대한 블러핑 유형별 비교에서는 남학생의 경우 큰 차 이가 드러나지 않았다. 즉 모든 용어에서 ‘기존 지식 편중형’이 가장 많았고 다음으로 ‘발문의 반복 서술형’
이 많았으며, ‘추상적 개념 활용형’과 ‘채점자 공감 유 도형’은 소수지만 모두 살펴 볼 수 있었다. 반면, 여 학생의 경우에는 학습한 주요 용어와 있을 법한 용어 에서는 ‘기존 지식 편중형’의 블러핑 사례가 가장 많 았지만 의사 용어에서는 ‘발문의 반복 서술형’이 가장 많았다는 것이 특이한 점이다. 또한 학습한 주요 용어 에 대해서는 네 가지 유형을 모두 살펴볼 수 있었지만 있을 법한 용어에서는 ‘발문의 반복 서술형’과 ‘기존 지식 편중형’에 해당하는 사례만 살펴 볼 수 있었다.
따라서 남학생에 비해 여학생의 경우 학습한 주요 용 어와 있을 법한 용어 및 의사 용어에 대한 블러핑 유 형에서 다소 차이가 난다는 것을 분석할 수 있었다.
(1) 발문의 반복 서술형
‘발문의 반복 서술형’으로 분류된 답안들의 가장 큰 특징은 해당 용어에 대해 구체적으로 서술하지 않고 용어를 구성하는 한자어를 단순히 동일한 의미의 한 글로 풀어 답안에 제시한 것으로 분석되었다. 이러한 특징은 학습한 주요 용어에 대해서든 있을 법한 용어 및 의사 용어에 대해서든 동일한 특징으로 나타났다.
‘발문의 반복 서술형’이 가장 많았던 문항은 남학생의 경우 3번 ‘고위 평탄면(11개)’과 6번 ‘풍역 작용(6개)’
이었으며(그림 2), 여학생의 경우에는 8번 ‘자율 공업 (12개)’과 4번 ‘최저경제수역(7개)’이었다(그림 3). ‘고 위 평탄면’에 대해서는 ‘위도가 높은 곳에 있는 평평 한 땅’이라는 의미의 답안 작성 사례가 가장 많았고,
‘자율 공업’에 대해서는 ‘자율적으로 (생산)하는 공업’
표 7. 지리 용어에 대한 블러핑의 주요 유형별 답안 수 및 비중*
개(%)
블러핑 유형 전체 남학생 여학생
발문의 반복 서술형 96(32.43) 46(30.46) 50(34.72)
기존 지식 편중형 174(58.78) 93(61.59) 81(56.25)
추상적 개념 활용형 10( 3.38) 7( 4.64) 3( 2.08)
채점자 공감 유도형 6( 2.03) 2( 1.33) 4( 2.78)
* 전체 문항에서 블러핑을 구사한 문항 수(296)에 대한 비중을 나타낸 것임.
이라는 의미의 답안 작성 사례가 가장 많았다.
이 외에 남학생의 경우 ‘발문의 반복 서술형’에 해
당하는 전형적인 블러핑 사례를 ‘최저경제수역’과 ‘분 수계’, ‘염곡’에 대한 답안에서 확인할 수 있었다. 특 히 ‘분수계’에 대해서 ‘공원에 하나씩 있는 물뿜는 기 계’라고 제시한 답안과 ‘염곡’에 대해서 ‘염전에서 나 는 곡식’이라고 제시한 답안 등이 전형적인 사례라고 볼 수 있을 것이다(그림 4). 여학생의 경우에는 ‘황역 층’, ‘공업의 이중구조’, ‘염곡’ 등에 대한 답안에서 ‘발 문의 반복 서술형’에 해당하는 전형적인 사례를 살펴 볼 수 있었다. 이들 답안 중 ‘황역층’에 대해 ‘노란 모 래(황사)층’이라고 제시한 답안과 ‘분수계’에 대해 ‘물 길이 갈라지는 경계’, 그리고 ‘염곡’에 대해 ‘염분이 많 은 바다 속 고개’라고 제시한 답안 등에서 전형적인 특징이 잘 드러나고 있다(그림 5).
또한 발문을 반복 서술한 후 추가적으로 기존 지식 을 제시한 경우도 소수 있었는데 ‘자율 공업’에 대해 서 반복 서술한 후 수공업이나 자영업이라는 단어를 추가적으로 제시한 경우와 ‘인구 공동화’에 대해서 반 복 서술한 후 답안과는 거리가 먼 농촌 인구 감소 현 상을 사례로 추가 진술한 경우를 살펴볼 수 있었다(그 림 6).
(2) 기존 지식 편중형
‘기존 지식 편중형’은 앞서 언급한 바와 같이 문항
<○○고 조○○ 학생의 답안>
<○○고 임○○ 학생의 답안>
<○○고 민○○, 조○○ 학생의 답안>
<○○고 한○○ 학생의 답안>
<○○고 김○○ 학생의 답안>
<○○고 조○○ 학생의 답안>
그림 4. ‘발문의 반복 서술형’에 해당하는 전형적인 블러핑 사례(남학생)
그림 5. ‘발문의 반복 서술형’에 해당하는 전형적인 블러핑 사례(여학생)
<○○고 김○○, 김○○ 학생의 답안>
그림 2. ‘발문의 반복 서술형’이 가장 많았던 문항의 블러핑 사례(남학생)
그림 3. ‘발문의 반복 서술형’이 가장 많았던 문항의 블러핑 사례(여학생)
<○○고 김○○, 조○○ 학생의 답안>
에서 두 개의 개념을 비교하거나 혹은 여러 가지 개념 을 질문할 경우 학생이 알고 있는 지식에 편중하여 서 술하는 경우를 예로 제시하였다. 그러나 이번 질문지 에는 그러한 사례에 해당하는 문항이 없었으므로 문 항과는 거리가 멀지만 자신이 알고 있는 지식이나 경 험을 논리적이든 비논리적이든 마치 정답의 내용인 것처럼 최대한 나열하여 작성한 경우를 해당 유형으 로 분류하였다. 이러한 특징의 ‘기존 지식 편중형’은 학생들이 구사한 블러핑 전략 중 가장 높은 비중을 차 지하는 것으로 드러났다. 남학생의 경우에는 4번 ‘최 저 경제 수역(16개)’과 5번 ‘분수계(13개)’에서 가장 많 은 사례를 살펴볼 수 있었으며, 여학생 역시 순위는 바뀌었지만 5번 ‘분수계(13개)’와 4번 ‘최저 경제 수역 (10개)’으로 나타났다.
이들 두 문항에 대한 사례가 가장 많았던 이유는,
먼저 ‘최저 경제 수역’의 경우 ‘배타적 경제수역’과 유 사한 용어로서 학생들에게 다소 익숙한 용어로 조합 된 있을 법한 용어였고, 이에 따라 학생들이 답안 작 성에서 블러핑을 구사하기에 상대적으로 용이했기 때문인 것으로 추정된다. 다음으로 ‘분수계’의 경우에 는 한국지리 과목의 주요 용어로서 수업 시간에 선생 님이 자주 강조하며 다루었던 용어이므로 이와 관련 된 단편적 지식들을 본인의 수업 경험과 결부시켜 제 시할 수 있었던 것으로 보인다. 그러나 한편으로는 학 생들이 가장 어려워한 용어 중 하나였으므로 이에 대 한 정확하고 구체적인 진술은 비교적 미흡했던 것으 로 추정된다. ‘최저 경제 수역’과 ‘분수계’에 대한 블러 핑에서‘기존 지식 편중형’의 전형적인 사례는 그림 7 에서 보는 바와 같다. 남학생의 경우에는 ‘최저 경제 수역’에 대해 경제적 개념에 편중하여 진술한 ‘재화의 유통 범위를 고려했을 때 손해를 보지 않는 최소한의 입지’라는 답안이(그림 7: 좌), 여학생의 경우에는 ‘분 수계’에 대해 ‘문화와 문화를 산 정상을 기준으로 나 눈 선’이라고 제시한 답안이 전형적인 특징을 잘 드러 내고 있다(그림 7: 우).
이 외에도 학생들이 가장 많은 사례를 보였던 유형 인만큼 각 문항에서 전형적인 ‘기존 지식 편중형’의 사례들을 살펴 볼 수 있었다. 남학생의 경우 특히 ‘황 역층’에 대해서 ‘황사와 역병의 영향이 미치는 대기 층’이라고 제시한 답안과 ‘자율 공업’에 대해 ‘국가에 서 주도하지 않고 지방에서 특성화한 뒤 공업을 지방
<○○고 조○○ 학생의 답안>
<○○고 조○○ 학생의 답안>
<○○고 김○○ 학생의 답안>
그림 7. ‘기존 지식 편중형’이 가장 많았던 문항의 블러핑 사례(좌: 남학생, 우: 여학생) 그림 6. ‘발문의 반복 서술형’에 추가적으로
기존 지식을 제시한 블러핑 사례 자율적 공업, 수공업등
<○○고 정○○, 변○○ 학생의 답안>
<○○고 변○○ 학생의 답안>
<○○고 강○○ 학생의 답안>
<○○고 강○○ 학생의 답안>
<○○고 황○○, 박○○ 학생의 답안>
관리 하에 자율적으로 운영할 수 있도록 한 공업이다’
라고 제시한 답안, 그리고 ‘염곡’에 대해서 ‘과거에 바 다였던 곳이 해수면 하강으로 인해 생성된 지형’, ‘하 천의 감조구간이 나타나는 골짜기’라고 제시한 답안 에서 잘 모르는 용어에 대해 단편적인 지식과 기존 지 식에 편중하여 작성한 전형적인 ‘기존 지식 편중형’의 특징이 잘 드러나고 있다(그림 8).
여학생의 경우에도 거의 대부분의 문항에서 전형 적인 사례들을 살펴볼 수 있었는데, 특히 ‘고위평탄 면’에 대해 ‘조산운동으로 인해 상승한 육지가 풍화 등의 작용으로 인해 윗부분이 평탄해 진 지역, 주로 목장이나 고랭지 농업으로 이용된다.’라고 제시한 답 안과 ‘공업의 이중 구조’에 대해 소비재 공업과 생산 재 공업에 대한 개념 오류를 갖고서 이를 소비자 공업 과 생산자 공업으로 제시하면서 공업의 이중 구조의 답안인 것처럼 블러핑을 구사한 답안에서 전형적인 특징이 잘 드러나고 있다.10) 또한 ‘대보조산운동’에 대 해 ‘태백산맥을 형성한 운동으로 동고서저의 지형을 형성한 주요 운동이다’라고 제시한 답안과 ‘지역 확실 성’에 대해 ‘점이 지대가 나타나지 않는 지역의 특성 을 설명하는 것이다.’, ‘ 지역 구분이 확실한 것을 나
<○○고 조○○ 학생의 답안>
<○○고 박○○ 학생의 답안>
<○○고 배○○ 학생의 답안>
<○○고 박○○ 학생의 답안>
<○○고 임○○ 학생의 답안>
그림 8. ‘기존 지식 편중형’에 해당하는 전형적인 블러핑 사례(남학생)
<○○고 박○○ 학생의 답안>
<○○고 이○○ 학생의 답안>
그림 9. ‘기존 지식 편중형’에 해당하는 전형적인 블러핑 사례(여학생)
<○○고 오○○ 학생의 답안>
<○○고 김○○ 학생의 답안>
타낸다.’라고 제시한 답안 역시 정확하지 않은 기존 지식에 의한 ‘기존 지식 편중형’의 전형적인 사례로 볼 수 있겠다(그림 9).
(3) 추상적 개념 활용형
‘추상적 개념 활용형’은 학생들이 자기 자신도 그 의미를 잘 모르면서 일반적으로 알려진 매우 추상적 인 용어나 개념들을 적절히 섞어서 답안을 작성하는 유형이다. 앞서 언급한 바와 같이 이 유형에 해당하는 사례는 매우 드물게 나타났다. 이는 답안 작성자들이 아직 삶의 경험이나 다양한 분야의 독서량 등이 풍부 하지 못하여 일반적이고 추상적인 개념에 능숙하지 않은 고등학생들이기 때문인 것으로 추정된다. 즉, 일반적이고 추상적인 용어나 개념들에 대한 지식과 이해 정도가 아직 미흡하여 답안 작성시 능수능란하 게 활용하기에는 다소 곤란했을 것이라는 추측이다.
따라서 자신의 학습 경험과 기존에 배운 내용을 활용 한 ‘발문의 반복 서술형’과 ‘기존 지식 편중형’에 대해 서는 많은 블러핑 사례를 보여주고 있는 반면, ‘추상 적 개념 활용형’에 대한 사례는 10명(남학생 7명, 여 학생 3명)의 학생이 10개의 답안에서 그 특성을 나타 내고 있다.
남학생의 경우에는 8번 ‘자율 공업’과 12번 ‘지역 확 실성’에서 전형적인 사례를 살펴볼 수 있었는데, 특 히 ‘자율 공업’에 대해 ‘정부 등의 지시 없이 기업의 자 율성에 바탕을 두고 진행되는 공업, 자율적인 공업이 니만큼 결과에 대한 책임 또한 기업이 져야한다.’라고
제시한 답안은 ‘기업의 자율성’이 무엇을 의미하는지, 또는 어떤 부분에 대한 것인지가 모호할 뿐만 아니라
‘자율적인 공업’이나 ‘결과에 대한 책임’등도 개념과 정의가 모호하여 답안을 작성한 학생 스스로도 명확 하게 이해하지 못한 수준에서 추상적으로 제시한 것 으로 판단된다. 따라서 이 답안의 경우에는 일반적으 로 알려진 추상적 용어나 개념을 스스로도 알지 못하 면서 마치 답안인 것처럼 적절하게 섞어서 작성한 ‘추 상적 개념 활용형’의 전형적인 사례로 볼 수 있겠다 (그림 10).
여학생의 경우에는 11번 ‘대보 조산 운동’에서만 해 당 사례를 살펴볼 수 있었다. 이들 중 ‘과거에 한국에 서 일어났던 지층 변동 운동이다’라고 제시한 답안과
‘옛날에 땅이 변할 때 일어난 큰 운동’과 같은 답안에 서 ‘과거에’ 또는 ‘옛날에’라는 표현은 ‘대보 조산 운동’
의 발생 시기가 ‘중생대 쥐라기 말엽’임을 학생이 잘 모르기 때문에 제시된 용어로 볼 수 있고, ‘지층 변동 운동’과 ‘땅이 변할 때 일어난 큰 운동’이라는 표현은
‘지각 변동’이라는 용어를 명확하게 알지 못하기 때문 에 제시된 것으로 볼 수 있다. 따라서 이들 답안 역시 정확한 답안 내용이 아니면서 일반적으로 알려진 추 상적 용어를 적절히 사용하여 작성한 ‘추상적 개념 활 용형’의 전형적인 사례로 볼 수 있겠다(그림 10).
(4) 채점자 공감 유도형
‘채점자 공감 유도형’은 실제로 확인되지 않은 내용 이거나 정답과는 거리가 멀지만 그럴듯한 내용을 가
그림 10. ‘추상적 개념 활용형’에 해당하는 전형적인 블러핑 사례
<○○고 이○○ 학생의 답안>
<○○고 남○○, 민○○ 학생의 답안>
져와 답안에 포함시켜 적절하게 서술함으로써 채점 자로 하여금 ‘어쩌면 그럴 수도 있겠다.’라는 공감을 이끌어내도록 작성하는 유형이다. 이 유형 역시 ‘추 상적 개념 활용형’과 마찬가지로 아직 다양한 분야에 대한 경험과 지식이 다소 미흡한 고등학생들이 제시 한 답안인 관계로 사례 수는 많지 않았다. 전체 사례 수는 6개의 답안이었는데 특이한 것은 ‘추상적 개념 활용형’과는 달리 남학생(2개)보다 여학생(4개)의 사 례가 더 많았다는 점이다. 남학생과 여학생 모두 7번
‘공업의 이중 구조’와 11번 ‘대보 조산 운동’에서 전형 적인 사례를 살펴 볼 수 있었다.
즉 ‘공업의 이중 구조’에 대한 답안의 경우 ‘불균형 적인 구조이다.’라는 표현과 ‘극단적으로 갈림’이라 는 표현은 우리나라에서 사업체 수, 출하액 비중, 종 사자 수 등에 대한 대기업과 중소기업의 이중적인 구 조를 잘 알고 있는 채점자라면 충분히 공감할 가능성 이 있는 그럴듯한 용어로 제시된 전형적인 사례로 볼 수 있다. 또한 ‘대보 조산 운동’에 대해 ‘우리나라 지형 을 형성하는 데 큰 역할을 한 지각활동’이라는 답안과
‘우리나라에 발생했던 큰 지각운동 중의 하나→한반 도의 다양한 산맥형성에 영향’이라고 제시한 답안은 두 학생 모두 ‘대보 조산 운동’이 지각 운동이라는 사
실에 대해서는 언급하고 있으나 실제로는 엉뚱한 방 향으로, 하지만 그럴 듯한 느낌을 주도록 답지를 서 술하고 있다. 즉 두 학생 모두 ‘중생대 쥐라기 말엽’에 일어났다는 시기에 관한 내용과 ‘중국 방향의 지질 구 조선이 형성되고 전국적인 규모의 화강암 관입이 일 어났다’는 구체적 특징에 대해서는 모르면서도 ‘우리 나라 지형 형성에 큰 역할을 하였다.’, ‘우리나라에 발 생했던 큰 지각운동이다.’, ‘한반도의 다양한 산맥형 성에 영향을 주었다.’는 그럴듯한 내용을 제시해 보다 구체적인 사실을 많이 알고 있는 채점자의 공감을 유 도하는 전형적인 답안을 작성하였다고 볼 수 있다(그 림 11).
(5) 기타
학생들이 답안에서 정확한 개념을 서술하지 않고 개념과 관련된 단편적인 단어나 용어만을 제시하였 거나 답안을 작성하다가 완성하지 않은 경우 등을 묶 어 모두 기타로 분류하였다. 이들 답안들은 실제로
‘미완성 오답’으로 해석하는 것이 적절한 것으로 판단 된다. 다만, 작성하다가 중간에 그만 두었지만 ‘고위 평탄면’에 대해 ‘신생대 3기의 경동성 요곡으로 인해’
라고 제시한 것과 ‘공업의 이중 구조’에 대해 ‘대기업’
<○○고 남○○ 학생의 답안>
<○○고 민○○ 학생의 답안>
<○○고 오○○ 학생의 답안>
<○○고 이○○ 학생의 답안>
그림 11. ‘채점자 공감 유도형’에 해당하는 전형적인 블러핑 사례
<○○고 박○○ 학생의 답안>
<○○고 강○○ 학생의 답안>
<○○고 황○○ 학생의 답안>
그림 12. ‘기타’에 해당하는 답안 사례
이라는 용어가 제시된 점은 학생들이 답안을 작성하 고자 노력했었다는 것을 엿볼 수 있는 특징이다. 또한
‘풍역 작용’에 대한 답안에서 ‘바람’이라는 용어가 사 용되었고 최저 경제 수역’에 대해 ‘200 해리’라는 용어 가 사용된 것에서 학생들이 블러핑을 하고자 한 의도 역시 엿볼 수 있었다(그림 12).
5. 맺음말
종합적 사고력을 측정한다는 면에서 서답형 문항 의 가치는 선다형 문항에 비해 크다는 것이 교육학자 들의 일반적 인식이다. 그러나 서답형 문항의 실제 활 용 단계는 나라마다 사뭇 다른 편이다. 가령 미국의 경우 대부분의 국가 수준 평가에서 서답형 문항을 보 편적으로 활용할 정도로 서답형 문항의 출제, 채점, 평가에 관한 연구가 체계적으로 이루어지고 있다. 이 에 반해, 우리나라에서는 그것의 평가적 가치를 인식 하는 수준에 머물고 있는 정도이며 아직 광범위한 현 장 적용에 이르지는 못하고 있다. 그 이유는 무엇보다 서답형 답안 채점의 타당성과 신뢰성을 담보하기 위 한 충분한 이론적 연구가 뒷받침되지 못하고 있기 때 문이다. 본 연구는 서답형 문항의 현장 적용을 위한 이론적 연구의 일환으로, 서답형 답안의 채점 과정에 서 채점자가 인식해야 할 매우 중요한 사안 중 하나인 블러핑의 문제를 탐구한 것이다.
본 연구는 국외의 선행 연구들을 검토하여 블러핑 의 개념과 주요 유형을 이론적 수준에서 정리하였고, 이어서 한국지리 교과의 주요 용어들에 대해 학습자 가 구사하는 블러핑의 실제 사례들을 분석하였다. 그 결과를 요약해 보면, 먼저 학습자들의 블러핑 특성에 대해 분석한 결과, 우리나라 고등학생들의 블러핑 정 도는Fernberger(1927)나 Thelin and Scott(1928)이 연 구했던 시기의 미국 대학생들과 비교하였을 때 수치 상으로 매우 낮게 나타났다. 성별과 블러핑의 관계에 대해서는 남학생과 여학생의 블러핑 정도에서 통계 적으로 의미 있는 차이를 보이지 않았다는 선행 연구 의 결과와 우리나라 남녀 고등학생의 특성 역시 일치
하는 경향을 나타냈다. 다만 있을 법한 용어 및 의사 용어에 대해 공란으로 비워 둔 소극적인 답안 비율이 남녀 학생에서 유사했던 반면, 학습한 주요 용어에 대 한 소극적 답안의 비율은 남학생이 더 높았다.
또한 한국지리 주요 용어 중 고난도 용어를 포함하 여 4개 이상 정답을 작성한 학생들의 블러핑율을 분 석한 결과 전체 학생들의 블러핑율에 비해 상당히 낮 게 나타났다. 이러한 결과 역시 통계적으로 의미 있는 상관관계는 보이지 않았지만 최고 성적을 보이는 집 단에서 블러핑율이 가장 낮게 나타났다는 Thelin and Scott(1928)의 연구 결과와 유사한 맥락이다. 특이한 점은 이들 정답자들의 블러핑율에서는 여학생이 남 학생에 비해 2배 가까이 높은 비율을 나타내었다는 것이다. 이러한 결과는 향후 답안 작성에 대한 남녀학 생의 태도 차이 및 성적 상위집단에서의 남녀학생의 블러핑 차이에 대한 심도 깊은 연구가 필요함을 시사 하고 있다.
다음으로 학습자들의 답안에 대한 블러핑 유형을 분석한 결과, ‘발문의 반복 서술형’, ‘기존 지식 편중 형’, ‘추상적 개념 활용형’, ‘채점자 공감 유도형’의 네 가지 블러핑 유형을 살펴볼 수 있었다. 이에 더하여 개념과 관련된 단편적인 단어 혹은 용어만을 제시하 였거나 답안을 작성하다가 완성하지 않은 경우는 기 타로 묶어 분류하였다. 이들 유형 중 학습자들의 블 러핑 사례는 ‘기존 지식 편중형’의 비율이 가장 높았 으며, 다음으로 ‘발문의 반복 서술형’이 높았다. ‘추상 적 개념 활용형’과 ‘채점자 공감 유도형’의 사례는 앞 의 두 유형에 비해 매우 드물게 나타났다. ‘발문의 반 복 서술형’과 ‘기존 지식 편중형’의 비중이 높았던 것 은 학생들이 자신의 학습 경험이나 기존에 배운 내용 을 적절하게 활용할 수 있었기 때문으로 분석된다. 반 면, 사례가 드물었던 ‘추상적 개념 활용형’이나 ‘채점 자 공감 유도형’의 경우에는 다양한 분야에 대한 경험 이나 지식이 고등학생인 만큼 아직 상대적으로 미흡 하여 답안 작성에서 일반적이고 추상적인 용어, 혹은 그럴듯한 내용들을 능숙하게 표현하는 데 곤란했기 때문인 것으로 추정되었다.
본 연구의 결과를 통해 서답형 문항의 현장 적용과 관련된 다음과 같은 몇 가지 시사점과 과제를 도출할
수 있었다. 첫째, 서답형 문항과 관련된 연구에 있어 서 블러핑과 관련된 주제들에 대해 후속 연구가 지속 될 필요성이 요구된다는 점이다. 특히 본 연구에서도 제시된 바와 같이 서답형 답안 작성에서의 블러핑 정 도와 유형에 대한 성별 및 학령에 따른 차이, 블러핑 과 학습 성적 및 지적 수준의 관계, 그리고 블러핑과 학생의 학습 스타일의 관계 등 블러핑 논의와 관련될 수 있는 파생적 연구 주제들에 대한 지속적인 실증적 연구가 필요할 것이다. 이러한 연구가 축적되고 연구 결과를 토대로 채점의 객관성, 타당성, 신뢰성과 관 련된 체계를 정립하는데 기여할 수 있다면 서답형 평 가의 현장 적용 역시 한걸음 더 나아갈 것으로 기대된 다.
둘째, 현재 교육부 및 시도 교육청별로 서답형 문항 의 출제에 대한 시도가 이루어지고 있지만, 이 때 채 점 기준이나 채점 상세화 등에 대한 이론적 연구 역시 병행되어야 한다는 점이다. 최근 교육부 및 각 교육청 별로 서답형 문항 출제에 대한 연구 결과물이 산출되 고 있으며, 이를 토대로 다양한 연수가 이루어지고 있 다. 하지만 실제로 서답형 문항에서 중요한 것은 채 점에서의 객관성, 신뢰성, 타당성에 관련된 쟁점들이 다. 서답형 채점의 객관성, 신뢰성, 타당성은 정답과 블러핑이 구사된 의사 답안, 그리고 오답에 대한 상세 한 채점 기준의 근거 설정을 바탕으로 가능하다. 따라 서, 서답형 답안 채점에서 객관성, 신뢰성, 타당성을 담보할 수 있는 방법과 채점에 대한 연수가 우선되어 야 한다. 이러한 채점자 연수 내용과 매뉴얼에서 서답 형 답안의 블러핑 감지 및 인식을 위한 내용으로 학습 자들의 구체적인 블러핑 유형과 실제 사례에 대해 다 루어져야 할 것이다.
셋째, 본 연구에서는 한국지리 교과의 주요 용어와 연구자가 의도적으로 조합한 있을 법한 용어 및 의사 용어에 대해 학습자들의 블러핑 유형과 사례를 실험 적 수준에서 살펴보았다. 그러나 본 연구에서 살펴본 사례 수로는 제시한 유형들이 일반화에 이를 수 없었 다는 한계가 있다. 뿐만 아니라 단순히 몇 개의 주요 한 ‘한국지리 용어’만으로는 지리과 만의 영역 특수적 인 블러핑 유형으로 일반화하기에는 더욱 실증적 한 계가 있다. 따라서 추후 또 다른 방식의 질문지 구성
과 각 블러핑 유형들에 대해 일반화 할 수 있는 사례 수를 대상으로 실증적 후속 연구가 필요할 것이다.
주
1) 학생들의 답안 내용에서 블러핑 구사 여부를 판단하기 위 해서는 정답에 대한 명확한 채점 기준이 선행되어야 한다.
서답형 문항 유형과 채점 방안에 대한 선행 연구(장의선, 2012; 2013)에서 밝혔듯이 학생들이 작성 가능한 다양한 사례의 답안들을 고려하여 분석적이고 체계적인 채점 계획 을 수립한다면, 답안에 대해 학생들이 어떤 유형의 블러핑 을 구사하고 있는지에 대한 인지가 용이할 것이며, 또한 학 생들의 블러핑에 대한 대응 역시 보다 구체적으로 할 수 있 을 것이다.
2) Thelin and Scott(1928) 교수는 각각의 서답형 답안 내용 중 블러핑이 내재한 정도를 통계화하여 백분율로 표현하 였다. 이것을 블러핑율(percent of bluffing)이라 한다. 가령 블러핑율 100%란 답지 내용 전체가 의사 답안이라는 뜻이 고, 블러핑율 0%란 답지 내용 중 블러핑이 한 부분도 없는 진실된 답안이라는 뜻이다.
3) 지리 영역에서 주요 용어에 대한 논의는 주로 학교급별 지 리 용어의 이해와 연계성에 대한 연구(박태화·박주연, 2004; 이학원·남미애, 1995; 임준묵, 1999)와 지리 용어 에 대한 인식 및 비교 연구(김현주, 1997; 이춘경·김창환, 1998) 등이 이루어졌고, 주요 지리 개념에 대한 연구(강창 숙, 2005)도 있었지만 지리 영역에서 주요 용어에 대한 설 정과 위계에 대한 논의는 다소 미진한 편이다.
4) Thelin and Scott(1928) 교수는 각각의 서답형 답안 내용 중 블러핑이 내재한 정도를 통계화하여 백분율로 표현한 것을 블러핑율(percent of bluffing)이라 하였지만 본 연구에서는 블러핑율을 전체 문항에 대한 블러핑 구사 문항의 비율로 다소 이해하기 쉽도록 단순화하여 정의하고자한다.
5) 남녀 학생의 블러핑 구사 문항 수에 대한 ‘t-검정: 등분산 가정 두 집단’ 결과 양측검정 P(T＜=t)값이 0.067634(＞
0.05)였으므로 남녀 학생 집단의 블퍼핑율 차이는 통계적 으로 유의하지 않다고 볼 수 있다.
6) 블러핑율에 비해 공란으로 비워둔 답안의 비율이 상대적으 로 더 높았던 이유는 학생들이 질문지를 성적 반영 자료가 아니라 연구용 자료라는 것을 이미 짐작한 상태에서 답안 을 작성했기 때문인 것으로 추측된다.
7) 지금까지 지리 학습에서 성별 차이가 미치는 영향에 대한 관심은 풍부하지 못한 편이었다. 다만 생물학적 성별 차이
