고등학교 통합사회 평가도구 개발의 실제
-통합사회의 지필 평가-
지필 평가 문항
통합사회 지필 평가
1 지필 평가 문항
1) 지필 평가 문항의 유형
지필 평가의 문항은 학생의 반응 양식에 따라 선택형과 서답형으로 구분된다. 선택형은 학생으로 하여금 주어진 선택지에서 답을 골라 답지에 표기하는 하는 문항 형태이다. 이와는 달리 서답형은 학생이 답이라고 생각하는 내용을 단어나 문장 등으로 쓰게 하는 문항 형태이다.
(1) 선택형 평가 문항
선택형 문항은 진위형, 배합형, 선다형의 세 가지가 있다.
(가) 진위형
진위형은 일반적으로 진술문이 제시되고 그 진술이 참인지, 거짓인지 둘 중에 하나를 학생들이 선택할 수 있도록 하는 것입니다.
(나) 배합형
연결형이라고도 하며, 일반적으로 두 란이 사용되고 왼쪽 란과 오른쪽 란의 내용 중 서로 관련이 있는 항목을 연결하는 것입니다.
(다) 선다형
학생들에게 셋 이상의 답지 중 하나 또는 그 이상의 답을 선택하는 것으로, 선택형 문항 중 가장 일반적으로 사용됩니다. 과거에는 지문 없이 문두와 선택지로만 구성되는 문항이 많았지만 오늘날에는 문두와 지문 및 선택지로 구성되는 것이 일반적입니다.
<과거의 선다형>
<오늘날의 선다형>
(2) 서답형 평가 문항
서답형 문항은 단답형, 서술형·논술형으로 분류합니다.
(가) 단답형
단답형 문항은 질문에 대해 간단한 단어, 구, 숫자 등으로 답하는 것을 말합니다.
(나) 서 ․ 논술형
서 ․ 논술형 문항은 문두 또는 지문을 제시하여 응답자로 하여금 답을 생각해서 쓰도록 하며 일반적으로 서술형 문항은 논술형 문항에 비해 서술해야 하는 분량이 많지 않고 채점할 때 서술된 내용의 깊이와 넓이에 주된 관심을 두는 문항인 반면에, 논술형 문항은 학생이 자신의 생각이나 주장을 논리적으로 설득력 있게 조직하여 작성해야 함을 강조합니다.
<서술형 문항>
2) 지필 평가 문항의 제작
(1) 지필 평가 문항의 제작 절차
(가) 1단계 : 출제 계획 수립
교과/과목별 협의를 통해 출제 범위, 시험 시간, 출제 범위에 해당하는 각 영별 문항 유형 및 문항 수 등을 포함하는 출제 계획을 세웁니다.
(나) 2단계 : 문항정보표 작성
출제 계획을 토대로 성취 기준, 평가 내용 요소, 문항별 배점, 행동 영역과 난이도 등을 포함하여 작성합니다. 그리고 학교 현장에서 문항을 출제한 후 문항정보표를 작성하는 것이 일반적입니다. 그러나 출제 전에 문항정보표를 완성된 상태로 만들지 못하더라도, 최소한 출제 범위에서 물어야 할 평가 내용 요소만이라도 문항정보표에 작성하는 습관을 갖는 것이 필요합니다.
<문항 정보표>
(다) 3단계 : 문항 초안 작성
우선 성취 기준을 분석하여 내용 영역과 행동 영역을 구분한 뒤 해당 문항이 선다형이 적절한지 서 ․ 논술형이 적절한지 판단하는 단계를 갖습니다. 그 후 내용 영역, 성취 기준, 행동 영역 등에 적합한 문제 상황을 결정하고, 발문과 지문 및 답지 등을 구상한 후 문항 초안을 작성합니다.
(라) 4단계 : 채점 기준표 및 모범 답안 작성
선택형은 문항 초안을 작성하는 과정에서 정답이 바로 나오지만, 서술형은 그렇지 않습니다.
특히 서술형의 경우 모범 답안과 채점 기준표를 작성하는 과정에서 문항에 대한 검토가 이루어지고 학생들의 반응을 예측하면서 문항을 수정할 수 있는 기회를 가질 수 있어 의미가 있습니다.
(마) 5단계 : 무한 검토 및 수정
출제자의 관점에서보다는 학생의 관점에서 검토하는 자세가 필요하며, 동교과 또는 동학년 교사들끼리 함께 검토하는 것이 유용합니다. 그리고 문항 검토 시 유의해야 할 사항 항목 등을 체크리스트로 만들어 사용하는 것이 좋습니다.
구분 검토 항목 √ 하시오
적합 부적합 출제 전반
출제 범위를 벗어난 문항은 없는가?
지나치게 어렵거나 쉬운 문항은 없는가?
과년도나 참고서 등에 나와 있는 문항은 없는가?
난이도와 변별도는 적절한가?
소요 시간은 의도한 바에 적합한가?
문두 묻는 내용은 명확한가?
정답에 대한 단서가 제시되어 있지는 않은가?
문제를 푸는데 필요한 조건을 모두 포함하였는가?
지문 내용이 비교육적이거나 반사회적이지는 않은가?
지역이나 성별 등에 따라 유불리가 존재하는가?
답지 (선다형)
답지의 길이가 너무 다른 것은 없는가?
답지끼리 중첩되는 것은 없는가?
답지는 논리적 순서에 따라 배열되어 있는가?
정답이 특정 답지(번호)에 편중되어 있지는 않은가?
정답 시비의 소지는 없는가?
정답을 너무 쉽게 찾을 수 있지는 않은가?
오답지의 매력도가 너무 부족하지 않은가?
채점 기준 (서술형)
채점 기준과 모범 답안에 오류는 없는가?
채점 기준과 모범 답안은 명료한가?
채점 기준은 실제 채점과정에서 활용하기 쉬운가?
<문항 검토 체크리스트>
(2) 문항 제작 시 유의사항
(가) 선다형 문항 제작 시 유의사항 ㅇ 선다형 문항 문두 제작 시 유의사항
묻고자 하는 질문의 내용이 단순 명쾌하게 구조화되어야 합니다. 묻는 내용이 모호하면 답을 알고 있는 수험생이라도 오답을 고를 수 있어 나중에 정답에 대한 시비가 일어날 수도 있습니다. 그리고 일반적으로 선다형 문항의 문두는 불완전한 문장 형식을 취합니다. 그 예로
‘정답으로 옳은 것은?’이나, ‘정답으로 가장 적절한 것은?’등의 질문이 있으며, 문항의 질문 형태는 가능하면 긍정문 형식을 취하고 있는데요. 질문이 부정문으로 되어 있을 때 알고도 틀린 경우가 많기 때문입니다. 또한, <보기>가 있는 문항의 경우에는 ‘알맞게 고른 것은?’이라는 형식을 취합니다. 다만, 모든 답지가 <보기>의 선택지 2개로 각각 구성되어 있으면 ‘<보기>에서 고른 것은?’이라고 형식을 취하고 있고 다르게 구성된 경우에는
‘<보기>에서 있는 대로 고른 것은?’의 형식을 취하고 있다.
ㅇ 선다형 문항 지문 제작 시 유의사항
-지문이나 자료 등은 간결하면서도 명확하게 제시되어야 한다. 지나치게 복잡하거나 어려운 단어로 구성되어 있으면, 평가하고자 하는 교과 내용을 측정하기보다는 언어 능력을 측정할 가능성이 크다.
-지문 내용이 답을 암시하지 않아야 한다. 지문의 내용이 정답지에 대한 힌트를 지나치게 제공할 때, 변별력 있는 문항을 출제하기 어렵다.
-윤리적으로 문제가 되는 내용은 가급적 피해야 한다. 평가도 교육의 연장이라는 관점에 비추어 비도덕적․비윤리적 문제는 제작되지 말아야 한다.
-지문(자료 포함)을 둘 이상 제시하고 이를 구분할 필요할 있는 경우, 제시되는 순서에 따라 지문(자료 포함)에 (가), (나) 등으로 나타낸다.
ㅇ 선다형 문항 답지 제작 시 유의사항
- <보기>가 있는 문항의 경우, 보기의 선택지는 ㄱ, ㄴ, ㄷ, ㄹ로 구분하며, 이를 조합하여 답지를 만들 경우 하나로 구성된 답지를 앞에, 2개로 구성된 답지를 그 다음에, 세 개로 구성된 답지를 나중에 배열하는 것이 일반적이다. 그리고 답지의 수가 같을 경우에는 국어사전의 배열을 따른다.
-답지는 길이 순으로 배열하는 것이 일반적이다. 다만, 답지에 기승전결 혹은 시대사적 근거가 있다면 논리적 근거에 따르는 것이 바람직하다.
-답지들의 내용이 상호 독립적이어야 한다. 어느 한 답지의 내용이 다른 답지의 내용과 상호 연관성을 갖는다면 오지 택일형 문항이 사지 택일형이 되거나 사지 택일형 문항이 될 수도 있다.
-답지들은 유사한 형태로 만드는 것이 일반적이다. 답지들 중 특이한 형태로 서술될 경우 이는 정답이나 틀린 답이 될 수 있는 가능성을 놀일 수 있다.
-그럴 듯하고 매력적인 틀린 답지를 만들어야 한다. 선다형 문항 제작에서 가장 중요한 주의 사항 중 하나이다.
-답지에 공통적으로 반복하여 나타나는 단어는 가능하면 질문에 서술하여, 수험생이 답지들을 읽을 때 소요되는 시간과 지겨움을 줄여야 한다.
-문두나 지문에 있는 내용을 그대로 답지에 사용하지 말아야 한다. 이는 수험생이 자연스럽게 정답 또는 오답으로 선택할 가능성이 높기 때문이다.
-이외에도 선다형 문항을 제작함에 있어 유의사항으로는 ‘가능하면 답지는 짧게 하도록 한다.’, ‘가능하면 한 문항은 하나의 면에 위치하도록 한다.’, 문항이 한 ‘정답의 번호가 특정 번호에 치우치지 않게 한다.’, ‘하나의 시험지는 쉬운 문항에서 어려운 문항에 이르기까지 다양한 문항으로 구성되는 것이 바람직하다.’ 등이 있다.
(나) 서술형 문항 제작 시 유의사항
-단순 암기 위주의 지식보다는 고등정신능력을 평가하도록 한다. 서술형 문항의 장점은 다른 문항 형식에서는 측정하기 어려운 사고력, 추리력, 종합력, 비판력, 분석력, 응용력, 표현력, 창의력과 같은 정신기능을 비교적 쉽게 평가할 수 있다는 데 있기 때문이다.
-구체적인 학습 결과를 측정할 수 있도록 질문을 구조화시키고 제한성을 갖도록 한다.
반응의 자유도를 허용하되 답의 표현은 ｢이곳으로｣라는 방향을 지시해 주는 문항이 되어야 한다.
-문두의 말미는 구체적인 형태로 제시되는 것이 좋다. 많은 서술형 문항의 경우, 문두의 말미는 ‘서술하라’. 또는 ‘간략하게 쓰시오.’라고 구성되어 있다. 그러나 어느 때는 문두의 말미를 ‘비교 분석하라’, ‘이유를 설명하라’ 등 보다 구체성을 띨 필요가 있다.
-응답 요소의 종류를 나열하도록 할 경우에는 가지 수를 한정해야 한다. 응답 요소를 나열하도록 할 경우에는 ‘○가지만 제시하시오’라고 한정하고, 채점 과정에서는 지시한
○가지까지만 채점하고 뒤에 나열되는 요소에 대해서는 채점을 하지 않아야 함을 원칙으로 해야 한다. 이를 위해 문두 말미에 ‘4가지 ○+1이상 제시하였으면, 앞의 것 ○개만으로 평가함’을 제시하기도 한다.
-답의 길이는 약 20-100자 정도로 하는 것이 일반적이다. 서술형 문항에서 요구하는 답안의 길이를 중심으로 볼 때, 50자를 경계로 하여 비교적 짧은 분량의 문항과 비교적 긴 분량의 문항으로 나눌 수 있다.
-서술형 문항의 문두는 완전한 문장 형식을 취한다. 서술형 문항의 문두는 ‘~쓰시오.’,
‘구하시오.’, ‘설명하시오’ 등의 완전한 문장 형식을 취하는 것이 일반적이다.
2 통합사회 지필 평가
1) 통합사회 지필 평가의 방향
(1) 개념의 이해 및 활용 능력을 평가
통합사회는 사회적 기초 소양 함양을 위한 과목의 성격을 가지고 있지만, 선택과목과의 연계성을 가지고 있는 과목이므로 이후 심화 학습을 위한 개념 이해 또한 중시되어야 합니다.
(가) 개념의 이해
개념의 이해에서는 사례나 사건, 상황, 자료 등에 관련된 개념의 의미를 이해하고 파악할 수 있는지를 묻는다. 예를 들어, 공장 가동 과정에서 오염된 환경에 관한 사례를 보여주고 그 사례를 외부 불경제와 연결시킬 수 있는지를 묻는다면, 이는 외부 불경제라는 개념을 이해하고 있는지를 평가하는 문항에 해당한다.
(나) 개념의 활용
개념의 활용에서는 자료와 정보 등을 분석, 해석, 평가 및 종합하는 활동에 개념을 활용할 수 있는지를 묻는다. 예를 들어, 국제결혼 이민자와 외국인 근로자가 증가하는 자료를 보면서
‘우리 사회가 다문화 사회에 접어들고 있다.’라고 분석할 수 있는지를 묻는다면, 이는 다문화 사회라는 개념을 활용할 수 있는지를 평가하는 문항에 해당한다.
(2) 통합사회 교과역량 평가
2015개정 교육과정에서는 역량을 강조하고 있으며, 통합사회 또한 비판적 사고력과 창의성, 문제 해결 능력과 의사 결정 능력, 자기 존중 및 대인 관계 능력, 공동체적 역량, 통합적 사고력 등의 교과 역량을 제시하고 있다. 다만 창의성, 자기 존중 및 대인 관계 능력, 공동체적 역량 등은 지필평가 문항으로 파악하기가 쉽지 않다. 따라서 지필평가 문항에서는 주로 비판적 사고력, 문제 해결 능력과 의사 결정 능력, 통합적 사고력 등을 묻게 된다.
(가) 비판적 사고력
비판적 사고력을 ‘자료, 주장, 판단, 신념, 사상, 이론 등에 대해 합당한 근거에 기반을 두고 그 적합성과 타당성을 평가하는 능력이다. 따라서 자유 무역을 정당화하는 근거를 찾을 것을 요구하거나 생태중심주의를 정당화하는 사례를 찾을 것을 요구하고 있다면, 이는 비판적 사고력을 평가하는 문항에 해당한다.
(나) 문제 해결 능력과 의사 결정 능력
문제해결 능력과 의사 결정 능력은 다양한 문제를 인식하고 그 원인과 현상을 파악하여 합리적인 해결 방안들을 모색하고 가장 나은 의견을 선택하는 능력이다. 따라서 환경 문제를 해결하는 방안을 제시하라거나 여러 대안 중 가장 합리적인 대안을 찾을 것을 요구한다면,
이는 문제 해결 능력이나 의사 결정 능력을 평가하는 문항에 해당한다.
(다) 통합적 사고력
통합사회교육과정에서는 통합적 사고력을 ‘시간적, 공간적, 사회적, 윤리적 관점에 대한 폭넓은 기초 지식을 바탕으로 자신, 사회, 세계의 다양한 현상을 통합적으로 탐구하는 능력’이라고 정의하고 있다. 그런데 성취기준을 보면 통합적 내용을 담고 있는 성취기준이 있는가 하면 시간․공간․사회․윤리적 관점 중 하나의 관점을 담고 있는 성취기준도 있다.
따라서 모든 지필평가 문항을 통합적으로 구성할 필요는 없으나, 통합적 내용을 담고 있는 성취기준에 대한 지필평가 문항 개발에서는 성취기준이 담고 있는 관점들을 자료와 답지 등에서 충실히 담을 수 있도록 노력해야 한다.
(3) 수업 상황을 활용한 문항 개발
통합사회는 활동 중심의 수업을 강조하고 있다. 지필 평가 문항을 개발하는 과정에서 교수․학습 과정 중에서 이루어지는 학생들의 활동을 적극 활용할 필요가 있다. 교수․학습 과정에서 배우게 되는 주요 개념이나 탐구 절차 등을 통해 통합적 사회 현상과 관련된 다양한 관점에 대한 이해력과 적용 능력을 평가하는 것이 바람직하다.
2) 통합사회 지필 평가의 예시 문항
(1) 개념의 이해 및 활용 능력 평가 문항(가) 개념의 이해 능력 평가 문항
두 사례를 통해 공통적으로 설명할 수 있는 예비 효과라는 개념을 찾아낼 것을 요구하고 있다는 점에서 개념의 이해 능력을 평가하고 있습니다. 즉, 이 문항은 자본주의의 역사적 전개 과정과 그 특징을 조사하고, 시장경제에서 합리적 선택의 의미와 그 한계를 파악한다는 성취기준의 도달 정도를 확인하기 위한 문항입니다.
(나) 개념의 활용 능력 평가
이 문항은 문화 변동 사례를 보여주고 이를 문화 관련 개념을 활용하여 옳게 설명하고 있는지에 대해 물었다는 점에서 개념의 활용 능력을 평가하고 있습니다. 이 문항의 경우 문화 변동의 다양한 양상을 이해하고, 현대사회에서 전통문화가 갖는 의의를 파악한다는 성취 기준의 도달 여부를 평가하고자 하였습니다.
(2) 통합사회 교과 역량 평가 문항
(가) 비판적 사고력 평가
이 문항은 극단적 문화 상대주의의 적합성과 타당성을 평가할 수 있는지를 물었다는 점에서, 비판적 사고력을 묻고 있습니다. 이 문항은 문화적 차이에 대한 상대주의적 태도의 필요성을 이해하고, 보편 윤리의 차원에서 자문화와 타문화를 성찰한다는 성취 기준의 도달 여부를 평가하고자 하였습니다.
(나) 문제 해결 능력 평가
이 문항은 연령별 인구 구성비 변화를 초래한 원인을 파악할 수 있는지를 물었다는 점에서, 문제의 원인을 파악할 수 있는 문제 해결력을 묻고 있습니다. 이 문항에서는 세계의 인구
(다) 의사 결정 능력 평가
두 가지 방식의 대안 평가표를 자료로 제시하고 각 대안을 평가한 뒤 가장 합리적인 대안을 선택할 수 있는지를 물었다는 점에서, 의사 결정 능력을 묻고 있습니다. 이 문항은 자본주의의 역사적 전개 과정과 그 특징을 조사하고, 시장 경제에서 합리적 선택의 의미와 그 한계를 파악한다는 성취 기준의 도달 여부를 평가하고자 하였습니다.
(라) 통합적 사고력 평가 문항
화장장 건설에 관한 사례를 제시하고 통합적 사고력을 고려하도록 문항을 구성했는데요.
제시된 사례에 ‘화장에 대한 주민들의 의식이 크게 바뀌면서’에서 시간적 관점이,
‘화장장과 추모 공원의 건설은 법이 정한 민주적 절차를 밟아 이루어졌고’에서 사회적 관점이, ‘A 지역 주민들은 공익을 위해 이를 수용하였다.’에서 윤리적 관점이 고려되었음을 알 수 있습니다. ‘그러나 화장장과 추모공원이 건설된 직후 그 일대는 극심한 교통 혼잡으로 몸살을 앓았고 도로 구조상 이에 대한 뾰족한 대책을 찾을 수 없었다.’에서 공간적 관점에 대한 고려가 부족했음을 알 수 있습니다. 이는 제시 문항이 시간적 관점, 사회적 관점, 윤리적 관점은 물론 공간적 관점까지 통합적으로 고려하고 있음을 보여줍니다.
즉, 이 문항은 시간적, 공간적, 사회적, 윤리적 관점의 특징을 이해하고 이를 바탕으로 인간, 사회, 환경의 탐구에 통합적 관점이 요청되는 이유를 파악한다는 성취 기준에 도달 여부를 평가하고자 하였습니다.
(3) 수업 상황을 활용한 문항
비주얼씽킹이 진행된 수업 상황을 소재로 활용하였습니다. 환경문제의 원인을 찾아낼 것과 환경문제 해결을 위한 개인적 차원의 노력을 제시할 것을 요구하고 있다는 점에서 문제 해결력에 대해 평가하고자 하였는데요. 이 문항에서는 ‘환경문제 해결을 위한 정부, 시민사회, 기업 등의 다양한 노력을 조사하고, 개인적 차원의 실천방안을 모색한다.’는 성취기준의 도달 여부를 평가하고자 하였습니다.
