교육평가의 이해

(1)

교육평가의 이해

10장 문항제작

(2)

학습과제

 좋은 문항이 갖추어야 할 조건을 알아본다 .

 채점방법이나 피험자의 반응방식에 따른 문항 유형과 제작 시 유의점 및 장․단점을 살펴본다 .

 문항을 보다 일관성 있고 , 체계적으로 제시할 수 있는 문항편집 요령을 살펴본다 .

1

(3)

목 차

문항제작의 기초

1 문항유형

2 문항편집

3

(4)

문항제작의 기초

 문항제작의 필요성

 인간의 잠재능력 평가는 검사에 의하여 실시

 검사는 여러 가지의 문항으로 구성됨

 인간의 능력에 대한 타당하고 신뢰로운 측정을 하기 위해서는 좋은 문항을 제작해야 할 필요가 있음

 문항제작의 기초

 검사는 학생 개인의 능력이나 교사의 수업개선에 결정적인 정보를 제공

 검사도구의 기본 조건은 타당도와 신뢰도를 확보하는 것

 타당도와 신뢰도를 결정하는 요인은 다양하지만, 검사문항의 유형, 검사문항의 질에 달려있음

 검사문항의 질은 문항제작자의 능력에 비례함

3

(5)

문항제작의 기초

1. 문항제작자의 자격

첫째, 문항제작자는 그 문항으로 검사하려고 하는 교과에 대한 충분한 이해가 있어야 한다.

둘째, 문항제작자는 피험자 집단의 특성을 잘 알고 있어야 한다.

셋째, 문항제작과 관련된 지식, 기술, 그리고 기능을 습득해야 한다.

넷째, 검사이론에 대한 이해가 필요하다.

다섯째, 문장력이 필요하다.

여섯째, 풍부한 문항제작과 검토 경험을 가지는 것이다

(6)

문항제작의 기초

5

2. 좋은 문항의 조건

첫째, 문항 내용의 적절성을 고려해야 한다.

둘째, 문항 내용이 복합성을 지녀야 한다.

셋째, 문항 내용은 일정한 추상성을 지니고 있어야 한다.

넷째, 문항의 참신성을 고려하여야 한다.

다섯째, 문항이 구조화되어야 한다.

여섯째, 문항의 난이도(the degree of difficulty)가 적절하여야 한다.

일곱째, 문항은 학습동기(induction)를 유발시켜야 한다.

여덟째, 문항유형에 따른 제작원리와 유의법과 문항편집 요령에 충실해야 한다.

(7)

문항제작의 기초

3. 문항유형

선택형 문항(Selection-type-item; selected reponse) 진위형(True-false form)

선다형(multiple choice form) 연결형(matching form)

서답형 문항(Supply-type-item) 단답형(short-answer form) 완성형(completion form)

괄호형(Close or Cloze form)

논술형(Essay)

(8)

문항유형

7

1. 선택형 문항

진위형

제시된 진술문에 피험자가 그 진술문의 진·위(眞·僞), 즉 옳고 그름을 응답하는 문항 형태

첫째, 질문, 즉 진술문에는 중요한 내용이 포함되어야 한다.

둘째, 한 개의 문항은 하나의 내용만을 포함하도록 한다.

셋째, 부정문의 사용은 가능한 줄이고, 특히 이중부정은 피해야 한다.

넷째, 가능한 한 단순한 문장으로 간단명료하게 질문한다.

다섯째, 답의 단서가 될 수 있는 절대적 어구나 일반적 어구는 사용하지 않는다.

(9)

문항유형

능력수준이 낮은 피험자 집단인 초등학교 저학년에서 자주 사용 많은 피험자를 간단하게 분류하는 방법으로도 이용

(예) 회사의 입사시험이나 퀴즈대회 등에 자주 사용

• 문항제작이 용이함

• 채점의 객관성 높일 수 있음

• 단시간 내에 많은 양의 문항 출제 가능

• 우연을 통제하기가 쉽지 않음

• 중요하지 않은 교수목표나 단순한 기억력을 요구하는 지식을 측정할 가능성이 높음

• 학습자의 학습동기를 감퇴시킬 우려가 있음 장점

단점 사용

(10)

문항유형

1. 선택형 문항

선다형

두 개 이상의 답지를 주고 그 중 맞는 답지나 혹은 가장 알맞은 답지를 선택하는 문항

첫째, 문두는 간결하고 단순하게 서술하여 질문의 내용이 모호하지 않아야 한다.

둘째, 정답은 분명하고, 오답은 매력적으로 만들어져야 한다.

셋째, 정답을 고를 수 있거나 오답을 제거할 수 있는 단서를 주지 말아야 한다.

넷째, 답지의 형태나 길이는 서로 비슷해야 하며, 다를 경우에는 짧은 답지부터 배열하는 것이 바람직하다.

다섯째, 정답의 번호가 특정 번호에 치우치지 않도록 하며, 정답의 위치는 다양하게 배치되어야 한다.

9

(11)

문항유형

• 정답형(correct-answer type) 문항

: 여러 개의 답지 중에서 하나의 옳은 답을 선택

• 최선답형(best-answer type) 문항 : 답지 중에 가장 맞는 답을 선택

• 다양성 및 포괄성

• 검사 내용의 타당도를 증진 시킬 수 있음

• 채점의 신뢰도 높일 수 있음

• 주어진 답지에서 하나를 선택하기 때문에 창의성, 분석력, 문제해결능력 등 고등정신능력을 측정하는 데 한계

• 매력적인 오답을 제작하기가 쉽지 않으며

• 좋은 문항을 제작하는 데 많은 시간이 소요 장점

단점 유형

(12)

문항유형

11

1. 선택형 문항

(배합형) 연결형

일련의 전제와 일련의 답지를 배열하여 전제에 대한 질문의 정답을 답지에서 찾아 연결하는 형태

첫째, 전제나 답지는 고도의 동질성을 가진 것끼리 제시하도록 한다.

둘째, 전제보다 답지의 수가 많아야 한다.

셋째, 전제나 답지 수를 적절히 제한하여야 한다.

(13)

문항유형

• 문항제작이 비교적 간편, 유사한 사실을 비교하고 구분하고 판단하는 고등정신능력을 측정하기에 좋은 문항형태

• 객관도, 신뢰도 높음

• 좋은 문항을 만드는 데 많은 노력과 시간이 소요

• 연결이 진행되어 가면서 점차 연결 수가 줄어듦에 따라 추측 요인이 작용할 가능성이 커질 수 있 학습자의 학습동기를 감퇴시킬 우려가 있음

장점

단점

(14)

문항유형

2. 서답형 문항

완성형

진술문의 일부분을 비워 놓고 거기에 적합한 단어, 구, 기호, 수식 등을 써 넣게 하는 방법 첫째, 중요한 내용을 여백으로 두고 여백의 수를 적절히 제한한다.

둘째, 정답이 짧은 단어나 기호로 응답되도록 질문한다.

셋째, 진술문 가운데 답을 암시하는 내용이 없어야 한다.

넷째, 여백은 질문의 후미에 두는 것이 바람직하다.

다섯째, 채점 시 여백 하나를 채점 단위로 한다.

13

(15)

문항유형

• 같은 단서가 없으므로 추측 요인을 배제할 수 있음

• 문항제작이 선택형의 선다형 문항에 비하여 비교적 수월함

• 채점이 비교적 용이하고 채점의 객관성을 유지할 수 있음

• 단순한 지식, 개념, 사실 등을 측정할 가능성이 높다.

장점

단점

(16)

문항유형

2. 서답형 문항

단답형

간단한 단어, 어구, 수, 기호로 응답하는 문항 형식 용어의 정의나 의미를 측정할 때나 수리계산 문제에 자주 사용

첫째, 간단한 형태의 답이 나올 수 있도록 문항을 제작한다.

둘째, 정답 수는 될 수 있는 대로 한 개 혹은 몇 개가 되도록 한정해야 한다.

셋째, 수치나 계산문제에 관련된 문제에서는 기대하는 정확성의 정도 혹은 계산 절차의 수준을 명시하도록 한다.

15

(17)

문항유형

• 문항제작이 용이하고 넓은 영역의 내용을 측정할 수 있기 때문에 짧은 시간 내에 광범위한 검사하는 데 유용

• 추측 요인에 의하여 정답을 맞힐 확률을 가능한 한 제거할 수 있음

• 짧은 답을 요구하는 문항의 특성상 단순 지식, 개념, 또는 사실만을 평가할 가능성이 높으므로 단순기억에 의존하는 학습을 조장

• 채점 시 선택형 문항과 비교하여 객관성을 확보하기가 어렵다.

장점

단점

(18)

문항유형

2. 서답형 문항

논술형

주어진 질문에 제한 없이 여러 개의 문장으로 응답하는 형태로서, 이론적으로는 피험자의 반응을 거의 무한 하게 허용하는 자유 반응 유형

첫째, 피험자 집단의 특성을 고려해야 한다.

둘째, 질문의 요지가 분명하고 구조화되어야 한다.

셋째, 문항은 난이도 순으로 배열해야 한다.

넷째, 문항 점수를 제시한다.

다섯째, 가능하면 채점기준을 미리 마련해야 한다.

17

(19)

문항유형

• 피험자의 모든 정신능력을 측정하는 데 적절함

• 분석력, 조직력, 문제해결력, 작문능력 등 다양한 고등정신 능력을 측정할 수 있음

• 선다형이나 단답형에 비하여 상대적으로 문항을 제작하기가 쉬움

• 검사 내 출제 문항 수가 제한되기 때문에 교과 영역을 광범위 하게 측정하기 어려움

• 문장력이 작용하여 채점에 영향을 줄 수 있음

• 채점하는 데 노력과 시간이 많이 듬

• 일관성의 문제가 있음 장점

단점

(20)

문항유형

19

• 분석적 채점 방법(analytical scoring method)

• 총괄적 채점방법(global scoring method)

• 모범답안을 작성하여, 채점의 기준을 설정함

• 채점 시 편견이나 착오가 작용하는 것을 피함

• 답안지는 학생단위로 채점 말고, 문항단위로 채점함.

• 가능하면 혼자 채점하는 것 보다는 여러 사람이 채점해서 평균하는 것이 바람직함

채점 방법

채점 시 유의 사항

• 제한반응형(restricted response form)

• 확대반응형(extended response form) 유형

(21)

문항편집

• 답지의 번호는 원문자 번호로 표기하는 것이 좋음

• 두 문항 이상에 걸친 공통 지시 사항은 하오체로 진술하고, 지시문 앞에 해당되는 문항 번호를 다음과 같이 묶음

• 선택형 문항과 서답형 문항의 번호를 달리 부여하는 것이 바람직함

문항 과 답지

• 질문이나 답지의 모든 내용은 한글의 표준어로 표현함을 원칙

• 질문이나 답지의 모든 내용은 현재 시제로 표현함을 원칙

• 서답형 문항 중 논술문의 경우, 질문의 문미를 ‘하오체’로 표현

• 질문에서 필요한 구나 단어만 진한 글씨체나 고딕체로 인쇄 하거나 밑줄을 침

내용 진술

(22)

문항편집

21

• 지문이나 <보기> 안에 나오는 인용 문장은 “ ” 로 표기하고, 인용된 어구는 ‘ ’로 표기함

• 지문의 출처를 밝혀야 할 때는 보기 지문 우측 하단에 다음과 같이 표기함

인용

내 무엇이라고 이름하리 그를 나의 영혼 안의 고흔 불 공손한 이마에 비추는 날 나 바다 이편에 남긴 그의 반임을 고히 지니고 걷노라 -정지용의 <그의 반>-

(23)

문항편집

• 글자체는 가장 익숙한 글자체로 하는 것이 바람직함

• 글자 크기는 피험자 집단의 연령에 따라 달리하는 것이 바람직 글자

체, 크기

• 일반적으로 보기를 질문과 구분하기 위하여 보기의 내용을 상자 안에 담고 <보기>라는 표기를 함

• 보기 속의 내용에 번호를 부여할 때, 식별이 용이하며, 다른 내용의 번호와 혼동되게 하지 말아야 함

• 보기의 내용들을 선택하지 않고 참고하는 경우는 ․ 표기를 함 보기

연 령 크 기 비 고

유아-초등3 ¹¹⁴¹⁴ 4. 우리나라 최초의 문예동인지는?

초등4-중학3 ¹² 4. 우리나라 최초의 문예동인지는?

(24)

교육평가의 이해