제10장
컴퓨터를 활용한 개별적응검사
목 차
CAT란
CAT의 개발 및 운영
12
컴퓨터 보조 검사체제의 일반모형
시작 검사은행 검사문항의 실시
피험자 응답 종료기준
YES
결과의 분석 및 보고
끝
컴퓨터화된 검사의 일반적 순서도 NO
시작 출발점 규정
문제은행 각 문항의 정보 계산 최적 문항의 선택 및 제시
피험자 응답 피험자 수준 재 추정
종료기준 YES
결과의 분석 및 보고
컴퓨터를이용한개별적응검사를위한 일반적인 순서도
NO
CAT의
장점
- 모든피험자의능력이나특성을‘같은정도로정확하게’ 측정할수 있게해준다.
- 적은수의문항으로도피험자의능력이나특성을정확하게측정 - 검사의목적이나필요에따라적절한형태의검사전략을채택.
1) 교육적인면
-피험자의동기유발및사기진작 -개별적인교수-학습정보제공 -다양한피험자정보제공 -다양한형태의문항제공 -공정한평가환경제공 -컴퓨터문해력제고
2) 측정적인면
-측정의효율성개선 -측정의정확성개선 -측정대상의확장
3) 행정적인면
-시공간적으로자유로운검사시행 -검사비용절감
-채점및결과분석의정확성및효율성제고 -검사의비밀보장용이
CAT의
유용성
VS
제한점
-맥락효과
-검사결과의일관성 -문항의순서
-문항의재검토및응답내용의수정 -새로운정보들의처리
2. CAT의 개발 및 운영
- 검사의내용이문항반응이론의기본가정이라할수있는내용의일차원성과문항의지역독립성을만족하 는지여부확인
- 이미개발되어사용하고있는지필식검사를CAT 형태로바꾸어지필식검사로CAT식검사두형태를병 행하여사용하고자할때는두검사에서사용되는문항의모수치가서로동등하다는것(문항모수치의동 등성)과함께한명의피험자가두검사를통해획득한점수가서로동등하다는것(피험자모수의동등성) 을입증하기위한작업을수행해야한다.
CAT를
개발하기 전
-사전에문항모수치(곤란도, 변별도, 추측도등)가추정된다양한문항들이저장되 어있는문제은행이필요
-이때추정된문항모수치는피험자의표집에상관없이불변한다는조건을만족시 켜야한다.
- CAT가진행되면서개별피험자의특성에얼마나적절한문항이제공되는냐의여 부는문제은행이얼마나다양한양질의문항을많이보유하고있는냐에달려있다.
1) 문제 은행의 구축
CAT 를개발하고운영하기위해서는아래의질문에대한의사결정이선행되어야한다.
검사를어떻게시작할것인가? 검사를어떻게진행할것인가? 검사를어떻게종료할것인가?
2) CAT 개발 및 운영
문제은행에저장된문항들중의하나를선택해서첫번째문항으로제시하여야한다. 검사의목적, 피험자집단의특성에따라달라질수있다.
모든피험자에게동일한초기문항을제공할것인가?(고정출발검사)
각피험자에따라다른초기문항을제공할것인가? (변동출발검사)
검사를 어떻게 시작 할 것인가
?VS
고정출발검사
- 난이도가중앙치나평균치에가까운문항을첫번째문항으로제시하는‘중앙점출발’ 의방법을사용.
- 검사의합격여부만을판별하기위한검사의경우합격과불합격을구분하는합격점 에해당하는곤란도의문항을초기문항으로주는방법
(장점) 출발점문항을사전에정할수있고그문항에옳은응답을하거나혹은잘못된 응답을하는경우를고려하여그다음에선택될문항이무엇인지를파악할수있어서 피험자의응답유형에따른검사의구성이나피험자의능력추정치를미리파악하여 CAT 개발및구성이용이.
(단점) 한피험자에게사용된문항들이쉽게다른피험자들에게노출될위험이있음
검사를 어떻게 시작 할 것인가
?변동출발검사
: 피험자의인구학적인정보를이용하거나다른유사한다른능력추정치를이용하 여출발점문항을선택하는방법을사용
(장점) 출발점능력이얼마나다양하게추정되는냐에따라문제은행에서선택되 는출발점문항이서로달라질수있기때문에문항노출의문제를어느정도해결 / 다른정보를이용하여사전에어느정도피험자의능력을추정한상태에보다 개별적으로적응된검사를실시할수있기때문에피험자의능력을보다효율적 으로추정하는데도움이된다.
검사를 어떻게 시작 할 것인가
?검사를 어떻게 진행 할 것인가
?모든피험자에게동일한초기문항을제공할것인가?(고정출발검사)
각피험자에따라다른초기문항을제공할것인가? (변동출발검사)
VS
고정문항선택원리
- 미리구조화되어있는고정문항선택원리에따라검사가진행 - 개발비용절감/ 값비싼컴퓨터요구되지않음
- 다양한문항특성정보를활용하지못하고문항곤란도만이용
변동문항선택원리 - 최대정보문항선택방법 - 베이지언문항선택방법
검사를 어떻게 시작 할 것인가
?VS
-최대정보문항선택방법(Maximum information item selection)
피험자의능력수준이추정된바로그시점에서그피험자에대해최대의문항정보 를제공할수있다고판단되는문항을선택하는방법.
피험자가문항에응답을하면최대우도추정방법을이용하여피험자의능력모수치 를추정하게된다.
베이지언문항선택방법(Bayesian-based item selection)
아직시행되지않고문제은행에남아있는모든문항가운데특정피험자의능력모 수치추정에있어서베이지언사후변량을최소화할것으로예상되는문항을선택. 사전정보의이용이보다명확하게이루어질수있으나, 채점절차에오류를가져올 수있다.
변동문항 선택원리
피험자의능력이나특성수준을어떻게추정할것인가의문제
: 해당시점까지피험자가응답한결과를가지고피험자의모수치를추정하는방법.
검사의목적에비추어피험자의능력이나특성의모수치를추정하기위해어떤변 인을고려할것인가를결정
언제어떻게종료할것인가하는종료의문제 : 측정오차의수준을고정하는방법 최대검사문항수를고정하는방법 검사시간을고정하는방법 최소몇문항이상을치르게하되최대검사문항수를고정하는방법 위의방법을고정하는방법
검사를 어떻게 종료 할 것인가
?VS
