조사 결과 처리
제 절 자료입력 및 코딩 1
수합된 설문지에 대한 기본자료의 입력은 조사회사에서 담당하나 문제해, 결력에 대한 입력 직업 및 산업에 대한 코딩은, KRIVET 연구팀에서 담당하 였다 그러나 연구팀에서는 자료 수집 과정에 일어날 수 있는 오류를 최소화. 하기 위하여 조사회사에서 실시한 모니터링 작업과 함께 자료 입력 과정상의 오류를 최소화하기 위하여 입력 및 처리 매뉴얼을 번안하여 조사회사측에 제 공하였으며 입력 결과에 대한 모니터링을 실시하였다 또한 모든 입력은 두, . 번 입력(double punching)을 기본 원칙으로 하였다.
자료 입력 매뉴얼 제공 1.
연구팀에서는 조사 회사에서의 자료 입력 작업이 원활하고 정확하게 진행 될 수 있도록 하기 위해 캐나다 통계청에서 제작한 자료 처리 매뉴얼을 토 대로 자료 입력 및 처리 매뉴얼 조사회사용 을 작성하여 조사회사에 제( ) 공하였다 이 매뉴얼에는 설문지 수합 및 관리 작업 설문지 검토 작업 설. , , 문 내용 에디팅 작업 자료 입력 및 입력 오류 방지 방법, , data cleaning 작
업 등에 대해 상세히 기술하고 있다 조사회사가 이 매뉴얼을 토대로 자료를. 입력하고 처리하도록 하였다.
입력 프로그램 점검 2. BQ
조사의 배경 설문지 는 특정 문항의 답변 종류에 따라 문항간 이
ALL (BQ)
동이 많아 설문 작성시 뿐만 아니라 입력시에도 많은 주의가 요구되는 설문 지이다 입력 오류를 최소화하기 위해 조사 회사에서는 입력 프로그램을 개. 발하였다 입력 프로그램은 응답자의 응답값에 따라 문항간 이동이 자동으로. 이루어지도록 하였다 연구팀에서는 이 프로그램이 정확하게 작동되고 있는. 지를 점검하여 정확한 자료 입력이 이루어질 수 있도록 하였다.
은 배경설문지에서의 응답내용이나 필수문항 PUNCHING PROGRAM
지 및 검사문항지의 채점결과를 입력하기 위해 개발된 프로그램으로 입력과, 정에서 발생할 수 있는 문제점을 최소화할 수 있도록 개발되었다.
[그림 Ⅳ-1] PUNCHING PROGRAM을 이용하여 배경설문지를 입력하는 화면 예시
[그림 Ⅳ-2] 검사문항지 채점 결과를 입력 화면 예시
PUNCHING PROGRAM에서는 배경설문지의 응답 흐름에 따른 데이터 입력 즉 거의 모든 문항에 대하여 이에 대한 응답자의 응답에 따라 그 다음, 에 입력해야 할 문항이 지정되어 있어 자료입력원이 입력하지 말아야 할 문, 항을 입력할 수 있는 오류를 제거할 수 있도록 하였다 예를 들어. , A1. 귀 하는 한국에서 태어났습니까 라는 문항에? 1. 예 라고 응답한 경우에는 자동적으로 A3. 귀하의 초등학교 학년부터의 총 교육년 수는 얼마입니1 까 에 대한 응답을 입력하는 화면으로 이동하도록 되어 있다? .
응답자의 응답에서 논리적인 오류가 있는 경우 입력과정에서 그 오류를, 확인하여 수정할 수 있도록 개발되었다 특히 배경설문지의 면접자 점검사. , 항(A7, D2A, D8, D15, D16, D17, D22, D32, D38, D44, F29, G4, H6, 번 문항 에서 문항의 지시사항과 다른 응답이 기록되는 오류가 발생할
K10 )
수 있는데 이러한 오류를 입력과정에 확인하여 수정할 수 있도록 개발되어, 있는 것이다. PUNCHING PROGRAM을 활용하여 응답결과를 입력하는
과정에 면접이 완료된 설문지의 논리적인 오류가 발생하는 경우에는 자료입, 력원(Key Entry Operators)은 이를 에디팅 팀에 보고해야 하며 에디팅 팀, 에서는 문제의 설문지를 검토하여 응답결과를 다시 입력할 것이다.
연도나 시간을 묻는 문항(A2, A5, A6, D3, D6, D21, D24, F8, F9, F10, 등의 문항 에서도 논리적인 오류를 검토할 수 있도록 프로그램이 F11, K11 )
구성되었다 예를 들어. , A2. 귀하가 한국으로 처음 이민 온 해는 언제입니 까 라는 문항의 경우 이민연도가?' , AA1번 문항의 출생연도보다 앞설 수 없 다는 논리적인 사항을 검토할 수 있도록 개발되어 있는 것이다.
본조사에서 수집된 최초의 400개 사례를 활용하여 프로그램 구조적인 오 류나 검사문항지 내용과 일치하지 않는 문제점 등을 수차례 점검하였다.
데이터가 정확하게 입력되었는지를 확인하기 위하여 입력이 완료된 설문, 지의 20%를 무작위로 추출하여 설문지 응답내용과 데이터 입력결과를 비교 하여 검토하였으며 발견된 오류에 대하여 되는 경우에는 해당 검사문항지를, 입력한 자료입력원의 모든 자료를 확인할 것이다 또한 검사문항지 채점결. , 과를 입력하는 과정에 발생할 수 있는 오류를 최소화하기 위하여 검사문항지 채점결과는 번 입력하였다2 .
직업 및 산업 코딩 3.
응답자의 교육수준이나 직업의 유형 그리고 직업의 산업유형을 국제기준, 에 맞게 코딩하고자 한다 응답자의 최종 학력은 국제표준교육분류. (ISCED: 1997 International Standard Classification of Education)에 따 라 코딩할 것이며 응답자와 그의 부모의 직업에 대한 코딩은 국제표준직, 업분류(ISCO: International Standard Classification of Occupation)에 따라 그리고 응답자 직업의 산업에 대한 코딩은 국제표준산업분류, (ISIC:
International Standard Industrial Classification of All Economic 에 따라 이루어질 것이다
Activities, Third Edition) .
를 활용한 최종 학력에 대한 코딩이 배경설문지에서의 정보를 변환 ISCED
하는 비교적 단순한 작업임에 비하여 직업 및 산업에 대한 코딩은 전문성과, 시간이 소요되는 복잡한 과정이라 할 수 있다 그리하여 직업과 산업에 대. , 한 코딩 전문가의 도움을 요청하고자 한다 본 조사 자료에 대하여 코더들이. 코딩한 결과에 대한 검증을 위하여 코딩 결과에 대한 전문가의 검토를 요청, 할 것이며, 20%의 사례를 무선 추출하여 재코딩하여 비교검토할 것이다.
문제해결력 자료입력 4.
문제해결영역인 블록과 블록의 문항7 8 (8A 블록의 2, 3.2, 4번 문항과 8B 블록의 3a, 3b, 3c 문항은 제외 은 채점) (scoring)이 아닌 자료입력(data 을 수행하게 된다 문제해결영역의 자료입력은 채점과 다소 다른 capturing) .
기준이 적용되는데5), 이처럼 서로 다른 기준을 적용함으로 인하여 발생할 수 있는 오류를 최소화하기 위하여 OECD에서는 문제해결영역의 자료입력을 위하여 개발된 프로그램인 Problem Solving Data Capture Application6)을 활용할 것을 권장하고 있다.
5) 채점의 경우 해당 문항의 정답 여부를 정답1( ), 7(오답 또는 응답거부 으로 채점하는 반면 자료), 0( ) , 입력에서는 응답자가 해당 문항별 선택지 가운데 어느 것을 선택하였는지를 선택하지 않음0( ), 1(선 택함 또는 해당 문항을 거부함 로 입력하게 된다 예를 들어 블록의 번 문항 가 나 다 라), 8( ) . , 7 1 ( ․ ․ ․ 의 개의 선택지게 제시됨 에 대하여 가를 선택한다면 이 응답자에게는4 ) ‘ ’ , 1․0․0․0으로 입력된다. 6)Visual Basic MS Access과 를 이용하여 개발된 이 프로그램은 실제 검사문항지와 유사한 화면이
제시되고 응답자가 여러 선택항목 가운데 어느 것을 선택하였는지를 표시하는 방법으로 자료입력, 을 수행할 수 있도록 구성되어 있음.
[그림 Ⅳ-3] Problem Solving Data Capture Application의 입력 화면 예시
문제해결영역의 자료입력에 대해서는 정확성을 확보하기 위하여 100% 검 증(verification)이 이루어져야 한다 이를 위하여 문제해결영역이 포함된 모. 든 검사문항지는 서로 다른 명의 채점자에 의한 차례의 자료입력을 수행2 2 하도록 하고 있다 차례 입력된 결과는 상호 일치여부를 분석하여 일치하. 2 , 지 않는 변인이 발견되었을 때에는 해당 검사문항지를 다시 확인하여 입력값 을 수정하는 절차를 따르게 된다 또한 자료입력의 질을 관리하기 위하여. , , 자료입력 과정에서의 문제점을 유형별로 정리하여 이를 채점자와 공유하는 과정도 거치고 있다 다음의 그림. [ -3]은 문제해결영역의 자료입력 및 일 치도 여부 검증 절차를 도식화한 것이다.
[그림 Ⅳ-4] 문제해결영역의 자료입력 및 검증 절차
자료: Munroe, C (2003). Procedures and guidelines for processing survey documents: National Adult Literacy and Life-Skills Survey. Ottawa, Canada: Statistics Canada. p. 60.
111
1차차차차 데이터데이터데이터데이터 캡쳐캡쳐캡쳐캡쳐 22차22차차차 데이터데이터데이터데이터 캡쳐캡쳐캡쳐캡쳐
채점자 1&2 DC1
채점자 3 DC2
DB DC1 ASCII 파일로
저장 DB DC2
ASCII 파일로 저장
DC1과 DC2 파일을 통합하여
“1차 캡쳐 파일” 작성
채점자 3 DC3
채점자 1&2 DC4
DB DC3 ASCII 파일로
저장 DB DC4
ASCII 파일로 저장
DC3과 DC4 파일을 통합하여
“2차 캡쳐 파일” 작성
“1차 캡쳐 파일”과
“2차 캡쳐 파일” 비교
불일치한 사례에 대한 보고서 작성 및 검토
각 DB에 필요한 수정사항 반영
지금까지 문제해결 영역의 자료 입력 결과를 비교검토한 결과 다음과 같, 은 몇 가지의 문제점이 발견되었다.
문제해결 영역의 자료입력 과정에서 발견된 오류의 대부분은 응답자의 응답을 정확하게 입력하지 못하는 경우이었다 이는 응답자가 응답하는. 지필식의 검사문항지의 선택항목이 가 나, ,다,라 등으로 번역 되어 있는 반면 자료입력용 프로그램에서는, A', 'B', 'C', 'D' 등으로 되어 있다는 것에 기인한 것으로 판단되었다.
응답자의 응답을 해석함에 있어서 채점자간에 의견일치가 되지 않는 특 별한 경우도 있었음 그 대표적인 경우가 특히 일을 추진하는 순서를 고. 르는 문항에서 자주 발견되는 것인데 가, ,나,다,라 등의 선 택항목 가운데 하나 이상을 선택하는 것이 아니라 응답자가 나름의 업, 무 추진 순서를 여러 형태로 응답하는 경우 이를 입력하는 데에 있어서, 채점자간의 확실한 공유가 미흡한 것으로 판단되었다.
이 외에도 응답자 일련번호의 입력 오류 프로그램의 미숙한 활용으로, 인한 자료 누락 등의 문제점도 발견되었다.
이러한 오류를 최소화하기 위해서는 무엇보다 발견된 문제점에 대한 채점 자간의 의견 공유 자료입력 과정 및 결과에 대한 지속적인 모니터링 여러, , 가지의 가능성에 대비한 자료 입력 결과의 검증 방법 도입 등의 방안이 모 색되고 있으며 주기적으로 채점자와의 회의를 통하여 발견된 문제점을 논의, 하는 기회를 마련하고 있다.
리코딩 리스트 작성 5.
조사의 설문지는 국제 기준의 공통 문항과 국가별 문항이 함께 들어 ALL
가 있다 우리 나라 상황에 맞게 제작을 하다보니 선택지의 순서가 달라지거. 나 추가되기도 하고 문항 전체가 제거되기도 하고 어떤 문항은 새로이 추가, 되기도 하였다 따라서 국제 비교를 위해서는 국제 기준에 맞게 통일된 양식. 으로 변환할 필요가 있다 이를 위해 연구팀에서는 그림. [ -4]와 같이BQ 전체 변인에 대하여 국제판과 한국판을 비교하고 그 차이에 따른 변경내용, 또는 주의 사항을 제시하고 리코딩이 필요한 사항을 정리하여 조사회사측에, 제공하였다.
[그림 Ⅳ-4] BQ 자료 입력 기준표(예시)
변인설명 변인설명 변인설명
변인설명 코딩코딩코딩코딩 변경내용변경내용변경내용변경내용 코딩코딩코딩코딩 변경내용변경내용변경내용변경내용 변인명변인명변인명변인명 코딩코딩코딩코딩
OOOO Year OO Day
OO Month OO Month
OOOOYear AA2AA2AA2
AA2 성별 O 1남/2여 0023번에 기록 GENDAA2 O 1_M/2_F
BQ시작시간-시 STRBQH BQ시작시간-시
BQ시작시간-분 STRBQM BQ시작시간-분
BQ시작-일 STRBQD BQ시작-일
BQ시작-달 STRBQM BQ시작-달
A1 A1A1 A1 A2 A2A2 A2 A3 A3A3
A3 교육기간 OO 00~95/97/98
01 0&1 단계 좌동 좌동
02 2 단계 좌동 좌동
31 인문계 고교 31 인문계 고교 31 인문계 고교
31 인문계 고교 한국 추가 변인한국 추가 변인한국 추가 변인한국 추가 변인 32 실업계 고교
32 실업계 고교 32 실업계 고교
32 실업계 고교 한국 추가 변인한국 추가 변인한국 추가 변인한국 추가 변인
04 4단계 좌동 좌동
05 5B단계 좌동 좌동
06 5A단계 좌동 좌동
11 6단계 좌동 좌동
97DK/98RE 좌동 좌동
A4i A4iA4i A4i A5A5A5 A5 01~65 확인
(97 DK/98RE) A6 A6A6 A6 01~65 확인
(97 DK/98RE) A7A7A7
A7 면접자 점검 IRL에 포함되지 않음
A B C D a10 a10 a10 a10
ALL 조사 BQ 자료 입력 기준표 ALL 조사 BQ 자료 입력 기준표 ALL 조사 BQ 자료 입력 기준표 ALL 조사 BQ 자료 입력 기준표
A4 A4A4 A4
03 : 3단계 03 : 3단계 03 : 3단계 03 : 3단계 최종학력
좌동
좌동 A4
03 : 3단계 03 : 3단계 03 : 3단계 03 : 3단계 International BQ International BQInternational BQ International BQ Item #
Item # Item # Item #
A9 A9A9 A9
IRL IRLIRL IRL Korean BQ.
Korean BQ.
Korean BQ.
Korean BQ.
AT1AT1AT1
AT1 IRL 기록 양식
aa1aa1
aa1aa1 생년월일 년, 월, 일
순서 변경 IRL에 포함되지 않음
제 절 가중치 부여 2
조사에서는 표집 자료의 결과를 모집단에 일반화하여 적용할 수 있 ALL
도록 가중치를 부여한다 가중치는 종류가 구해지는데 표본 설계 가중치. 4 , , 무응답 교정 가중치 벤치마크 가중치 잭나이프 가중치이다 이 중에서 조, , . 사 추정치의 표준오차를 계산하기 위한 잭나이프 가중치는ETS에서 맡는다.