국제성인역량조사, 조사플랫폼 개발 등 현장조사 준비 진행
◇ OECD는 최근 국제성인역량조사 참가국 이사회를 개최하고 2018년까지 분야별 문항 개발 후 2019년 현재 문항 번역 및 조사플랫폼 개발 등 현장조사 준비 중이며 2020년 현장조사 시행 및 결과분석 후 2021~2022년 본조사 예정임을 설명
◇ 이번 2주기 조사는 언어능력, 수리력, 문제해결력 외 선택영 역으로 사회적 정서적 역량 분야를 새로 포함하고 고용주 조 사 모듈도 추가 시행하기로 함
◇ 조사방식은 테블릿을 사용하므로 모드 효과를 우려할 수 있 으나, 문항제시와 반응방식이 동일하고 문항이 요구하는 인 지적 부담이 동일하게 유지될 수 있도록 정교하고 종합적 문 항개발 프레임을 적용하면서 현장조사를 통해 모드효과가 발 생하는 문항은 걸러낼 예정
◇ 고용주 조사는 비용부담을 낮추면서도 국제비교 가능한 데이 터를 얻을 수 있는 방안에 대해 참가국과 계속 협의할 예정
※ 출처: 제22차 OECD 국제성인역량조사 참가국 이사회(’19.4.8.)
□ 2주기 국제성인역량조사(PIAAC) 주요 경과 및 일정
◦ 모든 참가국이 인지 영역 전체(언어, 수리, 문제해결력)를 측정하 고, 거의 모든 국가(2개국 제외)가 사회적 정서적 역량 분야 선택 ◦ 배경설문 및 직접 평가문항은 번역 및 국가별 적응, 조사플랫폼
완성 등 2019년 10~11월 경 현장조사를 위한 준비 완료
◦ 사무국은 모든 참가국이 일정을 준수하고 기술 기준을 충족하는 것의 중요성을 강조
◦ 1주기 조사 3라운드 보고서(2019.11.5.)는 헝가리 페루 멕시코 카 자흐스탄 등이 추가로 포함되어 분석됨. 그 밖의 성인학습 관련 테마보고서(5월 예정), 로그파일 분석보고서(4.18) 등 발간 일정을 공유함
□ 모드 효과(Mode Effect)
◦ 테블릿 테스트가 다른 디지털 장치에서 수행 한 것과 동일한 평 가 결과를 가져온다는 것을 확인한 최신 연구결과 확인
- 도구의 동등비교가능성을 높이기 위해 인지적 부담 뿐만 아니라 다양한 요인들에 대해 검토, 디지털 기기 사용시 지문이 다르거 나, 상호작용의 양 차이 등 순수한 디바이스의 차이라고 보기 어 려운 요인들의 작용을 확인
- 조사도구의 동등비교가능성을 위해서는 매우 정교하게 정의된 종 합적인 문항개발 프레임 필요. 모드가 다르더라도 구인(construct) 을 명료하게 하고 명료한 구인에 적합하게 개발한 문항, 문항 제 시가 동일하고 반응 방식도 동일하도록 해야 함. 난이도 차이가 발생되는 문제가 있는 문항은 현장조사 과정을 통해 걸러낼 필요 ◦ 현장조사 과정을 통해서 컴퓨터와 태블릿, 지필조사와 여타 조사
방식과의 일관성에 대한 증거를 찾을 수 있음
◦ 참가국들은 문항을 전달하는 방식과 문항 간의 상호작용에 대해 테블릿 사용이 어려운 특정 집단 (고령자, 저소득층)에 초점을 맞 춰서 현장조사 결과 분석할 필요가 있다는 입장
- 또한, 태블릿 사용에 어려움이 있을 때 면담자가 개입하는 것에 대한 기준을 명료히 할 것을 요구
□ PIAAC 참가국 이사회 의사결정 원칙
◦ OECD의 의사 결정은 기본적으로 ‘합의 (consensus)'를 원칙으로 하며, 합의는 ‘상호 합의’또는 ‘제안에 대한 회원의 반대 의 견 없음’으로 정의되는 바,‘만장일치’와는 다름
◦ 다만, 다음의 사안은 2/3 합의에 의해 결정 가능 - 주요 예산 영향이 없는 프로젝트 설계 및 구조 - 연구 및 개발, 보고서 결과 보고 및 보급
◦ 합의에 의해서만 결정될 수 있는 사안 - 참가국 이사회 운영
- 분담금 규모 및 배분
- 주요 예산 관련 사항을 포함하는 프로젝트 설계 및 구조 - 향후 PIAAC 조사의 주기
- 비회원의 PIAAC 및 BPC 참여
□ 고용주 조사
◦ (필요성) 스킬 미스매치 측정 및 스킬 수요 예측에 중요하며, 국 가별 기존 고용주 설문 조사를 하고 있으나 스킬 갭과 관련된 주 요 정보를 체계적으로 수집하지 못하고, 가구 조사와 연결되지도 못하며, 국제적인 비교가 가능하지 않은 상황
- 사무국은 PIAAC 가구 조사와 연계되는 고용주조사 제안
◦ (조사방법 및 내용) 비용 부담과 응답 부담을 줄이기 위해 기존 고용주조사*에 모듈을 추가하는 방법을 제안
* 예시: European Company survey, Continuing VT Survey, CEDEFOP pilot, Singapore Employer survey, UK Employer Skills Survey
- 고용주의 스킬 갭과 인적자원 개발에 관한 정보를 추가하여 기존 조사의 가치를 향상시킬 수 있고 관련 핵심 문항만 선택하거나, 더 많은 문항을 포함할 수 있음
- 스킬 갭 관련 핵심 문항, 기업주의 그에 대한 대응 전략
- 국가별 상황에 맞는 문항 추가 가능 : HR management, 훈련 제공, 작업장 변화, 채용 등
- 주요한 질문으로 기존 고용주 조사 포함 내용 : 근로자 수, 산업, 지역, 연령, 성장률
◦ (PIAAC과의 연결) 동일한 개념 사용, 상호 보완적 정보, 사업주
규모와 산업을 매개변인으로 사용하여 연계, 교육 및 스킬 온라 인 설문을 통한 직접 연결(이태리, 파일럿 실행 중)
◦ (추가 논의 필요) 샘플 크기와 방법, 최소 요구 조건 명료화 필요 성. 이태리 예비조사 결과 공유 후 추가 논의, 추가 예산부담 규 모 추정, 표집 방법 차이가 있는 국가간 비교 가능성, 비유럽권 국가의 적절한 조사 선택을 위한 논의 등에 대해 질문하였으며, 사무국은 계속해서 국가 및 Eurostat과 협의하겠다고 답변
□ 데이터 보호
◦ (데이터 보호 계획) 데이터 다운로드 시 데이터를 타 자료와 연결 하거나 개인을 확인하려는 시도 불허 등 조건을 제시하여 사용자 책임을 환기하고 개인정보 보호법을 준수하면서 데이터 수집 및 처리를 보장하기 위한 조치를 2019년 말까지 마련
- 공공이용파일(Public Use Files) 외 국가별로 수집한 정보나 민감 한 데이터에 대한 판단은 국가별 적법 절차를 따름
- 보관기간의 경우, 공공이용파일은 정해진 기간이 없이 보관 가 능한, 국가별로 조사과정 상 수집한 정보는 3년 동안만 보관(오 류를 확인하고 수정하기 위한 목적으로만 일정 기간 동안 보관) - 현장조사 전 관련 법에 따른 적합한 절차를 밟는 것이 중요
- 참가국은 PIAAC 공개파일 및 과학적 사용 파일의 접근에 관한 문서를 작성하도록 사무국에 요청
◦ (참가국 의견수렴 강조) PIAAC 응답자를 위한 브로셔 초안에 대 해 참가국 의견 수렴 필요. PIAAC 계약 당사자에게 데이터 양도 및 이전하는 것과 관련해서 많은 이슈 예상, 유럽 집행위원회 표 준 조항에 따를 가능성도 있음. 데이터 보호와 관련된 ETS와의 계약 사항을 참여국에 회람하도록 요구
□ 기타
◦ (로그파일 분석) 테스트 플렛폼과 응답자간의 상호작용이 담겨있 는 파일로 분석이 어려우나, 응답자의 수행행동, 인지적 전략과
비인지적 행동 관찰 가능
- 특정 문항이 왜 잘 작동하지 않는지 이유를 알 수도 있음
- 특정 문항에 한정된 정보로 수행 과정 상의 모든 정보를 담고 있지는 않음(예컨대, 커피를 마시거나 손님이 오거나..)
- 아직은 시작단계로 로그 파일 정보를 적극적으로 활용하기 위해 문항 개발 단계에서부터 준비할 필요
◦ (차기 회의) 2020년 1월 27-28일, 로마
