기본연구 02- 11
A Re s e arch on the N ational Qualific ation A s surance S y s tem for Eng ineers and Craft s men
기술・기능계 자격의 질 관리
방안 연구
기본연구 02- 11
A Re s e arch on the N ational Qualific ation A s surance S y s tem for Eng ineers and Craft s men
기술・기능계 자격의 질 관리 방안 연구
연구책임자: 신명훈 연 구 자: 박종성
머 리 말
1973년 국가기술자격법의 제정 이래로 현재에 이르기까지 700만여 명 이 상이 국가기술자격을 취득하였다. 국가기술자격제도는 국가가 검정을 통해 개인의 지식과 기술을 측정하고, 개인의 능력을 공인해 줌으로써 자격증 소 지자들이 사회에서 우대 받을 수 있도록 하여, 지속적으로 개인의 성장을 도 모하는 것은 물론, 국가 산업 발전에도 기여하는 것이다.
특히, 국가기술자격 종목의 대부분을 차지하고 있는 기술・기능계 자격종 목은 산업사회에서 반드시 필요로 하는 기술・기능에 관한 것이며, 일부 종 목은 국민의 생명과 재산을 보호하는 공공성이 높은 것으로, 그 가치는 매우 중요하다. 또한, 기술・산업의 급속한 변화에 따라 학력에 비해 자격에 대한 의존도가 더욱 높아질 것을 고려한다면 자격에 대한 요구가 증대될 것으로 보인다.
그러나 기술・기능계 국가기술자격의 이 같은 중요성과 양적 성장에도 불 구하고, 산업계 현장에서 국가기술자격에 대한 신뢰는 만족스럽지 못한 실정 이다. 국가기술자격의 효용 및 활용을 높이고, 국가기술자격을 소지한 기 술・기능 인력이 사회에서 적절한 대우를 받으며 자긍심을 가지고 일할 수 있기 위해서는 국가기술자격의 양적 성장과 더불어 질적 성장이 제고되어야 하기 때문이다.
이러한 필요성을 바탕으로 본 연구는 기술・기능계 국가기술자격의 문제 점을 분석하고, 기술・기능계 국가기술자격의 질 관리 방안을 제시하기 위해 수행되었다. 이를 위해, 본 연구는 자격의 질을 결정하는 요인들을 밝혀내고 각 요인에 따라 기술・기능계 국가기술자격의 현황을 파악하였으며, 여기서 드러나는 문제점을 분석했다. 또한, 우리보다 앞서 자격의 질 관리에 대한 관점을 가지고 자격제도를 운영하고 있는 외국의 사례를 검토하였다. 이러한 종합적이고 다각적인 접근으로 이 연구에서는 기술・기능계 국가기술자격의 질 관리 방안을 제시하였다.
본 연구는 기술・기능계 국가기술자격의 질적 측면의 향상을 위해 질 관
리라는 틀에 의해 국가기술자격의 개선에 대한 총제적이고 거시적인 관점을 제공하고자 하였다. 본 연구가 향후 국가기술자격제도의 개선 대책 마련에 기여하여, 기술・기능계 국가기술자격에 대한 신뢰가 향상되고 활용성이 증 대되기를 기대한다.
2002년 7월
【 연구 요약 】
이 연구는 기술・기능 분야 인적자원을 선도할 수 있는 기술・기능계 자 격에 대한 질 관리 현황을 파악해 보고, 개선 방안을 탐색하는 데 목적이 있 다. 이 연구의 목적을 달성하기 위해 기술・기능계 자격의 질 관리 방법을 탐색하였으며, 기술계 자격의 질 관리 현황과 문제점, 기술・기능계 자격의 질 관리에 대한 요구 분석, 외국의 질 관리 방법 등을 분석하였다. 이를 바 탕으로 기술・기능계 자격 내용에 대한 질 관리 방법과 자격 운영에 대한 질 관리 방법, 기술・기능계 자격종목에 대한 사후관리 방안을 제시하였다.
연구 방법으로 관련 자료의 수집 및 분석, 자격 취득자 및 산업체 인사 담당 자(관리자)를 대상으로 한 설문조사, 기술・기능 분야 전문가 협의회 개최, 기술・기능 분야 산업현장 전문가 및 자격 취득자의 의견수렴을 위한 면담 조사 등이 실시되었다. 이 연구를 통하여 기술・기능계 자격의 질 관리 개선 방안을 제시하면 다음과 같다.
□ 자격 내용에 대한 질 관리 방법 검정의 타당도
첫째, 검정내용을 개선하기 위해서는 시험과목과 출제 기준이 개선되어야 할 것이다. 이는 각 자격종목마다 산업체 전문가를 중심으로 한 직무분석 작 업을 통해 직무를 기술하고, 그에 따른 시험과목과 출제 기준이 재정비되어 야 한다.
둘째, 자격 시험 내용은 반드시 적정 자격 등급에 맞는 문제로 난이도 조 절이 이루어진 가운데 출제되어야 한다. 그러나 검정횟수별로 나타나고 있는 난이도 차이는 자격 검정의 공신력을 떨어뜨릴 수 있다. 이러한 문제를 근본 적으로 해결하기 위해서는 문제의 검증 단계를 강화하고, 문제의 영역, 난이 도 등을 충분히 고려하여 출제 문제를 선별하여야 할 것이다.
현재의 공단에서 출제 기준 검토시 고려하고 있는 문항 형태(기초, 응용,
계산)와 난이도(상, 중, 하) 구분 이외에 현장 활용도(상, 중, 하), 중요도(상, 중, 하), 문항(구조 형태)의 적합성(상, 중, 하) 등을 고려하여 출제문제를 보 다 더 세밀하게 검토・관리하면 난이도의 일관성이 유지될 수 있으며, 자격 의 질을 보다 더 효율적으로 관리할 수 있을 것이다.
셋째, 문제은행에 대한 관리가 철저하게 이루어져야 한다. 기사, 산업기사, 기능사 문제은행 관리에 있어서 중요한 것은 질 좋은 문제, 난이도 적절성, 최신성, 현장 부합성 등을 확보하는 것이며, 기술의 발전 속도, 종목별 검정 빈도, 산업계의 요구를 고려하여 일정한 주기로 문제를 검토하는 것이 중요 하다.
넷째, 문항 개발에 대한 전문성, 공정성 및 신뢰성을 확보하고 변별력이 높은 시험 문항을 개발하여야 한다. 각 자격종목 및 등급에 맞는 적절한 문 항을 개발하기 위하여서는 책임감을 가지고 일관성 있는 문항 개발 작업을 수행할 수 있도록 해야 한다.
다섯째, 검정 방법의 개선이 필요하다. 모든 자격종목에서 현장에서 요구 하는 수준으로 실기시험을 작업형으로 실시하기는 어렵지만, 각 자격종목의 특성에 따라 작업형 시험과 모의시험을 적절히 선택하여 실시하는 방안이 필요하다.
또한, 검정 방법에 있어서 CBT 검정 등 컴퓨터를 이용한 검정 방법 도입 도 필요하며, 작업형 검정을 실시하기 불가능한 항공기술 관련 자격종목과 고도로 위험하거나 거대 시설이 필요한 종목은 시뮬레이션 검정 방법 등이 실시되어야 할 것이다.
자격의 신뢰도
첫째, 자격종목에 대한 직무분석 작업을 반드시 실시해야 한다. 자격종목 에 대한 산업현장의 요구 반영은 노동시장에서의 활용성을 강화하는 중요한 부분이다. 따라서 출제 기준 마련시에 산업현장의 요구를 분석하여야 한다.
자격 취득자들을 대상으로 한 설문 조사 결과, 직무분석을 통한 산업현장 성 강화 방안이 79.1%로 제시되고 있어 자격종목에 있어서 직무분석 작업은 자격의 신뢰도 향상에 있어서도 중요한 요소로서 인식되고 있음을 알 수 있 다.
둘째, 자격에 대한 질 관리가 체계적으로 이루어지기 위해서는 국가적인 차원에서 표준직무능력이 설정되어야 한다. 표준직무능력은 자격의 출제 기 준뿐만 아니라, 훈련 기준, 교육과정 등에 모두 반영할 수 있는 기준으로서 역할을 할 것이다.
영국, 미국 등 선진 외국은 출제 기준, 교육과정, 훈련 기준 등이 산업현장 의 요구를 수렴하여 제정되도록 함으로써 이들 과정 이수자나 자격증 취득 자의 직무수행능력이 산업현장의 요구에 부응하도록 하고 있다.
□ 자격운영 및 제도에 대한 질 관리
첫째, 기술・기능계 자격종목에 대한 검정 운영・관리 및 절차에 있어서 자격검정에 대한 공신력 확보는 자격의 질 관리에 있어서 중요한 요소이다.
따라서 자격 검정을 실시하는 데 있어서 요구되는 절차, 조직, 인력, 예산, 검정 시설, 장비 등이 충족되어야 한다.
둘째, 기술・기능계 국가기술자격 중 산업현장에서의 전문성이 보다 많이 요구되는 일부 자격종목은 업종별 또는 산업별 전문 단체를 참여시키도록 위탁을 검토하는 것이 필요하다.
셋째, 자격에 대한 신뢰를 높일 수 있도록 자격제도 운영에 있어서 노ㆍ사 ㆍ정 협의기구를 구축해야 한다.
□ 기술・기능계 자격종목에 대한 사후관리 방안
첫째, 자격 소지자가 해당 직업 영역에서의 기대하는 일정 능력을 유지하 기 위해서는 지식과 기술을 지속적으로 습득할 수 있는 사후관리 체제가 필 요하다. 따라서, 자격 소지자의 질 유지 차원에서 보수교육을 실시해야 하며, 이를 통하여 기술의 빠른 기술 변화에 능동적으로 대처해 나갈 수 있을 것 이다.
둘째, 자격종목을 신설할 때 자격종목별 적정 유효기간을 미리 설정하여야 한다. 산업현장에서는 직업의 소멸 또는 직무의 변화가 심하고 기술의 발전 속도가 빠르기 때문에, 자격제도가 이러한 변화와 발전에 부응하기 위해서는 자격종목에 대한 주기적인 검토가 필요할 것이다.
차 례
Ⅰ. 서론 1
1. 연구의 필요성 및 목적 1
2. 연구 내용 및 방법 3
3. 용어의 정의 8
4. 연구의 제한점 9
Ⅱ. 기술・기능계 자격의 질 관리 방법 탐색 11
1. 질 관리 개념 11
2. 자격의 질 관리 방법 13
Ⅲ. 기술・기능계 자격의 질 관리 현황 및 문제점 27
1. 기술・기능계 자격 질 관리 체계 27
2. 기술・기능계 자격 운영 현황 및 문제점 47
3. 기술・기능계 자격종목 문제 분석 58
Ⅳ. 기술・기능계 자격의 질 관리에 대한 요구 분석 85
1. 자격의 효용성과 호환성 85
2. 검정의 타당성 및 신뢰성 92
3. 사후관리의 필요성 102
Ⅴ. 외국의 자격 질 관리 방법 107
1. 영국 107
2. 미국 109
3. 독일 112
4. 프랑스 114
5. 일본 116
6. 시사점 118
Ⅵ. 기술・기능계 자격의 질 제고 방안 121
1. 자격 내용에 대한 질 관리 방안 121
2. 자격 운영 및 제도에 대한 질 관리 방안 127
3. 자격종목에 대한 사후관리 방안 130
Ⅶ. 요약 및 결론 135
1. 요약 135
2. 결론 136
참고문헌 141
Ab stract
143부 록 149
표 차 례
< 표 I-1> 자격 소지자 대상 설문 조사 내용 6
< 표 I-2 > 기업체 인사 담당자 및 관리자 대상 설문 조사 내용 7
<표 II-1> 상관계수의 언어적 해석 19
<표 II-2> 문항 분석 변인별 문항 양호도 21
<표 II-3> 문항 난이도와 변별도와의 관계 24
<표 Ⅲ-1> 직무 분야별・등급별 현황 28
<표 Ⅲ-2> 기사 등급 검정 기준 변천 29
<표 Ⅲ-3> 산업기사 등급 검정 기준 변천 29
<표 Ⅲ-4> 기능사 등급 검정 기준 변천 30
<표 Ⅲ-5> 필기시험 검정과목 및 출제 기준(예시) 31
<표 Ⅲ-6> 실기시험 검정과목 및 출제 기준(예시) 32
<표 Ⅲ-7> 품질관리기사 검정과목 변천 33
<표 Ⅲ-8> 정보처리산업기사 검정종목 변천 34
<표 Ⅲ-9> 정보기기운용기능사 검정과목 변천 35
<표 Ⅲ-10> 자격 등급별 검정 방법 36
<표 Ⅲ-11> 기사 검정 방법 변천 38
<표 Ⅲ-12> 산업기사 검정 방법 변천 38
<표 Ⅲ-13> 기능사 검정 방법 변천 38
<표 Ⅲ-14> 자격 검정 운영기관의 변천 39
<표 Ⅲ-15> 환경관리인 재교육 교육과정 46
<표 Ⅲ-16> 국가기술자격 직무조사 실적 48
<표 Ⅲ-17> 출제 외부 전문가 활용 현황 50
<표 Ⅲ-18> 국가기술자격 검정 시험문제 보유 현황 50
<표 Ⅲ-19> 사후 문항 분석 현황 51
<표 Ⅳ-1> 자격 취득의 동기 86
<표 Ⅳ-2> 자격의 직무 내용 파악 정도 비교 86
<표 Ⅳ-3> 자격종목과 수행직무의 일치 정도에 대한 인식 비교 87
<표 Ⅳ-4> 인사고과에 고려 정도에 대한 인식 비교 88
<표 Ⅳ-5> 직무의 전환 배치시 자격 소지 고려 정도에 대한 인식 비교 89
<표 Ⅳ-6> 기업의 국가기술자격에 대한 요구 89
<표 Ⅳ-7> 관련 분야 취업시 자격증의 역할 89
<표 Ⅳ-8> 인접 종목 배치시 적응 정도 90
<표 Ⅳ-9> 자격 소지자들의 기술 변화 대응 수준 90
<표 Ⅳ-10> 국가기술자격에 대한 만족도 91
<표 Ⅳ-11> 자격 소지자의 직무수행능력 91
<표 Ⅳ-12> 자격 소지자와 미소지자간 직무수행능력의 차이 92
<표 Ⅳ-13> 유사 분야 자격 소지자간 직무수행능력의 차이 정도 92
<표 Ⅳ-14> 필기(1차)시험 내용과 현장 업무의 관련 정도 93
<표 Ⅳ-15> 실기(2차)시험 내용과 현장 업무의 관련 정도 93
<표 Ⅳ-16> 필기(1차)문항 난이도의 적절성 94
<표 Ⅳ-17> 실기(2차)문항 난이도의 적절성 94
<표 Ⅳ-18> 실기시험 소요시간의 적절성 94
<표 Ⅳ-19> 실기 검정 장소 및 장비 조건이 자격 취득에 미치는 영향 95
<표 Ⅳ-20> 기사와 산업기사의 난이도 차이 95
<표 Ⅳ-21> 최종 합격까지의 응시 횟수 96
<표 Ⅳ-22> 회차별 필기 검정 난이도의 일관성 96
<표 Ⅳ-23> 회차별 실기 검정 난이도의 일관성 97
<표 Ⅳ-24> 국가기술자격제도 운영의 문제점 97
<표 Ⅳ-25> 필기시험의 신뢰도 향상 방안 98
<표 Ⅳ-26> 실기시험의 신뢰도 향상 방안 98
<표 Ⅳ-27> 필기・실기 검정 내용 개선 99
<표 Ⅳ-28> 필기・실기 검정 방법의 다양화 99
<표 Ⅳ-29> 필기・실기 검정에 있어서 난이도 관리 100
<표 Ⅳ-30> 기술 변화 수용을 위한 주기적 직무분석 작업 실시 100
<표 Ⅳ-31> 자격 관리위원의 전문화 101
<표 Ⅳ-32> 현장에 적합한 문제은행 문항의 충분한 확보 101
<표 Ⅳ-33> 필기・실기 검정의 시설 및 장비 개선 102
<표 Ⅳ-34> 자격의 신뢰도 향상을 위한 개선 요구사항 102
<표 Ⅳ-35> 자격 취득자에 대한 사후관리 103
<표 Ⅳ-36> 보수교육의 필요성 103
<표 Ⅳ-37> 가장필요한 보수교육 내용 104
<표 Ⅳ-38> 바람직한 보수교육 방법 104
<표 Ⅳ-39> 보수교육의 강의 형태 105
<표 Ⅳ-40> 보수교육의 적정 소요시간 105
<표 Ⅳ-41> 자격종목에 대한 유효기간 설정 106
<표 Ⅴ -1> 외국의 자격의 질 관리 특성 119
그 림 차 례
[그림 I-1] 연구 내용 및 연구 절차 5
[그림 II-1] 자격의 질 관리 범위 13
[그림 Ⅲ-1] 한국산업인력공단 조직도 40
[그림 Ⅲ-2] 국가기술자격제도의 운영 체계도 41
[그림 Ⅲ-3] 검정 집행의 흐름도 42
[그림 Ⅲ-4] 국가기술자격 문제은행 출제 업무 흐름도 43
[그림 Ⅲ-5] 기사 자격종목의 합격률 변화 52
[그림 Ⅲ-6] 산업기사 자격종목의 합격률 변화 53 [그림 Ⅲ-7] 기능사 자격종목의 합격률 변화 53
[그림 Ⅲ-8] 자격종목 분석 개념도 59
[그림 Ⅴ-1] 영국의 자격제도 운영 조직 109
Ⅰ. 서론
1. 연구의 필요성 및 목적
우리나라의 국가기술자격은 1973년 국가기술자격법에 의거하여 출발한 후 2001년 말 현재 26개 직무 분야에서 590개 종목이 설치・운영되고 있다. 이 가운데 한국산업인력공단이 570개 종목을, 대한상공회의소가 20개 종목을 관 리・운영하고 있다(한국산업인력공단, 2001). 국가기술자격법의 제정 이래로 지금까지 약 700백만 명 이상이 국가기술자격을 취득하였다(한국산업인력공 단, 2002). 그러나 이 같은 양적인 성장에 상응하는 질적인 성장은 아직 검증 된 적이 없다.
국가기술자격의 질을 관리해야 하는 필요성이 대두되고 있는 배경으로, 국 제간 활발한 교류 및 경쟁 격화를 들 수 있다. 각국의 경제는 국제 사회 전 체의 영향하에 있으며, 국가간 물자의 교역은 물론 정보의 교환이 일상적으 로 이루어지는 가운데 근로자의 이동 등이 국제적으로 확대되어 가고 있다.
또한, 국제 경쟁의 격화로 경쟁력 차별화의 문제는 국가간・기업간・개인간 에 피할 수 없는 추세이다(K. Schwab, 1996). 따라서, 이러한 환경에서 자격 종목의 양적 팽창만으로는 경쟁에 있어서 유리한 고지를 차지할 수 없어, 자 격종목의 질 관리가 중대한 문제로 부각되고 있는 것이다. 이미 선진국에서 는 자격의 질 관리를 자격제도 운영의 핵심과제로 인식하고, 자격의 질 관리 를 통한 자격의 신뢰도 향상에 노력하고 있다.
국가기술자격의 질 관리가 중대한 국가의 책무가 되는 또 다른 배경은 직 업세계의 변화와 관련된 것이다. 새로운 전문분야가 발생하고, 직업의 전문 화가 지속되며, 직무와 조직이 급속히 변하면서 직업생애는 계속 연장되는 것이 일반적인 경향이다. 이와 같은 직업세계의 특성은 종래의 졸업장이 개 인의 직업수행능력을 가늠하게 하는 기재로서 그 효력을 충분히 발휘할 수 있는지 확인하기 어렵다.
이처럼 학교 졸업장이나 학위가 개인이 소유한 직업수행능력을 구체적으 로 나타내지 못하고 산업사회에서 발생하는 요구를 신속하게 반영할 수 없 는 한계를 드러내는 상황에서, 자격의 질 관리 문제는 더욱 중요성을 갖게 된다.
자격의 질 관리는 기업체에서 보다 절실히 요구되고 있다. 정보기술이 널 리 파급됨으로써 작업 방법이 급속히 변화하기 때문에 기업은 필요한 능력 을 신속하게 공급받기를 요구하고 있다. 기업주들은 필요한 인력을 선발하는 과정에서 신뢰할 만한 자료를 요구하고 있으며, 이를 객관적으로 입증할 수 있는 수단의 하나로서 자격을 활용하고 있다.
자격을 믿고 기업이 필요로 하는 인력을 충원할 수 있게 되면, 기업에서는 필요한 능력을 갖춘 사람을 선발하기 때문에 직업현장 적응훈련기간이나 내 용이 최소화되어 훈련비용 등을 절약할 수 있다(배진한, 2001: 120-124).
또한, 자격의 역할은 국가 차원, 기업 차원에서 그 역할이 증대되고 있다.
자격이 그 증대된 역할을 제대로 할 수 있기 위해서는 자격의 질을 신뢰할 수 있어야 한다. 개별 자격종목의 신뢰성이 보장될 때, 자격의 효용을 발휘 할 수 있기 때문이다. 특히, 자격종목에 대한 신뢰도 향상은 바로 해당 자격 종목별로 기업주의 인식을 높이는 데 있어서 필요성과 중요성이 더욱 더 강 조되고 있다(신명훈, 2001a: 95-119).
그러나 자격의 질 관리 필요성과 중요성이 높아진 데 비해, 우리나라의 자 격 검정제도는 여전히 개인의 학습능력 평가의 기본 틀을 벗어나지 못하고 있는 실정이다. 지금까지 국가기술자격 검정은 훈련 단계에서의 학습 성과를 측정하고, 동일 학습 집단 구성원의 성취도를 비교하여 개인차를 구별하거 나, 진급을 위한 최저능력 판정, 유사 수준의 학습 및 훈련과정으로의 편입 을 목적으로 하는 개인능력 평가 방법으로서의 역할에 치중해 왔다. 따라서, 자격 검정이 산업사회의 구조 변화와 기술 발전에 따른 개인의 직무수행능 력의 정확한 평가에 대한 절실한 요구에 부응하지 못하고 있는 것이다.
우리나라의 국가자격을 산업현장에서 신뢰하고 활용할 수 있기 위해서는, 자격 검정에서 자격 소지자가 갖고 있는 직무수행과 관련된 능력을 정확히 측정해 내는 것이 선결되어야 할 과제이다.
또한, 검정의 타당성 부족은 자격 수준간 구분을 모호하게 만들어 자격의 신뢰도를 저하시킬 우려가 있으므로 현재 지필 검사, 단편적 실기능력 검정 등에 의존하고 있는 평가 방법을 개선하고, 자격 취득자에 대한 사후관리 방 안을 탐색해야 한다. 요컨대, 국가기술・기능계 자격에 대해 입체적이고 신 뢰성 있는 평가 방안 등의 마련이 절실히 요구되고 있다.
또한, 자격의 효용성과 신뢰성 확보를 위해, 자격 발급의 전 과정에 걸쳐 자격의 질을 결정하는 요인들이 있음을 인식하고, 이에 대한 총체적인 질 관 리의 문제를 조망해 보는 것도 시급한 일이다.
위에 제시한 연구의 필요성에 대한 인식을 바탕으로 본 연구는 우리나라 자격의 중추적 기능을 담당하고 있는 국가기술자격을 대상으로 하였으며, 그 중에서 비교적 오랜 동안 시행해 검정 실적이 풍부하면서 가장 많은 종목을 점유하고 있는 기술・기능계 자격에 대한 질 관리 현황을 파악해 보고, 개선 방안을 탐색하는 데 목적을 두었다.
연구 목적을 달성하기 위해 다음과 같이 구체적인 하위 연구목표를 설정 하였다.
첫째, 기술・기능계 자격의 운영 실태를 종합적으로 분석하여 자격의 질 관리 제고 방안을 탐색한다.
둘째, 기술・기능계 국가기술자격 관련 정책 수립에 필요한 방향을 제시한 다.
셋째, 기술・기능계 자격 취득자의 질 관리 제고를 위하여 사후관리 방안 을 탐색한다.
2. 연구 내용 및 방법 가. 연구 내용
1) 기술・기능계 자격의 질 관리의 방법 탐색
자격의 질 관리 개념을 탐색하고, 자격의 질 관리 방법으로 직무분석, 자
격 검정의 타당도와 신뢰도, 문항 분석 등의 핵심 요건들을 탐색하였다.
2) 기술・기능계 자격의 질 관리 현황과 문제점
기술・기능계 자격의 질 관리 현황을 자격 내용과 자격 운영으로 구분하 여 살펴보았다. 또한, 기술・기능 분야계 자격의 질 관리 현황에서 드러나는 문제점을 분석하였고, 일부 자격종목에 대한 시험과목, 출제 기준, 출제문제 등을 분석하였다.
3) 기술・기능계 자격의 질 관리에 대한 요구 분석
자격 소지자와 기업체 인사 담당자를 대상으로 자격의 효용성과 호환성, 자격의 타당성, 자격의 신뢰도, 사후관리의 필요성 등을 설문하고, 시사점을 도출하였다.
4) 선진국의 자격 질 관리 실태
선진국의 사례로서 영국, 미국, 독일, 프랑스, 일본의 실태를 자격 내용의 질 관리와 자격 운영의 질 관리 관점에서 파악하고, 우리나라 국가기술자격 의 질 관리 방안으로 적용 가능한 방안들을 탐색하였다.
5) 기술・기능계 자격의 질 제고 방안
기술・기능계 국가기술자격의 질 제고 방안을 자격 내용에 대한 질 관리 방법과 자격 운영 및 제도에 대한 질 관리, 사후관리 방안으로 구분하여 제 시하였다.
본 연구의 연구 절차를 간략히 도식화하면 아래의 [그림 I-1]과 같다.
[그림 I-1] 연구 내용 및 연구 절차
나. 연구 방법
위의 연구 내용에 따라 다음과 같은 연구 방법을 적용하였다.
1) 관련 문헌 및 자료 분석
국내외의 관련 연구물, 단행본을 검토함으로써 자격의 질과 자격의 질 관 리 개념을 정리하였다.
자격의 질 관리 현황을 파악하기 위해, 자격 관련법, 노동부, 한국산업인력 공단, 대한 상공회의소 등에서 발간한 자격의 질 관리 관련 통계 분석 자료,
자격 검정통계연보, 자격 검정 관련 안내서 및 지침서, 직무분석 실적에 관 한 자료, 자격 소지자 연수 및 보수교육 시행 기록 등의 자료를 분석하였다.
선진국에서 채택하고 있는 자격의 질 관리 방법에 관한 실태를 소개하는 각종 보고서 및 문헌들을 검토하였다.
자격 검정의 출제문제의 적절성(타당도, 난이도 등)을 알아보기 위해, 기 술・기능 분야의 종목 가운데 8개 종목의 기출문제에 대한 전문가의 분석 자료를 활용하였다.
2) 설문조사
자격 소지자, 기업의 인사 담당자 및 관리자를 대상으로 <표 I-1>, <표 I-2>의 내용을 조사하였다.
<표 I-1> 자격 소지자 대상 설문 조사 내용
조사영역 문항번호 조사 내용
Ⅰ. 자격 취득 동기 및 자격의 효용성, 호환성
1 2 3 4 5 6
자격 취득 동기
자격의 직무 내용 파악 정도 취득자격과 수행직무의 일치도 인접 종목 배치시 적응도 인사고과에의 반영 정도 전환 배치시 고려 정도
Ⅱ. 검정의 타당성
7 8 9 10 11 12 13
1차검정의 문항 난이도 2차검정의 문항 난이도 실기 시험 소요시간의 적절성 검정 내용과 현장업무의 관련성 실기 검정 장소 및 장비 여건의 영향 기사와 산업기사의 난이도 차이 검정 난이도의 일관성
Ⅲ. 신뢰도 제고 방안
14 15 16 17 18
자격제도 운영상의 문제점 필기시험의 신뢰도 향상 방안 실기시험의 신뢰도 향상 방안 질 관리에 있어 시급한 사안 자격의 경제성
Ⅳ. 일반 사항
A B C D E
최종학력 성별
자격 취득 당시 신분 소지 자격의 종목 및 등급 자격 관련 직무영역 종사 경력
<표 I-2> 기업체 인사 담당자 및 관리자 대상 설문 조사 내용
조사영역 문항번호 조사 내용
Ⅰ. 자격의 통용성, 활용성, 호환성
1 2 3 4 5 6 7 8 9
기업내 자격에 대한 요구 관련 분야 취업시 자격의 역할
채용, 임금, 수당, 승진 등에 반영 정도 전환 배치시 고려여부
자격종목과 현장업무의 일치도 자격 종목별 직무 내용 파악 정도 자격 인접 종목 배치시 적응도 자격 소지자의 기술 변화 대응 수준 자격에 대한 만족도
Ⅱ. 자격의 신뢰도
10 11 12 13
자격 소지자의 직무수행능력에 대한 만족도 자격 소지자, 미소지자간의 직무수행능력 차이 자격 소지자들간 직무수행능력 차이
신뢰도 향상을 위해 시급한 개선 사항
Ⅲ. 보수교육
14 15 16
보수교육의 필요성 정도 보수교육의 내용 보수교육의 방법
Ⅳ. 일반 사항
A B C
종사 업종 기업 규모
부서, 직위 및 직책
설문지는 자격의 질 관리와 관련하여 통용성, 경제성, 투명성, 공평성, 호 환성, 탄력성 등에 관한 응답자의 의견을 수렴하는 내용으로, 대상에 따라 다르게 구성하였다. 자격증 소지자에게는 주로 자격증의 취득 동기, 취득 난 이도, 취득 비용과 보수 교육의 필요성에 대한 인식, 보수교육의 방법, 보수 교육의 내용, 자격증 활용 실태 및 이에 대한 소지자의 만족도 등을 조사하 였으며, 기업체 인사 담당자를 대상으로 하는 설문에서는 자격의 필요성, 자 격증 효용성, 자격증 신뢰도 및 신뢰도 추이, 기업에서의 활용 실태 등을 조 사하였다.
자격증 소지자에게 500부, 기업체 인사 담당자 및 관리자에게 500부 등, 전체 1,000부의 설문지를 우편으로 배포하였으며, 설문조사 기간은 4월 17일 부터 5월 20일까지 약 1개월 동안 이루어졌다. 최종 회수 결과, 자격 소지자 대상 설문이 84부(회수율: 16.8%), 기업체 인사 담당자 및 관리자 대상 설문 이 72부(회수율: 14.4%)였다.
3) 면담조사
자격증 소지자 30명에게 분야별・등급별로 나누어 자격증 취득 경위와 활 용 효과 및 난이도의 적절성에 관한 면담 조사를 실시하였다.
기업주 및 인사 담당자 20명에게 현장에서 자격증의 효용성, 인사에 반영 하는 실태, 질 관리의 필요성과 방법, 사후관리의 필요성과 방법 등에 관한 견해를 조사하였다.
4) 전문가 협의회
교육・훈련기관으로서 대학 또는 기능대학의 교수진, 기업체의 관리자, 자 격 관련 기관의 종사 유경험자, 자격 관련 협회 소속의 종목 전문가로 구성 된 협의회를 3회 실시하였다. 협의회를 통해 자격의 질 관리 방안, 자격 검 정의 관리, 자격의 사후관리로서 보수교육에 관한 견해, 자격의 유효기간 설 정 및 자격증 일몰제에 대한 전문가들의 의견을 수렴하였다. 또한, 종목 전 문가에게 기출문제의 분석을 의뢰하였는데, 그 결과는 문항 관리의 실태를 검토하는 데 기초자료로 활용하였다. 또한, 기출문제 분석 후 기출문제 분석 의 타당도와 신뢰도 등을 확보하기 위해 분석 결과 내용 검토에 대한 전문 가 협의회를 실시하였다.
3. 용어의 정의 가. 질 관리
천부적인 성질, 태어날 때부터 가진 천성 또는 내용의 좋고 나쁨도 질이라 고 하며, 일반적으로 양에 대비되는 개념을 질(quality)의 개념으로 보고 있 다(http :/ / www .encyber.com).
질 관리 개념을 제품의 관점으로 보았을 때 질 관리는 품질 관리로 표현 될 수 있지만, 국가기술자격 검정에 있어서의 질 관리는 자격종목의 내용적 인 질 관리와 자격 운영 체제에 대한 질 관리로 구분될 수 있을 것이다.
질 관리는 질에 대한 계획을 수립하여 이를 달성하기 위한 활동의 전체 라고 표현할 수 있다. 자격 검정의 입장에서 보면, 직무분석 작업을 통하여 자격종목을 신설하여, 등급 및 검정 기준, 검정과목, 출제 기준, 검정 방법 등을 결정하고, 그에 따른 검정 운영을 공신력 있게 실시하고 합격자에 대한 자격의 등록 발급 이후의 사후관리 등의 전 과정을 질 관리의 범위에 포함 시킬 수 있으며, 자격 검정을 운영하기 위한 규정, 조직, 인력, 재정 등이 질 관리의 범위에 포함될 수 있을 것이다.
나. 기술・기능계 자격
기술・기능계 자격은 국가기술자격 중 기술・기능계 23개 직무 분야 550 개 자격종목을 포함하고 있으며, 기술사(97종목), 기능장(33종목), 기사(100종 목), 산업기사(130종목), 기능사(193종목)로 구분된다. 기술계 자격은 기술사와 기사, 산업기사 등급이 있고, 기능계는 기능장, 기능사 등급이 있다.
4. 연구의 제한점
본 연구의 제한점은 크게 연구 범위와 연구 준거에 관한 것이다.
첫째, 본 연구의 연구 범위는 국가기술자격 가운데 기술・기능계 분야에 한정하였다. 자격의 질 문제는 국가자격, 민간자격 모두 중대한 연구과제임 에 틀림없지만, 본 연구에서는 특별히 국가기술자격에 한정하여 검토하고자 하며, 기술・기능계 국가기술자격의 다섯 등급 가운데 많은 비중을 차지하고 있는 기사, 산업기사, 기능사 등급의 자격종목으로 한정하였다.
둘째, 질 관리의 준거 문제에 대한 체계화된 선행 이론을 찾을 수 없었기 때문에, 이에 지침이 되는 준거를 국가기술자격이 갖추어야 할 기본적인 요 건으로 보고 기술・기능계 자격의 내용적인 질 관리와 운영적인 질 관리 관 점에서 연구를 진행하였다.
Ⅱ. 기술・기능계 자격의 질 관리 방법 탐색
1. 질 관리 개념
일반적으로 양에 대비되는 개념을 질(quality)의 개념으로 보고 있다. 일 상언어에서 질 의 의미는 사물이 바탕에 있어서 훌륭하거나 우수하거나 만족스럽거나 한 정도 , 사물을 사물답게 만들고 있는 것, 즉, 천부적인 성 질, 태어날 때부터 가진 천성 또는 내용의 좋고 나쁨 을 나타내는 것이다 (http :/ / kr.encycl.yahoo.com).
일상적으로 막연하게 사용하던 질 개념을 보다 체계적으로 구축하고, 질의 중요성을 부각시키려는 노력은 품질 관리, 품질경영 등의 경영학 관련 이론 에서 먼저 도입되었다.
품질 관리(quality control)는 품질에 대한 논의의 출발점으로서 미국에서 등장하였다. 당시 품질 관리는 불량품의 납품을 억제하는 검사에 중점을 두 었으며, 품질(규격)의 현상 유지를 위한 통제에 치중하였다.
그러나 1950년대 미국으로부터 품질 관리 기법을 전수받은 일본은 생산자 스스로 품질의 현상 유지가 아닌 현상 타파, 즉, 개선을 위한 지속적 관리에 치중하여 품질 관리에 대한 관점을 전환시켰다(이순룡, 2002).
우리나라 산업계도 지난 40여 년 전부터 품질에 대한 질 관리에 관심을 가지고 있었다. 그 동안 제조・건설의 분야는 물론, 서비스 분야에서도 양적 성장에 이어 질적 향상을 기해 왔다. 최근에는 산업계뿐만 아니라 교육계, 정부, 군대, 병원, 비영리단체들에서도 총체적 질 관리(TQM) 개념을 새로운 경영 철학으로 도입하고 있다(http :/ / cab.soongsil.ac.kr).
질 관리 개념을 산업계 이외의 다양한 영역으로 확장하려는 노력은 선진 국에서 빠른 속도로 이루어지고 있다. 미국의 경우 국가품질상을 주최하고자 수년 전부터 교육 부문 품질상 제도를 신설하기 위해 1999년, 2000년 평가 기준을 발표하였고, 파일럿 테스트를 실시하였다(http :/ / cab.soongsil.ac.kr).
이러한 예는 국제표준화기구의 변화된 시각에서도 찾아볼 수 있다. 국제표 준화기구(ISO)의 품질경영시스템에 관한 규격 개정안(1999년 말 발표)을 살 펴보면, 종래의 산업계 중심의 국제 규격을 개정하여, 서비스와 비영리단체 까지 쉽게 적용할 수 있도록 규격을 확장하였다. 또한, 미국의 품질상 평가 기준이나 국제 규격을 보면 기업 , 공장 이란 단어 대신에 조직 이라는 보다 일반적인 명칭으로 통일되어 사용되고 있다.
이처럼 확산되고 있는 질 관리 개념은 국가기술자격 분야에도 적용할 수 있을 것이다. 제품의 관점으로 보았을 때 질 관리는 품질 관리로 표현될 수 있지만, 국가기술자격 검정에 있어서의 질 관리는 자격종목의 내용적인 질 관리와 자격 운영 체제에 대한 질 관리로 구분될 수 있을 것이다. 자격의 질 관리를 통하여 검정에 대한 불신 해소, 우수한 인력의 선발, 기업의 재교육 비 절감, 대외 경쟁력 강화, 국가기술자격에 대한 공신력 증대 등 다양한 효 과를 거둘 수 있다(엄경철 외, 1997).
자격 검정과정에서 보면, 직무분석 작업을 통하여 자격종목을 신설하여, 등급 및 검정 기준, 검정과목, 출제 기준, 검정 방법 등을 결정하고, 그에 따 른 검정 운영을 공신력 있게 실시하며, 합격자에 대한 자격의 등록 발급 이 후의 사후관리 등의 전 과정을 질 관리의 범위에 포함시킬 수 있다.
최근 질 개념 정의의 공통된 경향은 질을 일련의 프로세스, 즉, 처리하는 업무의 질과 그것을 기획・운영하고 있는 사람의 질까지도 포함하여 경영 활동에서 일어나는 모든 투입되는 자원(input)과 그것의 처리하는 과정 (process), 그리고 그 결과로 나타나는 결과물(output)의 질까지를 포함하는 영역으로 확대되고 있다는 점이다(박재홍, 1996). 따라서, 자격 검정을 운영하 기 위한 규정, 조직, 인력, 재정 등이 범위가 질 관리의 범위에 포함될 수 있 을 것이다.
[그림 II-1]은 이러한 질 관리에 대한 최근의 논의를 기술・기능계 국가기 술자격의 질 관리에 적용하여 그 범위를 개괄적으로 나타낸 것이다. 즉, 자 격의 질 관리 범위는 자격 내용의 질 관리 와 자격 운영의 질 관리 , 사후 관리 로 구분될 수 있다.
[그림 II-1] 자격의 질 관리 범위
자격의 질 관리 범위로서 위의 세 가지는 모두 그 중요성을 간과할 수 없 으나, 본 장에서는 자격 내용의 질 관리와 관련하여 직무분석, 검정의 타당 성 및 신뢰성, 문항 관리의 중요성 등에 관한 이론을 검토하였다.
2. 자격의 질 관리 방법 가. 직무분석
자격종목에 대한 직무분석은 자격종목의 설계, 자격 검정 실행, 자격종목 의 개선 및 폐지 등의 자격 관리 전 과정에서 자격종목에 대한 기초자료를 제공한다. 즉, 자격 검정에 있어서 직무분석은 자격의 질 규정을 위한 기초 가 되는 것은 물론이며, 자격 검정의 출제과목 및 기준을 설정하는 데 불가 결하고, 검정의 타당도를 향상시켜 현장직무와 자격 내용의 연관성을 높여준 다.
자격 발급기관들은 응시자가 특정 영역에서 요구되는 능력을 갖추고 있는 지를 증명해 주는 여러 형태의 표준화된 검사를 활용한다. 이러한 표준화된 검사가 의미 있는 지표가 되기 위해서는 검사가 직무 관련성 및 내용 타당 성에 근거하여야 한다.
자격 검정에서 응시자의 수행능력 정도를 문제 삼는 것은 검정이 직업능 력을 측정한다는 주장에 근거하고 있다. 이 주장의 핵심은 검사의 타당도이 다. 타당도는 검사 점수로부터 얻어지는 수검자의 능력에 대한 구체적인 추 정이 적절성, 유의미성, 유용성 을 갖느냐에 관련된 문제이다. 즉, 위 주장 은 이를 지지하는 근거를 축적함으로써 실제로 의미를 갖게 되는 것이다. 직 무분석이 해당 업무 영역에서 자격 검정의 내용을 직접 보여줌으로써 이 주 장은 타당성을 얻게 된다.
간단히 말해서, 직무분석은 직업에 대한 지극히 세밀한 기술(記述)이다. 하 나의 직업은 몇 개의 직무 영역으로 나뉘고, 각 직무는 또한, 업무로 세분화 되며, 더 나아가 업무는 지식이나 기술로 나눌 수 있다. 이러한 과정을 통해, 하나의 직업 전체가 완전히 기술될 수 있다.
직무분석이 내용 타당화에 접근하는 가장 일반적인 방법이지만, 다른 방법 이 적절하기도 하다. 예를 들어, 역할 기술 연구에서는 책무와 활동을 규정 하기 위해 전문가 위원회를 활용한다. 주 영역을 이루고 있는 세부 업무가 밝혀지면 검정의 내용을 구성할 수 있게 된다. 즉, 검정 내용은 직무에서 요 구되는 지식과 기술들로 정리되는 것이다. 직무분석을 통해, 외부 전문가(또 는 직업 전문가)는 각 단계의 활동들을 검토한다. 업무에 관한 최종 분석 결 과는 직업 수행에 가장 필수적이고 효율적인 과정들을 제시해 준다. 직무분 석은 지적인 내용보다는 기술을 직접 관찰할 때 유용하다. 그러나 때로는 자 격발급 프로그램이 응시자의 어떤 학문에 관한 지식이나 지식의 기초를 측 정하는 경우도 있다. 이런 경우에, 관련 전문가가 개념 및 이론을 포괄적인 원리로부터 구체적인 사실들에 이르도록 논리적으로 조직할 수 있다. 한편, 관찰된 일련의 기술은 학습자가 복잡한 단계를 포함하고 있는 다양한 활동 을 수행할 때에 활용된다. 이러한 각 전략에 내용 기술(記述)의 정확성을 타 당화하려는 전문적인 검토 과정이 있다.
작업의 내용이 변화되었음에도 불구하고 새로운 직무분석 작업이 이루어 지지 않는다면, 더 이상 그 직무 분야는 직업의 현황을 반영하지 못할 것이 다. 직업의 현황을 반영하기 위해 얼마나 자주 직무분석을 새롭게 해야 할 것인가는 신기술이나 새로운 발전이 해당 영역에 영향을 주는 주기와 관련
되어 있기 때문에 주요 관심사이다. 그러나 일반적으로 자격 발급기관들은 3 년 내지 5년 주기로 직무분석을 해야 한다.
직업의 변화 정도에 따라 재직무분석 작업을 간단히 할 수도 있고, 본격적 인 갱신이 필요한 경우도 있다. 예를 들어, 직무수행을 위해 새로운 도구가 개발된 경우에는 이에 관한 지식과 기술을 새로 추가하는 정도로 직무분석 을 실시할 수 있을 것이다. 새로운 변화가 새로운 직무수행을 요구하게 되거 나, 과거에 핵심적인 역할을 했던 직무 행위를 제거하게 되는 경우라면 본격 적인 재직무분석 작업이 있어야 할 것이다.
나. 자격 검정의 타당도와 신뢰도
자격의 질 관리는 곧바로 자격 검정에 대한 질 관리와 연계되므로, 이에 대한 논의가 검토되어야 할 것이다. 측정 및 평가 이론에서 논의되는 타당도 와 신뢰도에 관한 이론들을 검토함으로써 자격 검정의 질 관리의 방안을 모 색할 수 있을 것이다.
1) 자격 검정에서 타당도와 신뢰도
자격의 질을 관리하는 데 있어서 자격 검정의 타당도와 신뢰도가 핵심 준 거가 된다. 신뢰도와 타당도는 측정의 기본 개념으로서, 이들이 측정의 전부 는 아니지만, 측정의 많은 개념들이 신뢰도 및 타당도와 깊이 연결되어 있다 (A. H . Brownin g, 1996).
자격제도가 그 기능을 발휘하기 위해서는 자격 검정이 자격 취득자의 직 무수행능력을 설명하고 예측할 수 있어야 한다. 즉, 검정의 적합성과 정확성 이 검정이 갖춰야 할 중요한 요건이다. 검정에서 무엇보다 신뢰도와 타당도 가 자격 검정에서 핵심 준거가 되는 이유는 바로 검정의 적합성 및 정확성 이 직접적으로 신뢰도・타당도와 연관되기 때문이다.
타당도는 측정하고자하는 것을 측정하느냐의 문제이고, 신뢰도는 그 측정 의 정확성(accuracy)을 의미하는 것이다. 신뢰도와 타당도가 대체로 동시에 다루어지기 때문에 이들을 비슷한 개념으로 받아들이기 쉽지만, 사실 신뢰도
와 타당도는 동일한 것이 아니다. 분명히 다른 것이면서, 상당히 밀접하다고 할 수 있다. 검정에 있어서 이들 가운데 하나라도 충족되지 않는다면 검정의 본래 기능들이 손실되며, 유용성을 잃게 된다.
타당도가 높은 도구를 얻기 위해서는 그 전제로서 신뢰도가 높은 측정도 구를 만들어야 한다. 그러나 신뢰도가 높다고 해서 타당도가 상대적으로 비 례하여 증가하지는 않는다는 사실에도 주목할 필요가 있다.
그러므로 타당도는 검사도구를 평가하는 데 있어서 매우 중요한 부분으로 서 검사도구의 질을 결정하는 중요한 개념인 것이다. 타당도(validity)는 측정 하고자 하는 것을 충실히 측정한 정도를 말하는 것으로서, 검사 점수가 검사 의 사용 목적에 얼마나 부합하느냐의 문제이다. 즉, 검사도구의 적합성에 해 당된다.
American Psychological Association (APA, 1985)에 따르면, 타당도 개념을 검사 점수로부터 얻어낸 추리의 적합성, 유의미성, 유용성과 직관되는 것으 로 보고 있다.
이처럼 간략히 살펴본 타당도의 개념에 따르면, 특별히 자격 검정에서 타 당도 개념이 중요한 이유가 보다 분명해진다. 즉, 자격 검정 응시자가 해당 직무에서 요구하는 능력을 갖추고 있는가를 말해주는 것이 자격 검정의 기 본 기능이므로, 자격 검정에서 측정하고자 하는 능력을 충실히 측정하고 있 는 정도를 나타내는 것이 타당도이며, 타당도가 자격 검정의 질을 결정하는 핵심 준거가 되는 것이다.
자격 검정의 타당도가 높다는 것은 검사 점수가 응시자의 특정 능력 및 자격을 측정하는 데 적합하여 궁극적으로 자격의 활용 가치를 높이는 결과 를 보장해 주는 것이다.
검사도구의 타당성이 입증되었다면 신뢰성이 고려되어야 한다. 평가와 실 제 사이에는 오차가 존재하며, 검정 결과가 오차로부터 받는 제약이 얼마나 덜한가의 정도를 말해주는 것이 바로 신뢰도이다. 달리 말해서, 신뢰도는 같 은 검정을 다른 형태로 여러 번 반복하여도 일정한 결과가 나오는 정도라고 할 수 있다. 측정하려 하는 것을 얼마나 안정적으로 일관성 있게 측정하였느 냐의 문제이다. 만약 측정시 오차가 크다면 신뢰성은 떨어지게 된다. 따라서,
신뢰도란 측정의 일관성(consistency)을 말한다.
자격 검정에서 일관성이 취약하다면, 필요한 직무수행능력을 적절하고 정 확하게 측정한다 하더라도 궁극적으로 자격 검정은 믿을 수 없는 결과를 제 시하므로, 자격의 활용도가 떨어지게 된다. 이러한 이유에서 자격 검정의 신 뢰도는 타당도와 함께 자격의 질을 관리하는 데 있어서 핵심 준거가 된다.
신뢰도에 영향을 주는 요인으로는 검사 관련 요인, 수검자 관련 요인, 검 사 시행 관련 요인을 들 수 있다(성태제, 1995). 이들 각 요인은 보다 세부적 인 관련 변인들로 이루어져 있다. 먼저, 검사 관련 요인을 결정하는 변인들 로는 문항 수, 문항의 난이도, 문항의 변별도, 측정 내용의 범위, 검사 시간 등이 있다. 신뢰도는 단지 검사 자체에 의해서만 결정되지 않으며, 수검자 집단의 이질성 정도나 수검자들의 검사에 대한 지혜, 수검자들의 흥미와 동 기 등 수검자 관련 요인의 영향도 받는다. 또한, 검사 시행과 관련하여 검사 관리가 이루어지는 방식, 검사 진행과정에서 발행하는 검사 보안이나 시험 감독 등의 문제도 검사 신뢰도의 중요한 변수로 작용한다.
그러므로 검정의 신뢰도를 향상시키려면, 사전에 문항을 명료하게 작성하 고, 피험자들에게 검정을 충분히 설명해야 한다. 그리고 검사 시행에 있어서 는 적정 검사 시간을 부여하고, 적절한 검정 관리 방침을 수립하고 이에 따 라 검정을 진행하는 것이 필수적이다.
2) 타당도와 신뢰도의 측정 방법
가) 타당도의 측정
NOCA가 제시하는 표준과 규준(Stan dards & Guidelines)에는 타당도에 관 한 증거 확충을 위해 사용되는 방법을 세 가지 규정하고 있다. 이는 내용 , 준거 , 구성 의 세 가지로서 이 가운데 자격 검정에서 가장 문제되는 것은 바로 내용 타당도이다. 표준(Standards)에 따르면, 나머지 유형의 타당도 증 거는 자격 검정에서 확보하기가 어렵다(A. H . Browning, 1996).
내용 타당도는 평가도구의 내용이 측정하려고 하는 행동 영역에 대한 대 표적 표집인가의 여부와 목표를 얼마나 충실히 측정하고 있느냐를 묻는 타
당도 개념이다. 즉, 자격 검정에서 내용 타당도란 자격종목의 수행직무와 자 격 검정 문항의 일치 정도를 알아보는 개념이라고 할 수 있다. 내용 타당도 는 세 가지 질문, 즉, 평가도구가 종목의 수행직무에 비추어 적절한 문항 인가? 문항이 종목의 수행직무 내용을 포괄하고 있는가? 평가 문항이 모집단을 잘 대표하고 있는가에 답해야 한다. 따라서, 자격의 직무 내용 규 정과 직무 내용 분류는 내용 타당도를 높이는 필요조건이 된다.
내용 타당도를 검증하는 방법은 평가 문항과 규정된 직무 내용을 비교하 는 과정이 된다. 전문가의 입장에서 평가 문항을 보았을 때, 직무 내용 전체 를 적절하게 대표하고 있다고 보면 그 검사는 타당도가 있다고 한다. 이 과 정은 평가 문항과 현장에서의 수행직무의 일치성을 평가하는 논리적이고 합 리적인 과정인 것이다.
나) 신뢰도 측정
신뢰도는 측정한 자료가 어느 정도로 정확하고 믿을 만한가를 말한다. 즉, 시간 간격을 두고 측정한 결과가 얼마나 일관성이 있고, 안정성이 있으며, 측정의 오차가 얼마나 적으냐 하는 문제와 관련된다. 인간 행동 특성을 대상 으로 하는 평가 도구의 측정은 어느 정도의 오차가 있기 마련이다. 검사 점 수는 여러 가지 요인의 영향을 받기 때문에 완전히 엄밀하거나 정확하기란 불가능하다. 인간 행동이 대상인 경우 어느 한계 내에서의 오차를 허용할 수 밖에 없지만, 인간 행동의 측정은 오차를 극소화하도록 할 필요가 있다(이태 욱 외, 1997)
측정 이론의 주된 목적은 평가 점수에서 발생하는 오차의 원인을 설명하 는 것이다. 이에 관한 이론이 개발된 만큼, 신뢰도 계수의 측정 방법은 수없 이 많다. 각 이론의 전제와 통계 모델에 따라 달라진다.
신뢰도를 검증하는 방법에 따라 '①재검사 신뢰도, ②동형검사 신뢰도, ③ 반분검사 신뢰도, ④문항내 적합치도'로 나눌 수 있다(이태욱 외, 1997).
재검사 신뢰도는 일정 기간을 두고 동일한 검사를 동일한 피검사자에게 두 번 실시한 다음 처음 받은 검사 점수(X)와 두 번째 받은 검사 점수(Y)를 자료로 하여 구한 상관계수이다. 그러나 전후의 검사 실시에서의 여러 가지
조건(동기 상태, 수험 태도, 검사 지시, 검사 시간)등을 똑같이 통제하지 못할 때는 오차가 가중될 확률이 커진다.
동형검사 신뢰도는 미리 두 개의 동형검사를 제작하고, 그것을 같은 피험 자에게 실시해서 두 동형검사에서 얻은 점수 사이의 상관을 산출하는 방법 이며, 흔히 동형성 계수라고도 한다. 이 방법은 기억 효과, 연습 효과를 최소 한으로 감소시키며, 문항 표본에서 파생하는 한 치의 오차도 오차 변량으로 취급하게 된다는 점에서는 좋은 방법이다. 그러나 두 검사를 거의 같거나 완 전히 같은 동질적인 검사로 구성한다는 것이 난점이다.
반분검사 신뢰도는 한 개의 평가도구를 한 피험자 집단에서 실시한 다음 그것을 적당한 방법으로 나누고, 나누어진 두 부분을 독립된 검사로 생각해 서 그 사이의 상관계수를 내는 방법이다. 이 방법은 재검사 신뢰도가 부적당 할 때와 동형검사를 만들기가 어려운 때 손쉽게 사용할 수 있는 방법으로 많이 이용되고 있다. 그러나 검사 문항이 동질적인 것이 아니면 반분신뢰도 계수는 다른 신뢰도계수에 비하여 과소평가되고, 반면에 순수한 속도검사에 서는 과대평가된다.
문항 내적 합치도는 피험자가 각 문항에 반응하는 합치도에 기초를 둔 신 뢰도 계산 방법이다. 반분신뢰도 계산에서는 나누어진 두 부분을 독립된 검 사로 생각했듯이 여기에서는 한 문항, 한 문항을 독립된 검사로 생각하고, 그 사이의 합치성을 종합하는 입장이다. 이것은 문항의 동질성에 기초를 둔 신뢰도이며, 그런 의미에서 동질 검사 신뢰도를 대체할 수 있다.
<표 II-1> 상관계수의 해석
상관계수 해석
.90 - 1.00 .70 - .90 .40 - .70 .20 - .40 .00 - .20
아주 상관이 높다 상관이 높다 확실히 상관이 있다 상관이 있기는 하나 앝다 상관이 거의 없다
일반적으로 상관계수는 <표 II-1>와 같이, .40이상은 상관이 있거나, 높다 고 하며, .40미만은 상관이 얕거나, 거의 없다고 해석하고 있다.
다. 문항 분석
문항분석은 어떤 검정 문항이 그 기능을 제대로 발휘하고 있는지 검증함 으로써 그 문항의 양호도를 결정하는 것으로서 한 문항이 얼마나 쉽고 어려 운지 검정 문항이 각자 피수험자들의 능력을 잘 변별해 주는지를 분석하여 각 문항의 양호도를 결정하는 것이다.
이러한 양호도 검증을 통하여 좋은 문항으로 판별된 문항은 계속 활용하 며 그렇지 못한 문항은 사용을 억제하거나 보다 좋은 문항으로 제작되어야 할 것이다(이태욱 외, 1997).
검정을 구성하는 최소의 단위는 개개의 문항이며, 문항의 질은 검정의 질 을 좌우할 수 있다. 어떤 문항이 양질의 문항인지를 판별하려면 개개 문항의 양호, 불량을 가리는 검증 절차를 거쳐야 할 것이다.
현재 국가기술 자격 검정의 문항 관리는 1998년부터 문제은행 방식으로 운영되고 있으며, 검정 실행 후 문항 난이도 및 변별도 등을 분석함으로써 문항을 수정하거나 폐기하고 있다.
따라서 국가기술 자격 검정의 문제은행 문항 관리 방식을 분석하고 문항 분석에 관한 제 이론을 검토함으로써, 국가기술자격의 문항 관리에 시사점을 찾아보고자 한다. 문항 분석에 관한 이론은 크게 고전 이론과 문항반응 이론 으로 나뉜다. 최근 부각되고 있는 문항반응 이론은 이러한 고전 이론에서 드 러난 문제점을 보완하고 있다.
1) 고전 이론
고전이론에서는 문항의 난이도, 변별도, 문항반응 분포도 등의 변인에 의 해 문항을 분석하였다. 따라서 여기서는 고전 이론이 제시하는 세 가지 변인 에 따른 문항 분석의 방법을 검토하고자 한다.
먼저, 각 변인별 문항 양호도를 분석・판정하는 기준을 살펴보면 <표
II-2>와 같다.
<표 II-2> 문항 분석 변인별 문항 양호도
판정기준
분석변인 양 호 대체로 양호 불 량 비 고
난이도 40%-60% 20%-40%
60%-80%
0%-20%
80%-100%
변별도 .40 이상 .20-.40 .19 이하
반응분포
정답지와 오답 지의 반응이 비슷하여 오답 지 반응이 고 르게 분포되고 있는 경우
정답이 너무 뚜렷하지 만 오답지의 반응 분포 가 비숫한 경우 정답지 와 오답지의 반응이 비 슷하지만 오답지 반응 이 고르지 못한 경우
정답보다 오답이 많으면 서 오답이 한편에 매우 또렷한 반응분포를 보이 는 경우 오답 문항 중 한 개의 문항이라도 반응이 나타나지 않는 경우
선택형 문항만 선택
전체 양호도
문항 분석 방 법 중에서 (양 호)판정이 많 은 경우
문항 분석 방법 중에서 (대체로 양호) 한 판정 이 많은 경우
문항 분석 방법 중에서 한 개 이상 (불량)하다고 판정된 것이 나타날 경우
가) 문항 난이도
문항 난이도란 어떤 문항의 어려움의 정도를 나타내는 지수로서, 한 문항 에 있어서의 전체 반응자 수에 대한 정답자의 비율을 백분율로 나타낸 치수 로서 아래의 공식에 의하여 구할 수 있다.
P = R N 100 P: 문항 난이도 N : 전체 반응자의 수 R: 정답자 수
위의 공식을 살펴보면, 정답자 수가 많아질수록 P의 갑이 커진다는 것을 알 수 있다. 따라서, P값이 클수록 쉬운 문항이다. 그러나 때로는 전체 반응 자의 수를 분모로 하여 난이도를 계산하는 방법은 매우 간편하지만 적절하지 못한 측면도 있다. 왜냐하면 반응을 하지 않은 문항은 마치 수검자들이 풀다
가 틀리게 답한 문항인 양 간주되고 있기 때문이다. 한 문항에 정답을 한 응 답자 수는 그 문항을 풀려고 시도한 수검자 수에 대한 백분율로 표시해야만 좀 더 정확한 난이도 지수가 된다. 이를 계산하는 공식은 다음과 같다.
P = R
N - N R 100 P: 문항 난이도 N : 전체 반응자 수 R: 정답자 수
NR: 반응을 하지 않은 사람의 수(미달항)
따라서, 시간이 모자라서 미처 풀지 못한 사람이 많을 경우에 위의 공식을 사용해야 한다. 문항이 선택형인 경우, 정답 반응에는 추측에 의하여 우연히 맞히게 된 정답도 포함되어 있을 가능성이 있다. 예를 들면, 답지가 다섯인 선택형 문항에서 순전히 추측에 의해 정답을 고를 수 있는 확률은 1/ 5이고, 네 개의 오답지 가운데 어느 하나를 택할 확률은 1/ (5-1)이 된다. 만약 정답 반응 총 수 가운데 추측에 의하여 우연히 맞히게 된 답이 포함되어 있을 확 률은 오답 반응 총 수에 비례할 것이라는 전제를 세우면 그 비율은 비교적 간단히 찾을 수 있다. 즉, W를 오답 반응 수, K를 선택 지수로 하였을 경우 추측을 잘못하여 가려잡게 된 오답 반응 수는 확률적으로 W/ K-1이 되고, 또 바로 그 만큼 정답 반응 수에도 추측에 의한 정답 반응이 포함되어 있으리 라는 가정을 세울 수 있다. 따라서, 추측 요인과 미달항 수를 동시에 고려한 난이도 계산은 다음의 공식과 같다.
P =
R - W
K - 1 N - N R 100
그러나 이 계산 방법은 다른 공식에 비하여 계산이 번거롭기 때문에, 문항 분석을 위한 예비 검사를 실시할 때 오답은 감점한다고 지시하였으면 이용
하지 않아도 된다.
나) 문항 변별도
문항 변별도는 어떤 문항이 그 검사가 측정하고자 하는 능력의 상하를 얼 마나 예리하게 변별해 주느냐 하는 정도, 즉, 문항 변별력의 크기를 말한다.
예를 들어 어떤 검사의 총점에 따라 피검사자를 상위집단과 하위집단으로 나누었을 때, 어떤 문항의 정답율에 있어서 상위집단이 하위집단보다 월등히 높았다면 그 문항은 문항 변별력이 높은 것이다. 만약에 어떤 문항의 정답율 에 있어서 상위 집단과 하위 집단간에 하등의 차이가 없었다면, 그 문항은 문항 변별력이 없는 것이다. 그리고 만약에 어떤 문항의 정답율에 있어서 하 위 집단이 상위집단보다 월등히 높았다면 그 문항은 어딘가 심하게 잘못된 문항이다. 문항 변별력의 정도, 즉, 문항 변별도 지수는 다음의 공식을 적용 하여 산출한다.
DI = R u - R L f
DI : 문항 변별도 지수 Ru : 상위 집단의 정답자 수 RL : 하위 집단의 정답자 수
f : 상위 또는 하위 집단의 총 사례 수
문항 변별도 지수는 -1.00 ～+1.00 사이에 분포된다. -부호가 붙은 것은 아 예 쓸모 없는 문항이고, 0의 지수도 좋지 않다. 문항 변별도 지수는 최저 .20 이어야 하고, .30이상이면 만족스러운 수준이다. 그러나 절대 기준 평가의 입 장에서는 문항이 목표 능력을 타당하게 측정해 주기만 한다면 문항 변별도 에 신경을 쓸 필요가 없다. 다만, 문항 변별도 지수가 음수인 경우에는 그 문항이 어딘가 잘못되어 있기 때문이므로, 이를 적절히 수정하거나 그 문항 을 검사에서 제외시켜야 한다.
문항 변별도 지수는 문항 곤란도의 크기에 심하게 영향을 받는다는 단점 을 지니고 있다. 즉, 문항 난이도가 50%일 때는 DI = 1.00이 될 가능성이 있 지만, 문항 난이도가 50%에서 떨어질수록 DI가 취할 수 있는 최대값이 작
아진다. 예를 들어, 문항곤란도가 60%이면 DI가 취할 수 있는 최대값은 .80 밖에 안된다. 즉 각 문항의 변별도 지수는 문항 난이도와 밀접한 관계를 갖 고 있는데, 문항 변별도 지수와 가능한 최고 문항 난이도 지수와의 관계를 보면 <표 II-3>와 같다.
<표 II-3> 문항 난이도와 변별도와의 관계
문항 난이도(%) 가능한 최고의 변별도 100
90 80 70 60 50 40 30 20 10 0
.00 .20 .40 .60 .80 1.00
.80 .60 .40 .20 .00
따라서, 문항 난이도가 서로 다른 문항들의 문항 변별도 지수의 크기를 비 교함에 있어서는 위의 표에 나타나 있는 것과 같이 문항 난이도 수준에 따 른 차이를 고려해야 한다.
다) 문항반응 분포
선택형 문항을 분석할 때 한 문항에 대한 응답자의 반응을 답안지별로 나 타낸 것을 문항반응 분포라고 한다. 이것은 오답자의 이론 빈도와 실제 반응 빈도를 비교함으로써 오답의 매력도와 그에 따른 정답자의 기능을 조사하기 위한 것이다. 즉, 답지의 반응 분포를 가지고 선택형 문항이 갖추고 있어야 할 조건 중의 하나인 오답지의 능률성을 점검하려는 것이다. 한 문항에서 오 답지의 이론 빈도 계산은 총 사례수에서 정답자 수를 뺀 다음, 문항의 오답 지 수로 나누면 된다.
문항반응 분포를 분석하는 것은 오답지의 매력도를 조사해서, 만약 어떤 결함이 있으면 오답지가 제대로 능률을 발휘할 수 있도록 문항을 수정하는 데에 목적이 있다.
2) 문항반응 이론
문항반응 이론(IRT: Item Response Theory)은 검사를 구성하고 있는 문항 하나 하나를 분석 단위로 하며 문항 특성 곡선(Item Characteristic Curve:
ICC)에 의해서 문항 고유의 속성을 파악하며, 문항의 특성과 피험자 특성의 함수 관계에 의해 피험자가 문항에 정답을 할 확률을 수학적으로 나타내는 측정모형이라고 할 수 있다. 다시 말해, 문항반응 이론은 검사를 구성하고 있는 문항 하나 하나를 분석 단위로 하여 수검자가 문항에 대해 특정 반응 을 할 확률을 문항 난이도, 문항 변별도, 추측 요인 등의 문항특성 및 피험 자의 능력의 함수로 기술한다(Baker, F. B., 1996).
문항반응이론에 의하면 각 문항은 문항의 고유한 특성을 가지고 있으므로, 피험자 집단의 특성에 따라 문항의 난이도와 변별도, 추측도가 달리 추정되 지 않는다.
예를 들어, 어떤 문항에 100명이 응시하여 90명이 답을 맞추었다면 문항 난이도는 .9로서 매우 쉬운 문항이지만, 이 문항을 능력이 상대적으로 낮은 다른 수검자들에게 실시한 결과, 100명 중 20명이 답을 맞추었다면 문항 난 이도는 .2로서 매우 어려운 문항이 된다. 즉, 고전 검사 이론에 의하면 동일 한 문항이라도 피험자 집단의 특성에 따라 문항 특성이 달리 추정되지만, 문 항반응 이론은 피험자 집단의 특성에도 불구하고 문항 난이도, 문항 변별도, 문항추측도가 일관성 있게 추정되는 장점을 가지고 있다.
문항반응 이론은 쉬운 검사를 실시하면 능력이 과대 추정되고 어려운 검 사를 실시하면 능력이 과소 추정되는 고전검사 이론의 문제점을 해결하여 어떤 수준의 검사를 실시하여도 피험자의 능력을 정확하고 안정적으로 추정 할 수 있다.
5개의 문항이 난이도 순으로 배열된 검사를 치렀을 때, 고전검사 이론에 의하면 어려운 문항을 2개 맞춘 피험자나 쉬운 문항을 2개 맞춘 피험자나 맞은 문항 수가 같으므로 2점 동점이 된다. 그러나 문항반응 이론에서는 맞 춘 문항수가 같더라도, 보다 어려운 문항을 맞춘 피험자의 능력을 높게 분석 하므로 능력 추정이 보다 정확하다고 볼 수 있다.
Ⅲ. 기술・기능계 자격의 질 관리 현황 및 문제점
1. 기술・기능계 자격 질 관리 체계
일반적으로 기술・기능계 국가기술자격 중 이 연구에서 검토하고자 하는 기사, 산업기사, 기능사의 자격종목에 대한 질 관리 방안을 자격종목 내용과 관련된 질 관리 체계, 자격종목을 운영하기 위한 질 관리 체계, 사후관리 체 계로 구분하여 살펴볼 수 있다.
가. 자격 내용에 대한 질 관리
여기에서는 자격 내용에 대한 질 관리 현황을 자격종목 현황, 등급별 검정 기준, 검정과목 및 출제 기준, 검정 방법 등으로 구분하여 살펴보고자 한다.
1) 자격종목 현황
국가기술자격법시행령에 의하여 한국산업인력공단에서 자격 검정을 실시 하고 있는 종목은 <표 Ⅲ-1>과 같이 590종목으로, 기술・기능 분야 550종목 과 서비스 분야 40종목으로 구성되어 있다.
기술・기능계 자격종목은 23개 직무 분야 550개 자격종목으로 기술사와 기능장을 제외한 323종목(기사(100종목), 산업기사(130종목), 기능사(193종목)) 이 있다. 이 중 기계 분야 기사, 산업기사, 기능사 자격종목이 98종목으로 가 장 많으며, 교통 분야가 2개 자격종목으로 가장 적다. 이러한 요인은 직무 분야별 자격종목 요구 정도와 활용 정도가 다르기 때문이라고 볼 수 있다.
2) 등급별 검정 기준
자격 등급을 단일 등급으로 설치하거나 종목별로 수준을 달리 정하는 국 가도 있지만(미국, 일본 등), 대부분의 국가들은 직업분류 체계와 직무 수준
또는 응시 학력에 따라 자격종목 내에서 등급을 나누어 편성함으로써 자격 체계를 국가수준에서(영국, 프랑스, 호주 등) 구축하고 있다(신명훈, 2001b).
우리나라의 국가기술자격의 등급별 검정 기준은 5단계 등급으로 구분되고 있으나, 이 연구의 대상은 기사, 산업기사, 기능사 등급이다.
<표 Ⅲ-1> 직무 분야별・등급별 현황 등급별
직무 분야별 총 계 기술사 기능장 기사 산업기사 기능사
총 계 570 97 33 100(2) 132(2) 204
1. 기 계 118 10 10 15 31 52
2. 금 속 48 6 6 7 10 19
3. 화공 및 세라믹 20 5 1 4 5 5
4. 전 기 19 5 2 4 4 4
5. 전 자 13 3 1 3 3 3
6. 통 신 20 1 1 4 7 7
7. 조 선 9 3 - 1 1 4
8. 항 공 9 2 1 1 1 4
9. 토 목 29 11 - 4 4 10
10. 건 축 33 4 2 3 7 17
11. 섬 유 30 6 2 4 9 9
12. 광 업 자 원 16 4 - 3 4 5
13. 정 보 처 리 8 2 - 2 3 1
14. 국 토 개 발 11 3 - 3 3 2
15. 농 림 39 6 1 9 9 14
16. 해 양 20 4 - 8 5 3
17. 산업디자인 6 1 - 2 2 1
18. 에 너 지 6 3 - 2 1 -
19. 안 전 관 리 19 7 1 5 5 1
20. 환 경 13 4 - 4 4 1
21. 산 업 응 용 39 6 - 11 8 14
22. 교 통 3 1 - 1 1 -
23. 공 예 22 - 1 - 4 17
24. 음・식료품 11 - 2 - 1 8
25. 위 생 5 - 2 - - 3
26. 전 문 사 무 4 - - 2 2 -
※ 대한상공회의소 시행 서비스계 20종목 제외
자료) 한국산업인력관리공단(2001), 국가기술자격 검정안내서.
기사 등급의 검정 기준은 <표 Ⅲ-2>와 같이 1974년 제정되어 현재에 이르 고 있다. 초기에는 공학적 기초지식과 그 응용능력을 요구했으나, 현재는 설 계・시공・분석 등 구체적인 능력을 검정 기준에서 요구하고 있다.
<표 Ⅲ-2> 기사 등급 검정 기준 변천
자격종목 및 연도 검정 기준
기사 1급( 74. 10. 16) 기사 1급 응시 자격 기준에 상응한 해당 기술 분야에 관한 공학적 기초 지식과 그 응용능력의 유무
기사( 98. 5. 9)
응시하고자 하는 종목에 관한 공학적 기술 이론 지식 을 가지고 설계 시공 분석 등의 기술 연구를 수행할 수 있는 능력의 유무
자료) 한국산업인력공단(1999a), 국가기술자격법령의 변천.
산업기사는 기사 2급, 기능사 1급, 다기능기술자가 통합된 자격 등급으로 서 <표 Ⅲ-3>과 같이 검정 기준이 변화되었다.
<표 Ⅲ-3> 산업기사 등급 검정 기준 변천
자격종목 및 연도 검정 기준
기사 2급 ( 74. 10. 16)
기사 2급의 응시 자격 기준에 상응한 해당 기술 분야 에 관한 기술 기초 지식과 그 적응능력의 유무
기능사 1급 ( 74. 10. 16)
기능사 1급 응시 자격 기준에 상응한 해당 기술 분야 에 관한 상급 숙련 기능을 가지고 응용・제작・조 작・보수・정비・채취・검사 및 이에 관련되는 지도 적 기능 업무를 수행할 수 있는 능력의 유무
다기능 기술자(신설) ( 96. 10. 16)
응시하고자 하는 종목의 관련 분야에 관한 기술 기초 지식과 2개 이상의 중급 정도의 숙련 기능을 가지고 당해 기능을 기술 이론 분야의 영역에까지 연계시킬 수 있는 능력의 유무
산업기사( 98. 5. 9) -기사2급,기능사1급,다기능 기술자가 산업기사로 통합.
응시하고자 하는 종목에 관한 숙련 기능을 바탕으로 복합적인 기능 업무를 수행할 수 있는 능력의 유무
자료) 한국산업인력공단(1999a), 국가기술자격법령의 변천.
