기본연구 02 - 17
직업적성검사 효과 분석 연구
한국직업능력개발원
기본연구 02-17
직업적성검사 효과 분석 연구
연구책임자: 임 언 공동연구자: 정 윤 경
한국직업능력개발원
머 리 말
중・고등학교에서의 진로지도의 중요성이 그 어느 때보다도 강조되고 있 다. 이는 직업세계의 급격한 변화라는 외부적 요인과 7차 교육과정의 시행이 라는 교육 내적 요인이 함께 작용한 결과이다. 그러나 그 필요성이 증가함에 도 불구하고, 단일화된 행정체계의 부재, 전문 인력의 부족, 체계화된 직업 정보 및 프로그램의 부족, 사회적 인식 결여 등의 이유로 인하여 아직도 많 은 학교에서 진로지도가 체계적으로 이루어지지 못하고 있다. 이같은 현실에 서 각급 학교에서 손쉽게 실시하고 있는 진로지도의 한 형태는 적성검사를 실시하는 것이다. 조사 대상 고등학교의 93.8%가 적성검사를 실시한 것으로 나타난 연구 결과에서 볼 수 있듯이 광범위하게 적성검사가 활용됨에도 불 구하고, 적성검사를 실시하는 것이 학생들에게 어떠한 영향을 미치며, 어떠 한 방식으로 검사를 활용하는 것이 바람직한지에 대한 연구는 국내에서 수 행된 바 없다.
한국직업능력개발원에서 2년(2000～2001)간의 연구를 통하여 개발한
「중・고등학생을 위한 직업적성검사」가 학생들에게 어떠한 교육적 효과가 있는가를 알아보고자 한 본 연구는 기존의 상업적 검사 개발자 및 보급자들 이 검사의 개발 후 보급에만 치중하며, 그 검사의 실제적 효과에 대한 검토 를 하지 않았던 점을 고려할 때 매우 중요한 의미가 있다.
한국직업능력개발원의 중・고등학생을 위한 직업적성검사」가 갖는 교육 적 효과를 다각적으로 밝힌 본 연구는 그 결과가 적성검사의 활용과 관련된 이론적 논의에 기여할 뿐만 아니라, 검사 활용의 실제에 주는 시사점이 크 다. 본 연구의 결과에 기초하여 검사를 실시하는 목적을 재정립하며, 검사 결과를 보다 교육적으로 활용하기 위한 제 방안을 모색하고, 관련된 프로그 램을 개발하며, 검사의 한계 및 가능성에 대한 관계자들의 이해를 통하여 보
다 적절하게 검사가 진로 교육 및 상담의 장면에서 활용할 수 있는 데 기여 할 수 있으리라 기대한다.
어려운 연구를 수행한 연구진의 노고를 치하하는 바이며, 연구의 수행과정 에서 수 차례 이루어진 설문조사와 검사 실시 등 복잡한 처치 상황에 협조 해 주신 학교 선생님들과 학생들에게 감사를 드린다. 아울러, 연구 진행 과 정에서 심의 및 전문가 협의회 등을 통하여 의견을 주신 교수님들께도 감사 드리는 바이다.
2002년 11월
한국직업능력개발원 원장 강 무 섭
【 연구 요약 】
1. 연구의 개요
본 연구의 목적은 한국직업능력개발원에서 2년(2000～2001년)간의 연 구에 기초하여 개발한 중・고등학생을 위한 직업적성검사(이하 직업적 성검사)가 학생들에게 어떠한 교육적 효과가 있는지를 알아보는 것이었 다. 즉, 직업적성검사의 결과타당도를 확인하기 위한 것이며, 이에 기초 하여 검사가 보다 교육적으로 활용될 수 있도록 개선하기 위한 시사점 을 찾고자 하였다.
직업적성검사의 효과 검토에는 총 7개 학교로부터 중학교 3학년 학생 과 고등학교 2학년 1,061명이 참가하였으며, 지필검사와 인터넷 검사의 동등성을 확인하기 위하여 별도로 5개교로부터 406명의 학생이 연구에 참여하였다. 또한, 집단 상담에 참여한 22명의 고등학생도 본 연구를 위 한 조사에 추가로 참여하였다.
본 연구의 목적은 기본적으로 한국직업능력개발원에서 개발한 직업적 성검사의 효과를 다각적으로 면밀하게 검토하는 데에 있었으며, 타 적 성검사와의 효과 비교는 향후 과제로 제시하였다.
2. 직업적성검사의 효과
본 연구에서는 직업적성검사의 교육적 효과를 검사를 치르는 과정의 효과, 검사 결과표의 효과, 검사를 통한 자아이해 및 진로탐색 동기 변 화를 초래한 정도라는 세 가지 측면에서 검토하였다. 본 연구를 통하여 검사과정의 효과와 검사 결과표의 효과는 분명히 확인하였으나 자아이 해와 진로탐색 동기 변화 효과는 부분적으로만 확인할 수 있었다.
검사과정의 효과와 관련하여, 절반 이상의 학생들이 검사를 치르는 과정 속에서 직업적성검사의 하위영역으로 제시된 다양한 능력들이 중 요함을 인식(54.1～57.9%)하였으며, 자아성찰의 기회가 되었다(54.1～
57.6%)라고 반응함으로써 검사를 치르는 것 자체가 교육적인 작용을 하고 있음을 확인할 수 있었다.
검사 결과표의 효과는 검사 결과표를 받음으로써 자신의 능력에 대 하여 자신감을 가지게 되었으며 그 결과를 자신의 진로에 반영하겠다 는 학생들의 비율이 20% 내외이며, 대다수(33.8～41.9%)의 학생들이 보통이라고 응답함으로써 제한적으로나마 확인할 수 있었다.
전체 집단을 대상으로 검사를 치르는 과정에서의 자아이해 및 진로 탐색 동기의 변화를 검토한 결과, 검사로 인하여 자아이해의 정도와 진로탐색 동기가 변화하지는 않는 것으로 나타났다. 그러나 개인의 특 성별로 구분하여 검토하였을 때는 변화가 확인되었다. 즉, 초기에 자아 이해 수준이 낮았던 학생들은 검사를 치른 후 자아이해의 정도가 증가 하였으며, 초기 자아이해 수준이 높다고 생각했던 학생들은 오히려 감 소하는 경향을 보이는 등 학생의 특성-처치간 상호작용이 확인되었다.
이와 같은 경향은 전문상담원에 의한 소집단 상담 상황에서도 다소 정 도 차이는 있으나 동일하게 확인되었다.
3. 부가적 연구 결과
적성검사를 치름으로써 학생들의 진로 결정이 어떻게 변화하는가를 아울러 검토한 결과, 검사가 진로결정에 미치는 영향은 확연하게 나타 나지 않았다. 3차례의 조사과정에서 일관되게 미결정인 학생은 전체의 18.6%, 일관되게 결정 상태를 유지한 학생은 전체의 49.7%이었으며, 31.7%의 학생들은 결정과 미결정의 상태를 일관되게 유지하지 못한 것으로 나타났다.
진로결정의 내용을 검토한 결과, 3회에 걸친 조사에서 일관되게 결 정 상태를 유지한 학생들이라 하더라도 그 중에서 단지 66.0%의 학생 들만이 동일한 직업을 일관되게 유지하였으며, 34%의 학생들은 직업 선택의 내용을 변경하였다. 검사를 실시한 후 선택한 직업이 검사 결 과와 일치하는 학생은 전체의 12.8%이며, 이들 중 68%의 학생들이 사 전조사시 선택한 직업을 일관되게 유지한 것으로 이는 학생들이 검사 결과로 인하여 진로 선택을 바꾸기보다는 자신이 선택한 진로와 검사 결과가 일치할 경우 이를 더 강화하는 방향으로 검사 결과를 받아들 이고 있음을 시사하였다.
직업적성검사를 인터넷으로 실시하는 것과 지필검사로 실시하는 것 과의 차이는 두드러지지 않았다. 다만, 지필검사가 인터넷 검사보다 호감도가 더 높았으며, 검사 결과에 따른 능력에 대한 자신감은 비디 오를 통한 안내가 없었던 집단에서 더 높게 나타났다.
직업적성검사가 학생들에게 어떻게 다가갔는지를 알아보기 위하여 검사 및 검사 결과표에 대한 학생들의 인식을 조사한 결과, 검사에 대 하여 호감도가 높았으며 검사에 객관적으로 응답하였음을 알 수 있었 다. 또한, 대다수의 학생들은 검사 결과를 이해하였으나, 검사 결과를 신뢰하는 정도는 상대적으로 낮음을 확인하였다.
4. 제언 및 향후 과제
직업적성검사가 갖는 효과에 대하여 분석한 본 연구 결과로부터 도 출한 시사점 및 향후 과제는 다음과 같다.
첫째, 적성검사의 효과에 대한 객관적인 이해를 바탕으로 진로지도 및 진로상담에서 적성 검사를 사용하는 목적을 재정립할 필요가 있다.
즉 적성검사를 통하여 개인의 능력에 대한 객관적 결론을 내릴 수 있 다고 전제하기보다는 검사를 치르는 과정의 교육적 의미에 주목하고,
자아이해를 촉구하는 계기를 제공하기 위하여 검사를 활용하는 것이 더 적합하다고 인식하는 것이 필요하다.
둘째, 직업적성검사 결과를 충분히 이해할 수 있도록 검사 결과표를 구성하며, 적절한 교육적 안내가 따를 수 있도록 프로그램을 개발한다.
또한, 보다 적절한 검사 결과 안내가 이루어지도록 교사들을 대상으로 연수를 실시한다.
셋째, 직업적성검사 결과를 받음으로써 학생들이 부정적인 자기 단정 을 하기보다는 긍정적 가능성에 주목할 수 있도록 결과표를 제시하는 방식을 개선한다.
넷째, 인터넷 상에서 직업적성검사가 적절히 사용될 수 있도록 검사 결과에 따른 상호작용 가능성을 높이고, 다른 검사 결과와의 종합이 가 능하도록 프로그램을 개발하여 웹 상에 구현할 필요가 있다.
다섯째, 진로지도와 결합된 직업적성검사의 효과, 타 적성검사와의 교육적 효과 비교, 검사의 예언타당도를 포함한 장기적인 효과, 검사가 학생들에 작용하는 인지적, 정의적 과정 등에 대한 다양하고 지속적인 연구가 수행될 필요가 있다.
차 례
Ⅰ. 서론 1
1. 연구의 필요성 및 목적 1
2. 연구 방법 6
Ⅱ. 검사의 효과에 관한 선행 연구 15
1. 검사의 사용 목적 15
2. 적성검사의 타당도 17
3. 직업적성검사의 타당도 21
4. 진로관련 검사의 효과에 관한 선행연구 28
Ⅲ. 직업적성검사의 효과 31
1. 검사를 치르는 과정의 효과 31
2. 검사 결과표의 효과 34
3. 자아이해 및 진로탐색 동기의 변화 38
4. 검사에 대한 기대 및 검사 결과 반영 의지의 변화 45 5. 실험집단과 통제집단의 진로관련 특성 변화 차이 52 6. 전문 상담원에 의한 집단 상담 상황에서의 검사의 효과 53
7. 단원 요약 56
Ⅳ. 적성검사에 따른 진로결정의 변화 61
1. 진로결정 상태의 변화 61
2. 진로결정 내용의 변화 63
3. 검사 결과의 기억 68
4. 단원 요약 74
Ⅴ. 시험방식과 결과 안내의 효과 및 검사에 대한 인식 77
1. 인터넷 검사와 지필검사의 기본 특성 비교 77
2. 시험방식과 안내 유무에 따른 효과 차이 82
3. 직업적성검사 및 검사 결과표에 대한 인식 88
4. 단원 요약 96
Ⅵ. 결론 및 제언 99
1. 요약 및 결론 99
2. 제언 및 후속 연구 과제 103
참 고 문 헌 107
부록 1.
기술통계치 117부록 2.
설문 1: 적성검사 실시 전 125부록 3.
설문 2: 검사 실시 직후 129부록 4.
설문 3: 결과 받은 직후 131부록 5.
설문 4: 검사 결과 받은 지 1개월 후 135표차례
<표 Ⅰ-1> 학교급별 지역규모별 참가 학교 수 및 학생 수 7
<표 Ⅰ-2> 성별, 처치별 표본 크기 7
<표 Ⅰ-3> 조사 대상 집단별 설문 내용 및 순서 8
<표 Ⅰ-4> 설문 내용 및 해당 문항 9
<표 Ⅰ-5> 측정도구의 신뢰도 12
<표 Ⅰ-6> 지필검사와 인터넷검사를 동시에 실시한 학생 수 13
<표 Ⅱ-1> 직업적성검사의 타 적성검사와의 상관 23
<표 Ⅱ-2> 직업적성검사와 학업성적과의 상관 24
<표 Ⅱ-3> 직업적성검사 하위영역간 상관계수 25
<표 Ⅲ-1> 다양한 능력의 중요성 인식 관련 문항별 반응 비율 32
<표 Ⅲ-2> 다양한 능력의 중요성 인식에 대한 중다회귀분석 결과 33
<표 Ⅲ-3> 자아성찰 관련 문항별 반응 비율 33
<표 Ⅲ-4> 자아성찰의 기회로 인식하는 정도에 대한 중다회귀분석 결과 34
<표 Ⅲ-5> 능력에 대한 자신감 관련 문항별 반응 비율 35
<표 Ⅲ-6> 능력에 대한 자신감에 대한 중다회귀분석 결과 36
<표 Ⅲ-7> 검사 결과 반영 관련 문항별 반응 비율 37
<표 Ⅲ-8> 검사 결과 반영 의지에 대한 중다회귀분석 결과 38
<표 Ⅲ-9> 자아이해와 진로탐색 동기 변화 반복측정분석 결과 39
<표 Ⅲ-10> 검사 실시집단과 통제집단의 1개월 후 자아이해 및
진로탐색 동기 차이 비교 ANCOVA 결과 40
<표 Ⅲ-11> 초기 기대 수준별 자아이해 및 진로탐색 동기의 변화
2원 반복측정분석 결과 40
<표 Ⅲ-12> 초기 자아이해 수준에 따른 자아이해 및 진로탐색 동기 변화 42
<표 Ⅲ-13> 초기 진로탐색 동기 수준에 따른 자아이해 및 진로탐색
동기 변화 2원 반복측정분석 결과 43
<표 Ⅲ-14> 학업성적 수준에 따른 자아이해 및
진로탐색 동기 변화 2원 반복측정분석 결과 44
<표 Ⅲ-15> 검사 결과 이해 수준에 따른 자아이해 및
진로탐색 동기 변화 2원 반복측정분석 결과 45
<표 Ⅲ-16> 기대 및 결과 반영 의지 변화 2원 반복측정 분석 결과 46
<표 Ⅲ-17> 검사 실시 집단과 통제 집단의 1개월 후 차이 비교
AN COVA 결과 47
<표 Ⅲ-18> 초기 기대 수준에 따른 검사에 대한 기대 및
결과 반영 의지 변화 2원 반복측정분석 결과 48
<표 Ⅲ-19> 초기 자아이해 수준에 따른 검사에 대한 기대 및
결과 반영 의지 변화 2원 반복측정분석 결과 49
<표 Ⅲ-20> 초기 진로탐색 수준에 따른 검사에 대한 기대 및
결과 반영 의지 변화 2원 반복측정 분석 결과 50
<표 Ⅲ-21> 성적 수준에 따른 검사에 대한 기대 및
결과 반영 의지 변화 2원 반복측정 분석 결과 51
<표 Ⅲ-22> 검사 결과 이해 수준별 검사에 대한 기대 및
결과 반영 의지 변화 2원 반복 측정 분석 결과 52
<표 Ⅲ-23> 실험집단과 통제집단의 사전 및 검사 결과 받은 지 1개월 후
평균 및 공변량 분석 결과 53
<표 Ⅲ-24> 검사과정 및 검사 결과표의 교육적 효과 문항 평균 54
<표 Ⅲ-25> 전문상담원 해석 소집단 자아이해 및 진로탐색 동기변화
반복측정 분석 결과 55
<표 Ⅲ-26> 전문상담원 해석 소집단의 검사에 대한 기대 및
결과 반영 의지 변화 반복측정 분석 결과 56
<표 Ⅲ-27> 검사과정 및 검사 결과표의 교육적 효과에 관한 조사 요약 58
<표 Ⅲ-28> 적성검사 실시 전후의 진로관련 특성 변화 요약 59
<표 Ⅵ-1> 시간의 흐름에 따른 진로결정의 변화 양상에 따른 빈도 62
<표 Ⅳ-2> 사전과 1개월 후의 실험집단과 통제집단의 진로미결정 비율 63
<표 Ⅳ-3> 진로결정 내용의 변화 유형별 빈도 및 비율 65
<표 Ⅳ-4> 진로선택이 변함없는 학생과 지속적으로 미결정인 학생의
특성 비교 67
<표 Ⅳ-5> 검사 결과를 받은 후 직업명의 변화 내용 68
<표 Ⅳ-6> 적성검사 하위영역별 수준을 정확하게 기억하는 비율 70
<표 Ⅳ-7> 직업군별로 적합한 것으로 판정된 학생 비율 및
그 적합성을 정확하게 기억하는 학생 비율 72
<표 Ⅴ-1> 지필검사와 인터넷 검사 평균 78
<표 Ⅴ-2> 처치유형별, 시험방식별, 하위영역별 적성검사
평균점수 차이비교 80
<표 Ⅴ-3> 지필검사와 인터넷 검사의 상관 81
<표 Ⅴ-4> 검사과정의 교육적 효과에 대한 이원변량분석 결과 83
<표 Ⅴ-5> 검사 결과표의 교육적 효과에 대한 이원변량분석 결과 84
<표 Ⅴ-6> 시험방식과 안내유무, 시점에 따른 기술통계 85
<표 Ⅴ-7> 시험방식, 안내 유무, 시점에 따른 반복측정 분석 결과 86
<표 Ⅴ-8> 시험방식과 안내유무, 시점에 따른 기술통계 87
<표 Ⅴ-9> 시험방식, 안내 유무, 시점에 따른 반복측정 분석 87
<표 Ⅴ-10> 검사에 대한 호감도 문항별 비율 88
<표 Ⅴ-11> 직업적성검사 호감도에 대한 중다회귀분석 결과 89
<표 Ⅴ-12> 객관적으로 응답한 것 관련 문항별 비율 89
<표 Ⅴ-13> 객관적으로 평가하려고 노력한 정도에 대한
중다회귀분석 결과 90
<표 Ⅴ-14> 검사 결과 이해 관련 문항별 반응 비율 91
<표 Ⅴ-15> 검사 결과 이해에 대한 중다회귀분석 결과 92
<표 Ⅴ-16> 검사 결과 신뢰와 관련된 문항별 비율 93
<표 Ⅴ-17> 결과 신뢰에 대한 중다회귀분석 결과 94
<표 Ⅴ-18> 시험방식과 안내유무에 따른 직업적성검사 및 결과표에 대한
인식 차이 이원변량분석 결과 95
<표 Ⅴ-19> 직업적성검사 및 검사 결과표에 대한
인식에 관한 조사 결과 98
그 림 차 례
[그림 Ⅲ-1] 적성검사에 대한 기대 수준별, 시점에 따른 특성 변화 41 [그림 Ⅲ-2] 자아이해의 수준에 따른 제 특성의 변화 42 [그림 Ⅲ-3] 진로탐색 수준별 시점에 따른 변화 43 [그림 Ⅲ-4] 학업 성적 수준별 시점에 따른 변화 44 [그림 Ⅲ-5] 검사 결과이해 수준별 시점에 따른 변화 45 [그림 Ⅲ--6] 초기 기대 수준별 시점에 따른 변화 48 [그림 Ⅲ-7] 자아이해 수준별 시점에 따른 변화 49 [그림 Ⅲ-8] 초기 진로탐색 동기 수준별 시점에 따른 변화 50 [그림 Ⅲ-9] 학업 성적 수준별 시점에 따른 변화 51 [그림 Ⅲ-10] 검사 결과 이해 수준별 시점에 따른 변화 52 [그림 Ⅳ-1] 직업군별 적합 여부를 정확하게 기억하고 있는 비율 73 [그림 Ⅴ-1] 시험방식과 안내유무에 따른 자아성찰 정도 83 [그림 Ⅴ-2] 시험방식과 안내유무에 따른 객관적으로 응답한 정도 95
Ⅰ. 서론
1. 연구의 필요성 및 목적
가. 연구의 필요성
사회의 변화 속도가 가속화되고 있는 가운데, 미래를 준비하는 청소년들이 나 그들을 교육하는 교사 및 학부모는 급격하게 변화하는 사회에 잘 적응할 수 있는 진로지도의 필요성을 더욱 실감하고 있다. 그러나 그 필요성의 증가 에 반하여 실제로 이루어지는 진로지도는 매우 빈약한 현실이며, 그 원인은 체계화된 직업정보의 부족, 진로지도 전문인력의 부족 등 진로지도를 위한 사회적 인프라의 부족을 들 수 있다. 이러한 제한 속에서 가장 빈번히 손쉽 게 이루어지고 있는 진로지도의 한 형태가 학교에서 단체로 적성검사를 실 시하는 것이다. 이종범・정철영(2001)이 조사한 바에 의하면, 조사 대상 고등 학교 242개교 중 93.8%가 적성검사를 실시한 것으로 나타났다.
적성검사가 이와 같이 광범위하게 학교에서 사용되고 있지만, 그 검사가 어떤 과정을 통하여 학생들에게 해석되고 있으며, 그 효과가 무엇인가에 대 한 연구는 없다. 검사가 하나의 독립적인 상담 또는 교육활동으로 의미가 있 음에도 불구하고1), 적성검사가 학생들에게 어떻게 작용하고 있는가에 대한 연구는 매우 적다(Goodyear, 1990).
적성검사에 대하여 갖는 일반적인 기대는 적성검사를 통하여 잠재된 능력 을 발견하여, 최선의 직업을 선택해 주는 것이라 할 수 있다. 그러나 이러한 목적에 따라서 검사를 사용하기 위해서는, 검사 결과에 따라 진로선택을 할
1) 검사는 하나의 독립된 활동이 아니라 상담의 한 요소로서만 간주되어야 한다 는(Tin sley & Bradley, 1986) 견해도 있음.
경우가 그렇지 않은 경우보다 직업에서의 만족 또는 성공 가능성이 높다는 예언타당도가 있어야 한다. 그러나 외국의 연구 결과들에 의하면, 적성검사 의 예언타당도는 매우 한정적인 것으로 나타난다. 즉, 일반적 인지능력의 예 언력만이 부분적으로 확인되었을 뿐이며, 각 영역별 변별적인 타당도는 확인 되지 않았다(Ghiselli, 1973; Hunter, 1985; Prediger, 1987). 한편, 우리나라의 경우 어느 적성검사도 예언타당도에 대한 증거를 제시하고 있지 않은 현실 이다.
적성검사의 예언타당도가 높지 않다면, 중・고등학생의 진로지도에서 적성 검사를 어떤 목적으로 사용하는 것이 타당한가? 적성검사를 실시하는 목적 은 잠재력을 확인하여 미래에 성공 가능성이 높은 직업을 선택하는 데에만 한정되지 않는다. 적성이란 고정된 특성이기보다는 학습과 다양한 경험을 통 하여 변화하고 발전할 수 있으며(Linn & Gronlund, 1990), 따라서 적성검사 는 현재의 고정된 특성에 기초하여 미래를 예언하기 위한 것보다는 오히려 자기성찰 및 진로탐색의 동기를 부여하며 진로계획 및 준비행동의 실천의지 를 가질 수 있도록 계기를 제공할 수 있다 .
한국직업능력개발원에서는 2001년부터 2002년에 걸쳐서 중・고등학생을 위한 직업적성검사(임언・정윤경, 2000, 2001)를 개발하였으며, 검사를 치르는 과정과 검사 결과표를 통하여 각 직업에서 필요한 능력을 알고, 다양한 직업 에 대한 탐색 동기를 제고하며, 나아가 검사를 치르는 과정 자체가 주요한 자기 성찰의 계기가 되도록 하는 것이 검사 개발의 목표이었다. 그러나 이와 같이 상정한 교육적인 목적들이 실제로 구현되는가는 검사 개발의 과정에서 매우 부분적으로만 확인된 상태이다. 따라서, 검사의 효과를 객관적 자료를 통하여 검토하고, 그 결과에 따라서 검사를 개선하는 것이 필요하다.
한국직업능력개발원 적성검사가 자기평가식 검사방식을 취하게 된 이유 들2) 중의 하나는 능력형 검사에 비해서 검사의 결과에 대한 과다한 믿음을
2) 직업적성검사가 자기평가식을 택한 이유는 첫째, 능력형 검사로써 측정할 수 없 는 다양한 능력을 적성의 하위영역으로 포함하고자 함이며, 둘째, 철학적으로 자기 평가 방식은 개인이 자신의 성공과 실패에 대한 방대한 자료를 가지고 있으
므로 자신을 평가할 수 있는 최적임자는 바로 그 개인이라는 믿음
(H arrin gton , 1995)에 기초하였다.
갖지 않으며, 따라서 검사 결과로 인하여 학생들이 부적절하게 부정적인 자 기 단정을 하지 않도록 한다는 것이 포함되었다. 즉, 적성검사의 결과를 기 초로 단정적으로 자신의 미래에 대해서 규정하기보다는 자기 이해의 보조적 인 자료로 활용하는 것이 자연스럽게 유도될 수 있다는 가정이 있었다. 그러 나 과연 자기평가식 검사 결과가 부적절한 자기 단정의 가능성을 최소화하 고 있는가에 대하여 실증적으로 검토된 바 없다. 따라서, 이에 대한 검토가 필요하다.
검사가 갖는 교육적 효과는 검사 결과가 어떤 방식으로 학생들에게 설명 되고 활용되었는지에 따라서 검사 결과가 학생들의 진로선택 및 진로발달에 미치는 영향은 다르게 나타난다. 검사 결과에 대한 자세한 해석이 주어질수 록 보다 긍정적인 효과를 가져온다는 연구 결과들(Goodyear, 1990; Finn &
Tonsager, 1992)이 있음에도 불구하고, 일선 학교에서 검사를 사용할 때 충분 한 결과 해석이 이루어지고 있지 않고 있다. 이종범・정철영(2001)에 의하면, 검사 결과에 기초하여 학생과의 개별 또는 집단진로상담을 실시하는 경우는 24 %에 불과하였으며, 대부분의 학교에서 검사 결과지를 학생들에게 배부하 는 것에 그쳤다. 따라서, 검사 결과에 기초하여 보다 상세한 안내가 따르지 않을 경우에도 적성검사의 교육적 효과가 과연 있을 것인가에 대하여 알아 볼 필요가 있다.
현재 한국직업능력개발원 중・고등학생을 위한 직업적성검사(이하 직업적 성검사)는 진로정보센터를 이용하는 내담자를 중심으로 활용하고 있을 뿐만 아니라, 인터넷 상에서도 수많은 학생들이 적성검사를 실시하고 있다3). 중・
고등학생을 위한 직업적성검사를 웹 상에 탑재하는 것에는 지필검사와 인터 넷상의 검사가 매체의 차이에도 불구하고, 별다른 차이가 없을 것이라는 전 제가 있었다. 그러나 과연 그러한 전제가 타당한가에 대하여 지필검사와 인 터넷 검사를 동시에 실시한 자료를 바탕으로 검토할 필요가 있다. 아울러, 지필검사와 인터넷 검사 간에 매체의 차이로 인하여 검사의 교육적 효과에 차이가 있는가를 확인할 필요가 있다.
3) 2002월 1월에 개통한 이래 10월까지 만 10개월 동안 95,336명이 커리어넷 상 에서 직업적성검사를 실시함.
검사가 실제로 학생들에게 어떠한 긍정적, 또는 부정적 작용을 하였는가를 확인하는 것은 검사의 결과 타당도 를 확인하고자 하는 것이다. 성태제(2000) 에 의하면, 검사는 교육적인 목적에 의해서 제작되지만, 검사 결과는 시대적 배경이나 환경에 따라서, 의도한 결과만이 아니라 의도하지 않은 결과를 초 래하기도 하고, 긍정적 결과만이 아니라 부정적인 결과, 실제적 결과와 잠재 적 결과가 초래되기도 한다. 따라서, 이러한 다양한 결과를 확인하는 것이 비록 용이하지 않지만 주요한 타당도의 한 측면임을 강조하였다.
검사의 오용 및 남용을 막기 위한 최대한의 노력을 기울여야하는 것이 검 사 개발자의 의무이자 윤리임에도 불구하고(황정규, 1990; 김재환, 1990), 현 실적 요구에 부응하는 가운데 충분한 교육적 효과에 대한 검증이 이루어지 지 않은 상태에서 검사가 이미 사용되고 있는 상황이다. 따라서, 직업적성검 사의 본격적인 사용에 앞서서 검사의 교육적 효과를 엄밀히 검토하고, 그 긍 정적 효과를 극대화하고, 부정적인 가능성을 최소화할 수 있는 활용 방법을 모색할 필요가 있다.
나. 연구의 목적 및 연구문제
1) 연구의 목적
본 연구는 직업적성검사가 학생들에게 어떠한 교육적 효과가 있는가를 알 아보고자 한다. 즉, 검사를 치르는 과정 및 검사 결과표를 받는 것에서 학생 들은 무엇을 학습하고 인식하게 되는가, 또한 이 모든 과정들이 학생들의 진 로관련 특성들을 어떻게 변화시키는가를 알아보고자 하였다.
2) 효과에 대한 정의
본 연구에서의 효과는 크게 세 가지로 검토되었다. 하나는 검사를 치르는 과정 자체가 학생들에게 주는 영향이며, 다른 하나는 검사 결과표를 받는 것 의 효과이다. 그리고 세 번째는 검사를 치르고 결과를 받는 모든 과정들이 종합적으로 작용하여 나타난 효과를 의미한다.
검사를 치르는 과정의 효과 는 적성검사 문제를 접하고 응답하는 가운데
학생들이 갖게된 생각이나 느낌의 교육적 측면들을 말한다. 즉, 인지능력만 이 아니라 대인관계 능력 등 직업적성검사에 포함된 다양한 능력4)이 중요함 을 알게 되며, 적성검사를 치르는 과정에서 자아성찰을 경험하는 정도를 나 타낸다
검사 결과표의 효과 란 검사 결과표를 받음으로써 학생들이 자신의 능력 에 대하여 긍정적으로 인식한 정도와 진로선택에 그 결과를 반영하고자 하 는 정도로 정의하고자 한다.
진로 관련 특성의 변화 란 검사를 치르기 전과 비교할 때, 검사 결과를 받고 난 직후, 검사 결과를 받은 지 1개월 후에 자아이해의 정도와 진로탐색 동기가 변화한 정도로 정의한다.
3) 연구문제
본 연구의 구체적인 연구문제들은 다음과 같다.
첫째, 직업적성검사를 치르는 과정의 교육적 효과가 있는가? 즉, 검사를 치르는 과정에서 다양한 능력의 중요성을 알게 된 정도와 자아성찰의 기회 를 가졌다고 인식하는 정도는 어떠한가?
둘째, 직업적성검사 결과표를 받는 것의 교육적 효과가 있는가? 즉, 결과 표를 받음으로써 자신의 능력에 대하여 자신감을 갖게 되는 정도와 검사 결 과를 자신의 진로선택에 반영하려는 정도는 어떠한가?
셋째, 직업적성검사를 치름으로써 자아이해와 진로탐색 동기가 어떻게 변 화하는가? 즉, 검사를 치르기 전과 비교할 때, 검사 결과를 받은 후와 추수 조사에서 학생들의 자아이해와 진로탐색 동기가 증가하는가? 또한, 검사에 대한 기대 및 결과 반영 욕구는 어떻게 변화하는가?
넷째, 검사를 치르는 것은 학생들의 진로결정 상태 및 결정 내용에 어떤 변화를 초래하는가? 또한, 학생들은 검사 결과를 어떻게 기억하고 있는가?
다섯째, 지필검사와 인터넷 검사는 얼마나 일치하는가? 시험방식(지필검사
4) 한국직업능력개발원의 직업적성검사에 하위 영역으로 포함된 능력은 신체운 동능력, 손재능, 공간시각능력, 음악능력, 창의력, 언어능력, 수리논리력, 자아 성찰능력, 대인관계능력, 자연친화능력의 총 10개 능력이다.
와 인터넷 검사)과 검사 결과 비디오 안내 유무는 직업적성검사의 효과에 어 떠한 영향을 미치는가?
다. 연구의 한계
본 연구는 직업적성검사의 효과를 그 검사의 개발 목적에 비추어 면밀히 검토하는 것에 중점을 두었다. 따라서, 다른 목적과 논리를 가지고 있는 타 적성검사와의 비교를 하기에는 부적절한 측면이 있었다. 이는 본 연구의 한 계이며, 따라서, 상대적 논의가 필요한 몇 가지 결과에 대한 해석에 있어서 제약이 있다고 본다. 본 연구를 통하여 드러난 쟁점을 중심으로 타 적성검사 와의 비교를 하는 것을 향후 과제로 남기고자 한다.
2. 연구 방법
가. 직업적성검사의 효과 분석
1) 표본 구성
직업적성검사의 효과가 검사의 형식(지필검사 vs. 인터넷 검사)과 안내의 정도(결과해석 안내 없음 vs. 결과해석 안내 있음)에 따라서 차이가 있는가를 알아볼 수 있도록 두 요인에 따라서 교차한 4개의 집단과 통제집단으로서 총 5개 집단을 구성하였다(<표 Ⅰ-2> 참조).
서울과 인근 중소도시에 위치해 있는 7개의 중・고등학교의 중학교 3학년 학생과 고등학교 2학년 학생들로 표본을 구성하였다. 중학교 3개교, 일반 고 등학교 2개교, 실업계 고등학교 2개교이며, 지역별로는 대도시 4개교, 중소도 시 3개교로 구성하였다(<표 Ⅰ-1> 참조). 총 5회에 걸친 조사 및 검사 실시 가 행해지는 과중한 부담으로 인하여, 각 학교별로 5개 집단에 한 학급씩만 할당하였으며, 그 결과, 7개교 35학급의 1,061명의 학생이 연구에 참여하였다.
최초 표집에서 여학생이 57%(657명)이고, 남학생이 43%(519명)으로, 여학생 이 비율이 다소 높아, 상대적으로 참여자가 많은 여자 중학생 집단에서 무선
적으로 사례를 제외한 후에 남녀 비율을 맞추어 분석하였다. <표 Ⅰ-2>는 남 녀 비율을 맞춘 후의 사례 수이다.
<표 Ⅰ-1> 학교급별 지역규모별 참가 학교 수 및 학생 수
단위 : 학교 수(인원)
학교 구분 중학교 일반고 실업고 합계
학교 수 및 인원 3(420) 2(366) 2(275) 7(1,061)
<표 Ⅰ-2> 성별, 처치별 표본 크기 구분
성별
지필검사 인터넷검사
통제집단 합계 검사 결과
안내 안내 없음 검사결과
안내 안내 없음
남자 95 100 99 98 127 519
여자 109 117 111 97 108 542
합계 204 217 210 195 235 1,061
2) 조사 과정 및 설문 내용
적성검사를 실시하기 전, 검사를 실시한 직후(5월 말), 검사 실시 후 1주일 후에 검사 결과를 받은 직후(6월 초), 검사 결과를 받은 지 1개월 후(7월 초) 로 총 네 차례에 걸쳐서 설문을 실시하였으며, 검사 실시를 포함하면 총 다 섯 번의 측정을 하였다(<표 Ⅰ-3> 참조).
설문Ⅰ에는 적성검사에 대한 의견, 진로결정 여부 및 결정 또는 미결정에 대한 편안함의 정도, 자아이해의 정도 및 진로탐색 동기가 포함되며, 설문Ⅱ 는 직업적성검사에 대한 의견, 설문Ⅲ은 설문Ⅰ의 내용에 검사 결과에 대한 의견을 추가로 포함하고 있으며, 설문Ⅳ는 설문Ⅰ에 검사 결과를 기억하는 정도가 추가되었다(<표 Ⅰ-4> 참조).
안내가 없는 집단 에게는 간단한 안내에 따라 검사를 실시하고, 안내가 있는 집단 에게는 검사 결과를 해석하는 방법을 비디오를 통하여 제시하였 다. 이 때 사용된 비디오는 본 연구를 위해서 제작한 것으로서 최소한의 결
과 해석 방법을 연구책임자가 설명하는 내용을 6m 비디오 카메라로 촬영한 것이 주된 내용이며, 간간이 필요하다고 판단되는 경우 그래픽으로 내용을 요약하여 제시하였다.
<표 Ⅰ-3> 조사 대상 집단별 설문 내용 및 순서
조사 시기
집단 구분
지필검사 인터넷 검사
안내 있음 안내 없음 안내 있음 안내 없음 통제집단
1차 조사 (6월 초)
①설문Ⅰ
②검사 안내
③지필검사
④설문Ⅱ
①설문Ⅰ
②검사 안내
③지필검사
④설문Ⅱ
①설문Ⅰ
②검사 안내
③인터넷 검사
④설문Ⅱ
①설문Ⅰ
②검사 안내
③인터넷 검사
④설문Ⅱ
①설문Ⅰ
2차 조사 (검사 실시 후 1주일:
6월 중순)
①검사결과 에 대한 안내
②검사결과 표 제공
③설문Ⅲ
①결과 안내 없음
②검사결과 표 제공
③설문Ⅲ
①검사결과 에 대한 안내
②검사결과 표 제공
③설문Ⅲ
①결과안내 없음
②검사결과 표 제공
③설문Ⅲ
없음
3차 조사 (결과를 받은 후 1개월:
7월 중순)
①설문 Ⅳ ①설문 Ⅳ ①설문 Ⅳ ①설문 Ⅳ ①설문Ⅳ
주) 번호는 실시 순서를 나타냄.
<표 Ⅰ-4> 설문 내용 및 해당 문항
설문 내용 세부항목 질문지 번호 실시
회수 적성검사에 대한
의견
기대 설문Ⅰ-Ⅰ-1, 2, 3
설문Ⅲ-Ⅱ-1, 2, 3 3
영향력 설문Ⅰ-Ⅰ-5, 8, 9
설문Ⅲ-Ⅱ-5, 8, 9 3
진로결정
진로결정 설문Ⅰ-Ⅱ-1, 2,
설문Ⅲ-Ⅲ-1, 2 2
결정에 대한 편안함
설문Ⅰ-Ⅱ-3, 4
설문Ⅲ-Ⅱ-3, 4 3
미결정에 대한 편안함
설문Ⅰ-Ⅱ-5, 6
설문Ⅲ-Ⅲ-6, 7 3
자아이해 및 진로탐 색 동기
자아이해 설문Ⅰ-Ⅲ-1～5
설문Ⅲ-Ⅳ-1～4, 6 3
탐색동기 설문Ⅰ-Ⅳ-1～7
설문Ⅲ-Ⅴ-1～6, 8 3
검사 과정의 교육적 효과
다양한 능력의
중요성인식 설문Ⅱ-1, 3, 9 1
자아성찰의
기회가 됨 설문Ⅱ-2, 5, 10 1
검사에 대한
호감도 설문Ⅱ-4, 12, 13 1
응답의 성실성 및
객관성 설문Ⅱ-6, 7, 11 1
적성검사 결과에 대한 의견
결과신뢰 설문Ⅲ-Ⅰ-1, 4, 11 1
자아개념 설문Ⅲ-Ⅰ-2, 3, 10 1
반영욕구 설문Ⅲ-Ⅰ-5, 8 1
결과이해 설문Ⅲ-Ⅰ-6, 7, 9 1
검사 결과 기억 정도
하위영역별 수준
및 직업군별 적합 여부
설문Ⅳ-1, 2 1
3) 측정도구
본 연구에 사용된 측정도구는 직업적성검사와 학업성적을 제외하고는 본 연구를 위하여 새로이 구성되었다. 새로이 구성된 측정도구들은 예비조사5)를 실시하여 문항을 수정한 후에 확정되었다.
가) 직업적성검사
한국직업능력개발원에서 개발한 직업적성검사(임언・정윤경, 2000～2001)는 10개의 하위 영역(신체・운동능력, 손재능, 공간・시각능력, 음악능력, 창의 력, 언어능력, 수리・논리력, 자기성찰능력, 대인관계능력, 자연친화력)으로 구성되었으며, 각 하위영역별 내적 일치도 계수의 범위는 .68～.92로서 중앙 값은 .84이다.
나) 적성검사 직후의 검사 과정 및 직업적성검사에 대한 의견
직업적성검사를 치르는 과정의 효과를 확인한 선행연구(임언・정윤경, 2001)에서 활용한 도구를 수정하였다. 하위요소로는 검사를 통하여 다양한 능력의 중요성을 인식하게 된 정도, 자아성찰의 정도, 검사에 대한 호감도, 객관적이며 성실하게 응답한 정도이며, 신뢰도는 객관적으로 응답한 정도 (.64)만 제외하고 모두 .70 이상으로 나타났다.
다) 직업적성검사 결과표에 대한 의견
직업적성검사의 결과를 받고 난 후에 그 결과를 신뢰하는 정도, 능력에 대 한 자신감, 검사 결과 반영 욕구, 검사 결과 이해의 정도를 측정하였다. 각 하위 영역별 문항 수는 2～3개이며, 신뢰도는 능력에 대한 자신감(.86)을 제 외하고는 .58～.67의 범위 안에 있어 그 결과 해석에 약간 한계가 있을 것이 라 판단된다.
라) 자아이해 및 진로탐색 동기
검사의 효과를 알아보고자 하는 준거 변인으로 진로성숙을 택하였으며, 진 로성숙의 다양한 하위 요소 중에서 검사에 의해서 변화가 있을 것으로 판단 되는 자아이해의 정도 및 직로탐색의 동기에 한하여 측정하였다. 한국직업능 력개발원에서 개발한 진로성숙도검사(임언・정윤경・상경아, 2001)6)의 일부
5) 서울시내 중학교 3학년 2학급 학생에게 실시함.
6) 계획성, 독립성, 일에 대한 태도, 직업에 대한 지식, 자기이해, 정보탐색 및
문항을 발췌하여 재구성하였다. 자아이해는 자신의 능력과 흥미 및 특성에 대하여 자신이 알고 있다고 생각하는 정도를 측정하고 있으며, 총 5개 문항 으로 구성된 자아이해 검사의 신뢰도는 .77이었으며, 진로탐색 동기는 7개 문항이며, 신뢰도는 .84이었다.
마) 진로결정성
진로결정성7)은 진로를 결정한 정도를 나타내며, 현재의 진로선택 내용, 진 로결정 여부, 결정에 대한 편안함 및 만족으로 구성되었다. 현재의 진로선택 내용은 The Occupational Alternatives Questionnaire(OAQ; Slaney, 1978)의 문항인 지금 현재 고려하고 있는 직업들을 모두 써라 와 한 직업만 선택 한다면, 무엇인가?(결정을 못했을 경우는 미결정이라 말함) 를 사용하였다.
바) 적성검사에 대한 의견
일반적인 적성검사가 자아이해에 어느 정도의 도움을 줄 것인가에 대한 기대와 적성검사의 결과를 어느 정도 반영할 것인가라는 적성검사의 영향력 으로 구성되었다. 적성검사에 대한 기대는 내적일치도 계수가 .82, 검사의 영 향력에 대한 인식의 내적 일치도 계수는 .68로 나타났다.
아) 학업성적
학업성적은 1학기말고사 성적이며, 학교별 난이도를 조정하기 위하여 각 학교별 평균 및 표준편차에 의한 표준점수를 계산하여 분석하였다.
<표 Ⅰ-5> 측정도구의 신뢰도
합리적 의사결정, 진로준비행동의 하위 영역이 포함됨.
7) 진로결정성에 대한 도구로는 Career Decision Scale (CDS: Osip ow , Carn ey, Win er, Yan ico, & Kosch ier, 1976)도 있음. 확신성과 관련된 2개의 문항과 진 로미결정성의 이유와 관련된 16개의 문항 및 주관식 문항 1개로 구성됨. 검 사 재검사 신뢰도는 .7로 대학생 이상에게 더 적합하며, 한 문항에 2개 이상 의 요소가 포함되어 본 조사에서 사용하기에는 부적절하다고 판단함.
설문내용 하위영역 문항수 신뢰도
직업적성검사 직후의 검사 에 대한 의견
능력의 중요성인식 3 .74
자아성찰 3 .78
호감도 3 .71
객관성 3 .64
직업적성검사 결과표에 대 한 의견
능력에 대한 자신감 3 .86
결과 반영욕구 2 .59
결과이해 3 .67
결과신뢰 3 .58
자아이해 및 진로탐색 동기 자아이해 5 .77
탐색동기 7 .84
진로결정성 진로결정 여부 2 해당사항 없음*
적성검사에 대한 의견 기대 3 .82
영향력 3 .68
* 진로결정성은 3문항이지만(부록 참조), 각각의 문항이 동일한 형식이 아니므로 내 적일치도 지수를 구하지 못함.
4) 분석방법
3차에 걸친 조사의 시간에 따른 변화를 검토하기 위하여 반복측정분석을 하였으며, 제 특성에 관련된 변인을 가려내기 위하여 중다회귀분석을 실시하 였다. 통제집단과 실험집단 간에 사전 조사 결과를 공변인으로 하여 사후 결 과 비교를 하기 위하여 공변량분석을, 집단간 차이 검증을 위하여 일원변량 분석 및 이원변량분석을 실시하였다.
나. KRIVET 직업적성검사 지필검사와 인터넷 검사 간의 일치도 조사
지필검사와 인터넷 검사간의 차이를 비교하기 위하여 지필검사와 인터넷 검사간의 기본 특성을 비교할 필요가 있었다. 지필검사로서 개발된 KRIVET
직업적성검사와 커리어넷에 탑재되고 있는 인터넷 검사간의 일치 정도를 알 아보기 위하여 구성한 표본 및 조사과정은 다음과 같다.
1) 표본
5개 중・고등학교에 재학 중인 406명이 지필검사를 실시한 후 2～3주일 후에 인터넷 검사를 실시하였다(<표 Ⅰ-6> 참조). 이 중에서 인터넷 검사를 학교에서 단체로 실시한 학생은 277명이며, 129명은 가정 혹은 학교에서 개 별적으로 인터넷 검사를 실시하였다.
<표 Ⅰ-6> 지필검사와 인터넷검사를 동시에 실시한 학생 수(단위: 명)
구분 학교 수 인터넷 검사 실시*
단체 개인 전체
중학생 2 100 94 194
고등학생 3 177 35 212
합계 4 277 129 406
2) 조사방법
두 가지 형태의 검사를 함께 실시할 경우, 순서 효과를 배제하기 위해서 순서를 교차하여 실시하도록 설계해야 하지만, 인터넷 검사는 실시와 동시에 검사 결과가 나타나므로 그 이후 실시될 지필검사에 미칠 영향이 크기 때문 에 일률적으로 지필검사를 실시한 지 2～3주 후에 인터넷 검사를 실시하였 다.
3) 조사 내용 및 분석방법
주된 분석 내용은 두 검사 점수간의 상관의 정도이며, 각 검사 유형별 신 뢰도 및 하위 영역별 총점을 비교하였다.
다. 소집단 상황에서의 전문상담원에 의한 검사 활용 효과 조사
직업적성검사의 효과를 보다 다각적으로 검토하고자, 실험집단과 동일한 과정과 절차를 전문상담원에 의하여 검사 해석이 이루어진 소집단 진로상담 상황에 적용하였다.
조사에 참여한 학생은 서울시내 여자고등학교 2학년 22명으로서 진로문제 에 관심이 있으며, 학업성적이 상위권에 드는 학생들이었다. 학교를 방문하 여 이 학생들에게도 본 연구의 주요 표본과 마찬가지로 사전 설문Ⅰ을 실시 한 후에 검사를 실시하고, 검사를 실시한 직후에 설문Ⅱ를 실시하였다. 1주 일 후 한국직업능력개발원의 진로정보센터를 방문하여 학생들은 10명 내외 의 소집단으로 나뉘어 검사 결과를 받고, 집단적인 검사 해석을 받은 후에 설문Ⅲ을 실시하였다. 검사 해석을 중심으로 이루어진 집단 상담은 2시간 동 안 이루어졌다. 설문Ⅳ는 검사 결과를 받은 지 1개월 후에 학교에서 실시되 었다.
Ⅱ. 검사의 효과에 관한 선행 연구
적성검사가 매우 광범위하게 지속적으로 활용되고 있음에도 불구하고, 검 사 그 자체만의 효과를 검토한 연구는 매우 적다. 반면, 검사가 하나의 요소 로서 포함된 진로상담 전체의 과정 또는 진로지도 프로그램의 효과에 대한 검토에 대한 연구는 많이 이루어진 편이다. 그러한 연구들은 주로 여러 회기 에 걸친 상담 활동이나 컴퓨터로 구성된 종합적 진로탐색 프로그램의 효과 를 검토하는 것으로 이루어져 있다. 그러나 그러한 연구들은 통상적으로 한 가지 이상의 검사를 실시하며, 직업탐색 활동이나 집단 상호작용 등 복합적 인 활동들이 포함되므로, 검사 자체만의 효과를 알 수 없다는 점에서 선행연 구로 포함시키지 않았다. 이 장에서는 적성검사를 실시하는 목적과 그 목적 과 관련된 기능을 하는가 라는 타당도 관련 논의들을 소개하며, 아울러 직업 적성검사가 개발과정에서 확보한 타당도 관련 근거들을 다시 정리하였다. 마 지막으로 적성검사의 효과를 검토한 연구들의 결과를 검토하였다.
1. 검사의 사용 목적
가. 심리검사의 사용 목적
검사의 사용 목적은 대체로 분류, 자기이해의 촉진, 프로그램 평가, 과학적 탐구(Cronbach, 1990; 박성수, 1990)로 나눌 수 있다. 검사의 목적이 이와 같 이 다양하다는 것은 하나의 검사가 다양한 목적을 모두 충족시키는 것은 불 가능하며, 각각의 검사가 사용 목적에 따라 장단점을 갖는다는 것을 의미한 다(Cronbach, 1990).
검사를 분류의 목적으로 사용하는 것은 어떤 식으로든 사람을 구분할 때
사용하는 것이며, 여기에는 선발(selection)과 진단(diagnosis)이 포함된다. 선 발은 선택된 집단과 그렇지 않은 집단으로 사람을 구분하는 것으로, 입사시 험, 대학 입학 시험 등이 이에 속한다. 진단은 특정한 속성이 있는 것과 없 는 것으로 구분하는 것이며, 신경증 유무 진단, 영재 판별, 학습 장애 진단 등이 이와 같은 경우이다.
자아이해의 촉진을 위하여 검사를 실시하는 것은 검사 결과를 통하여 자 신에 대한 객관적인 정보를 하나 더 갖게 함으로써, 개인이 다른 경로를 통 하여 획득한 자기 정보와 함께 자신의 진로선택을 돕기 위한 것이다. 그 밖 의 프로그램의 효과 분석이나 과학적 탐구는 어떤 처치의 효과 여부를 판단 하기 위하여 검사를 사용하는 것을 말한다.
나. 적성검사를 실시하는 목적
Gibson과 Michell(1981)은 적성검사를 실시하는 목적으로 개인이 미처 인 식하지 못하고 있는 잠재력을 발견하고, 개인의 특수 능력이나 잠재력을 개 발할 수 있도록 격려하며, 학업이나 진로를 결정하는 데 중요한 정보를 제공 하고, 개인이 미래 학업이나 직업에 있어서 성공 가능성을 예측하며, 발달을 고려한 교육을 제공하기 위하여, 또한, 적성에 따라서 학생들을 분류하기 위 함으로 제시하였다.(김충기, 1989에서 재인용).
이와 같은 적성검사의 기능 중 진로지도와 관련된 것만을 다시 정리하자 면 다음과 같다. 첫째, 검사를 통하여 자아이해를 촉진한다. 자신이 인식하고 있거나, 또는인식하지 못하는 자신의 특수한 능력을 확인하고 부족한 점이 무엇인지 알 수 있다. 둘째, 적성검사 결과를 진로선택에 참고자료로 활용할 수 있다. 적성 검사의 예언타당도가 충분하지 않더라도 적성검사 결과는 학 업성적 및 개인의 현실적 상황 등과 함께 진로선택을 하는데 도움이 되는 자료로 활용될 수 있다. 셋째, 진로지도에 대한 동기 유발이다. 즉, 검사를 통하여 내담자와 상담가 간의 라포 형성 및 자기이해에 대한 동기를 부여할 수 있게 된다. 넷째, 적성검사를 치르는 과정에서 직업세계에서 필요한 능력 이 무엇인지 알게 되며, 검사 결과에 따라 제시된 직업들에 대한 탐색 동기
를 높임으로써 진로발달을 촉진할 수 있다(임언・정윤경, 2001).
2. 적성검사의 타당도
검사의 타당도는 흔히 내용타당도, 준거타당도8), 구인타당도로 구분되어 왔으나 최근에는 결과타당도가 새로이 강조되는 추세이다. 흔히 검사 개발의 과정에서 내용타당도 및 구인타당도는 기본적으로 검토가 되는 편이나, 예언 타당도나 결과타당도를 검토하는 경우는 매우 드물다9).
가. 예언타당도에 대한 논의 및 선행 연구
적성검사의 기능의 하나가 개인의 능력을 확인하여 진로선택을 돕는 데 있다면, 적성검사의 결과는 향후 직업선택 및 직무수행, 나아가 직업만족과 의 관련성이 증명될 필요가 있다. 이와 같은 적성검사와 향후의 선택 혹은 수행과의 상관의 정도를 예언타당도라고 한다.
적성검사의 예언타당도를 검토함에 있어서 주요한 이슈 중의 하나는 예언 의 준거변인의 선택이다. 즉, 무엇을 기준으로 하여 예언력이 있고 없음을 논할 것인가의 문제이다. 대부분의 연구들이 직무수행을 준거로 삼고 있으 나, 직무수행을 측정하는 가장 적절한 방법이 무엇인가에 대해서는 아직 합 의가 이루어지지 않은 상태이다. 다만, 상급자의 평정이나 직무 관련 지식검 사, 직무표본수행 평정이 상호보완적인 측정치라는 잠정적인 결론이 있을 뿐 이다.
1) 직무수행에 대한 예언타당도 메타분석 연구 결과
8) 준거타당도는 준거가 되는 변인과의 관련성을 나타내며, 준거가 되는 변인이 동시에 측정되는가 혹은 미래에 측정되느냐에 따라 공인타당도와 예언타당도로 구분된다.
9) KRIVET 직업적성검사의 경우도, 전문가 협의회를 통하여 내용타당도를, 요인분석을 통하여 구인타당도를 검토하였으며, 다른 적성검사 및 학업 성적과의 상관을 통하여 공인타당도를 검토하였다. 그러나 예언타당도에 대하여는 검토가 되지 못하였으며, 결 과타당도는 매우 제한적으로 검토된 바 있다.
Ghiselli(1973)는 예언타당도에 대한 기존의 연구들에 대한 메타분석의 결 과, 적성검사는 일반적으로 향후의 직무수행에 대하여 낮은 예언력을 가지 며, 특정한 검사의 특정한 직업에 대한 예언타당도는 상황에 따라 다르게 나 타난다고 결론을 내렸다.
또한, Hunter(1985)는 Ghiselli(1973)가 측정의 오차, 범위의 축소, 표집 오 차를 고려하지 않음으로써 적성검사의 예언타당도를 과소 평가하였다고 지 적하고, 500개의 타당도 연구들을 메타분석하여 일반적 인지능력이 모든 직 업에서의 수행을 예언한다고 보았다. 직업 경험, 인터뷰, 훈련 점수, 학업 성 적, 교육 정도, 흥미, 나이와 비교할 때 일반적 인지능력이 가장 예언력이 크 게 나타났다. 업무가 단순한 직업에서는 적성검사의 예언타당도가 .23인데 반하여 업무가 상대적으로 복잡한 직업의 경우 .58까지 높게 나타났다. 이 메타분석을 통하여 일반적 인지능력의 예언타당도는 확인되었으나 세부 능 력들의 예언타당도는 단지 그것이 일반 인지능력과 상관이 있는 정도에 한 해서 예언타당도가 있었다고 보고하였다.
그러나 Hartigan과 Wigdor(1989)는 GATB의 타당도를 검토하기 위한 위원 회에서 타당도에 관한 메타연구의 결과들을 비판적으로 검토한 결과, Hunter의 연구는 두 개의 부적절한 가정에 기초한다고 지적하였다. Hunter 의 연구가 가지고 있는 가정이란, 500여 직업이 12,000여 직업으로 일반화될 것이라는 가정, 그리고 5개 직업군에서 각 직업군 내의 다른 직업들에 결과 들이 일반화될 것이라는 가정이다. 또한, 표집오차를 고려한 수정 및 범위축 소로 인한 과소평가를 수정한 폭이 너무 컸다고 평가하는 가운데, GATB의 예언타당도는 매우 낮다고 결론을 내렸다.
2) 직업선택에 대한 예언타당도
Prediger (1987)는 직업선택을 기준으로 하여 고등학교 시절의 ASVAB (Armed Services Vocational Aptitu de Battery) 성적이 변별타당도를 갖는가, 즉, 적성검사의 결과에 따라 아이들의 직업선택이 달라지는가에 대하여 검토 하였으며, 그 결과, 능력의 수준이 직업의 수준을 예언할 수는 있어도 프로 파일의 예언력은 없는 것으로 나타났다. 즉, 프로파일의 차이에 따른 직업선
택에 차이를 확인하지 못하였다.
반면, Prediger가 ACT(American College Testing Programs)에서 개발한 자기평가식의 능력검사는 프로파일의 차이에 따른 변별타당도가 있는 것으 로 확인하였다.
직업선택에 대한 예언타당도를 제대로 조사하려면 종단적 자료를 수집하 여야 하나, 이 연구는 직업선택을 기준으로 조사하지 못하고, 11학년과 12학 년 학생들의 직업선택을 준거변인으로 검토한 것이라는 점에서 한계가 있다.
3) 소결론
적성검사의 예언타당도를 검토하고 있는 연구결과들을 종합하면, 적성검사 에 포함된 일반적 인지능력이 광범위한 직업에서의 예언타당도가 있다는 의 견이 다소 논란 속에 인정되고 있으나, 프로파일의 예언타당도는 충분히 지 지되고 있지 않다고 볼 수 있다. 다시 말해서 적성 검사의 하위 영역별 점수 의 패턴에 따른 준거변인의 차이는 발견하지 못했다.
적성검사의 예언타당도에 대한 연구가 매우 활발하게 오랫동안 이루어진 미국의 현실과는 달리 우리나라에서는 연구에 소요되는 시간 및 비용으로 인하여 예언타당도 검사가 거의 없는 실정이다. 우리나라에서 현재 개발되어 사용되고 있는 적성검사들10)의 요강을 살펴본 결과 어떤 검사에서도 예언타 당도에 대한 검토를 보고하고 있지 않다. 대부분의 검사 요강이 단지 공인타 당도를 밝히는 것에 머무르고 있다.
적성검사의 예언타당도가 충분하지 않다는 이러한 증거들은 적성검사를 사용하는 목적을 이에 비추어 수정할 필요가 있음을 시사한다. 즉, 검사를 통하여 미래에 적합한 직업을 선택하려고 하기보다는 검사를 치르는 과정이 자아성찰을 도움으로써 진로발달에 도움이 되는 방식으로 적성검사가 활용 되어야 할 필요가 있다고 본다.
10) 일반 직업적성검사(노동부, 1997), 종합 적성・진로진단 검사(문용린, 1997), 종합 진 로적성검사(박도순・성태제・하대현, 2000), 적성검사(송인섭・박정옥, 1998), 진로 및 적성 탐색 검사(안창규, 1995), 진로적성검사(임인재, 1996), KAT-M 적성검사(한국행 동과학연구소, 1996). 초・중・고등학생용 적성검사(현주・박효정・이재분, 1998)
나. 검사의 결과 타당도
검사의 타당도를 흔히 구인타당도, 준거타당도, 내용타당도로 구분하던 것 에서 나아가, 최근에는 검사의 타당도의 주요한 측면으로서 결과타당도를 강 조하고 있다(성태제, 2000).
검사에 따른 결과 및 영향을 검토하는 것의 중요성을 대부분의 학자들이 인정하지만, 그것을 공식적인 타당도로 포함해야 한다는 입장(Shepard, 1997;
Linn, 1997)과 결과타당도의 개념이 모호하므로 타당도 개념에 포함시키는 것은 무리가 있다는 의견들(Popham, 1997; Mehrens, 1997)도 있었으나, 최종 적으로 1999년에 미국심리학회(APA), 교육측정학회(AERA), 측정 및 평가 국 가위원회(NCME)에서 공식적으로 결과 타당도를 인정하였다.
검사의 결과타당도에 대한 논의는 우리나라에서도 한국교육평가학회 창립 15주년 세미나의 주제로 논의된 바가 있다(강승호, 1998). 검사의 결과타당도 에 대한 강조를 포함한 타당도 개념의 확대는 검사의 타당도가 다각적이며 지속적으로 검토되어야할 필요성을 시사한다. 특히, 검사를 제작할 경우, 검 사가 어떻게 해석되어야할 것인가를 명료하게 제시할 필요가 있으며, 검사가 오용되거나 남용될 소지를 배제하는 것이 검사 개발자 및 사용자가 고려해 야 할 사항이다(성태제, 2000)
본 연구에서 검토하고자 하는 적성검사의 효과 분석은 바로 이러한 검사 의 결과타당도를 확인하는 과정이라 볼 수 있다. 즉, 검사를 치름으로써 학 생들에게 어떠한 인지적 정의적 결과를 초래하였는지와 의도한 대로의 교육 적 효과가 나타났는가를 확인하는 과정을 통하여, 검사가 보다 교육적인 방 식으로 활용되며, 오용 또는 남용되지 않도록 하기 위함이다.
3. 직업적성검사의 타당도
검사의 효과를 검토하는 것은 검사가 사용 목적에 맞게 작용하고 있는가 를 검토하는 것이며, 이는 곧 타당도를 검토하는 과정이라 볼 수 있다. 이 절에서는 직업적성검사의 효과를 검토하기에 앞서서 검사 개발과정에서 확 인한 타당도 관련 근거들을 정리하고자 한다.
가. 내용타당도
검사의 내용타당도는 문항개발의 과정에서 여러 단계를 거쳐서 검토하였 다. 검사시안의 내용타당도 검토는 6개 교과 연구회 교사 29명에 의해서 검 토 받았으며, 자문위원 2인 및 언어표현에 관한 전문가 1인에 의하여 검토 받았다.
나. 공인타당도
1) 타 적성검사와의 상관
검사의 공인 타당도를 진로탐색검사(안창규, 1995) 및 종합진로적성검사(박 도순 외, 2000)와의 상관의 정도를 통하여 알아보았다(<표 Ⅱ-1> 참조). 두 검사를 본 검사의 공인타당도 검토를 위한 준거검사로 선택한 이유는 첫째, 두 검사가 자기 평가식 적성검사라는 점과, 둘째, 진로탐색검사의 경우 현재 많은 학교에서 사용되고 있다는 점이다. 단, 진로탐색검사는 능력만을 포함 한 것이 아니라 성격, 흥미, 직업, 유능감을 포함한 총점 개념으로 유형을 제 시하고 있으므로, 하위영역별 유능감 점수만을 가지고 상관의 정도를 계산하 였다.
직업적성검사와 두 검사는 하위영역이 부분적으로만 일치하므로 일대일로 대응하여 논의하는 데에는 한계가 있었으나, 대체로 논리적으로 상정할 수 있는 상관의 방향과 일치하는 것으로 볼 수 있다. 특히, 종합진로적성검사와
명백하게 하위 영역이 일치하는 신체운동능력, 손재능, 대인관계능력은 각각 상관의 정도가 .72, .60, .77로 매우 높은 상관을 보였다. 또한, 직업적성검사 의 수리・논리력과 진로탐색검사의 탐구형 점수의 상관은 .50으로, 상대적으 로 높은 상관을 나타냈다.
하위영역이 직접적으로 대응하지는 않지만, 어느 정도의 상관을 예상할 수 있는 하위영역간에는 직접적인 대응관계에 있는 하위영역보다는 낮지만, 다 른 하위영역들간의 상관보다는 높게 나타나 변별타당도를 보였다. 구체적으 로 예를 들면, 직업적성검사의 음악 능력과 종합진로적성검사의 예술능력 (.47) 및 진로탐색 검사의 예술형 점수(.42), 직업적성검사 언어 능력과 종합 진로적성검사 대인관계능력(.42) 및 진로탐색검사 기업형(.50), 직업적성검사 대인관계능력과 진로탐색검사의 사회형(.40) 및 기업형(.50)과의 상관이 이에 해당한다.
한편, 직업적성검사의 창의력은 종합진로적성검사에서는 예술능력과의 상 관(.37)보다 대인관계능력과의 상관(.47)이 더 높고, 진로탐색검사에서도 예술 형과의 상관(.26)은 낮은 반면에 기업형(.40)과의 상관이 더 높게 나타나, 통 상적으로 예술적 분야가 창의력이 요청된다는 가정과는 불일치한 결과가 나 타났다. 이는 직업적성검사에서 측정하고 있는 창의력 문항들이 호기심, 융 통성, 생각의 유창성, 아이디어를 구체화할 수 있는 능력, 독창성에 관련된 것으로서 예술분야에 대한 관심과 능력과는 다소 구별되는 데에 기인한다.
직업적성검사의 타 적성검사와의 상관 정도를 검토한 결과를 다시 정리하 자면, 논리적으로 가정되는 방향으로 상관의 정도 및 방향이 나타남으로써 직업적성검사의 공인타당도에 대한 근거가 제시된 것으로 볼 수 있다.
<표 Ⅱ- 1> 직업적성검사의 타 적성검사와의 상관 구분
본검사 하위영역
준거검사 및 하위영역
종합진로적성검사 진로탐색검사 유능감 신체
운동 수공 예술 대인
관계 실재 탐구 예술 사회 기업 관습 신체 운동 .72 .23 .17 .45 .26 .10 -.08 .10 .29 -.02 손 재 능 .33 .60 .15 .14 .35 .06 .15 -.06 .04 .17 공간・시각 .30 .44 .36 .35 .30 .17 .27 .16 .26 .14 음 악 .14 .06 .47 .24 .04 .03 .42 .08 .13 -.03 창 의 .15 .30 .37 .47 .23 .25 .26 .15 .40 .07 언 어 .15 .28 .35 .42 .14 .16 .20 .11 .50 .11 수리・논리 .11 .21 .22 .27 .17 .50 -.07 .10 .27 .26 자아 성찰 .18 .20 .17 .32 .10 .14 .07 .05 .27 .16 대인 관계 .39 .14 .35 .77 .11 .04 .08 .40 .50 -.12 자연 친화 .23 .32 .22 .19 .03 .12 -.04 .07 .01 .17 주): 서울시내 남자 고등학교 1학년 학생 174명의 자료임.
출처: 임언・정윤경(2001)
2) 학업성적과의 관계
직업적성검사의 공인타당도를 검토하기 위한 또 하나의 근거로 학업성적 과의 상관의 정도를 분석하였다. 직업적성검사의 하위영역 점수들이 학업성 적과 어떤 상관을 갖는가를 서울시내 남자고등학교 1학년 173명과, 여자 고 등학교 1학년 183명에 대한 자료에 기초하여 산출하였다.
<표 Ⅱ-2>에서 보듯이, 직업적성검사의 하위영역과 높은 상관이 예상되는 과목과는 높은 상관을 보이고, 여타의 과목과는 낮은 상관을 보임으로써 변 별 및 수렴 타당도를 확인할 수 있었다.
<표 Ⅱ-2> 직업적성검사와 학업성적과의 상관
윤리 국어 공통 수학
공통 사회
공통
과학 체육1 미술1 음악1 기술 공통 영어
학 교 1
신체운동 -.04 -.07 -.02 -.07 -.05 .29 .01 -.03 .03 -.05 손재능 .14 .06 .02 .05 .03 .17 .20 .04 .16 .04 공간・시각 .11 .04 .01 .08 .06 .18 .23 .10 .12 .05 음악 -.04 -.02 -.04 -.04 -.04 .04 .02 .20 -.04 .03 창의 .04 .16 .11 .09 .02 .05 .06 .02 .04 .12 언어 .27 .34 .14 .27 .20 .19 .24 .19 .22 .19 수리・논리 .52 .55 .71 .52 .59 .43 .46 .48 .51 .54 자아성찰 .18 .16 .00 .17 .12 .14 .24 .12 .14 .12 대인관계 -.03 -.01 -.03 -.04 -.05 .18 .04 -.02 -.03 .00 자연친화 -.03 -.04 -.02 .01 -.07 .03 .08 .05 -.02 -.06
학 교 2
신체운동 .10 .03 .05 .09 .15 .24 .07 .19 .09 .09 손재능 -.05 -.03 -.08 .00 -.03 -.12 .06 .03 -.08 -.10 공간・시각 .05 .02 .00 .11 .09 .01 .17 .19 .03 .05 음악 .07 .10 -.08 .11 .06 .04 .10 .46 .06 .06 창의 .05 -.02 -.06 .03 .00 .05 .02 .04 .01 .00 언어 .21 .16 -.04 .19 .07 .07 .10 .18 .10 .11 수리・논리 .30 .28 .53 .31 .40 .27 .21 .12 .29 .33 자아성찰 .21 .05 -.06 .13 .08 .12 .11 .10 .06 .05 대인관계 -.03 -.11 -.13 -.08 -.09 -.03 -.08 .05 -.09 -.10 자연친화 .02 .02 .03 .07 .07 .00 -.04 -.05 .03 -.03 주 ) 학교 1: 서울 시내 일반계 남자고등학교 1개교 1학년 173명에 대한 자료임.
학교 2: 서울 시내 일반계 여자고등학교 1개교 1학년 183명에 대한 자료임.
출처: 임언・정윤경(2001)
다. 검사의 내적 구조에 관한 타당도
직업적성검사의 내적 구조가 논리적으로 상정한 방향으로 구성되었는가를 확인하기 위하여 하위 구인간의 상관 및 요인구조를 분석하였다. 하위 구인 간의 상관은 전체 45개 상관계수 중에서 .20～.29의 범위가 6개, .30～.39 범 위는 18개, .40～.49 범위는 11개, .50～.59 범위에 10개로 나타났다(<표 Ⅱ-3>
참조). 이러한 상관의 정도는 낮지 않으며, .50을 기준으로 볼 때, 다른 영역 과의 상관의 정도가 높게 나온 것은 공간・시각능력과 언어 능력이다.
하위영역간 상관이 비록 높게 나오기는 하였으나, 문항별 점수를 기초로 한 요인분석 결과, 손재능과 공간시각능력이 한 요인에 적재되는 것을 제외 하고는 명료하게 9개 요인으로 구분되었다11)(<표 Ⅱ-4>12) 참조). 따라서, 각 구인들 간의 독립성에 관한 근거는 확보되었다고 볼 수 있다.
<표 Ⅱ-3> 직업적성검사 하위영역간 상관계수
신체 손재능 공간 음악 창의 언어 수리 성찰 대인 자연 신체 1.00 .27 .47 .36 .42 .35 .33 .34 .43 .24 손재능 .27 1.00 .59 .34 .39 .34 .32 .30 .29 .29 공간 .47 .59 1.00 .45 .58 .52 .51 .48 .46 .35 음악 .36 .34 .45 1.00 .41 .52 .31 .38 .47 .24 창의 .42 .39 .58 .41 1.00 .59 .38 .49 .53 .36 언어 .35 .34 .52 .52 .59 1.00 .46 .55 .56 .35 수리 .33 .32 .51 .31 .38 .46 1.00 .33 .33 .24 성찰 .34 .30 .48 .38 .49 .55 .33 1.00 .55 .41 대인 .43 .29 .46 .47 .53 .56 .33 .55 1.00 .38 자연 .24 .29 .35 .24 .36 .35 .24 .41 .38 100
11) 공간시각능력과 손재능이 한 요인이 적재된 원인에 대한 해석은 임언・정윤 경(2001; 30) 참조.
12) 주성분 분석. 베리 맥스 회전 결과, 적재치 .3이상만을 표시함.
*은 .3보다 작음에도 불구하고 가장 높은 적재치를 나타냄.
