• 검색 결과가 없습니다.

검정의 타당성 및 신뢰성

문서에서 기술・기능계 자격의 질 관리 (페이지 105-115)

<표 Ⅳ-12> 자격 소지자와 미소지자간 직무수행능력의 차이

도(%)

전혀 그렇지 않다 0 (0.0)

그렇지 않다 14 (19.4)

보통이다 16 (22.2)

대체로 그렇다 38 (52.8)

매우 그렇다 4 (5.6)

합계 72 (100.0)

기업에서 국가기술자격 소지자들 간에 직무수행능력이 차이가 있는가를 설문 조사한 결과, <표 Ⅳ-13>과 같이 과반수의 응답자(51.4%)가 보통이다 라고 답하여 가장 큰 비중을 차지하였다. 그 다음으로는 대체로 그렇다 는 견해가 37.1% 나왔고, 반대로 그렇지 않다 는 의견이 11.4% 있었다.

<표 Ⅳ-13> 유사 분야 자격 소지자간 직무수행능력의 차이 정도

도(%)

전혀 그렇지 않다 0 (0.0)

그렇지 않다 8 (11.4)

보통이다 36 (51.4)

대체로 그렇다 26 (37.1)

매우 그렇다 0 (0.0)

합계 70 (100.0)

<표 Ⅳ-14> 필기(1차)시험 내용과 현장 업무의 관련 정도

도(%)

매우 높다 2 (2.4)

대체로 높다 22 (26.2)

보통이다 31 (36.9)

대체로 낮다 26 (31.0)

매우 낮다 3 (3.6)

합계 84 (100.0)

현장 업무와 실기(2차) 시험 내용의 관련 정도를 살펴보면, <표 Ⅳ-15>와 같이 보통 수준이라고 답한 응답자가 48.8%로 거의 과반수였다. 2차 시험 내 용이 현장 업무와 관련 정도가 낮다는 견해는 13.1%에 그치지만, 대체로 높 다 , 혹은 매우 높다 는 의견은 각각 32.1%, 6.0%를 차지하고 있어, 필기(1차) 시험에 관한 응답 결과와 대비되고 있다.

<표 Ⅳ-15> 실기(2차)시험 내용과 현장 업무의 관련 정도

도(%)

매우 높다 5 (6.0)

대체로 높다 27 (32.1)

보통이다 41 (48.8)

대체로 낮다 11 (13.1)

매우 낮다 0 (0.0)

합계 84 (100.0)

국가기술자격 검정의 필기(1차) 시험 문항의 난이도가 적절하다는 견해가

<표 Ⅳ-16>과 같이 47.6%를 차지하였다. 쉽다 는 편으로 응답하고 있는 비율 (31.0%)이 어렵다 는 견해를 표한 비율(21.4 %)보다 약간 높게 나타나고 있다.

한편, 국가기술자격 검정의 실기(2차) 시험 문항의 난이도가 적절한가를 설 문 조사한 결과, <표 Ⅳ-17>과 같이 적절하다 는 견해가 과반수(45.2%)에 가 까웠고, 어렵다 는 의견과 쉽다 는 의견이 28.6%, 26.2%로 비슷한 비중을 차 지하였다

<표 Ⅳ-16> 필기(1차)문항 난이도의 적절성

도(%)

전혀 아니다 2 (2.4)

아니다 17 (20.5)

보통이다 29 (34.9)

그렇다 32 (38.6)

매우 그렇다 3 (3.6)

합계 83 (100.0)

<표 Ⅳ-17> 실기(2차)문항 난이도의 적절성

도(%)

매우 어렵다 3 (3.6)

대체로 어렵다 21 (25.0)

적절하다 38 (45.2)

대체로 쉽다 21 (25.0)

매우 쉽다 1 (1.2)

합계 84 (100.0)

실기시험 소요시간이 적절한가를 설문한 결과, <표 Ⅳ-18>과 같이 64.3%로 과반수 이상이 적절하다 고 보았으나, 약간 부족하다 는 견해도 25.0%나 차 지하였고, 매우 부족하다 는 견해도 2.4% 있었다. 그러나 여유 있다 , 매우 여유 있다 는 응답도 각각 6.0%, 2.4% 있었다.

<표 Ⅳ-18> 실기시험 소요시간의 적절성

도(%)

매우 부족하다 2 (2.4)

약간 부족하다 21 (25.0)

적절하다 54 (64.3)

여유 있다 5 (6.0)

매우 여유 있다 2 (2.4)

합계 84 (100.0)

실기 검정 장소와 장비 조건이 자격 취득에 미치는 영향을 설문 조사한 결과, <표 Ⅳ-19>와 같이 보통이다 에 응답한 비율이 36.6%로 가장 높았으 나, 이와 유사한 비율인 30.5%가 그렇다 고 답하고 있으며, 매우 그렇다 는

견해도 6.0% 있었다. 상반된 견해인 아니다 에 응답한 비중도 23.2%를 차지 했지만, 자격 취득에 있어서의 실기 검정 장소 및 장비 조건은 중요한 변수 로서 작용될 수 있을 것이다.

<표 Ⅳ-19> 실기 검정 장소 및 장비 조건이 자격 취득에 미치는 영향

도(%)

전혀 아니다 3 (3.7)

아니다 19 (23.2)

보통이다 30 (36.6)

그렇다 25 (30.5)

매우 그렇다 5 (6.1)

합계 82 (100.0)

국가기술자격 검정에서 기사와 산업기사 등급간에 난이도 차이가 어느 정 도인가를 설문 조사한 결과, <표 Ⅳ-20>과 같이 61.5%의 응답자가 보통이다 에 답하였다. 그리고 양 등급간에 난이도 차이가 없다는 견해가 20.5%로 제 시되고 있고, 심지어 전혀 없다 는 견해도 3.8%로 제시되고 있어 등급별 검 정 기준의 차이가 있음에도 불구하고, 기사와 산업기사의 난이도 차이가 없 는 문제는 검정의 신뢰도 향상을 위해서 충분히 검토되어야 할 것이다.

또한, 기사와 산업기사의 난이도 차이 문제는 면담조사 결과와 일부 자격 종목에 대한 문제 분석 결과에서도 나타나고 있다.

<표 Ⅳ-20> 기사와 산업기사의 난이도 차이

도(%)

전혀 없다 3 (3.8)

없다 16 (20.5)

보통이다 48 (61.5)

많다 11 (14.1)

매우 많다 0 (0.0)

합계 78 (100.0)

국가기술자격을 취득하기까지 검정에 응시한 횟수를 조사한 결과, <표 Ⅳ -21>과 같이 45.8%로 가장 많은 응답자가 1회만에 합격한 것으로 드러났다.

2회 응시하여 합격하였다고 응답한 비중도 30.1%로 높게 나타났다. 3회 응시

하여 합격하였다는 응답은 13.3%, 4회는 7.2% 있었다. 5회 이상 응시하여 합 격하였다는 응답도 3.6% 있었다.

<표 Ⅳ-21> 최종 합격까지의 응시 횟수

도(%)

1회 38 (45.8)

2회 25 (30.1)

3회 11 (13.3)

4회 6 (7.2)

5회 이상 3 (3.6)

합계 83 (100.0)

2회 이상 응시하여 합격하였다는 응답자에게 필기 검정 난이도가 일정하 게 유지되는가에 대한 의견을 조사한 결과, <표 Ⅳ-22>같이 일정하지 않다 는 견해가 59.6%로 상당히 높게 나타났고, 전혀 일정하지 않다 는 견해도 1.9% 있었다. 한편, 일정하다 는 견해는 11.5%에 불과했다.

검정에 있어서의 매회 검정 난이도 일관성은 공신력 차원에서도 중요한 요소이다. 그런데 설문조사 결과에서 제시된 것처럼, 매회 검정의 난이도가 일정하지 않다는 부분은 이에 대한 충분한 검토가 필요할 것으로 보인다.

<표 Ⅳ-22> 회차별 필기 검정 난이도의 일관성

도(%)

전혀 일정하지 않다 1 (1.9)

일정치 않다 31 (59.6)

보통이다 14 (26.9)

일정하다 6 (11.5)

매우 일정하다 0 (0.0)

합계 52 (100.0)

2회 이상 응시하여 합격하였다는 응답자에게 실기 검정 난이도가 일정하 게 유지되는가에 대한 의견을 조사한 결과, <표 Ⅳ-23>과 같이 일정하지 않 다 는 견해가 43.4%로 높게 나타났고, 전혀 일정하지 않다 는 견해도 5.7%로 제시되었다. 한편, 일정하다 는 견해는 13.2%로 낮게 나타났다. 검정 회차별

필기 검정에 이어 실기 검정에 있어서의 난이도 일관성 결여는 자격 검정에 있어서 신뢰성, 타당성을 손상을 줄 우려가 있으므로, 이에 대한 충분한 검 토가 요구되고 있다.

<표 Ⅳ-23> 회차별 실기 검정 난이도의 일관성

도(%)

전혀 일정하지 않다 3 (5.7)

일정치 않다 23 (43.4)

보통이다 20 (37.7)

일정하다 7 (13.2)

매우 일정하다 0 (0.0)

합계 53 (100.0)

국가기술자격제도 운영상 드러난 문제점을 조사한 결과, <표 Ⅳ-24>와 같 이 취득자에 대한 사회적 우대 미비 (45.2%), 검정 내용 및 방법이 산업현장 과의 연계성이 부족 하다는 견해(29.8%)와 자격 취득자의 활용이 미비 하다 는 견해(23.8%) 순으로 제시되고 있다. 특히, 자격 소지자들의 입장에서는 자 격 취득자의 사회적 우대 방안이 미비하다는 의견이 높게 제기되고 있어, 이 에 대한 검토가 요구되고 있다.

<표 Ⅳ-24> 국가기술자격제도 운영의 문제점

도(%)

검정의 산업현장과의 연계성 부족 25 (29.8)

자격 취득자의 활용성 미비 20 (23.8)

자격제도 및 검정 관련 정보 부족 0 (0.0)

취득자에 대한 사회적 우대 미비 48 (45.2)

기타 1 (1.2)

합계 84 (100.0)

국가기술자격 검정의 필기시험의 신뢰도를 향상시킬 방안을 조사한 결과,

<표 Ⅳ-25>와 같이 직무분석을 통한 산업현장성 강화 를 꼽는 응답자가 75.0%의 높은 비중을 차지하였다. 이는 자격종목에 대한 직무분석 작업이 그 동안 제대로 실시되지 못하여 산업현장성이 떨어진 것이 신뢰도 향상에 문 제로서 인식된 것이라고 생각된다. 또한, 문제의 난이도 관리 엄격화 나 검

정 유형의 다양화 방안도 10.7%, 8.3% 제시되었으며, 다량의 문제은행 문항 확보 가 필요하다고 지적하는 견해도 6.0% 있었다.

<표 Ⅳ-25> 필기시험의 신뢰도 향상 방안

도(%)

직무분석을 통한 산업현장성 강화 63 (75.0)

다량의 문제은행 문항 확보 5 (6.0)

검정유형의 다양화 7 (8.3)

문제의 난이도 관리 엄격화 9 (10.7)

기타 0 (0.0)

합계 84 (100.0)

국가기술자격 검정의 실기시험의 신뢰도를 향상시킬 방안으로는 <표 Ⅳ -26>과 같이, 대부분의 응답자(83.1%)가 직무분석을 통한 산업현장성 강화 를 제시하고 있다.

<표 Ⅳ-26> 실기시험의 신뢰도 향상 방안

빈 도(백분율%)

직무분석을 통한 산업현장성 강화 69 (83.1)

실기 문제의 적합성 8 (9.6)

실기검정 심사위원의 자질 향상 4 (4.8)

검정 장소 및 시설의 적절성 2 (2.4)

검정 소요시간의 조절 0 (0.0)

합계 83 (100.0)

이는 자격종목 신설 운영에 있어서 가장 중요한 직무분석 작업이 선행되 지 못했기 때문에 신뢰도를 향상시키기 위하여 직무분석 작업이 요구될 수 밖에 없는 것으로 판단된다. 그 외에는 실기문제의 적합성 을 높이는 방안, 실기검정 심사위원의 자질 향상 의 방안 등이 각각 9.6%, 4.8%로 제시되었 다. 검정 장소 및 시설의 적절성 을 지적하는 견해도 2.4% 있었다.

국가기술자격의 질 관리에 있어서 필기 및 실기 검정 내용을 개선하는 문 제의 중요성에 대하여 의견을 조사한 결과, <표 Ⅳ-27>과 같이 비교적 중요 하다 는 의견이 50%를 차지하였고, 매우 중요하다 는 응답도 25.6% 나왔다.

이러한 요인은 자격의 질 관리에 있어서 필기・실기 검정 방법이 중요한 요 소임을 시사해주고 있다.

<표 Ⅳ-27> 필기・실기 검정 내용 개선

도(%)

중요하지 않다 1 (1.2)

중요하지 않은 편이다 2 (2.4)

그저 그렇다 17 (20.7)

비교적 중요하다 41 (50.0)

매우 중요하다 21 (25.6)

합계 82 (100.0)

국가기술자격의 검정 방법을 다양화하는 것이 중요한가를 설문 조사한 결 과, <표 Ⅳ-28>과 같이 비교적 중요하다 는 의견이 36.6%로 가장 높은 비율 을 차지하고 있어, 다양한 검정 방법의 도입이 검토되어야 할 것이다. 이어 서 그저 그렇다 는 응답이 28.0%의 비율의 응답을 얻었다. 매우 중요하다 는 의견이 13.4% 나왔으며, 반대 의견인 중요하지 않다 는 응답을 한 비율은 6.1%였다. 그러나 전체적인 의견에 있어서는 검정 방법의 다양화는 자격의 질 관리에 있어서 필요한 요소임을 강조하고 있다.

<표 Ⅳ-28> 필기・실기 검정 방법의 다양화

도(%)

중요하지 않다 5 (6.1)

중요하지 않은 편이다 13 (15.9)

그저 그렇다 23 (28.0)

비교적 중요하다 30 (36.6)

매우 중요하다 11 (13.4)

합계 82 (100.0)

국가기술자격 검정의 난이도 관리가 국가기술자격의 질 관리에 있어서 중 요한가를 설문 조사한 결과, <표 Ⅳ-29>와 같이 과반수(52.4%)가 비교적 중 요하다 고 답하였으며, 매우 중요하다 는 응답도 26.8%로 제시되었다. 이러한 응답은 자격 검정에 있어서 난이도 관리가 얼마나 중요한 것인가를 보여주

는 결과이다.

<표 Ⅳ-29> 필기・실기 검정에 있어서 난이도 관리

도(%)

중요하지 않다 1 (1.2)

중요하지 않은 편이다 2 (2.4)

그저 그렇다 14 (17.1)

비교적 중요하다 43 (52.4)

매우 중요하다 22 (26.8)

합계 82 (100.0)

국가기술자격의 질 관리에 있어서 기술 변화 수용을 위한 주기적인 직무 분석 작업의 중요성에 대한 견해를 설문 조사한 결과, <표 Ⅳ-30>과 같이 매우 중요하다 는 응답이 49.4%로 가장 많았고, 이어서 비교적 중요하다 는 응답이 38.6%로 높은 비중을 차지했다.

이러한 설문 결과는 직무분석 작업이 자격 검정에서 얼마나 중요한 질 관 리 기준인가를 보여주는 단편적인 사례이다.

<표 Ⅳ-30> 기술 변화 수용을 위한 주기적 직무분석 작업 실시

도(%)

중요하지 않다 1 (1.2)

중요하지 않은 편이다 3 (3.6)

그저 그렇다 6 (7.2)

비교적 중요하다 32 (38.6)

매우 중요하다 41 (49.4)

합계 83 (100.0)

자격 관리위원을 전문화하는 것이 국가기술자격의 질 관리에 있어서 중요 한가를 설문 조사한 결과, <표 Ⅳ-31>과 같이 과반수에 가까운 48.8%가 매 우 중요하다 고 응답하였으며, 비교적 중요하다 는 견해도 39.0%로 높게 나 왔다. 이는 자격을 관리하는 출제위원, 감독위원, 채점위원 등이 질 관리에 있어서 얼마나 중요한 요소인가를 나타내주는 설문조사 결과이다.

문서에서 기술・기능계 자격의 질 관리 (페이지 105-115)