본조사에서는 각 시점 별로 측정이 진행되었으므로,각 시점에서 측정된 변인을 독립적으 로 인식하였는지 확인하고 타당화해야 한다.본조사를 통해 수집된 자료로 도구를 타당화하 기 위해 먼저,각 시점 별로 측정된 문항으로 탐색적 요인분석(exploratoryfactoranalysis) 과 확인적 요인분석(confirmatoryfactoranalysis)을 수행하였고,이를 통해 각 시점 별로 측 정한 문항들이 개념적으로 구분한 변인을 측정하고 있는지 확인하였다.다음으로 개념신뢰 도(constructreliability)와 판별타당도(discriminantvalidity)를 확인하였는데,배병렬(2011)의 제안에 따라 개념신뢰도는 표준화적재치와 표준오차를 활용한 계산으로 도출된 수치를 활용 하였고,판별타당도는 평균분산추출(averagevarianceextracted)의 제곱근과 변인 간 상관계 수를 비교하는 과정을 통해 확인하였다.문항 간 내적신뢰도를 확인하기 위해서는 Cronbach 의 α계수를 활용하였다.마지막으로,각 시점 별로 설문조사라는 동일한 방법을 활용하여 측 정하였으므로 동일방법편의가 발생하였는지 검증하였는데, 이를 위해 ‘Harman(1967)의 single-factortest’를 통해 동일방법에 의한 편의가 발생하였는지를 진단하고,발생한 경우
‘직접 측정하지 않은 잠재방법요인 통제 기법’을 적용하였다.
1) 교육 참가 직전 시점[T1] 도구 타당화
교육 참가 직전인 [T1]에는 5개 변인을 지면 설문조사를 통해 측정하였으며,학습동기 5
개 문항,교육훈련 수단성 5개 문항,경력계획 6개 문항,조직지원 5개 문항,[T1]전이의도 3 개 문항을 합해 총 24개 문항을 측정하였다.본조사를 통해 수집된 172개 자료로 총 24개 문항에 대해 5개 요인을 지정하고 최대우도법(maximum likelihood),프로맥스(promax)회전 으로 요인 추출하였다.그 결과 5요인 모형은 총분산의 60.175%를 설명하였고,경력계획,조 직지원의 일부 문항에서 공통성 추출치와 요인적재치가 낮게 도출되었다.또한,학습동기의 5번 문항은 교육훈련 수단성 요인과 교차적재(crossloading)를 보이고 있었다.따라서,학습 동기 5번 문항,경력계획의 역문항인 1번,5번,6번 문항을 삭제하여 동일한 방식으로 요인 을 추출하였다.그 결과,총분산의 66.387%를 설명하여 삭제 전에 비해 높은 설명력을 보이 고 있었고,개념적 구분에 적합한 요인구조를 도출하였다.조직지원 1번 문항을 제외한 모든 문항에서 공통성은 0.4이상의 수치를 보였고,각 변인에 해당하는 요인에 0.6이상인 것으 로 나타났다(<표 Ⅲ-7> 참조).
명확한 요인구조 도출을 위해 요인분석에서 제외한 4개 문항들을 삭제하여도 무방한지에 대해 검토하였다.학습동기 5번 문항은 ‘나는 이번 교육에 가능한 빨리 참가하고 싶었다.’였 는데,L프로그램이 직급필수교육이고 참가의 시기를 결정할 수 없다는 점에 근거하여 삭제 하여도 무방한 것으로 판단하였다.또한,경력계획의 1번 문항은 ‘경력목표 결정 여부’,5번 문항은 ‘구체적 경력목표 결정 여부’,6번 문항은 ‘경력목표 변경 빈도’를 묻는 문항이었는데, 세 문항 모두 역문항이었다.5번,6번 문항과 관련해서는 3번 문항에 경력목표 수립 여부를 확인하는 순문항이 이미 편성되어 있다는 점을 참고하여 삭제하였다.또한,6번 문항의 경우 경력의 패러다임이 변화하여 경력목표를 자주 변경하는 것이 부정적인 것이 아닐 뿐 아니 라,경력계획 수준을 결정하는데 부적절하다고 판단하여 삭제하는 것으로 결정하였다.
변인 공통성 요인 CMIN/DF1.215,RMSEA 0.035(p>.05),CFI0.985,TLI0.982,GFI0.904로 나타났으며 모 든 지수에서 적합한 모형인 것으로 확인되었다. 각 측정 문항 별로 표준화적재치 (standardizedregressionweights)는 0.602-0.911로 나타나 비교적 높은 수치를 보이고 있 었다(<표 Ⅲ-8> 참조).
측정 문항 표준화적재치 표준오차 C.R.
변인 개념신뢰도 (CR)
평균분산추출
(AVE) ① ② ③ ④ ⑤
① 경력계획 0.846 0.649 0.806
② 수단성 0.869 0.571 0.444 0.756
③ [T1]전이의도 0.885 0.720 0.465 0.765 0.848
④ 학습동기 0.904 0.703 0.334 0.812 0.732 0.838
⑤ 조직지원 0.897 0.639 0.429 0.568 0.434 0.413 0.799
<표 Ⅲ-9>[T1]시점 변인 별 개념신뢰도 및 판별타당도 관련 수치
주)____:평균분산추출의 제곱근
문항 내적신뢰도를 확인하기 위해서는 Cronbach'sα 계수를 활용하였다.내적신뢰도 계 수는 학습동기 0.901,수단성 0.862,경력계획 0.884,조직지원 0.840,[T1]전이의도 0.884로 나타났으며,모든 문항에서 제거 시 신뢰도가 상승하는 경우가 없어 높은 내적신뢰도를 보 이는 것으로 판단하였다.
마지막으로 동일방법편의가 발생하였는지 확인하였다.Harman(1967)의 single-factortest 는 동일한 방법으로 측정된 모든 문항을 설명하는 요인을 추출하고 그 요인이 설명하는 총 분산을 확인하여 동일방법편의가 발생하였는지 확인하기 위한 방법이다.요인분석을 통해 제거된 문항을 제외한 20문항에 대해 주성분 분석(principlecomponentanalysis)의 방법으 로 1요인을 추출한 결과 그 요인은 총분산의 44.398%를 설명하는 것으로 확인되었다.일반 적으로 50% 이상의 분산이 설명될 경우 동일방법편의가 발생한 것으로 해석한다는 점에서 [T1]시점에 측정된 문항들은 동일방법편의를 우려할 수준은 아닌 것으로 판단하였다.
2) 교육 종료 직후 시점[T2] 도구 타당화
교육 참가 직후에는 총 6개 변인을 지면 설문조사를 통해 측정하였는데,정서적 반응 4개 문항,교육내용 관련성 4개 문항,자기관리촉진 교수전략 4개 문항,동기부여적 교수진행 4 개 문항,교육훈련 후 자기효능감 3개 문항,[T2]전이의도 3개 문항을 포함하여 총 22개 문 항을 측정하였다.[T2]시점에 측정된 모든 문항에 대해 추출요인 수를 6개로 지정하고 최 대우도법(maximum likelihood),프로맥스(promax)회전으로 요인을 추출한 결과 6요인 모형 은 총분산의 62.918%를 설명하였고,자기관리촉진 교수전략 1번 문항,동기부여적 교수진행 의 1번 문항에서 비교적 낮은 공통성 추출치와 요인적재치를 보였다.
명확한 요인구조 도출을 위해 2개 문항을 삭제하여도 무방한지에 대해 검토하였다.자기 관리촉진 교수방법의 1번 문항은 ‘이번 교육에서는 학습한 내용을 현업에 돌아가서 적용할 때 발생할 장애,또는 어려움에 대해 고민할시간을 제공하였다.’였는데,자기관리촉진의 방 법 중 재발방지(relapseprevention)와 관련된 문항이었다.이 문항은 4번 문항의 ‘현업적용 을 위한 자기관리 계획을 수립 시간 제공’의 개념과 유사하며,문항이 지나치게 길어 정확한 판단이 어려웠다는 점을 고려하여 삭제하는 것으로 결정하였다.한편,동기부여적 교수진행 의 1번 문항은 ‘이번 교육의 강사들은 교육참가자들을 교육에 참여하도록 동기유발시키는 능력이 뛰어났다.’인데,동기부여적 교수진행의 핵심적인 문항일 뿐 아니라,동일한 개념을 확인하는 대체 문항이 없어 삭제하지 않았다.
문항 삭제에 대한 검토 과정의 결과로 자기관리촉진 교수전략의 1번 문항만을 삭제하고 동일한 방식으로 요인을 추출한 결과,총분산의 64.258%를 설명하여 삭제 전에 비해 높은 수치를 보였고,비교적 개념적 구분에 적합한 요인구조를 도출하였다.공통성 추출치는 0.408-0.841로 모든 문항에서 0.4이상의 값을 보였고,요인적재치는 0.461-0.985로 동기부여 적 교수진행의 1번 문항 외의 모든 문항에서 0.5이상인 것으로 확인되었다(<표 Ⅲ-10> 참 조).
문항 공통
문항 표준화적재치 표준오차 C.R.
주)모형적합도-CMIN/DF1.265,RMSEA0.039(p>.05),CFI0.979,TLI0.974,GFI0.901
변인 개념신뢰도
수는 정서적 반응 0.839,교육내용 관련성 0.852,자기관리촉진 교수전략 0.830,동기부여적 교수진행 0.798,교육훈련 후 자기효능감 0.866,[T2]전이의도 0.885로 나타났으며,모든 문항 에서 제거 시 신뢰도가 상승하는 경우가 없어 높은 내적신뢰도를 보이는 것으로 판단하였 다.또한,동일방법편의가 발생하였는지 확인하기 위해 Harman(1967)의 singlefactortest를 실행한 결과,추출된 1요인은 총분산의 44.807%를 설명하는 것으로 확인되어,[T2]시점에 측정된 문항들은 동일방법편의를 우려할 수준은 아닌 것으로 판단하였다.
3) 교육 종료 3개월 후 시점[T3] 도구 타당화
교육 참가 직후 시점[T3]에는 총 5개 변인을 온라인 설문조사를 통해 측정하였다.[T3]에 서 측정된 문항 수는 교육훈련 전이 9개 문항,상사지원 6개 문항,동료지원 4개 문항,전이 기회 3개 문항,[T3]전이의도 3개 문항을 포함하여 총 25개 문항을 측정하였다.이 중 교육훈 련 전이의 9개 문항의 경우 차장진급 대상자 과정과 부장진급 대상자 과정에서 질문이 서로 다를 뿐만 아니라,각 학습 요소마다 전이가능성의 수준이 다를 수 있다는 점을 고려하여 타 당화의 과정에서 배제하였다.교육훈련 전이 9개 문항을 제외한 모든 문항에 대해 추출요인 수를 4개로 지정하고 최대우도법(maximum likelihood),프로맥스(promax)회전으로 요인을 추출한 결과 4요인 모형은 총분산의 76.433%를 설명하였다.모든 문항은 개념적 구분 적합하 게 요인구조를 형성하였고,공통성 추출치는 0.498-0.885로 모든 문항에서 0.4이상의 값을 보 였고,요인적재치는 모든 문항에서 0.6이상인 것으로 확인되었다(<표 Ⅲ-13> 참조).
탐색적 요인분석을 통해 도출된 요인구조를 바탕으로 확인적 요인분석을 실행한 결과, [T3]시점의 측정모형은 CMIN/DF 1.217,RMSEA 0.043(p>.05),CFI0.988,TLI0.986, GFI0.905로 나타났으며 모든 지수에서 적합한 모형인 것으로 확인되었다.각 측정 문항 별로 표준화적재치는 0.697-0.943으로 나타나 전이기회 2번 문항을 제외하고 모두 0.7이상 의 수치를 보이고 있었다(<표 Ⅲ-14> 참조).
문항 공통성 요인
주)모형적합도-CMIN/DF1.217,RMSEA0.043(p>.05),CFI0.988,TLI0.986,GFI0.905
다음으로 각 변인의 개념신뢰도와 판별타당도를 확인하였다.개념신뢰도는 0.836-0.950으 로 모든 변인에서 0.7이상의 수치를 보이는 것으로 확인되었다.판별타당도를 확인하기 위 해 평균분산추출의 제곱근과 변인 간 상관계수를 비교하였는데,상사지원,동료지원,[T3]전 이의도은 평균분산추출의 제곱근이 더욱 높은 수치를 나타내어 판별타당도를 확보한 것으로
다음으로 각 변인의 개념신뢰도와 판별타당도를 확인하였다.개념신뢰도는 0.836-0.950으 로 모든 변인에서 0.7이상의 수치를 보이는 것으로 확인되었다.판별타당도를 확인하기 위 해 평균분산추출의 제곱근과 변인 간 상관계수를 비교하였는데,상사지원,동료지원,[T3]전 이의도은 평균분산추출의 제곱근이 더욱 높은 수치를 나타내어 판별타당도를 확보한 것으로