직업훈련 정책 평가 계량 모형 연구
김안국 김미숙 김미란
김안국 김미숙 김미란
김안국 김미숙 김미란
김안국 김미숙 김미란
직업훈련 정책과 프로그램의 사후적 성과 평가는 매우 어려운 작업이지만, 정책의 수행에서 반드시 있어야 하는 부분이다 직업훈련 정책을 기획할 때 구. 체적인 집행의 일부분으로 사후적 평가가 계획되고 그 결과를 통해서 정책의, 지속이나 확대 혹은 폐지 등이 결정되는 시스템이 구축되어야 한다 그러한 직, . 업훈련 정책의 기획은 평가를 위해서 정책 실시 이전의 사전적 자료 구축 및 정책 실시 이후의 사후적 성과 자료 구축을 가능하게 한다 그러한 자료의 구. 축은 정책의 사후적 평가에서 가장 긴요한 부분이다.
그러나 현재의 우리 나라의 정책 집행과 그에 따른 평가는 사후적 성과보다 는 집행상의 문제를 중심으로 이루어지고 있고 그리하여 정책의 사후적 성과, 평가를 위한 자료구축이 거의 이루어지지 않고 있는 실정이다 이에 가능한 자. 료를 바탕으로 하여 객관적이고 정확한 사후적 평가가 이루어지기 위해서는 적합한 평가 모형 및 방법론이 필수적이다.
이 연구는 정책의 사후적 평가를 위한 계량 모형을 분석하고 정리하여 실제, 의 정책 평가의 수행에 도움을 주기 위해 기획되었다 정책 평가에 있어서의. 이슈와 문제점을 직관적으로 알기 쉽게 서술하여 평가 전반에 대한 이해를 제 고하는데 도움을 주고 있으며 정책 효과를 평가하기 위한 표준적 절차와 방법, 론을 소개하고 있어 전문적인 지식이 없는 경우에도 정확한 성과 평가가 가능, 하게 하고 있다 아울러 그러한 평가모형에 대한 깊은 이해를 돕기 위해 여러. 평가모형의 가정을 소개하고 평가모형의 적용 가능성과 한계를 서술하였다, . 또한 우리 나라에서 기존에 나온 직업훈련 정책 평가에 관한 연구들을 계량모 형 및 자료의 활용 측면에서 검토하고 현재 구축되어 있는 직업훈련 평가 자, 료의 구성을 소개하고 그 활용 방안을 제시하였다, .
이러한 정책평가의 모형 및 자료에 관한 연구는 차후의 정책 평가를 진일보
제공할 것이라 기대해 본다.
이 연구는 한국직업능력개발원2004년 기본연구2004-11번으로 진행되었 으며 김안국 박사가 책임자로서 김미숙 김미란과 공동으로 연구를 수행하였, , 다 연구 수행 과정중 필요한 정보와 자료를 제공해 준 한국중앙고용정보원 관. 계관 여러분께 감사드리며 성실히 연구를 수행한 연구진의 노고를 치하한다, . 마지막으로 이 보고서에 수록된 내용은 연구진 개인의 의견이며 본원의 공식, 적인 견해가 아님을 밝혀둔다.
년 월 2004 10 한국직업능력개발원
목 차
요 약
제 장 서문 1
제 절 정책평가의 중요성1 1 제 절 연구의 목적 및 내용2 2
제 장 직업훈련 정책평가의 주요 쟁점 이슈와 방법론 2 :
제 절 평가의 목적 및 수준1 5직업훈련 정책의 목표와 내용
1. 5
국민경제 차원의 접근
2. 8
개별적미시적 비용편익분석적 접근
3. , 14
제 절 평가의 근원적 문제와 계량 모형의 구성2 17 가상성과와 비교그룹의 구성
1. 18
자료의 구성 및 편의의 원천
2. 20
선택편의와 균일하지 않은 훈련성과의 문제
3. 24
제 장 직업훈련 정책평가의 표준적 절차와 계량적 방법들 3
제 절 직업훈련 정책평가의 표준적 절차와 방법1 31평가 목적과 방법의 구체화
1. 32
처리효과
2. 39
평가모형의 검토 및 수정
3. 41
비교집단 구성 방법
4. 44
기초조사 자료와 이중차감법
5. (baseline survey) 48 최종결과와 보고 전략
6. 53
제 절 정책효과 계량적 추정의 주요 방법들2 56 계량 모형 분류와 기본구조
1. 57
매칭과 회귀분석 모형
2. 61
모형 모형
3. Heckman's 2 step - Index 68 도구변수 모형
4. 72
와 이중 차감법 고정효과모형
5. BA (DD) - - 75
및 공분산 일정 모형
6. AR(1) 81
임의계수 및 헤테로 모형 그리고
7. , LATE 84
사회실험
8. 90
제 장 우리 나라 직업훈련 정책평가 실증연구와 자료상황 4 :
제 절 직업훈련 정책평가 국내 연구 현황1 95기존 연구의 모형별 분류
1. 95
횡단면 반복 횡단면 포함 자료 이용 연구
2. ( ) 98
패널 자료 이용 연구
3. 117
소결 국내 연구 문헌 종합 정리
4. : 121
제 절 직업훈련 연구주제별 통계자료 현황과 자료 이용2 : 131 통계자료의 개괄적 현황
1. 131
주제별 연구를 위한 통계자료
2. 143
소결 직업훈련자료의 활용방안에 대한 제언
3. : 151
제 장 결론 5 - 평가자료의 구축을 위한 제언
SUMMARY159 참고문헌165
표목차
< >
표
< -1>직업훈련의 거시경제적 효과 11 표
< -1 계량모형의 분류> 58 표
< -2>매칭 방법 비교 63 표
< -3 훈련전후 관측되지 않는 변수들 가정과 모형 분류> 86 표
< -1 정책평가 관련 국내연구> 123 표
< -2>국내 직업훈련정책평가 결과 129 표
< -3>직업훈련 및 노동통계 자료의 유형 133 표
< -4>고용보험DB의 구성 및 주요 내용 135 표
< -5> HRD-Net DB 구성 및 주요 내용 137
그림목차
[ ]
그림
[ -1] Layard-Nickell모형 9 그림
[ -2] Beveridge곡선 10 그림
[ - 직업훈련에 따른 노동공급곡선과 노동수요 곡선의 움직임3] 11 그림
[ - 비교그룹과 통제그룹의 훈련참가확률의 차이4] 22 그림
[ -1] 자료와 모형에 따른 기존 연구 분류 97
요약
연구의 목적 및 내용 1.
정책의 사후적 성과를 평가하는 것은 매우 중요하지만 어려운 일이다.
이에 평가에 필요한 자료의 구축과 적합한 평가모형의 사용은 편의없는 평가를 위해서 필수적이다 이에 본 연구는 평가에 필요한 자료와 계량모. 형을 정리하였다 먼저 평가에 있어서의 근원적 문제 및 편의의 원천을 살. 펴보았다 다음으로 평가를 위한 표준적인 절차와 방법을 제시하였다 그. . 리고 심화된 평가모형의 이해를 위해 비교그룹이나 선택편의 훈련효과의, 질적차이 등의 이슈에 따라 각 계량모형들을 정리하였다 분류정리된 모. 형에 따라 국내의 연구성과들을 정리하였고 아울러 직업훈련 정책평가에, 필요한 자료 및 그 활용 가능성을 검토하였다.
직업훈련 정책평가의 주요 쟁점 이슈와 방법론
2. :
평가는 목적에 따라 그 방법 및 내용이 달라질 수 있으며 관심가는 초, 점이 달라질 수 있다 국민경제적 차원에서의 직업훈련 평가는 주로 직업. 훈련의 노동시장적 영향을 평가하게 되며 그러한 가운데서 대체효과 사, , 중손실 효과 등의 부정적 외부효과도 다루어지게 된다 개별적 차원에서의. 직업훈련 평가는 참가자가 얻게 되는 이득을 직업훈련이 없었을 때와 비 교하여 이루어진다.
본 연구에서는 개별적 차원에서의 직업훈련 참가의 이득을 보는 미시적 인 평가에 한정하여 논의를 전개하였다 미시적 차원에서의 직업훈련 효과. 는 직업훈련에 참가한 사람의 훈련이후 성과를 기준으로 만일에 훈련 참,
가자가 훈련에 참가하지 않았을 때의 성과 이를 가상성과라고 한다 와 비( ) 교하여 평가가 이루어진다.
그러나 이러한 가상성과는 관측되지 않는 것이며 여기에서 평가의 근, 원적 문제가 비롯된다 훈련참가자의 가상성과를 구하기 위해 통상적으로. 비교그룹을 구성하여 비교그룹의 성과를 가상성과에 대신하여 사용한다, . 이 때 비교그룹의 성과로 가상성과를 대신할 수 있기 위해서 여러 가지 가 정이 전제되며 그에 따른 계량모형이 사용되게 된다, .
비교그룹의 성과를 가지고 가상성과를 대신하여 평가가 이루어지기 때 문에 여러 가지 편의가 발생한다 그러한 편의는 비교그룹과 참가그룹이. 동일하지 않음에서 비롯된다 여러 관측되는 특성들을 동일하게 하지 않음. 에 따른 편의가 대부분이지만 관측되는 특성들을 동일하게 하고서도 남는, 편의가 있다 이는 관측되지 않는 요인에 입각한 선택편의이다 이러한 편. . 의들을 가급적이면 줄이기 위해서 여러 계량모형들이 사용된다 그러나 편. 의를 줄이는 가장 좋은 방법은 좋은 자료를 가지고 평가를 하는 것이다.
노동시장 이력에 대한 정보 등 많은 정보가 있는 자료가 좋은 자료이며, 그러한 자료가 패널로 구축되어 있으면 더욱 좋은 자료가 된다 사회실험. 자료는 관측되는 특성을 동일하게 할 뿐만 아니라 관측되지 않는 특성이, 반영되는 선택도 동일하게 하여 이상적인 자료가 된다.
직업훈련 정책평가의 표준적 절차와 계량적 방법들 3.
가 직업훈련 정책평가의 표준적 절차와 방법 .
본 연구에서는 직업훈련 정책평가의 표준적 절차와 계량적 방법들을 제 시하였다 직업훈련 효과 평가의 표준적 절차는 우선 평가 목적 및 내용을. 구체화하고 프로그램 영향평가의 여러 가지 방법을 검토하고 기초적 사, , 실을 파악하고 분석을 위한 통계자료를 검토해야 한다 다음으로 비교집, .
단을 구성하고 관측되는 여러 특성들을 동일조건으로 하는 평가 모형을, 적용한다.
비교그룹의 구성은 매칭의 방법을 이용하고 구성된 비교그룹의 성과를, 참가그룹의 성과로 바로 비교할 수도 있고 회귀분석 등의 방법으로 비교, 할 수도 있다 매칭과 회귀분석의 방법은 관측되는 특성들을 동일한 조건. 으로 한 비교이기 때문에 관측되는 특성들이 다름에서 기인하는 편의는 없 앨 수 있다 그러나 비교그룹 구성이 관측되는 특성들에 의해서만 이루어. 졌기 때문에 선택편의의 문제가 남게 된다 이를 해결하기 위해서 훈련 이. 전 자료가 있는 경우는 훈련참가자의 훈련 전후의 성과 차이를 훈련비참가 자의 훈련 전후의 성과 차이로 빼주는 DD의 방법을 사용할 수 있다 훈련. 이전 자료가 없는 경우는 훈련 참가에는 영향을 미치나 훈련의 성과에는, 영향을 미치지 않는 변수를 찾아내어 도구변수 추정방법으로 선택의 요인, 을 우회하면서 훈련의 성과를 추정할 수 있다.
나 정책효과 계량적 추정의 주요 방법들 .
평가를 위한 계량모형은 적용가능한 자료 훈련효과의 차이에 대한 가, 정 관측되지 않는 변수들에 관한 가정 선택편의의 고려 여부 등에 따라, , 분류될 수 있다 먼저 매칭과 회귀분석 모형은 관측되는 특성들을 동일하. 게 비교그룹을 구성하면 관측되지 않는 변수들에 의한 선택편의의 문제는, 없게 된다고 가정한다 매칭의 방법이 관측되는 변수들의 공통된 영역을. 전제로 하는데 비해 회귀분석의 방법은 공통된 영역을 전제로 하지 않고 외삽 등의 방법을 이용한다 매칭이 관측되는 빈도에 따라 가중치를 부여. 한다면 회귀분석은 평균값 근처에 가장 큰 가중치를 부여한다 이에 매칭, . 이 더 정확한 추정 결과를 가져올 수 있다.
선택편의의 문제를 고려하기 위해 참가함수의 오차항 관측되지 않는 특( 성들 의 구조를 가정하고 오차항에서의 선택의 요인을 추출하여 성과 함) ,
수의 회귀식에 넣어서 일관된 추정 결과를 얻고자 하는 것이 Heckman의 표본선택모형이다.
선택편의를 고려하지만 훈련 참가함수의 오차항을 가정하지 않고 선택, 요인의 성과에의 영향을 우회하여 추정하는 것이 도구변수 추정모형이다.
도구변수는 참가에는 영향을 미치지만 훈련의 성과에는 영향을 미치지 않 기 때문에 오직 참가만에 따른 성과를 추정할 수 있다.
매칭과 회귀분석 표본선택모형 도구변수추정 등은 횡단면 자료에서 사, , 용가능한 방법이다 자료가 패널로 구성되어 있다면 오차항의 구조를 가정. 하여 고정효과모형이나, AR(1) 모형 공분산일정모형등으로 선택편의의, 문제를 해결할 수 있다 고정효과모형은 관측되지 않는 특성들을 시간에. 고정적인 부분과 임의로 변하는 부분으로 나누고 선택과 성과에 영향을, 미치는 시간에 고정적인 부분을 차감의 방법으로 제거하여 선택편의 없는 훈련효과를 추정하는 방법이다 고정효과모형은. BA DD나 의 방법의 계승 이다. AR(1)은 오차항 관측되지 않는 변수들 이 차자기회귀를 한다고 가( ) 1 정하며 공분산일정모형은 동기간의 오차항들의 공분산은 모두 같다는 가, 정하에 선택편의를 극복하면서 훈련효과를 추정한다.
이상의 추정모형들 중 매칭을 제외하면 모두 훈련의 효과가 동일하게 나타난다는 즉 공통계수의 가정에 입각하고 있다 그러나 훈련의 효과가, . 개별적으로 차이가 나는 것이 현실이고 이를 반영하는 것이 임의계수모형, 헤테로모형, LATE이다 임의계수모형은 참가자가 훈련이후의 성과는 알. 지만 그에 입각해 훈련참가를 선택하지 않는 경우이고 헤테로 모형은 훈, 련이후의 성과에 입각해 훈련참가를 선택하는 모형이다. LATE는 도구변 수를 이용하여 훈련 정책에서의 변화가 있을 때 그에 따른 한계적 효과를, 개별적으로 구하여 추정하는 방법이다.
사회실험은 훈련에 지원한 사람들을 무작위로 훈련을 받는 그룹 처리그( 룹 과 훈련을 받지 않는 그룹 통제그룹 으로 나누고 훈련 이전과 이후의) ( ) , 성과를 조사하여 훈련의 성과를 추정하는 방법이다 이 방법은 동일한 선.
택의 기반 위에서 훈련참가와 훈련비참가의 차이만을 보는 것이기 때문 에 선택편의의 문제를 원천적으로 해결하게 된다.
우리 나라 직업훈련 정책평가 실증연구와 자료상황
4. :
가 직업훈련 정책평가 국내 연구 현황 .
우리 나라의 직업훈련 정책평가 연구들을 사용한 자료와 모형에 따라 분 류하면 다음의 그림과 같다.
횡단면 자료
반복 ( 횡단면 포함)
패널 자료
약실험적 방법
회귀분석
매칭
Heckman's 모형 2 step
임금함수 회귀분석 로짓 프로빗분석
해저드모형
강순희외(2000) 김주섭외(2001) Krivet(2002) 이종성외(1994) Krivet(2001) 정원오(1999) 정택수 김철희(2001) 김우영(2002) 류기철 류재술(1999) 나영선 이상준(1999) 이병희(2000) 이명재 이상준(2003a) 채창균 김미란(2004) 남재량(2004) 이명재 이상준(2003b) 이상준(2003) Krivet(2003) 강순희 노홍성(2000) 김안국(2002) 이상은(2003) 김주섭외(2004) 고정효과모형
기존의 연구는 주로 횡단면 자료를 이용하여 이루어졌다 이병희. (2000) 은 처음으로 비교그룹을 구성하여 직업훈련의 효과를 추정하여 평가연구, 에서 중요한 발전을 보였다 그러한 바탕 위에서. 2003년에 들어서서는 비 교그룹을 매칭을 통해서 구성하고 훈련성과를 추정한 연구들이 편 나왔3 고 이명재이상준, (2003b)는 우리 나라에서 최초로 매칭을 통해 훈련 효 과를 추정하였다.
선택편의를 고려한 연구로는 강순희노흥성(2000)이 횡단면 자료를 이 용하면서 선택편의의 문제를 명시적으로 고려하여 훈련성과를 추정하고 있다 선택편의를 고려하면서 패널자료를 이용해 고정효과모형으로 훈련. 효과를 추정한 연구로는 김안국(2002),이상은(2003),김주섭외(2004)가 있 다.
우리 나라의 직업훈련 정책평가 연구는 주로 실업자 재취직훈련을 대상 으로 이루어졌고 그 수도 많지 않으며 앞서 언급한 계량모형들의 다양성, , 과 수준에 비추어 보면 아직 매우 일천한 연구수준이라고 판단할 수 있다, . 훈련효과를 추정하는 실증연구들이 많지 않았던 이유는 첫째 이전의 직업, 훈련 정책들이 사후적 성과의 평가를 별로 염두에 두지 않고 시행되었다 는 점을 지적할 수 있다 둘째로는. IMF외환 위기 이후 실업자훈련의 폭 증에 따른 훈련효과 실증의 요구가 제기되어 훈련효과의 실증연구의 역사, 가 매우 최근에 시작되었던 것을 지적할 수 있다 셋째로는 훈련효과를 정. 확하게 추정할 수 있는 자료의 부족을 언급할 수 있다 미국에서 직업훈련. 효과의 평가연구가 발전할 수 있었던 배경에는 사회실험 자료의 생성과 활용이 있었다.
주요 연구 결과가 상반된 경우도 있었는데 이는 사용한 자료와 평가모, 형들의 차이에 기인한 것이라 판단된다 이러한 실증결과의 상이함은 훈련. 의 종류와 내용 그리고 참가자들이 다르며 평가시점의 경기적 상황이 다, , 름에도 기인하지만 직업훈련의 효과를 측정하는데 좋은 자료의 구축 및, 추정방법의 표준화 등이 필요함을 역설해주는 것이라 여겨진다.
나 직업훈련 연구주제별 통계자료 현황과 자료활용 방안 . :
직업훈련 정책평가를 제대로 하기 위해서는 좋은 자료가 필수적인 전제 조건이다 본 연구에서 많이 다룬 계량모형들은 자료들의 부족함을 극복하. 기 위한 것에 지나지 않는다 사회실험과 같이 좋은 자료들은 훈련 효과의. 추정에 가정이 별로 필요하지 않으며 복잡한 모형도 필요하지 않아 평균, 값의 비교만으로 충분하다 아직 우리 나라의 경우 직업훈련 평가를 위해. 좋은 자료가 구축되어 있다고 하기 어렵지만 가능한 자료들과 이용가능한, 모형들을 정리하였다.
직업훈련에 관한 통계자료로는 고용보험 DB와 인적자원개발종합정보 망(HRD-Net)가 있다 고용보험 로는 실업자재취직훈련 자료를 중심으. DB 로 피보험자 자료 실업급여 자료 사업장관리 자료를 연결하여 직업훈련, , 의 효과를 추정할 수 있다. HRD-Net자료에서는 실업자훈련 재직자훈련, , 여타훈련 등이 훈련기관별 훈련생별로 파악될 수 있으며 재직자 훈련의, , 경우에는 훈련생 사업장 특성 훈련내용 훈련비용의 정보가 차원으로 구- - - 3 성되어 있어 직업훈련에 관한 여러 주제들을 실증할 수 있다 이러한 두, . 를 연결하면 모든 정부지원 훈련 정보와 전사업장 전취업자의 일자리
DB , ,
정보에 대한 정보가 시계열적으로 구축될 수 있다 아직은 이러한 연결자. 료를 이용한 실증연구들이 많지 않지만 장차 패널자료화 등 실증연구에의, 활용도가 매우 높아질 것으로 예상된다 이외에 각 연구원에서 생성한 패. 널 자료가 있어 직업훈련 효과의 실증 연구에서 이용되어 왔다, .
주제별로는 거시경제적 효과 취업효과 및 노동이동 효과 임금 및 생산, , 성 효과의 추정에서 여러 자료들이 어떻게 사용될 수 있는지를 정리하였 다 그렇지만 기본적으로 고용보험. DB HRD-Net,나 여타 패널자료 등의 이용에서 많은 제약이 있다 특히 개인정보 유출 등의 이유로 주민번호를. 제공하지 않아 여러 자료의 연결 이용에 큰 장애가 있다.
이 문제를 해결하기 위해서는 주민번호를 대체할 수 있는 개인 식별번 호를 대신 부여하고 연구자들에게 개인 식별번호를 제공하는 방법을 생각 해 볼 수 있다 물론 각. DB및 자료마다 개인들의 식별번호는 동일하게 부 여되어야 한다 또한 직업훈련 평가가 원활히 이루어지기 위해서는 고용보. 험DB등에 들어있지 않은 취업자를 대상으로 한 추적조사가 주기적으로 수행되고 축적되어야 한다 그 외에 취업자의 종사상의 지위를 구체적으로. 분류해서 조사해야 하고 또 필요한 변수들도 추가되어야 한다, .
결론 평가자료 구축을 위한 제언 5. -
결론적으로 정책평가는 정책수립 정책평가 정책수립의 환류구조가-> ->
성립해야 하며 이를 위해서는 정책의 수립시 정책평가가 정책시행과 하나, 의 세트로 구성되어 기획되어야 한다 그러면 정책시행 이전의 사전조사와. 정책시행 이후의 사후조사가 이루어지고 평가에 필요한 자료의 구축이 완, 비될 수 있다.
평가의 계량모형은 결국 미비된 자료를 보완하면서 훈련의 효과를 추정 하기 위한 것이다 그러나 최고의 계량경제학적 방법으로도 자료의 미비를. 극복할 수는 없다 이에 좋은 자료의 구축은 평가연구에서 절대적인 것이. 며 노동시장 이력 등 필수적인 정보가 들어가 있는 패널자료의 구축에 노, 력을 기울여야 한다 이미 선진국에서는 년 이전에 생성하고 구축하고. 30 있는 사회실험자료를 우리 나라에서도 구축하는 것은 늦었지만 필수적 처 방이라 판단할 수 있다.
평가를 위한 자료가 있어도 이를 활용할 수 없으면 소용이 없다 연구자. 들이 평가를 위해 자료를 활용할 수 있도록 자료의 활용 인프라가 개선 구축되어야 한다 주민번호 대신에 식별번호를 부여하여 다양한 자료를 연. 결하여 사용하게 하는 것은 새로운 자료를 구축하는 것 이상으로 평가의 실증적 연구에 기여할 것이다.
제 장 1
서 문
제 절 정책평가의 중요성 1
현대의 사회에서는 노동시장 및 복지 정책의 일환으로 정부의 다양한 사회 프로그램들이 시행되고 있고 그러한 사회정책 및 그 프로그램들의 객관적 평, 가에 대한 사회적 관심이 높아지고 있다 일찍부터 사회정책 프로그램의 평가. 에 대한 관심이 많았던 미국은 물론, 90년대 이후 유럽에서도 노동시장 정책 및 그 프로그램들에 대한 평가를 통해 정책 및 프로그램의 지속 여부가 결정되 고 있다.
정책 및 프로그램에 대한 평가는 그 형성과정의 합리성을 평가하는 것과 정 책 및 프로그램 시행 단계에 문제는 없었는가를 평가하는 것 그리고 정책 및, 프로그램 시행후의 그 성과를 평가하는 것으로 나누어진다 우리 나라의 경우. 정책 수립 및 시행이 사후적 성과 평가를 염두에 두고 이루어지지 않는 것은 보통이다 이에 우리 나라에서의 대부분의 정책 및 프로그램 평가는 정책 및. 프로그램 시행시의 문제는 없는가를 평가하는데 집중되어 왔다 그러나 정책. 및 프로그램의 성과에 대한 평가를 통해 그 정책 및 프로그램을 심사하고 그, , 결과가 정책의 재수립 유지 확대 혹은 폐지 등 에 판단 준거로 반영되는 절차( , )
는 재론의 여지가 없이 중요하다.
이에 정책을 수립할 때에는 항상 정책에 대한 시행과 그에 대한 평가를 동시 에 하나의 세트로 구성하여 실시하여야 한다 정책수립 단계에서 평가를 기획. 하게 되면 정책 시행전에 평가를 염두에 둔 자료 구축 등에 관한 실행 계획이, 수립되고 이에 정책의 시행 이전 그리고 시행과정 시행 이후의 자료들의 수, , , 집과 구축이 기획될 것이다.
평가가 정책 수립과 함께 이루어지기 때문에 정책평가에서 매우 중요하고 필수적인 사전적인 기초조사가 이루어지고 자료화될 것이며 정책 시행의 과, , 정에 대한 자료는 물론 정책 시행 뒤의 사후적 자료 장기간의 추적 조사 가 갖, ( ) 추어질 것이다 물론 이러한 자료의 수집에 들어가는 비용은 정책 시행의 예산. 에 모두 포함되어야 하고 평가 자체의 예산이 확보되어야 한다 이러한 평가자, . 료의 구축은 정확한 정책평가를 위해서 가장 긴요한 것이다.
제 절 연구의 목적 및 내용 2
정책 및 프로그램에 대한 평가가 제대로 이루어지기 위해서는 평가를 위한, 객관적인 자료의 구축은 물론 과학적인 방법론이 동원되어야 한다 그리고도. 정확한 평가가 이루어지기 위해서는 여러 가지 사항을 고려해야 하며 이에 평, 가 자체는 매우 어려운 일이다 그러나 우리 나라의 경우 평가를 위해서 객관. 적인 자료가 구축된 것은 드문 일이며 자료가 있는 경우에도 과학적인 방법론, 에 입각하여 평가가 이루어지는 것은 흔하지 않았다.
여러 가지 정책 및 사회 프로그램들에 대한 성과 평가는 이미 많이 이루어져 왔다 우리 나라에서도 정부의 보고서 및 개별 연구자의 연구논문 등 정책 및. 사회프로그램에 대한 평가가 많이 이루어지고 있다 그러나 그러한 평가들이. 좋은 자료에 의존하고 있는지 또 자료에 맞는 평가모형을 이용하고 있는가는, 확신할 수 없다 또한 측정된 성과의 해석에서도 분석에 사용한 자료와 평가모.
형의 한계가 적절히 고려되지 않는 경우도 있다.
이에 본 연구에서는 평가에 필요한 자료와 계량 모형을 정리하고자 한다 자. 료와의 연계 위에 평가모형이 고찰될 것이며 특히 평가모형에 필요한 여러 가, 지 가정들을 검토할 것이다 아울러 선택편의 등 평가에서의 쟁점 및 이슈를. 중심으로 평가모형의 결과를 어떻게 해석할 수 있는가를 점검할 것이다.
정책 평가를 위한 계량 모형은 행정 종사자나 일반인에게 매우 어렵게 느껴 져 왔다 이에 본 연구에서는 평가의 전반적인 절차를 쉽게 소개하려 하였다. . 자료 및 평가모형의 사용에 대한 표준적인 평가의 절차를 제시하였다 그리고. 평가모형은 주요한 얼개를 중심으로 이해하기 쉽게 서술하도록 노력하였다.
표준적인 평가 절차 및 방법에 대한 제시는 비전문가들의 평가 전반에 대한 이해를 높일 뿐만 아니라 정책담당자 및 행정담당자의 실제적인 평가 작업에 지침으로 충분히 활용될 수 있을 것이다 아울러 표준적인 평가 절차 및 방법. 의 이용은 표준화된 자료처리나 평가모형의 활용으로 공통적인 기준하에서의 평가를 가능하게 할 것이다 동시에 직업훈련 정책 이외의 부문에서의 평가에. 도 이용될 수 있을 것이다.
본 연구의 주된 연구대상은 외국 주로 미국과 유럽 의 경험연구에서의 평가( ) 를 위한 계량 모형이다 계량 모형은 주로 직업훈련 프로그램의 미시적인 평가. 를 위한 계량 모형에 한정할 것이다.1) 계량 모형들은 그 적용이 이루어지는 자 료적 특성 및 필요한 가정들을 중심으로 정리될 것이다 아울러 계량 모형에. 따른 외국의 실증연구 사례를 간략하게 소개할 것이다 정리된 계량 모형을 바. 탕으로 우리 나라의 기존의 직업훈련 평가 연구문헌들을 사용된 자료와 평가 모형을 중심으로 검토할 것이다.
계량 모형은 전적으로 자료에 의해서 결정된다고 하여도 과언이 아니다 자. 료에 맞게 적합한 계량 모형 및 가정을 선택해야 하며 그러한 가정과 계량 모, 형은 자료의 미비점 때문에 필요한 것이다 이에 우리 나라의 직업훈련 관련. 자료의 생성 및 구축의 과정을 검토한다 그리고 각 주제별로 우리 나라의 연.
1) 직업훈련 프로그램의 거시적 평가는 유럽의 연구에서 많이 이루어졌으나 거시적 평가를 위한 계량, 모형은 아직 체계화되어 있지 않다.
구에서 어려운 점 및 용이한 점을 외국의 연구와 비교해서 정리할 것이다 그. 리고 자료 구축 및 활용을 위한 대안을 제시할 것이다.
제 장 2
직업훈련 정책평가의 주요 쟁점 이슈와 방법론 :
제 절 평가의 목적 및 수준 1
직업훈련 정책의 목표와 내용 1.
가 직업훈련 정책의 목적과 평가 .
직업훈련정책의 목적에 따라 직업훈련 정책 혹은 프로그램의 평가가 달라지 게 된다 이에 평가에 임하여 직업훈련 정책의 목적을 분명히 파악해야 한다. . 직업훈련 정책의 목적은 크게 보아 실업 대책 실업한 개인의 고용 가능성의 확( 대 사회 재분배 프로그램 소득분배 등의 사회정책 일환 생산성 증가 산업구), ( ), ( 조 변환에 기여하는 직업훈련 정책 등의 경제정책 조세증가 및 실업급여 지) , 급액 감소 재정정책 일 수 있다( ) .2)
아울러 직업훈련의 목표 가치 지향 가 효율성을 추구하는 것인지 공평성을( ) , 추구하는 것인지에 따라 평가 내용이 달라지게 될 것이다 위의 목표에서 실업.
2) 스웨덴의 경우1960년대 이전의 적극적 노동시장 정책은 직업훈련이 위주였고 이는 사양산업에서, 실업하는 노동자들을 재교육훈련시켜 성장산업으로 투입하고자 하는 것이었다 그러나 그 이후 특, . , 히1990년대 이후 적극적 노동시장 정책의 중심은 실업에 대한 대처에 두어지게 된다.
대책이나 경제정책 및 재정정책의 일환으로서의 직업훈련 정책은 효율성을 강, 조하는 것이고 소득분배나 사회통합의 차원의 사회정책을 위한 직업훈련 정책, 은 공평성을 추구하게 될 것이다 전체적으로 직업훈련의 효율성을 강조한다면. 직업훈련의 취업효과나 생산성제고 효과들이 평가될 것이다 반면에 공평성을. 강조한다면 훈련서비스가 가장 필요한 사회의 불우계층에 초점을 맞추고 불, , 우계층의 자신감 회복 및 사회 통합 등으로 평가의 항목이 정해져야 한다.3)
직업훈련 정책의 목적에 따른 평가기준들을 구체적으로 보자 첫째로 훈련. , 의 목적이 효율성을 추구하는 것이라면 비용편익만을 계산할 수 있다 또는 프, . 로그램 참가의 비율 및 프로그램 참가자로부터 이득을 보는 자들의 비율이 관 심일 수 있다 이러한 비율들은 정치가들의 주된 관심일 수 있다 둘째로 훈련. . 의 목적이 공평성을 추구하는 것이라면 훈련전 기준 시점에서 가장 낮은 소득, 수준의 계층이 프로그램 시행으로 얻는 이득의 분포가 관심이 된다 이러한 이. 득의 분포는 사회정의를 추구하는 입장에서 중요한 평가기준이 된다.
나 직업훈련정책 평가에서의 초점 및 측정 .
정책 및 프로그램의 시행과 관련하여 평가의 초점이 달라질 수 있다 먼저. 정책 담당자는 현재 시행되는 정책 및 프로그램의 성과에 관심이 있을 수 있 다 이 경우 프로그램 참가자가 프로그램 참가로부터 얻는 이득 처리자에 대한. ( 처리효과; treatment effect on the treated)이 어떠한가를 보는 것이 중요하다. 이러한 지표는 현재의 정책이 존속 혹은 폐지 되어야 하는가의 정책 질문에 답( ) 할 수 있다 둘째로 정책 담당자는 현재 시행중인 정책 및 프로그램의 변경을. 기획하고 그 효과에 대한 관심을 가질 수 있다 이 경우 관심가는 지표는 정책.
3) 직업훈련의 가치에서 효율성과 공평성의 종합적 지향은 용이하지 않다 직업훈련의 가치 지향에서. 미국과 유럽은 대조적이다 미국의 경우 직업훈련 프로그램들은 불우계층에 맞추어져 있지만 효율. 성을 강조하고 있다 이에 직업훈련 프로그램의 시행과정에서 훈련기관의 성과에 따른 지원이 이루. 어지면서 훈련의 성과가 좋을 사람을 골라서 훈련을 시키는, creaming효과가 나타나고 있기도 하 다.(Bassi, 1984; Anderson et al., 1993; Heckman and Smith, 2004)유럽의 경우 공평성 지향하에서 직업훈련의 수혜는 하나의 권리로 인정되고 있다 유럽에서 효율의 관점에서 직업훈련의 성과를 평. 가하기 시작한 것은 비교적 최근의 일이다.
이 바뀌었을 때 그러한 정책 혹은 프로그램에의 참가가 변경되는 사람들에 대, 한 프로그램의 영향일 것이다.4) 셋째로 정책담장자는 모든 자격있는 사람들에 게 프로그램을 확대적용하려고 할 때 그 효과에 대해 관심을 가질 수 있다 이, . 경우 정책 관심은 대상 모두에게 부과되는 프로그램의 비용 효과이며 이는 프- , 로그램 시행의 평균적 효과 평균처리효과( ; average treatment effect)가 어떠한 것인가를 보는 것이다(Smith, 2000).
직업훈련 정책 평가는 그 측정 대상에 따라 달라질 수 있다 어떤 직업훈련. 정책 혹은 프로그램의 효과를 거시적 국민경제 전체의 차원에서도 볼 수 있고, 해당 정책 수혜자 혹은 훈련프로그램 참가자 및 관련자의 차원에서도 볼 수 있 다 전자가 국민경제적 관점에서 정책을 평가하는 것이라면 후자는 개별적. , 미시적인 관점에서 정책을 평가하는 것이다.5)
직업훈련에 참가하는 개인들을 대상으로 정책평가를 할 때 평가는 더욱 구 체적일 수 있다 예컨대 동일한 직업훈련 프로그램을 훈련 기관별로 평가거나. , , 지역별로 평가하거나 훈련 종류별로 훈련 직종별로 평가할 수 있다 정책 담, , . 당자들에게는 전체적인 평가도 중요하지만 이러한 구체적인 분류별 평가가 정 책의 보완 수정을 위해서는 더욱 필요하다 이러한 세부 분류적 평가는 개선될. 수 있는 점을 구체적으로 제시하는 장점을 갖는다.
프로그램의 효과는 직업훈련정책 대상의 크기 및 범주와 관련된다 미국의. 경우 딱 맞는(targeted)범주의 사람들만 훈련 프로그램에 적용하고 있다 유럽. 의 경우 적합한 다수를 겨냥하여 프로그램을 준비하고 있다 그러한 경우에 훈. 련 프로그램의 성과 평가의 내용도 달라지게 되어 미국의 경우는 처리자에 대 한 처리효과를 유럽의 경우는 평균적 처리효과를 측정하는 것이 적정하다, .
4) 이러한 훈련효과 파라미터는 후술하겠지만, Imbens and Angrist(1994)가 소위Local Average 혹은 라고 부르는 것이다
Treatment Effect LATE .
5) 거시적 국민경제적 관점의 평가를 일반균형론적 평가 미시적 개별적 평가는 부분균형론적 평가라, 고도 한다.
국민경제 차원의 접근 2.
가 직업훈련의 거시경제적 효과 및 평가 .
6)직업훈련은 주로 실업대책으로서 이루어져 왔고 이에 국민경제 전체의 차원, 에서 경제적 성과를 가져온다 즉 직업훈련의 결과 경제활동 참가율이 증가하. 게 되고 구직자가 증가하여 사회 전체의 노동 공급이 변하게 된다 또한 직업, . 훈련으로 인해 구직자에 대한 사용자의 정보비대칭성 문제가 완화되면서 기업, 에서의 노동수요가 변하게 된다 이러한 직업훈련으로 인한 노동공급과 수요의. 변화는 노동시장에서 가격의 변화를 초래하게 되어 국민경제적 영향을 미치게 된다.
또한 직업훈련은 인적자원의 효율적 배분에 기여한다 특히 직업훈련은 산업. 구조의 변화가 빠른 시기에 사양산업의 잉여 인력을 성장산업으로 이동시켜, 인적자원을 산업간에 효율적으로 배분하는 효과를 갖는다.
직업훈련은 국민경제적 차원에서 소득의 재분배 프로그램으로 기여한다 훈련. 수당 및 훈련참가의 실업급여 자격 연장은 장기 실업자에 대한 소득 재분배의 기능을 하는 것이다.
직업훈련은 국민경제적 차원에서 재정효과를 갖는다 직업훈련으로 구직활. 동이 증가하고 조기에 취업에 이루어지면 실업급여의 지급을 절약하여 국가, , 재정을 개선시키는 기능을 한다.
직업훈련으로 경제활동 참가가 증가하고 구직 활동이 증가하면 구직자들의, 경쟁 이는 현재 취업자와의 경쟁이기도 함 의 증가로 인해 노동공급곡선을 우( ) 측으로 이동시킬 것이다 이는 임금을 떨어뜨리면서 고용을 증가시키는 효과를. 갖는다 직업훈련으로 훈련이수자의 생산성이 증가한다면 노동수요곡선은 우. 측으로 이동할 것이다 이는 고용과 임금이 동시에 증가하는 결과를 가져올 것. 이다.
직업훈련으로 인해 인적자원 배분이 효율적으로 잘 이루어진다면 성장부문,
6) 이 부분은Calmfors et al.(2002), Calmfors(1994)를 주로 참조하여 구성되었다.
에서 노동공급이 늘어나고 사양산업 부문에서는 노동공급이 줄게되어 사양산, , 업부문에서의 임금 증가와 성장산업부문에서의 임금감소가 예상된다 이는 사. 양산업에서의 고용축소와 성장산업에서의 고용 증가의 결과를 가져올 것이다.
직업훈련의 중요한 기능중의 하나는 기업의 직무 공석과 실업자를 연결시키는 것이다 직업훈련의 직업상담과 직업소개는 특히 구직의 과정을 효율적으로 이. 루어지게 하며 또한 직업훈련으로 인한 훈련이수자에 대한 사용자의 정보비대, 칭성의 완화는 채용의 과정을 효율적으로 이루어지게 한다 이러한 과정은 통. 상 베버리지 곡선의 이동으로 설명되어 왔다.
그림 모형
[ -1] Layard-Nickell
RR FE
WS
RES 실질
임금
정규 고용율 r0
u0
A
u1 r
임금결정 노동공급 곡선
WS: ( )
정규고용 노동수요 곡선
RES: ( )
완전고용 곡선
FE:프로그램 참가자를 제외한 완전고용 곡선 RR:
그림 곡선 [ -2] Beveridge
r A
I II 공석율
u0 실업율 u1
주: Calmfors(1994)
베버리지 곡선은 노동시장에서의 공석률과 실업 사이의 관계를 나타내는 곡 선이다 베버리지 곡선의 이동은 직업훈련의 공석과 실업의 매칭과정의 유효성. 을 측정하는 지표로 이용되어 왔다.
훈련 참가나 직업창출 보조금은 완전고용(FE)곡선과 프로그램 참가자를 제외 한 완전고용곡선(RR)사이(r0)로 표현된다. RR이하에서 균형점 까지가 공개A 적(open)실업을 측정한다 즉 훈련 프로그램 등의 추가공급. ( r)에 의해서 공 개적 실업은 U0에서 U1으로 감소하게 된다 이는 베버리지 곡선을 좌측으로.
만큼 이동시켜 실업과 직무공석을 줄이게 된다
r .
위에서 언급한 직업훈련의 노동공급 곡선과 노동수요곡선에의 영향을 그림 및 표로 나타내었다.
그림 직업훈련에 따른 노동공급곡선과 노동수요 곡선의 움직임 [ -3]
고용 실질임금
경제활동인구 노동수요곡선
노동공급곡선 A B
D C F E
G H
주: Calmfors(1994), p. 14.
표 직업훈련의 거시경제적 효과
< -1>
곡선의 움직임노동공급 노동수요
곡선의 움직임 기대 좌표
주어진고용하 임금변화에서의
주어진임금하 고용변화에서의
순고용효과 경쟁효과
우측이동경활인구 곡선 우측
이동
D -(?) 0 +(?)
생산성효과 좌측이동 우측이동 A (+) + +/(0) 노동력배분
효과
성장부문:
사양부문:우측이동 좌측이동
성장부문:
사양부문:좌측이동 우측이동
G - 0 (?)
매칭효과 우측이동 우측이동 C -(?) +(?) +(?)
전치효과 좌측이동 F 0 - -
복지효과 좌측이동 H +(?) 0 -(?)
주: 1. Calmfors(2002), p24.
2. 이 표에서의 임금 및 고용변화 순고용효과 등은 이론적 기대에 의한 것으로 직업훈련 효과, 의 실제 결과와는 다를 수 있으며 실증의 문제로 귀착된다, .
직업훈련에 대한 거시적 평가는 직업훈련 정책의 국민경제적 차원에서의 성 과를 평가하는 것이다 대표적인 것은 노동 수요와 공급의 차원에서 직업훈련. 의 성과를 평가하는 것이다 구체적으로 보면 직업훈련으로 노동공급곡선과 노. 동수요곡선이 어떻게 움직이는가를 파악하는 것이다.
유럽의 경우 직업훈련 평가는 적극적 노동시장 정책 평가의 일환으로 이루 어지고 있으며 실증 연구에서 직업훈련의 국민경제적 효과는 그 이론 및 실, 증에서 다양한 결과를 보이고 있다 특히 유럽의 연구에서는 직업훈련이 가지. 는 숙련 수요와 공급의 불일치를 해소하고 자원배분의 효율성을 증가시키는, 기능을 높이 평가하고 있다 그리고 직업훈련은 사용자들에게 지원자에 대한. 선별의 기회를 제공하고 장기실업자의 채용 불확실성을 줄이는 효과를 갖는다, 고 평가하고 있다(Calmfors, 1994).
나 거시적 평가에서의 이슈 .
거시적 평가에서는 먼저 직업훈련의 부정적 효과의 문제가 제기된다 특히. 훈련프로그램의 규모에 따른 수익감소의 문제가 지적된다 프로그램이 커질수. 록 참가자들의 특수한 요구에 맞추는 것이 어려워지고 동기가 부족한 참가자, 들의 증가로 부정적 외부효과가 발생한다는 것이다.7) 이러한 부정적 효과는 훈련을 제공하지 않아도 스스로 훈련을 받았을 사람에게 훈련을 제공하는 사 중손실(dead weight loss)로도 나타난다.
또한 직업훈련이 임시직을 창출하는가 영구직을 창출하는가의 문제도 제기되 는데 유럽의 여러 국가에서는 직업훈련 이수자를 위한 정규직을 공공부문에서, 창출하고 있는 것으로 나타난다 이 경우 직업훈련으로 낮은 기능을 습득한 사. 람들이 기존에 일자리를 잡고 있던 낮은 숙련의 사람들을 대체하는 효과
가 큰 것으로 나타난다 (substitute effects) .8)
7)Bjorklund and Moffit(1987)은 스웨덴의 년대 초 프로그램들이 규모가 커질수록 미래의 임금에 음80 의 관련을 갖는 결과를 제시하고 있다.
8) 대체효과는 주로 노동시장 정책의 직업창출 기제에 적용된다 대부분의 연구는 사중손실과 대체효. 과를 합하면 전체 창출된 직무의, 70-90%의 크기라고 지적한다(Calmfors, 1994).
다음으로 직업훈련기간 중 구직활동을 못하게 되는 잠김효과(Lock-in- 도 지적이 된다 또한 직업훈련의 대상을 장기실업자 등 사회의 불우한 effect) .
계층에 한정시키기 때문에 프로그램 참가자들에 대한 낙인효과(stigma effect) 가 나타나는 문제도 제기된다.
직업훈련 정책 및 프로그램의 국민경제적 효과에 대한 평가는 일반균형적 접근을 필요로 한다 국민경제에 미치는 영향은 부분적으로만 파악될 수 없고. , 전체적으로 미치는 영향이 파악되어야 하기 때문이다.
그러나 일반균형론적 접근이 이루어지는 거시경제적 직업훈련 정책 평가는 용이하지 않다 가장 중요한 것은 자료의 문제이다 직업훈련 정책 및 프로그. . 램의 자료뿐만 아니라 경제 전반의 성과에 대한 집계적 자료가 있어야만 한다, . 통상적으로 거시경제 연구에서의 문제는 관측치의 수가 적기 때문에 직업훈련 정책 및 프로그램의 정확한 효과를 추정하기 어렵다는 점이다 이에 직업훈련. 자료를 위시한 제반 자료가 국가 전체적으로 잘 구비되고 이용될 수 있는 시스 템을 가진 나라 스웨덴이 대표적인 예( 9))에서 거시경제적 직업훈련 평가 연구 가 활성화되어 왔다.
또 하나의 어려운 점은 방법론적인 문제인데 상호인과성이 혼동되어 나타나, 는 것을 해결해야 한다 즉 직업훈련 등의 적극적 노동시장 정책 프로그램은. 실업에 영향을 미칠 뿐만 아니라 노동시장 상황의 변화 실업률의 변화 가 적, ( ) 극적 노동시장 프로그램들의 양을 결정한다 이는 상호인과관계. (simultaneity, 의 문제로 이를 무시하고 전형적인 일방적 관계의 회귀모형을 적용하 cosality)
면 편의된 추정량을 얻게 된다 이러한 편의를 상호인과관계 편의, . 라고 하며 이를 제거하기 위해서는 연립방정식 모형등이 (sumultaneity bias) ,
필요하다.
9) 스웨덴의 경우 모든 직업 탐색자들이 등록되어 그들에 관한 정보가 축적되어 있는, H ndel DB가 있 다.
개별적미시적 비용편익분석적 접근
3. ,
가 미시적 평가의 내용과 이슈 .
미시적 평가는 직업훈련 정책의 개별적 영향을 평가하는 것이다 미시적 평. 가는 훈련에 참가한 개인들이 얼마나 이득을 얻었는가를 주로 측정한다 이러. 한 개인들에 기초한 평가는 지역별로 훈련기관별로 훈련 종류별로 이루어질, , 수 있다.
미시적 평가에서는 프로그램 참가자의 실제 성과와 그 참가자가 만약 그 프 로그램에 참가하지 않았다면 가졌을 가상적 성과(counter factual)의 차이를 추정한다 그러한 차이를 처리자에 대한 처리효과. (treatment effects on the 라고 하며 평가되는 훈련프로그램이 없었을 경우와 비교하는 것이다
treated) , .
이러한 처리효과는 프로그램이 없는 상태에서 있는 상태로 변화되었을 때의 프로그램의 효과이다.10) 통상 미시적 평가의 계량 모형들은 대부분 이 처리효 과를 추정하는 것이다.
그러나 훈련 참가자가 만약에 훈련 프로그램이 없어서 훈련에 참가하지 않 았을 때의 가상적(counterfactual)성과 이하에서는 가상성과라 부름 가 실제로( ) 는 관찰되는 것이 아니기 때문에 가상성과를 여하히 구하는가가 문제가 된다.
이러한 가상성과는 참가자 집단과 유사한 비교그룹의 성과를 가지고 대신하게 된다 이러한 비교그룹을 구성하기 위해 사회적 실험을 행하여 처리그룹에 대. , 응하는 통제그룹을 만들어 관리하기도 하는데 통상은 비실험적 방법으로 비교, 그룹을 구성한다.
비실험적 방법에 의한 비교그룹을 구성하는 방법은 훈련 참가자의 선택에, 따른 편의를 여하히 통제하면서 훈련효과를 추정하느냐가 관건이다 훈련참가. 자의 선택에 따른 편의를 통제하기 위해서 여러 가정에 입각한 모형들이 출현 하게 된다.
이론적 개념인 대표적 기업과 대표적 소비자는 경제이론에 깊게 뿌리박혀
10) 이는 무작위로 사람을 선발하여 프로그램을 이수하게 하였을 때의 프로그램 효과와 동일하다.
있듯이 직업훈련의 효과도 모든 사람들에게 공통적으로 나타난다는 가정이 지, 배적이었다 그러나 미시자료들이 쏟아져 나오면서 미시자료의 특징인 다양성. , 과 개별적 차이(heterogeneity)의 중요성이 강조되었고 평균적 개념인 전통적, 대표 개인 혹은 대표기업의 패러다임이 정확하지 않음이 주장되었다 그리고. , 직업훈련의 효과가 모든 사람에게 달리 나타난다는 견해가 최근에 나오기 시 작하였다 훈련효과의 개별적 차이는 그 요인이 되는 관측되지 않는 변수들에. 관심을 갖게 하였으며 패널 미시자료의 등장은 그에 대한 연구를 활성화시켰, 다 미시자료를 활용하는 미시계량경제학이 발전하였고 개별적 차이의 관측. , 되지 않는 요인의 근원 및 그 처리에 대한 다양한 가정들이 최근의 직업훈련 정책 및 프로그램의 평가에서 연구되어 왔다.
나 미시적 평가에서 여러 효과의 종합적 평가 필요 .
처리효과를 구하는 미시적 평가의 전제는 프로그램 하에서 비참가자의 성A 과가 프로그램이 없을 때와 동일하다는 것이다 이는 직업훈련의 간접적 영향. , 즉 일반균형의 효과가 무시할만 하거나 혹은 세금구조의 체계가 프로그램, A 가 있을 때와 없을 때가 동일하다는 것이다 이러한 가정은 직업훈련 프로그램. 에 참가하는 사람들이 대부분 조세부담이 적고 비참가자가 조세부담이 많은, 현실에서 훈련 프로그램의 시행이 조세부담을 주로 비참가자에게 전가한다는 점에서 그렇게 타당하지 못하다.
이에 미시적 평가에서도 훈련참가자에 대한 직접적 효과 뿐만이 아니라 비, 참가자가 내는 세금 부담 기업의 수혜 훈련된 노동력 확대공급으로 인한 임금, ( 저하 효과 등 등 간접적 효과까지 판단되어야 정확한 평가가 된다 또한 정책) . 으로 인해 초래된 이득에 따라 정책의 수혜 쪽으로 이동한 개인들의 숫자는 물 론 정책의 한계 비용까지 평가가 되어야 한다 아주 최근에. Heckman(2001)은 미시적 평가에서도 일반균형적 접근의 평가를 강조하는데 하나의 경제에서 개, 인들의 성과는 시장 및 다른 사회적 상호작용과 연계되어 있기 때문에 직접적 인 효과와 함께 간접적인 효과를 구분하여 모두 추정하는 것이 필요하다고 주
장한다.11)
다 비용편익 분석의 방법론 및 장단점 .
비용편익 분석의 목적은 여러 가지 프로그램 중에서 어떤 프로그램이 가장 비용효율적인가를 평가하는 것이다.
비용편익의 계산은 프로그램 실시로 인한 모든 이익을 구하여 현재가치로 환산하여 총 편익을 구하고 프로그램 실시에 들어가는 모든 비용을 현재가치, 로 환산하여 총 비용을 구해 그 차이를 구하면 된다.12) 이렇게 구해진 프로그 램의 순수익의 현재가치를 각 프로그램별로 비교하는 것이다.
비용편익 분석에서 편익의 측면은 정책에 의해 초래된 직업훈련 프로그램으 로의 이동으로부터 야기된 이익과 프로그램 참가로부터의 이익의 두 측면으로 나누어 평가할 수 있다 이러한 프로그램으로의 이동에 의한 한계이익과 프로. 그램 참가의 한계이익을 더한 것이 프로그램의 한계비용과 같아지는 지점에서 프로그램의 총공급양이 결정된다.(Heckman, et al., 1999)
비용편익 분석의 장점은 계산이 쉽다는 것이다 단순한 계산을 통하여 총비. 용과 총편익의 현재가치를 구할 수 있다 그리하여 프로그램 시행 이전에 비용. 편익 분석을 수행한 뒤 가장 좋은 프로그램을 선택할 수 있다 또한 프로그램. 의 영향을 추정하는데 선택편의의 조정이 필요 없다.(Heckman et al., 1999) 비용편익 분석의 단점은 이익과 비용을 파악하기가 어렵다는 점이다 또 프로. 그램의 비용효율적 측면 이외에 여타 요소들을 파악할 수 없다는 한계가 있다.
11) 개별적 프로그램을 일반균형적 접근으로 평가한 연구들의 예를 들어보자. Davidson and 은 실업보험 보너스의 전치효과를 추정하고 전체 효과의 는 전치효과에
Woodbury(1993) , 30-60%
의해 상쇄된다는 것을 보인다. Heckman, Lochner and Taber(1998)은 부분균형에서 대학교 등록 을 위한 보조금 프로그램의 효과로 나타난 등록률의 증가는5.3%이지만 일반균형에서 등록률의, 증가는 겨우0.46%밖에 되지 않음을 추정하였다 그러한 차이는 대학교 등록 보조금 프로그램으로. 인해 대학졸업자들의 수가 증가하고 그것이 대졸자의 노동시장 임금을 줄였고 이에 대학졸업의, 이득이 적어졌기 때문에 나타난 것이라 설명한다.
12) 미국의 청년 취약계층 훈련 프로그램(Job Corps)의 훈련효과의 비용편익 분석을 예로 들면 훈, 련에 들어간 총비용은11,000$ ,로 참가자의 편익10,000$보다 많았으나 정부의 생활보조금 지급, 의 감소 범죄율의 감소 등에 기인한 사회적 편익이, 4,500$가 되는 것으로 계산되어 총사회적, 편익은 총비용을 크게 상회하는 것으로 계산되었다(Heckman, 2000).
즉 비용편익 분석은 프로그램의 총산출효과만을 관심을 가지며 그 총산출의, 분배적 측면에는 관심이 없다 산출의 효과가 커도 분배가 왜곡되어 있다면 전. , 체적인 사회후생이 줄어들 가능성도 있는데 그것을 파악하기 어렵다 또한 프, . 로그램에 참가하지 않은 사람들에 대해 프로그램이 얼마나 영향을 미치고 있 는가의 간접효과를 파악하기가 어렵다.
제 절 평가의 근원적 문제와 계량 모형의 구성 2
통상적으로 일반균형적으로 직업훈련 효과를 추정할 때 고려되는 것은 내생, 성 문제와 상호인과성(simultaneity)의 문제이다 내생성 문제는 중요하지만 생. 략되어 버린 변수가 설명변수 특히 처리변수 에 영향을 미치지만 이를 통제하( ) , 지 못하여 나타나는 편의이다 상호인과성의 문제는 변수간의 인과관계가 일방. 적이 아니고 쌍방적이어서 연립방정식 모형으로 해야하는데도 전형적인 회귀 모형을 각개 방정식에 적용하였을 때 편의된 추정량을 얻게되는 것을 말한다.
이러한 상호인과성으로 인한 편의를 극복하기 위해서는 연립 자기회귀 모형이 나 도구변수 추정 등이 필요하다, .
직업훈련 등의 적극적 노동시장 정책 프로그램은 실업에 영향을 미칠 뿐만 아니라 노동시장 상황의 변화 실업률의 변화 가 적극적 노동시장 프로그램들, ( ) 의 양을 결정한다 이는 상호인과관계. (simultaneity, cosality)의 대표적인 문제 이다. Calmfors(2002)는 유럽의 노동시장 정책에 관한 실증연구들을 검토하고, 상호인과관계의 문제를 고려하는가의 여부에 따라서 직업훈련 정책 및 프로그 램의 평가가 매우 달라짐을 보이고 있다.
동시적 상호인과관계의 문제를 해결하면서 정책의 효과를 평가하고 예측하, 기 위해서는 구정책에 비교되는 신정책의 평가를 가능하게 하는 정책 불변적- 인 구조계수에 대한 지식이 있어야 했다 이에 계량경제학의 구조방정식 추정.
등이 등장하였다.
이러한 구조적 모형에서는 대표적 개인이 가정되었고 다양한 개인들의 차이, 는 무시되었다 또한 구조 모형에서는 구조를 가져오는 함수에 대한 강한 가정. 이 필요하였다 이런 한계 때문에 직업훈련 정책 및 프로그램의 평가에서 구조. 를 지양하고 약한 가정하에서 훈련받은 사람에 대한 훈련의 효과만을 추정하, 려는 경향이 나타났다 이러한 경향의 연구들은 직업훈련의 개별적 미시적 영. , 향을 측정하려 하였고 특히 미국에서 많은 연구성과를 내면서 경험적 평가연, 구의 주류를 이루게 되었다 이에 본고에서도 주로 개별적 미시적 평가에서의. , 직업훈련 정책 및 프로그램의 평가에 나타나는 문제들을 중심으로 살펴보고자 한다.
가상성과와 비교그룹의 구성 1.
가 가상성과 .
직업훈련 프로그램의 성과는 그 프로그램에 참가한 사람들의 성과로 평가될 수 있다 직업훈련 프로그램에 참가한 사람들의 성과 평가는 참가하지 않은 사. 람의 성과와 비교되어 이루어질 수 있으며 혹은 참가한 사람들의 프로그램 참, 가 이전의 성과와 비교되어 이루어질 수 있다 그러나 이 두 비교는 엄밀한 의. 미에서 직업훈련 프로그램이 산출되어 그 시행의 효과로 나타난 성과를 파악, 하는 것이라고는 할 수 없다 그 직업훈련 프로그램이 없었다면 만일 나타났을. 가상적 성과와 직업훈련 프로그램이 있어서 나타난 현재의 성과를 비교해야 올바른 평가가 이루어지기 때문이다.
이에 직업훈련 프로그램의 성과는 직업훈련 참가자 기준의 성과가 파악되어 야 한다 직업훈련 프로그램 참가자들의 성과는 처리자에 대한 처리효과. 로도 불린다 이는 직업훈련 참가자의 훈련참 (treatment effect on the treated) .
가 이후의 사후적 성과와 직업훈련 프로그램 참가자가 만약에 훈련에 참가하 지 않았을 경우의 가상적인 성과(counter factual)을 비교하여 이루어진다.13)
그러나 훈련을 받은 사람의 가상성과는 관측될 수 없고 이것이 평가의 근원, 적 문제이다 프로그램 참가자의 가상성과를 관측할 수 없기 때문에 가상성과. 는 참가자와 유사하지만 훈련에 참가하지 않은 사람들로 비교그룹을 구성하고 그들의 성과를 가상성과로 간주한다 그렇게 파악된 가상성과와 참가자의 실제. 성과를 비교함으로써 프로그램 참가의 성과를 추정하게 된다 그렇지만 비교그. 룹의 구성은 단순한 문제가 아니며 비교그룹의 구성을 위해서 여러 가정 및, 그에 따른 계량 모형이 필요하게 된다.14)
나 가상성과를 위한 비교그룹의 구성 및 그 가정 .
비교그룹은 사회실험 및 비실험을 통해서 구성될 수 있다 사회실험은 훈련. 지원자 중에서 무작위로 훈련받는 자와 훈련받지 않는 자로 나누고 훈련받지, 않는 자들을 훈련받는 자의 가상성과 파악을 위한 비교그룹으로 삼는 것이다.
이는 훈련지원자를 동일한 조건에서 훈련 받는 자 처리그룹 와 훈련 받지 않는( ) 자 통제그룹 로 구분하여 두 그룹의 유일한 차이는 훈련 여부만 있게 하는 것( ) 이다 사회실험을 하지 않은 비실험의 경우에는 훈련 전의 개인 자신 동시기의. , 타인들 훈련전후 시기의 자신과 타인들로 비교그룹을 구성할 수 있다, .
위와 같은 비교그룹의 구성이 타당성을 갖기 위해서는 가정들이 필수적이다.
먼저 프로그램이 없었을 때의 자기자신의 과거의 성과와 비교하는 경우(BA 추정 의 가정은 참가자에게 있어 만일에 훈련을 참가하지 않았을 경우의 가상) 성과가 과거의 자기자신의 성과와 동일하다고 하는 것이다 두 번째로 동시기. 타인을 비교그룹으로 하는 경우 매칭 추정 참가자가 만일에 훈련에 참가하지( ) 않았을 경우의 가상성과가 훈련에 참가하지 않은 타인의 성과와 동일하다는 가정이 필요하다 세 번째로 과거의 자기자신과 타인들이 모두 비교그룹이 되.
13) 가상적 성과는 훈련을 받지 않았을 경우는 물론 다른 훈련프로그램을 받았을 경우 혹은 실업급여, , 만 받는 등 다른 제도적 조치를 받았을 경우 각각에서도 성립할 수 있다 어떤 것이든 훈련을 선택. 해 훈련을 받은 사람의 가상적 성과는 관측될 수 없다.
14) 또한 가상적 성과는 개인수준에서 파악될 수 없기 때문에 처리그룹에 대한 평가는 훈련프로그램, 의 대상이 되는 모든 사람을 모집단으로 하는 모집단수준의 평가가 이루어질 수밖에 없고 이에, 평가는 각 그룹의 성과들의 평균으로 측정된다(Heckman et al., 1999).
는 경우(DD추정 는 훈련참가자가 만일에 훈련에 참가하지 않았을 경우의 훈) 련전후 성과차이 가상성과와 과거성과의 차이 가 훈련비참가자의 훈련전후 성( ) 과차이와 동일하다는 가정이 필요하다.
자료의 구성 및 편의의 원천 2.
가 직업훈련 평가 자료 .
직업훈련의 평가를 위한 자료는 a) 훈련참가자의 자료, b) 훈련비참가자의 자료, c)전국 단위 비교집단 자료로 나누어질 수 있다 이 자료들 중 와 를. a) b) 같이 사용하는 것을 선택기반(choice-based)샘플 와 을 사용하는 것을 오, a) c) 염된 샘플(contaminated sample)이라 부른다 오염된 샘플이라 부르는 것은. c) 의 자료에서 개인들의 훈련참가 여부를 알 수 없기 때문이다.
선택기반의 표본추출은 선택지들의 일련이 추출되고 거기에서 그 선택을 한 개인들을 표본으로 추출하는 것이다 통상적인 경우 개인들이 특정 원칙에 의해. 표본으로 추출되고 거기에서 그들의 선택행위가 관찰된다, .(Manski and Lerman, 대개의 직업훈련 자료는 직업훈련을 선택해서 이수한 사람들만의 자료이 1977)
다 직업훈련 정책 평가 혹은 프로그램 평가를 하기 위해 직업훈련을 받지 않은. 사람들을 비교그룹으로 구성하여 직업훈련이수자의 자료와 같이 사용할 경우 이 둘은 직업훈련의 선택지를 기준으로 선택을 한 사람과 선택을 하지 않은 사람을 표본으로 추출한 것과 동일하기 때문에 선택기반의 자료가 된다.
선택기반의 자료나 오염된 자료들을 이용하는 것은 근본적인 문제가 있다.
대부분의 계량평가 모형은 모집단을 대상으로 한 것이므로 모집단에서 무작위, 로 추출한 자료의 경우에는 모형을 그대로 적용해도 무방하지만 모집단에서, 자의적으로 추출된 위와 같은 자료에는 모형들이 그대로 적용될 수 없고 샘플, 링 원칙의 영향을 감안할 수 있도록 모형이 변형되어야 한다 통상 많은 연구. 에서 샘플링한 자료에 대한 훈련 효과의 추정에서 모집단에 적용되는 모형을 그대로 사용하고 있지만 일부의 모형은 샘플링된 자료에 적용될 때 견고하지,
못하다.15) 예컨대 매칭을 통해 비교그룹을 구성하고 이를 회귀분석하는 경우 랜덤샘플링에서는 견고한 회귀분석의 추정이 매칭을 통해 산출된 샘플에 적용, 될 때 견고하지 못하게 된다 이는 매칭이 분석자에 의한 비교그룹의 샘플링이. 며 이는 모집단을 대상으로 한 회귀분석모형의 오차항의 구조와 맞지 않기 때, 문이다.16)
통상적으로 위의 문제는 비참가자에 대한 참가자의 과잉 샘플링에서 야기되 는 것이다 참가자의 샘플은 풍부하지만 비교그룹의 샘플은 상당한 비용이 들. 어야 구성된다 이에 비교그룹에 대한 참가그룹의 비율은 통상 보다 크게 된. 1 다 그리하여 두 샘플을 묶어서 쓰면 모집단에서의 훈련 참가 비율을 크게 왜. 곡하게 된다 선택기반 혹은 오염된 자료는 훈련참가자를 과잉으로 샘플링한. 것이기 때문에 비참가자의 샘플링에 가중치를 두어야 한다 가중치는 샘플에서. 의 선택의 추출비율을 모집단에서의 표본추출 비율로 복원시키는 역할을 하는 것이다.17)
나 편의의 원천 .
비실험적 자료를 사용하여 직업훈련 정책 및 프로그램을 평가하는 경우 참, 가자가 만약 훈련에 참가하지 않았을 경우의 성과 즉 가상성과를 비교그룹의, 성과로 대신하는 것이기 때문에 가상성과와 비교그룹 성과와의 차이는 훈련효, 과 추정에서의 편의라 할 수 있다 이러한 편의를 될 수 있으면 줄이고자 하는. 것이 훈련효과 추정의 핵심이 된다.
기존 연구에서 프로그램 평가의 추정량에서 나타나는 편의는 크게 세 구성부 분으로 이루어지는데 첫째는 관측되는 설명변수들에서 비교그룹과 참가그룹,
15) 선택을 결정하는 함수를 바탕으로 구성되는 추정량(Heckman's 2 step모형과 고정효과모형 등 은) 선택기반자료에서도 견고하다.
16) 이러한 매칭을 통한 샘플링은 분석자에 의한 선택편의의 발생이라고도 할 수 있다.
17) 모집단에서의 훈련 선택 비율이P 비교그룹과 참가그룹의 표본에서의 비율이, P*이면 추정량을, 확보하기 위한 가중치는 =D PP*+ (1-D)
(
1-1-PP*)
이다 여기서 는 참가이면. D 1,아니면0 인 지시변수이다 이에 대해서는. Manski and Lerman(1977) Heckman and Robb(1985)과 등을 참조.이 겹치지 않음에 기인하는 것이다 즉 특정 변수에서는 비교할 비참가자가 없. 는 경우이다 둘째는 관측되는 설명변수들이 겹치지만 그 분포의 차이에서 기. 인하는 것이다 즉 어떤 설명변수의 다른 분포에 의해 참가자와 비참가자의 차. 이가 발생하는 것이다 세 번째는 관측되지 않는 변수들에 기인한 편의의 부분. 이다 이는 관측 가능한 변수들을 동일하게 하고 나서도 없어지지 않는 편의로. 통상 선택편의라고도 한다.
그림 에서처럼 은 직업훈련에 참
[ -4] Heckman, Ichimura, and Todd(1997)
가할 확률 성향점수 자세한 설명은 장 절에서 로 훈련참가자와 비교그룹을( . 2 ) 매칭을 하였을 때 비참가자의 확률은, 20%이내에 들어 가며 대부분은, 2.5%
이내에 들어 가는 것을 보이고 있다 이렇게 비교그룹과 사회실험 통제그룹의. 확률분포에서의 차이와 공통으로 겹치는 부분이 적은 것은 위의 편의의 원천 중 첫 번째와 두 번째에 해당하는 것으로 직업훈련 성과 추정 편의의 주요한 원천이 된다 세 번째의 관측되지 않는 변수들에 기인한 선택편의는 상대적으. 로 작다는 것이 기존 연구의 지적이다.18)
그림 비교 그룹과 통제그룹의 훈련참가확률의 차이 [ -4]
주: Heckman, Ichimura, and Todd(1997), p.620.
18)Heckman, Ichimura, Smith and Todd(1998)는 사회실험에서의 통제그룹의 성과와 비교하여 비교, 그룹의 관측되지 않는 변수들에 의한 선택편의 부분은 전체 편의의7%정도가 되는 것을 보이고 있다.
