1) 성패 판정의 오류: 실제 효과의 존재여부에 대한 결론이 부적절
1. 평가 판정의 주관성
ㅇ 정책실패(정책오차) = 목표와 실제 성과 사이의 괴리(gap) ㅇ 추상적이거나 애매모호한 정책목표 → 성패판정 어려움 ㅇ Fuzzy Gap: 또 하나의 ‘문제인식’ → 용인수준과의 비교 ㅇ ‘실패’ 여부 인식은 평가자, 기준, 시점, 강조점 따라 달라짐
2. 판정 오류의 유형
① 제1종 오류(Type I Error): 실제로는 실패인 정책을 성공이라고 결론
② 제2종 오류(Type II Error): 실제로는 성공인 정책을 실패라고 결론 Cf. 제3종 오류(Type III Error): 문제의 정의 자체가 잘못된 경우
3. 판정 오류의 원천
① 비전문가에 의한 평가 판정
ㅇ 정책사안에 관한 전문지식 갖추지 못한 비전문가
→ 사안의 특성에 관한 이해부족으로 인한 판정오류 가능
ㅇ 정책평가 관련 전문지식 갖추지 못한 비전문가
→ 평가의 논리/방법에 대한 이해부족으로 인한 판정오류 가능
② 의도적으로 편향/왜곡된 평가 판정
ㅇ 개인적, 집단적, 정치적 이해관계에 의해 평가결과의 고의적인 왜곡 ㅇ 완전히 객관적인 평가는 불가능
→ 평가체계의 구성 자체가 가치지향적 행위 Ex) 지표 선정, 가중치 부여
4. 결과평가의 어려움으로 인해 나타나는 현상
① 가시적/계량적 지표 위주의 평가
② 과정평가에 치중하는 경향 → 목적과 수단의 전도현상
③ 투입(input)을 성과(output)로 제시
2) 인과관계 판단의 오류: 정책과 결과 사이의 인과관계에 대한 추론이 부적절 1. 평가의 내적·외적 타당성 확보 실패
① 내적타당성의 저해요인들 (노화준, 정책평가론, pp.229-237) : 역사적 요소, 상실요소, 테스트와 측정요소, 측정도구의 조작, 허위관계, 혼란변수, 선정효과, 오염효과, 성숙효과,
회귀인공요소(regression to mean) ...
② 외적타당성의 저해요인
: 크리밍 효과, 호오돈 효과
2. 인과관계 추정의 장애요인
① 허위관계(Spurious relationship)
ㅇ 실제로는 인과관계 없는 두 변수에 모두 영향을 미치는 제3의 변수 에 의해 마치 인과관계가 있는 것처럼 보이는 경우
② 혼란변수(Confounding variable)
ㅇ 인과관계에 있는 두 변수에 모두 영향을 미치는 제3의 변수
③ 회귀인공요소
ㅇ 평균으로의 회귀 현상
④ 오염현상(Contamination)/확산효과(Diffusion Effect)
ⅰ) 누출: treatment가 실험집단 뿐 아니라 통제집단에게도 누출되는 경우
ⅱ) 모방효과: 실험집단의 변화를 통제집단에서 모방
⑤ 크리밍 효과(Creaming effect)
ㅇ 정책효과가 나타날 가능성이 높은 집단을 실험집단으로 선정
⑥ 호오돈 효과(Hawthorne effect)
ㅇ 실험집단 대상이 자신이 실험의 대상이라는 사실을 인지함으로써 평 소와는 다른 특별한 행동을 보이는 현상
※ Time 개념과 Moving target
※ 정책의 효과 판정을 위한 실험 1) 실험대상
ㅇ 실험집단(Experimental Group) : 정책을 시행하는 집단
ㅇ 통제집단(Control Group) or 비교집단(Comparison Group) : 정책을 시행하지 않는 집단
2) 관측(observation) or 측정(measure) ㅇ 실험전 관측(측정)치: Pre-test score ㅇ 실험후 관측(측정)치: Post-test score