비실험설계접근법

비실험 평가 설계 접근법은 설문조사, 지표조사 등 일반적인 조사연구 방법으로서 조사 대상의 선발 배정에서 무작위성이 존재하지 않고, 정책

제2장 정책 평가란 무엇인가?

37

이나 사업의 간여 조작 여부도 불분명한 평가접근법에 해당한다(이윤식, 2014, p.110). 전실험 평가설계 접근법(pre-experimental evaluation design) 역시 여기에 해당하는데, 대표적인 유형으로는 단발사례연구설 계(one-shot case study design)를 들 수 있다. 이는 보통 본격적인 평 가실험을 수행하기 이전에 평가실험의 타당성을 높이고자 수행된다. 사 례 연구의 경우, 계량적인 산출물로 나타내기 어려운 경우가 많아 이때는 각 사례를 분석해 발견된 사실들은 서술적으로 종합할 수밖에 없다. 따라 서 이 접근법은 정책 시행과 결과 간의 인과관계를 제대로 규명하지 못해 타당성이 낮다는 한계를 갖고 있다(이윤식, 2014, p.111).

다음으로 의사결정 중심 평가 접근법은 공공사업의 운영과 관리에 필 요한 정보를 체계적으로 제공하기 위해 누가 핵심적인 의사결정자인가를 밝혀 내고, 의사 결정의 맥락을 파악해 정보 수요에 부응하는 정보를 평 가하는 방법이다. 이를 위해 주로 정책 과정 참여자들을 대상으로 조사를 하게 되며, 정책 담당자들의 관점에서 정책의 개선 보완을 도모하는 데 초점이 맞추어져 있다(이윤식, 2014, p.115). 예를 들어, ‘도시보건지소 사업 중간평가 및 발전방안 연구’(2011)에서는 보건소 근무자를 대상으 로 초점집단면접(Focus Group Interview)을 시행하여 정책을 평가하였 다(이경수, 2011).

반면에 사용자 지향적 평가접근법은 평가의 초점이 정책 평가 결과의 활용도, 정보의 적시성 그리고 조직의 상황에 대한 민감성 등에 대해 평 가하는 접근 방법이다. 주로 평가 결과의 잠재적 사용자들이 평가 과정에 참여하는지의 여부 또는 사용자에게 의미 있는 정보의 제공 여부를 주 평 가 대상으로 삼는다(이윤식, 2014, p.116).

이상의 내용을 간략히 정리하면 다음과 같다.

38

〈표 2-2〉 평가설계접근법의 비교

구분

실험설계접근법

비실험설계

진실험설계 준실험설계

평가 대상 한정 한정 광범위

평가 기법 양적 분석 위주 질적 분석 가능

양적 분석 위주 질적 분석 가능

질적 분석 위주 양적 분석 가능

타당성 내적타당성 높음

외적 타당성 중간/낮음

내적 타당성 중간 외적 타당성 높음

내적 타당성 낮음 외적 타당성 중간/낮음 정책 평가 시

적용 한계

정책 간여 조작 배제 불

가로 실제 적용상 한계 실제 적용 가능 실제 적용 가능

종합 현실적 적용 제약 극복

후 활용 가능 현실적 활용가치 우수 실험설계접근법과의 병 행 필요

자료: 이윤식(2000). p.190.

국내외 보건정책 평가