일반적으로 정책 평가는 최적 대안 선택을 위한 합리적 의사 결정 과 성과의 분석을 실시하기 위한 일련의 자료 수집 활동이라고 정의 되며 사전 평가(ex ante policy evaluation)와 사후 평가(ex post policy evaluation)로 나뉜다. 그러나 사후평가는 정책 개선을 위한 정보를 제공한다는 의미에서는 어차피 사전평가에 포함되고, 사업 타당성 로서 사회자본(신뢰, 규범, 네트워크), 종속변인으로서 주민참여(참여 의 범위, 주민참여 프로그램, 참여도)의 상호관계에 대해 상관관계분석 및 공변량구조분석을 실시하여 농촌관광사업 참여 요인과 사회자본이 농촌관광사업 참여에 미치는 영향에 대한 모형을 도출하고 있다.
분석에 사업의 효율성이나 효과성을 감안하게 되므로 사전평가와 사후평가간의 차이에 지나치게 얽매일 필요는 없다(Patton and Sawicki 1993, 22-24).
정책평가의 목적은 목표의 달성도 측정, 정책의 성공과 실패의 원 인 규명, 성공적 정책이나 프로그램의 원칙 발견 등이며, 통상 정책 사업을 대상으로 조작 가능한 변수를 선정하여 진행한다. 경제학적 차원의 평가는 주로 사업 목표치에 대한 사후적 달성 정도 측정을 강조하였으나, 최근에는 질적, 정성적 평가를 포함해야 한다는 주장 이 일반화되고 있고 이러한 평가 수단의 하나로서 수혜자들의 만족 도를 포함하는 경향이 강하다.
우리나라의 경우 정책사업 평가 시 그 단계는 형성단계-집행단계-집행이후단계로 나누고, 목표 설정의 적합성, 집행 과정의 효율성 및 효과성, 사후 성과 정도 등을 측정하는 것이 일반화되어 있다. 한 편 직접 정책사업 평가를 위한 용도는 아니지만, Hamdi와 Goethert(1997)의 연구에서는 개발사업의 단계를 5단계로 구분하고 있다(Hamdei and Goether 1997, 63-80). 즉, 착수(initiation), 계획 수립 (planning), 사업 세부설계(design), 사업 시행(implementation), 유지관 리(maintenance) 단계이다. 현재 추진되는 마을개발사업 역시 개발사 업으로 볼 수 있으므로 이러한 사업 단계별 구분도 고려할 만하다.
특히 박시현․박병오(1997)의 연구에서는 농촌지역 생활환경정비 사업 중 농림부의 ‘농촌정주생활권개발사업’에 한정하여 정책 평가 를 시도한 바 있다. 평가의 단계와 주요 항목은 정책 목표의 적합성, 추진 과정의 합리성, 사업 효과의 충분성으로 설정하였고, 각각 세 부 기준을 제시하였다. 이 연구에서는 평가 결과를 토대로 마을계획 제도의 도입 및 주민주도형 농촌마을정비사업에 대한 지원 등을 주 장하였다.
참고: 정부업무 심사평가 지침(국무조정실 정책평가위원회 1999)
○ 정책형성:
① 정책의 적시성 ② 정책 목표의 명확성
③ 목표와 전략적 수단의 연계성 ④ 계획 수립을 위한 여론수렴 여부 ⑤ 추상적 정책 목표의 지속성 ⑥ 추진계획이나 수단의 정비 여부
○ 정책집행:
① 계획한 투입요소와 수단의 집행 여부 ② 추진일정의 적시성
③ 상황 변화에의 대응성 ④ 타 부처와의 협조 ⑤ 고객요구 반영도
⑥ 국민과 이해관계자에게 주지 여부
○ 정책효과:
① 정부 입장에서의 목표 달성 ② 국민 입장에서의 정책 목표 달성 ③ 정책 성과의 환류
농촌정주생활권개발사업의 주요 평가 항목(박시현, 박병오 1997) - 정책 목표의 적합성
․중심마을 집중개발방식의 현실 적합성 ․종합개발방식의 현실성
- 추진 과정의 합리성
․계획된 사업과 실제 투자된 사업과의 괴리 및 그 원인 ․사업 추진을 저해하는 요인 (토지매수 및 보상문제 등) - 사업 효과의 충분성
․현행 예산 범위 내에서 가능한 정비의 범위 ․당초 의도한 연계 사업의 투자실적
․중심마을 정비의 파급효과
‘문화마을조성사업’이나 ‘산촌종합개발사업’ 등 농촌마을을 대상 으로 한 관련 정책사업들을 평가한 연구도 있다(홍찬선 등 1999; 장 우환 등 2002). 그러나 홍찬선 등(1999)의 연구는 문화마을의 물리적 환경에 대한 거주자들의 만족도 조사만을 중심으로 하고 있어 직접 이 연구와 관련되는 큰 시사점을 얻기 어렵다. 장우환 등(2002)의 연 구에서는 산촌개발사업의 계획 수립과 사업 추진 과정, 사후 관리, 사업의 효과와 만족도 등에 대해 주민 및 지자체 관계자를 대상으로 종합적인 평가를 하고 있으며, 주민참여와 관련된 내용들도 조사 항 목의 상당 부분을 이루고 있다. 그러나 분석적 관점을 결여한 채 현 행 사업의 지엽적인 문제점들을 지적하는 데 그치고 있고 이를 발전 적으로 해석하여 향후 산촌개발정책이 나아가야 할 보다 큰 그림을 제시하는 데는 미흡하다.
산촌개발사업의 주요 평가 항목(장우환 등 2002) - 사업의 추진 주체
- 주민 공동체의 활동
- 계획 수립 및 사업 추진 주민 의견 수렴 - 타 지역과 사업계획의 차별성
- 예산 규모, 예산 지원 방식의 적정성 - 사업 추진 과정의 공정성
- 추진 과정에서의 갈등(주민, 지자체, 시공업체 등) - 투자 실적 및 계획 대비 집행액 비율
- 사후관리 상태
- 사업 종류별 주민 만족도
- 산촌개발사업에 따른 마을의 구체적인 변화
- 계획 수립, 예산 지원, 향후 추진 방식 등의 개선 방향