가나 농업관개시설 설치 지원사업 사후평가
2014. 12.
<목차>
Ⅰ. 평가 요약 ··· 1
1. 평가실시 개요 ··· 1
2. 평가등급 산정 결과 ··· 3
3. 사후평가 주요결과 ··· 4
4. 평가 결론 및 교훈 ··· 7
Ⅱ. 평가 배경 및 개요 ··· 9
1. 평가의 배경 ··· 9
2. 평가의 목적, 범위 및 초점 ··· 11
3. 이해관계자 분석 ··· 15
4. 평가팀 구성 및 평가 방법 ··· 18
Ⅲ. 평가방법론 ··· 23
1. 평가방법 ··· 23
2. 자료조사 ··· 27
3. 자료 분석 및 정리 ··· 30
4. 평가용 PDM(Project Design Matrix) ··· 33
5. 평가의 제약과 한계점 ··· 34
Ⅳ. 평가대상사업 분석 ··· 36
1. 국가/지역/분야 환경 분석 ··· 36
2. 사업추진 배경 ··· 39
3. 평가 대상사업 개요 ··· 42
4. 평가 매트릭스 ··· 45
Ⅴ. 평가 내용 ··· 49
1. 주요 평가결과(finding) 또는 평가결과 종합 등급 ··· 49
2. 평가 기준별 평가 ··· 54
3. 평가 결론(총평) ··· 98
Ⅵ. 결론 및 제언 ··· 103
1. 종합결론 및 교훈사항 ··· 103
2. 제언 사항 ··· 104
[붙임 1] 사후평가팀 현지조사 일정 [붙임 2] 평가등급 판정 기준표 [붙임 3] 가나 식품농업부 장관보고 [붙임 4] 지역 농산물 가공공장 계약서 [붙임 5] 사후평가 팀 설문지
[붙임 6] 사후평가 현지조사 주요사진
<표 차례>
<표 Ⅱ-1> 평가질문 선정 기준> ··· 14
<표 Ⅱ-2> 이해관계자별 평가 주안점 ··· 16
<표 Ⅱ-3> 과업수행 조직도 ··· 18
<표 Ⅱ-3> 설문지 배포 및 회수 현황 ··· 21
<표 Ⅱ-4> 아쿠마단 지역 농민 성별 및 연령 현황 ··· 21
<표 Ⅲ-1> 평가방법 순서도 ··· 23
<표 Ⅲ-2> PDM 양식 ··· 24
<표 Ⅲ-3> 사업의 논리구조와 평가기준의 관계 ··· 25
<표 Ⅲ-4> 항목별 평가 주요내용 ··· 26
<표 Ⅲ-5> 사후평가 현지조사방법 요약 ··· 28
<표 Ⅲ-6> Cross SWOT 매트릭스 ··· 32
<표 Ⅲ-7> 평가 기준별 지표분석/ PDM(Project Design Matrix> ··· 33
<표 Ⅳ-1> 가나의 주요 거시 경제지표 ··· 37
<표 Ⅳ-2> 가나 농업관개시설 설치 지원사업 진행 현황 ··· 43
<표 Ⅳ-3> 관개시스템 건설 사업 주요 추진 내역 ··· 44
<표 Ⅳ-4> 평가 매트릭스 프레임 ··· 45
<표 Ⅳ-5> 사후평가 세부 매트릭스 ··· 46
<표 Ⅴ-1> 관개개선 사업의 평가 점수 ··· 49
<표 Ⅴ-2> 조사결과 요약표 ··· 53
<표 Ⅴ-3> 평가팀 설문: 정부의 개발우선분야에 포함여부 ··· 56
<표 Ⅴ-4> 가나 Vision 2020에 의한 4단계 국가개발계획 ··· 56
<표 Ⅴ-5> 2014년 지역별 우리나라 ODA 지원 비율 ··· 57
<표 Ⅴ-6> 아쿠마단 관개지구 사업추진 현황 ··· 60
<표 Ⅴ-7> 아쿠마단 관개지구 사업비 구성내역 ··· 61
<표 Ⅴ-8> 평가팀 설문: 사업 추진 시 부처 간 협력도 및 주민의견 반영도 63 <표 Ⅴ-9> 평가팀 설문: 프로젝트 만족도/정부측 ··· 66
<표 Ⅴ-10> 평가팀 설문: 관개시설 이용에 대한 애로점 설문분석결과 ··· 66
<표 Ⅴ-11> Block C, D 면적 대비 관개시설 ··· 69
<표 Ⅴ-12> 평가팀 설문: 농가소득 증대 및 삶의 질 개선 평가 ··· 69
<표 Ⅴ-13> 평가팀 설문: 영농장비에 대한 만족도 ··· 70
<표 Ⅴ-14> 평가팀 설문: 영농장비 작동상태 ··· 70
<표 Ⅴ-15> 평가팀 설문: 영농가능면적 확대 여부 ··· 71
<표 Ⅴ-16> 평가팀 설문: 지역주민의 자발적 프로젝트 참여도 ··· 73
<표 Ⅴ-17> 평가팀 설문: 지역농민들의 적극적인 프로젝트 참여 동기 ··· 73
<표 Ⅴ-18> 평가팀 설문: 연수 프로그램의 만족도 ··· 75
<표 Ⅴ-19> 평가팀 설문: 사업투입요소의 투입 ··· 77
<표 Ⅴ-20> 프로젝트 투입요소 및 산출내용 ··· 77
<표 Ⅴ-21> 항목별 예산 집행현황 ··· 79
<표 Ⅴ-22> PMC측 파견 전문가 현황 ··· 80
<표 Ⅴ-23> 가나측 참여자 현황 ··· 80
<표 Ⅴ-24> 평가 기준별 지표분석/PDM, Project Design Matrix ··· 82
<표 Ⅴ-25> 평가팀 설문: 사업 주체에 대한 인지도 ··· 84
<표 Ⅴ-26> 평가팀 설문: 영농기술 교육과정의 만족도 ··· 85
<표 Ⅴ-27> 평가팀 설문: 영농교육이 기술향상에 도움을 주었는가? ··· 85
<표 Ⅴ-28> 평가팀 설문: 농가소득 증대 및 삶의 질 개선 평가 ··· 86
<표 Ⅴ-29> 평가팀 설문: 농업생산량 증가정도 ··· 86
<표 Ⅴ-30> 평가팀 설문: MDGs 달성의 기여 여부 ··· 86
<표 Ⅴ-31> 평가팀 설문: 농산물 유통 및 판매에 대한 정부의 지원 여부 ···· 88
<표 Ⅴ-32> 농민조직에 대한 응답 ··· 89
<표 Ⅴ-33> 평가팀 설문: 농산물 판매를 위한 가장 시급한 정부 정책 ··· 90
<표 Ⅴ-34> 평가팀 설문: 지역 농민들의 농산물 유통 구조 ··· 90
<표 Ⅴ-35> 평가팀 설문: 연수생 선발 및 사업 추진 시 여성에 대한 정책적 배려 여부 ··· 94
<표 Ⅴ-36> 평가팀 설문: 프로젝트로 인한 여성 역할의 강화 여부 ··· 95
<표 Ⅴ-37> 평가팀 설문: 프로젝트 추진으로 인한 환경 영향 ··· 95
<표 Ⅴ-38> 평가팀 설문: 프로젝트 추진 시 환경적 요소가 고려되었는가 여부 ··· 95
<표 Ⅴ-39> 평가팀 설문: 관개시설 지원 프로젝트 설계 및 내용에 대한 만족도 ··· 96
<표 Ⅴ-40> 평가팀 설문: 프로젝트 산출물에 대한 만족도 ··· 96
<표 Ⅵ-1> 평가 목적에 따른 구분 ··· 107
<그림 차례>
<그림 Ⅱ-1> 평가의 목적 ··· 12
<그림 Ⅱ-2> 이해관계자 분석도 ··· 17
<그림 Ⅱ-4> 평가방법 요약도 ··· 19
<그림 Ⅲ-1> 사후평가의 성과모형 ··· 25
<그림 Ⅲ-2> 평가기법 활용방안 ··· 27
<그림 Ⅲ-3> 평가자료 조사방법 ··· 28
<그림 Ⅳ-1> 사업 대상지(가나, 아샨티州 , Kumasi] 위치도 ··· 38
<그림 Ⅳ-2> 2012년 주요 공여국의 대 가나 지원실적 ··· 41
<그림 Ⅴ-1> 가나동반성장개발계획(GSGDA) ··· 55
<그림 Ⅴ-2> TM/TC 시스템 ··· 92
<그림 Ⅵ-1> 프로젝트 사이클에 따른 평가범위 ··· 106
평가 등급결과표
1. 평가대상 사업명 : 가나 아쿠마단 농업관개시설 설치 지원사업 2. 기준별 평가점수
○ 적절성 : (3), 2, 1 (매우 적절)
∙ 한국의 개발협력 정책 및 국별협력전략(CPS)에 일치
∙ 사업 내용이 가나 국가전략개발계획(Ghana Vision 2020-2020), “가나 동반성장 개발계획(GSGDA 2010-2013)” 등 농업현대화 전략상의 식량안보프로그램 및 소득증대 프로그램과 일치하고, 농업 및 관개분야에 대한 현지수요에 부합
∙ 사업 선정, 준비, 설계, 시행 과정 전반이 대체적으로 적절 ○ 효과성/영향력: (3), 2, 1 (매우 효과적, 긍정적)
∙ 관개시스템 설치(점적 및 스프링클러), 저수지 및 양수장건설, 영농장비 지원 및 영농교육 등 당초 계획하였던 산출(Outputs) 을 달성
∙ 농민조직 구성과 시범포 운영을 통해 4계절 토마토 생산기반 구축 및 농업 생산성을 확대하여 농가소득 증대 및 생활수준 향상이라는 단기 사업목표(Purpose) 달성 기대
∙ 농가소득 증대를 통한 가나 빈곤률을 감소시켜 “2015년까지 가나 빈곤인구를 50% 감축하겠다”는 가나 정부의 MDGs 목표 달성에 기여하고, 양국 간 협력관계 증진 도모
○ 효율성: (3), 2, 1 (효율적)
∙ 당초 계획된 사업내용 및 예산 대비 투입 및 산출 성과 우수
∙ 시범포 운영을 통한 이론과 실무를 병행한 영농교육 등 전반적인 사업 실행 및 농민 역량강화 실적 우수
∙ 유능한 전문 인력 활용 및 현지업체 선정을 통한 사업 추진
○ 지속가능성: 3, (2), 1 (문제점 개선으로 지속가능)
∙ 가나정부의 농업분야 정책 및 제도적 지속가능성은 충분하나, 농민조직의 재정자립도 등 자활성이 다소 불투명하며, 농산물 유통구조 및 고부가가치 농산물 생산에 필요한 기반시설에 대한 대책이 다소 부족
∙ 농산물 유통구조 개선 및 판매확대, 농산물 저장시설 및 농산물 부가가치 제고를 위한 제도적 대응책 마련이 필요
3. 종합평점 : 총점 11점, 매우 성공적
Ⅰ. 평가 요약
1. 평가실시 개요
가나 아쿠마단 관개지구 농업관개시설 설치지원 사업은 2010.3 월 가나 부통령의 한국방문 및 한국대표단의 가나 방문을 계기로 가나 농업생산성 향상을 통한 소득증대 및 빈곤퇴치와 양국 간 협력관계 증 진차원에서 추진된 사업이다. 동 사업은 가나 국민들의 주요 식량인 토마토 생산이 건기의 관개용수 부족으로 수요를 따라가지 못하고 공 급불균형이 심화되고 있었는 바, 관개용수 부족 현상을 해소하여 4계 절 토마토 생산기반 구축 및 한국의 선진 영농기술 전수를 통한 생산 량 증대를 통해 농가소득 증대 및 절대빈곤 인구를 감축시키고자 관개 시스템 설치 및 영농기자재 지원, 한국의 선진 영농기술 전수 등을 사 업내용으로 추진한 사업이다.
사후평가(Ex-post Evaluation)는 사업주체인 농어촌공사의 공개 경쟁 입찰을 통해 선정된 경희대학교에 의해 제3의 기관에 의한 독립 적인 평가방식으로 실시되었다. 동 사후평가는 『개발협력사업 평가가 이드라인』과 OECD/DAC의 5대 평가지표인 적절성(Relevance), 효율성 (Efficiency), 효과성(Effectiveness), 파급효과(Impact), 지속가능성 (Sustainablity)를 기준으로 실시하였으며, 최근 국제사회에서 그 중요성 이 증대되고 있는 크로스커팅 이슈인 (1)성인지 측면의 ‘성 주류화’
와 (2) 환경영향에 대한 평가도 평가범위에 추가하여 실시하였다.
본 사후평가는 크게 사업 수행 전반의 맥락과 사업추진의 적절 성 및 효율성 등의 사업 과정에 대한 평가와 사업의 효과성, 영향력과 파급 효과 등 사업의 중장기 성과 및 지속가능성에 대한 평가를 그 범 위로 하였다.
아울러, 사후평가는 기본적으로 투입-활동-산출-성과로 이어지
는 논리모형(Logic Model)에 따르는 접근을 시도하였는데, 프로젝트 계 획 입안 시 상위목표(수원국 개발계획상의 목표와 일치) 및 사업목표(1 차적 달성 목표), 산출물(Output) 및 활동(Activities) 등의 요소를 Logical Framework Approach(LFA)의 논리모형(Logical Model)에 따라 설정한 후, LFA의 기본 구조인 PDM(Project Design matrix)에 평가를 가미한 PDMe(PDM for Evaluation)를 재구성하여 평가하였다.
사후평가는 Triangulation 및 Kirkpatrick 평가기법을 활용하여 1 단계 국내조사, 2단계 현지조사, 3단계 보완조사의 단계적인 조사평가 를 실시하였으며, 통계․문헌조사, 방문⋅면담조사, 설문조사, 현장조사 등의 상호보완적인 여러 가지 조사평가 기법을 활용하였다. 또한 워크 숍, 자문회의 등을 개최하여 주요 사항을 토의함으로써 평가결과의 신 뢰성과 객관성을 제고하도록 노력하였다.
그리고 이러한 평가 결과를 통해 ①한국농어촌공사가 수행한
가나 농업관개시설 설치 지원 사업에 대한 성과를 제시하고, ②향 후 가나 및 다른 협력대상국에 추진하게 될 농업분야 협력사업의 성공 적 수행을 위한 제언 및 전략적 교훈을 도출하고자 하였다.
한편, 이번에 실시한 사후평가는 사업 중간에 실시하는 중간평가 및 사업 종료후 실시하는 종료평가와 달리, 개발협력사업에 대한 총괄평 가(Summative Evaluation)방식의 사후평가(Ex-post Evaluation)로 사업종 료 후 일정기간(통상 2년)이 경과한 후 실시하는 것이 원칙이나, 이번 평 가가 사업 종료후 불과 1년 만에 실시하게 된 점을 감안하여 사후평가 와 더불어 종료평가의 성격도 많이 가미된 종합평가를 실시하게 되었다 고 할 수 있다.
2. 평가등급 산정 결과
가나 아쿠마단 관개지구 농업관개시설 설치지원 사업은 매우 성공적인 사업으로 평가되었다. 사후평가 결과의 정량적 판단을 위 하여 마련된『평가등급제 가이드라인』에 따라 산정된 정량적 평가 결 과는 12점 만점 중 11점으로 평가 4단계 중 매우 성공적이라는 최 상위 단계의 등급으로 평가되었다.
사실상 이번 평가는 사업종료 1년 만에 실시되어 사후평가의 취 지에 맞는 정량적 평가가 이루어지기 어려웠으나 가능한 범위에서 현 지실사, 자료조사, 주민 설문조사 및 면담 등의 내용을 토대로 추정평 가를 시행하였다. 이를 토대로 5대 기본 평가항목에 대하여 종합적인 평가를 실시한 결과, 본 평가팀은 사업성과가 매우 우수하다는 결과를 도출하였다. 즉, 적절성, 효과성/영향력, 효율성, 지속가능성 등 평가등 급 산정 4개의 정량 등급 평가항목 평가에 있어서 적절성, 효과성/영향 력, 효율성 등 3개 항목이 각각 3점 만점을 받아 종합적으로 좋은 사 업성과를 거둔 것으로 평가되었다.
다만, 지속가능성 항목 경우, 가나정부의 농업분야 정책 및 제도 적 지속가능성은 충분히 보유하고 있어 커다란 문제점은 없었으나, 사 업 추진 시 예산 부족 등으로 농산물 유통구조 및 농산물 부가가치 제 고에 필요한 기반시설에 대한 대책이 다소 부족했던 것으로 파악되었 으며, 기 지원된 관개시설 및 장비에 대한 사후관리 기능 및 농민조직 의 재정자립도 및 자활성 등이 다소 불투명한 것으로 평가되었다.
따라서 본 사업을 통해 기본적인 단기사업 목표는 달성되고 여 러 가지 가시적인 사업 효과와 영향력도 나타나고 있지만, 중․장기적인 사업효과를 거두기 위해서는 지원 사업에 대한 지속적인 사후관리 및 추가적인 투자와 후속 사업의 검토도 필요하다고 지적할 수 있다.
3. 사후평가 주요결과
[적절성]
가나 농업관개시설 설치 지원사업은 공여국과 수원국 모두의 사 업 관련 상위 정책 및 전략과의 부합성, 사업 계획, 집행, 관리 과정의 적절성, 국제개발 목표 등과의 부합성 등 전반적인 평가 항목에서 그 적절성이 확인되었다.
특히, 이번에 실시된 관개시설 지원 사업은 우리 정부의 대 개 도국 ODA 지원 정책상 비교우위를 가지고 있는 농업 및 농촌 개발분 야의 협력사업이며, 수원국인 가나 정부 입장에서도 국가경제개발정책 상 농가소득 증대 및 빈곤인구 감소 차원에서 그 중요도 및 필요성이 매우 높은 사업으로 공여국의 원조 정책과 수원국의 국가개발계획 및 정책이 일치(Aligment)하는 우수 사업으로 평가된다.
아울러, 동 관개시설 설치사업은 범국제적으로 중요한 개발목표 로 인식되고 있는 새천년개발목표(MDGs) 중에 가장 핵심적인 목표인
‘빈곤완화(Target-1)’에 직접적으로 기여한 사업이며, 관개용수 확보 를 통한 농업 생산성과 농가소득을 높이고자 하는 지역 농민의 숙원, 즉 수혜자 니즈와도 직접적으로 일치하는 매우 유익한 사업으로 평가 되었다.
[효율성]
동 사업의 경우 사업선정 및 기획, 사업 기획과 실행 준비, PMC 선정 및 사업 추진 등이 일반적인 프로젝트사업 추진 절차에 따라 원 만하게 진행되었고, 사업 추진에 앞서 진행된 양국 간 협의와 역할분 담 등도 순조롭게 진행된 것으로 판단된다.
사업 실행 및 효율성 측면에서 볼 때, 계획된 사업의 실행 효율 성은 매우 높은 것으로 확인 되었다. 사업추진과정에서 가나측 요청에 의해 사업 내용이 일부 조정되었지만, 사업결과에 영향을 끼칠 정도는 아니었다. 조정된 사업계획에 따른 투입 및 활동도 철저하게 이루어져
전체 사업예산 범위내에서 효율적으로 집행된 것으로 파악되었으며, 지역 농민들에 대한 역량강화 교육시 시범포 운영을 통해 이론과 실무 를 병행한 실질적인 영농교육 및 기술교육은 매우 훌륭했던 것으로 평 가된다.
그러나 우리나라의 선진 영농기술교육 전수를 위한 국내 연수프 로그램에 참가한 농민이 2명(20%)에 불과하였는 바, 직접수혜자인 농민 들에 대한 실질적인 영농 교육 차원에서 농민에 대한 연수기회 확대가 필요한 것으로 나타났으며, 지역 주민들에 대한 체계적인 교육과정 수 립을 통해 프로젝트 종료 후에도 농민에 대한 역량강화 교육이 필요한 것으로 평가된다.
[효과성]
본 사업은 효과성 면에서 4계절 토마토 생산기반 확충은 물론 생산성 향상, 영농 방식 및 시스템 개선 등 지역 농업 전반에 긍정적 인 영향을 미친 것으로 평가되었다. 특히 관개시스템 설치를 통한 안 정적인 농업용수 공급은 영농 가능한 농지면적이 확대되고, 토마토 외 작물의 경작 및 윤작을 가능하게 하여 농지활용을 극대화 시킬 수 있 었다고 평가된다.
또한, 동 프로젝트는 사업 추진과정에서 가나 정부측 요청에 의 해 일부 사업요소가 조정(농도설치)되기는 하였지만, 관계시스템 설치, 영농장비 지원, 영농교육, 연수생 초청, 전문가 파견 등을 통한 관개용 수 확보와 농업생산성 증대 등 당초 계획하였던 산출(Outputs)을 달성 한 것으로 평가된다.
농민들과의 정성 인터뷰 결과 사업 시행 첫 해 임에도 불구하 고, 농업용수에 대한 접근이 사계절 가능하졌기 때문에, 각 가구당 소 득이 25-50%정도 증가된 것으로 나타나 기초효과(initial outcome)은 매 우 뛰어난 것으로 조사되었다.
[영향력]
이번 프로젝트 추진결과, 평가대상 사업은 가나 식품농업부 (MOFA) 및 관개개발청(GIDA)에 농업관개시스템 정비 및 농민 역량강 화 교육의 중요성을 인식시키는데 크게 기여한 것으로 파악되었다. 관 개시스템 구축을 통한 관개용수의 안정적 확보와 선진 영농장비 지원 및 영농교육을 통한 농민 역량강화는 식량안보프로그램과 소득증대 프 로그램을 추진하고자 하는 가나정부의 농업분야 개발 정책에 없어서는 안 될 필수 요소로 인식하게 되었으며, 우리나라의 새마을 운동과 같 은 농민 자조,자립,협동 운동의 전국적인 확산에도 기여하게 될 것으로 에상되었다.
또한, 관개용수 확보 및 관개시스템 설치를 통해 이룩한 농업생 산성 확대 및 농가 소득증대는 가나 빈곤층의 빈곤율을 감소시켜
“2015년까지 빈곤인구를 50% 감축하겠다”고 한 가나 정부의 MDGs 목표 달성에도 기여하게 될 것이라고 기대되는 등 농업관개시설 설치 가 지역 주민들의 삶의 질 향상에 긍정적인 영향을 주고 있는 것으로 파악되었으며, 한국에 대한 이미지도 크게 향상된 것으로 파악되었다.
[지속가능성]
이번 사업을 통해 지속적인 농업관개용수 확보와 영농기술 교육 이 이루어져 아쿠마단 관개지구 종합개발을 통한 가나 아샨티지역 농 민들의 소득증대라는 중장기적 목표는 지속 달성될 것으로 예견되며, 가나 정부에서 추진중인 “가나 비전 2020” 및 “가나 동반성장 개발 계획”을 통해 지방농민들의 빈곤 퇴치를 지원하기 위한 농업분야에 대한 정책이나 예산 지원도 지속 추진될 것으로 예견되었다.
그러나 지역 농민들의 자활조직이나 재정자립도가 다소 부족하 고, 농산물 유통에 대한 체계적인 관리시스템 부재하였는 바, 농민조직 에 대한 체계적인 지원, 농산물 저장시설 확보 및 부가가치 제고, 그리 고 농산물 유통구조 개선 및 판매 확대에 대한 보완은 본 사업의 지속 가능성을 유지하기 위한 필요요소로 평가되었다.
4. 평가 결론 및 교훈
아쿠마단 농업관개시설 설치사업은 2010.3월 양국 정부 고위인 사의 교차 방문을 계기로 양국간 우호증진 차원에서 추진된 사업으로 서, 가나 정부의 국가개발 우선 분야(Priority Areas)와 우리 정부의 대 개도국 협력사업 중점분야가 상호 일치(alignment)하는 사업 임은 물론, 나아가 서아프리카 지역의 허브 국가로 부상하고 있는 가나에 대한 우 호협력관계 강화에도 크게 기여하는 사업으로 평가된다.
특히, 동 사업은 농업 관개용수 확보 및 영농기술 이전을 통한 농업생산성 향상과 이를 통한 농가 소득증대를 도모코자 하는 가나 정 부 및 아쿠마단 지역 농민들의 수요를 적절히 반영한 사업으로, 아쿠 마단 관개지구 종합개발 및 가나 농업기술의 발전을 기대하게 하는 등, 사업 추진 효과가 당초 기대했던 것보다 크게 나타난 것으로 보여 진다.
동 사업은 투입된 사업 요소와 재원에 비하여 그 산출 결과 및 사업성과가 매우 큰 것으로 평가되었는데, 사업의 효과 및 영향력은 4 계절 토마토 생산기반 구축 및 영농 가능면적 확대, 농업 생산성 향상 등 직접적인 사업목표의 달성뿐만이 아니라 사업대상지 지역 주민의 생활 여건과 삶의 질을 개선시키는 데도 큰 파급효과를 거두고 있는 것으로 평가되었다.
또한, 관개개발 사업에 있어 가장 취약한 부분으로 대두되고 있 는 지역 농민들의 관개시스템 운영지식 및 영농지식 부족이나 마을 자 치조직 활성화 문제를 해결하기 위하여 시범포 운영을 통한 농민 역량 강화를 지원하였고, 지역 농민들의 자치조직을 강화하여 농민간 협동 심이나 공동체 의식을 함양한 것은 가나 정부 및 주민들에게 오너십 (Ownership) 제고와 참여적 개발에 대한 인식을 심어주는 등 사업의 효과나 영향력 측면에서도 매우 중요하게 작용하였다고 할 수 있다.
최근 주목받고 있는 크로스커팅 이슈에 대해서도 어느 정도 성 공적인 모습을 보여주었다고 평가된다. 비록 사업계획 수립 및 사업수 행 단계에서 성주류화나 환경영향에 대한 별도의 고려가 없었으나, 시 범포 운영이나 농민 역량강화 교육등을 수행하며 자연스럽게 여성의 참여를 유도했고, 여성의 역할이 강조되었다. 아울러, 관개시스템이나 저수지 건설 등 수자원 확보를 위한 토목 공사시 환경영향을 최소화하 는 노력도 높이 평가받을 만하다. 따라서 향후 추가 사업 추진 시에도 보다 적극적으로 여성의 역할 강화와 환경 분야 등 범분야 이슈에 대 해 지속적인 관심을 기울일 필요가 있다.
다만, 관개시스템 및 영농장비 등 지원시설에 대한 지속적인 관 리가 이루어지지 않아 일부 장비가 방치되고 있었고, 프로젝트 추진 시 유용하게 활용되었던 시범포가 방치되는 등 체계적인 사후관리 시 스템이 부재한 점은 향후 개선과제로 지적할 수 있다.
그럼에도 불구하고, 가나 아쿠마단 관개시설 설치 지원 사업은 전반적인 평가결과 사업 추진효과가 매우 큰 성공적인 사업이며, 동 사업을 통한 양국간 우호협력 관계에도 크게 기여한 사업으로 평가된 다.
Ⅱ. 평가 배경 및 개요
1. 평가의 배경
OECD/DAC는 1991년 개발원조평가원칙(Principles for Evaluation of Development Assistance)을 채택하여 공여국이 추진한 사업에 대하 여 공정하고 명확한 평가를 하고, 평가과정은 공개적으로, 그리고 평가 결과는 쉽게 활용 가능해야 한다고 권고한 바 있다.
이에 따라 각 선진공여국들은 자신들이 추진한 대 개도국 원조 사업에 대한 중간-종료-사후평가 등 각 단계별 평가를 강화하게 되었 는데, 1980년대에는 평가결과의 신뢰성을 증대시키기 위해 원조 평가 에 대한 논리모형(Logical Framework)을 도입하여 더욱 체계적인 사업 기획-모니터링-평가를 가능하게 하였으며, 1990년대에는 빈곤감소, 거 버넌스, 환경, 젠더 등 다양한 이슈를 반영하여 평가하는 한편, 평가시 수원국과 공여국이 함께 참여하는 참여적 접근방법(Participatory approach)의 확대를 추진한 바 있다.
이렇듯 평가의 중요성이 인식되고 있는 가운데 국제사회의 원조 규모 증대는 원조예산의 효율적 사용과 사업성과 제고를 더욱 강조하 는 계기를 부여하게 되었는데, 원조사업의 사업기획-집행-평가 결과가 서로 연결되는 성과중심관리(Result Based Management: RBM) 를 강조하 는 등 원조추진 결과에 대한 평가 필요성과 중요성을 더욱 강조하게 되었다.
이러한 배경속에서 한국농어촌공사는 2011.12~2013.12(2년)기간 동안 가나 아샨티주 아쿠마단 지역에 “아쿠마단 지역의 관개수로 건 립사업”을 지원하였으며, 2014.8월 동 사업에 대한 사후평가를 실시하 고자 하였다.
이에, 본 평가팀은 공개경쟁을 통해 평가업무를 수행하게 되었 는 바, 금번 사후평가는 OECD/DAC의 5대 평가지표인 적절성 (Relevance), 효율성(Efficiency), 효과성(Effectiveness), 파급효과(Impact), 지속가능성(Sustainablity)을 기준으로 실시하였으며, 최근 국제사회에서 그 중요성이 증대되고 있는 크로스커팅 이슈인 (1)성인지 측면의 ‘성 주류화’와 (2) 환경영향에 대한 평가도 추가하여 실시하였다.
또한, 평가팀은 사업 선정시 한국과 가나 정부간 개발 및 협력 우선분야(Priority Area)에 대한 일치(Alignment)여부, 우리의 원조사업 과 다른 선진공여국의 원조와의 관계(Harmonization), 사업추진에 대한 가나 정부의 지속적인 성과관리 및 모니터링(Managing for Results), 가 나 정부의 주인의식(Ownership) 및 사업수행에 대한 실질적․직접적인 상호 협의 및 책임성(Mutual Accountability) 등 2005년 2월 파리선언과 2008년 9월의 아크라선언을 통해 국제사회가 강조하고 있는 “원조의 효과성 제고”에 대한 평가도 실시하였다.1)
이와 더불어, 가나 정부에서 추진하고 있는 “가나 비전 2020 (1996~2020)”및“가나 빈곤 감소전략(2003-2009)”과 동 프로젝트와의 연계성, 빈곤감소에 대한 정부의 MDGs 목표달성 의지, 특히 농업의 현대화와 자원을 기반으로 경제개발을 도모한다는 ”가나 동반성장 개발계획(2010-2013)” 에 대한 정부의 지원과 관심도 등을 평가하여, 대 가나 협력사업에 대한 전반적인 평가 및 향후 유사사업 추진 방향 그리고 우리가 추진한 협력사업의 지속발전 가능성 등을 평가하였다.
그리고, 이러한 평가 결과를 통해 ①한국농어촌공사가 수행한
“가나 농업관개시설 설치 지원 사업”에 대한 성과를 제시하고, ②향 후 가나 및 다른 협력대상국에 추진하게 될 농업분야 협력사업의 성공 적 수행을 위한 제언 및 전략적 교훈을 도출하고자 하였다.
1) 국제사회는 2005년 2월 파리에서 “원조 효과성 관련 고위급 포럼(Paris High Level Forum on Aid Effectiveness)”을 개최, ‘원조효과 제고를 위한 파리선언’을 채택하고 파리선언 5대 원칙을 발 표함.
* 5대원칙: 수원국의 주인의식(ownership),원조일치(alignment),공여국간 활동의 조화(harmonization), 원조성과 관리(managing for results), 공여국․수원국간 상호책임성(mutual accountability)
2. 평가의 목적, 범위 및 초점
2.1. 평가 목적
OECD/DAC에서 정한 평가의 정의에 따르면, 평가란 진행 중이 거나 또는 완료된 프로젝트, 프로그램, 정책의 기획, 집행과 결과에 대 한 가능한 체계적이고 객관적인 심사를 말하는 것으로, 개발목표에 대 한 충실성과 연관성, 개발의 효율성, 효과성, 영향력과 지속가능성을 측정하는 것을 목적으로 하고 있다.
또한, 평가의 목적은 평가의 결과인 교훈을 학습함으로써 향후 의 원조 정책, 프로그램 및 프로젝트를 향상시키며, 대중들에 대한 정 보 제공을 포함하여 책임성을 측정하기 위한 근거를 확보하기 위함인 바, 긍극적으로 볼 때 ① 개발협력 사업의 효율성을 증대시킬 수 있는 교훈과 ②개발 협력 사업을 원조기관에 위임한 납세자인 국민에 대한 보고를 수행하는 데 필요한 자료를 확보하는 것이라 할 수 있다.
한편, 금번에 추진하게 되는 평가는 사업 중간에 실시하는 중간평 가 및 사업 종료후 실시하는 종료평가와 달리, 개발협력사업에 대한 총 괄평가(Summative Evaluation)방식의 사후평가(Ex-post Evaluation)로 사 업종료 후 일정기간(통상 2년)이 경과한 후 실시하는 것이 원칙이나, 금 번에는 사업 종료후 불과 1년 만에 실시하게 되어 사후평가 보다는 종 료평가의 성격이 포함된 평가라고 할 수 있다.
이에 본 평가팀은 금번 평가의 목적을 『①가나 농업 관개시설 설치사업의 발굴, 기획, 집행 및 결과 등 사업실시 과정 및 성과를 평 가하여 사업 추진의 책임성(Managing for Accountability)을 강화하는 한편, ②평가를 통하여 얻은 교훈은 향후 사업의 운영관리 개선방안을 통하여 사업의 지속적 추진여부와 신규 사업의 결정 및 계획수립에 중 요한 정보로 활용하도록 관리하는 것(Managing for Results), 그리고 ③ 평가 실시를 통하여 관개시설 설치사업 수행과 관련된 교훈과 시사점
을 찾아내어 활용(Learning by Doing) 함으로서 개발협력사업에 대한 국민의 이해와 지지 확보 및 효과적인 원조를 실시토록 한다.』는 데 주안점을 가지고 평가를 실시하였다.
<그림 Ⅱ-1> 평가의 목적
성과관리 (Managing for Results)
¡ 평가를 통하여 얻은 교훈은 향후 사업의 운영관리 개선방안을 통 하여 사업의 지속적 추진여부, 신규 사업의 결정 및 새로운 계획 수립에 중요한 정보로 활용
¡ 평가를 통해 유용한 교훈을 도출하는 것도 중요하지만, 목표로 하 는 성과를 달성하고 평가결과 도출된 교훈을 활용할 수 있는 관리 장치 및 능력을 갖추는 것이 중요한 과제임.
대국민 책무성 제고 (Accountability for Results)
¡ 책임성(Accountability)이란 업무를 얼마나 정해진 규정과 절차에 따 라서 처리 했는가 또는 주어진 역할 및 계획 대비 결과가 어떠한 지를 국민에게 공정하고 정확하게 보고하는 의무를 말함.
2.2. 평가 기준 및 평가 범위
본 평가는 OECD/DAC의 5대 평가지표인 적절성(Relevance), 효 율성(Efficiency), 효과성(Effectiveness), 파급효과(Impact), 지속가능성
(Sustainablity)를 기준으로 실시하였으며, 5대 기본 평가기준 항목 이외 크로스커팅 이슈에 대한 평가로 (1)성주류화 와 (2) 환경영향에 대한 검토 항목도 추가하여 평가하였다.
본 평가는 사후평가임을 감안하여 기 추진된 사업에 대한 과정 평가(Process Evaluation)와 성과평가(Result Evaluation)로 나누어 실시 하되, 사업종료 이후의 효과성, 영향력, 지속가능성 평가에 중점을 두 고 평가를 실시하고자 하였다. 그러나 사업 추진과정에서 중간평가 및 종료평가가 실시되지 않은 점을 감안하여 사후평가 보다는 사업의 적 절성과 효율성 평가 등 종료평가의 의미가 많이 강조된 평가를 실시하 게 되었다.
과정평가(Process Evaluation) : 사업발굴, 기획, 수행에 이르는 전 과 정을 분석하여 사업 수행 시스템의 역할 및 한계를 파악하고 사업 수 행 시스템이 의도한 효과를 도출하는데 미친 영향을 파악함.
성과평가(Result Evaluation) : 종료시점까지의 효과성 및 영향력에 기 반한 성과를 점검하고. 사업종료 이후 진행과제(사후관리 진행 계획 등)에 대한 점검과 향후 유사사업 추진을 위한 제언사항 제시
특히, 금번 평가를 통해 관개수로 건립사업 수행에 대한 교훈과
시사점을 도출하고 동 사업에 대한 전반적인 개선점 제시를 통해 “가 나 농업관개시설 설치사업”의 향후 발전 모델 수립 및 앞으로 추진하 게 될 2차 사업 및 유사사업 추진을 위한 정책적 시사점과 제언사항을 제시하였으며, 개발협력사업의 필수 요소인 중간-종료-사후평가 등 평 가제도의 중요성과 사후관리 예산 배정의 필요성에 대해서도 언급하였 다.
2.3. 평가 질문의 선정
평가질문(인터뷰 및 설문)은 기본적으로 OECD/DAC 5대 평가지 표에 대한 판단을 제공할 수 있는 답변이 나오도록 질문을 구성하되, 평가업무를 수행하기 위해 재구성한 평가용 PDM(PDMe: PDM for Evaluation) 내용에 따른 평가 질문을 구성하였다. 원조사업 경우 원조 효과가 단기간내에 직접적․계량적으로 나타나는 것이 아니라 장기간에 걸쳐 비 계량적으로 나타난다는 특징을 가지고 있어 평가에 어려움을 겪게 되는 바, 가급적 다양한 질문의 설문을 준비하여 동 프로젝트의 효과가 사업 전후와 비교할 때 객관적으로 파악될 수 있도록 유도하였 다.(설문지 및 설문분석 결과 : 첨부)
평가
질문 유용성 중요도 수집
방법
정보의
신뢰도 접근성 비용 최종
선정
평가질문 1 ++ - -- ++ - + +
- + -- - +
평가질문 2 - + - ++ + -
+ - - ++ -
<표 Ⅱ-1> 평가질문 선정 기준>
① 유용성: ◯ (적정) △ (보통) X (부적절)
② 중요도: ++ (매우 중요), + (중요), - (보통) -- (중요하지 않음)
③ 신뢰도: ++ (매우 높음), + (높음), - (낮음) -- (매우 낮음)
④ 접근성: ++ (매우 높음), + (높음), - (낮음) -- (매우 낮음)
⑤ 비 용: ++ (저비용), + (적절), - (부적절) -- (매우 높음)
3. 이해관계자 분석
3.1. 국내 이해관계자
본 평가사업의 국내 이해관계자는 사업형성기획 단계와 사업실 행 단계로 나누어 볼 수 있다. 우선 사업형성기획 단계에서는 사업기 획을 담당한 한국농어촌공사/국제농업협력부 사업담당관과 사업타당성 조사를 실시한 전문가 그룹이 해당되며, 사업실행단계에서는 사업추진 및 감리를 맡은 PMC(한국종합기술/KECC)를 이해관계자로 구분할 수 있다.
국내 이해관계자를 대상으로 한 조사평가는 사업 요청서, 타당 성조사 보고서, 사업추진 종합 결과보고서 등 사업의 전반적인 흐름 및 맥락을 파악할 수 있는 자료 중심의 문헌조사를 실시하였으며, 실 증적인 자료 확보를 위해 농어촌공사 사업담당관 및 PMC 업체 전문가 (PM 등) 등과의 면담도 실시하였다.
3.2. 국외 이해관계자
가나측 국외 이해관계자는 사업형성 및 기획 단계에서 정부간 협정 등을 담당한 정부관계자(식품농업부 및 관개개발청) 와 사업집행 및 관리를 직접 담당한 아쿠마단 사업관계자(아샨티 농업개발국 및 관 개개발청 지역사무소, 아쿠마단 농장 관계자 등) 그리고 관개수로설치 공사를 직접 담당했던 현지 시공업체와 사업수혜자 그룹인 아쿠마단 관개농장 지역 주민, 연수 참여자, 인근 마을 농민 및 토마토 가공공장 관계자 등으로 구분할 수 있었다.
국외 이해관계자에 대한 조사평가는 현지조사(11.1-11.16) 기간중 실시한 면담 및 설문조사를 중심으로 하되 적절성, 효율성, 효과성, 영 향력, 지속가능성의 DAC 5대 평가지표를 고려하여 이해관계자별로 작 성된 설문지를 토대로 면담과 설문지 작업을 통해 평가업무를 수행하
였으며, 현지조사 전후로 확보된 자료에 대한 문헌조사도 병행하였다.
3.3. 이해관계자별 평가 주안점
구
분 이해
관계자 역 할 평 가 주 안 점
국 내
한국 농어촌공사
(KRC)
사업발굴, 기획 등 사업관리
총괄
- 적절성: ODA정책과 연계성, PMC 선정 - 효율성 : 이해관계자간 효율적인 의사소통 - 영향력 : 사업 결과 및 파급효과 등
- 지속가능성 : 사업의 지속가능성 고려, 후속 연계 사업에 대한 계획 등
- 크로스커팅 이슈 : 성주류화, 환경 등 고려 한국
종합기술 (KECC)
(PMC) 프로젝트
수행 및 예산관리,
- 효과성 : 사업 계획 대비 산출물, 사업관리 등 - 효율성 : 사업수행기간, 예산의 적절성, 이해관계
자간 효율적인 의사소통 및 조율 - 지속가능성 : 출구전략 등
- 크로스커팅 이슈 : 성 주류화 및 환경 등
가 나 측
식품 농업부,
관개 개발청
양국 간 협정체결, 행정 및 제도적
지원
- 적절성: 가나 국가개발 정책 및 정책 우선순위 - 효율성: 사업요소 투입, 이해관계자간 의사소통 - 효과성: 관개시설 건립 및 영농교육 등 산출물 - 파급효과 : 사업결과의 상위목표 달성 기여도 - 지속가능성: Ownership, 사업의 지속발전성 등 - 크로스커팅 이슈: 성주류화 및 환경적 요소 아샨티
관개개발청, 초청연수생
각종 인허가,
연수생 선발 등
- 적절성: 수혜자 선정 절차, 주민 역량 등
- 효율성: 사업수행의 효율성, 연수생 선발 공정성 - 효과성: 프로젝트 산출물, 외부조건의 영향 등 - 지속가능성: 사업의 지속가능성, 제도정비 등 - 크로스커팅 이슈 : 성주류화 및 환경요소 고려 등 아쿠마단
농장 관계자
관개시설 운영관리
- 사업의 효율성, 효과성, 영향력 및 지속가능성 - 지원시설이 농장 운영에 도움을 주었는지, - 농장과 농민간 적절한 협력관계 등
사업지구 농민 (직접수혜자)
관개시설 설치, 시범포 운영 등 영농교육
- 적절성 : 지원사업의 지역사회 필요성 등
- 효과성: 농업생산량 및 농가소득 증가 규모 등 생 활환경 개선효과 등
- 효율성: 투입된 예산과 장비의 적절성 등 - 파급효과 : 직.간접 수혜자에 대한 파급효과 - 지속가능성: 지역 자활조직 및 역량교육 등 - 크로스커팅 이슈: 여성참여도 및 환경 등 타 지역 관개시설 - 사업의 적절성, 효율성, 영향력, 지속가능성 등
<표 Ⅱ-2> 이해관계자별 평가 주안점
<그림 Ⅱ-2> 이해관계자 분석도
거주농민 (간접수혜자)
이용, 토마토 유통지원
- 주변 지역 주민의 사업효과 등
- 농산물 유통 확대에 따른 간접 효과 등 - 마을 공동체간 협력 가능성
- 농작물 생산증대에 따른 경제적 효과 등
4. 평가팀 구성 및 평가 방법
4.1. 평가팀 구성
금번 사후평가팀은 개발행정전문가인 경희대학교 국제대학원 곽재성 교수(PM)와 농경제 및 개발협력사업 분야 전문가인 최원식 박사 등 2명으 로 구성하였으며, 평가 수행과정에서 보조연구원 1명 및 현지 컨설턴트 1명 등이 참여하였다. 또한, 각 평가수행 단계별로 자문위원회를 구성하여 평가 모형설계, 매트릭스 수립 등 주요 평가 결과 등에 대해 논의하였으며, 사 전조사 등 평가대상 사업에 참여했던 전문가 및 PMC 업체 관계자들과의 면담을 통해 해당사업에 대한 이해도를 높이고자 하였다.
평가지역에 대한 정보자료의 신뢰성을 확보하고 지역 전문성을 높이 고자 가나 정부 관계자 및 현지 지역주민들과의 인터뷰를 통해 사실적인 정보를 파악하였으며, 현지 공사 수행업체와의 협력을 통해 사업 수행시 발 생했던 문제점 및 개선점에 대해서도 파악하는 등 공여국의 입장이 아닌 수원국 입장에서 객관적인 평가가 이루어지도록 노력하였다.
[책임연구원(PM)] [공동연구원]
곽재성 교수 최원식 농업경제학박사
ㅇ 연구총괄
ㅇ 경희대, 국제대학원 교수 ㅇ 국제개발협력
평가소위원회 민간위원
ㅇ 농업경제 및 ODA전문가 ㅇ ㈜한경햄 기업부설 연구
소장
ㅇ (사)미래사회발전연구원 이사 자문위원단 김용빈, 박복영
한미자
보조연구원 현지보조자
엄주석 현지consultant
행정지원
경희대학교, 산학협력단
<표 Ⅱ-3> 과업수행 조직도
4.2 평가방법
평가는 OECD DAC가 권고하는 5대 평가기준인 적절성, 효율성, 효과성, 파급효과, 지속가능성과 최근 중요시 되고 있는 범 주류화 이슈 (성 주류화 및 환경)를 대상으로 실시하였으며, 각 항목에 대한 분석은 각각의 투입, 활동, 산출물에 대한 분석을 통해 평가용 PDM(PDMe: PDM for Evaluation)을 작성하고, 사업추진 흐름에 따른 중․장기 성과 및 지속가능성 측정에 주로 초점을 맞추어 진행하였다. 이를 위해 평가팀은 관련자료 등 문헌조사, 이해관계자 설문조사, 현지조사, 기관별 심층면담 실시 및 워크숍 등을 개최하여 동 평가가 공정하고, 객관적이며, 근거 자료에 입각한 분석을 실시하여 다수 이해관계자가 동의할 수 있는 평가가 되도록 하였다.
아울러, 동 평가결과를 바탕으로 ① 향후 유사사업 수행 시 필요한 개선 사항 및 교훈, ② 한국 농어촌공사의 대 아프리카 사업 수행 제언,
③ 향후 관련 분야에 속한 국내 유관기관과의 협력방안, ④ 한국의 ODA 사업 수행 시 개선사항 등의 제언사항도 도출하였다.
<그림 Ⅱ-4> 평가방법 요약도
4.3. 평가진행
본 사후평가는 지난 9월4일 착수보고회를 기점으로 평가업무가 시작 되었으나, 서부아프리카에서 발생한 에볼라 바이러스로 인해 현지조사가 지 연되었다. 현지 출장시에도 인접국의 에볼라환자 발생으로 현지조사가 원활 하게 이루어지지 못하는 어려움도 있었으나, 농어촌공사 및 가나 식품농업 부(MoFA) 및 관개개발청(GIDA) 등 현지 관계자들의 적극적인 협조로 본 평 가를 당초 계획대로 무사히 종료할 수 있었다.
4.3.1 PDMe 작성 및 평가
평가팀은 평가1단계 작업으로 평가대상 프로젝트에 대한 이해 및 평 가용 PDM(PDMe: PDM for Evaluation)을 재구성하여 OECD/DAC의 평가5기 준에 따른 평가기준을 마련하였다.
평가팀은 금번 평가시 사후평가 보다는 사업 종료평가라는 관점에서 PDMe 재 구성하여 평가업무를 수행하게 되었고, ①대상사업의 한국 ODA 정책 및 전략과의 부합성, 대 가나 국가개발전략과의 일치성, MDGs와의 연 관성, 사업선정 및 사업목표 설정의 적절성 등 사업의 적절성, ②사업요소 투입과 산출의 비교, 사업계획 대비 이행여부, 사업수행 및 이행과정의 적 절성, PMC 사업실행 및 현장관리 체제의 효율성 등 사업의 효율성과, ③사 업목표 달성도 및 사업 활동의 목표달성 기여도 등 사업효과성과 ④파급효 과(영향력) 등을 평가하였으며, ⑤수원국의 자립발전 의지 및 가능성과 제도 적 장치 등 지속가능성과 ⑥성주류화 및 환경 등 크로스커팅 이슈에 대한 평가도 실시하게 되었다.
4.3.2 관련 통계자료 분석
평가팀은 사업 평가에 있어, 평가 계획단계부터 사전조사결과, 타당 성조사보고서, 종료보고서 및 관련 통계자료 등 각종 문헌자료에 대한 조사 및 분석 작업을 실시하였으며, 우리정부의 대 개도국 협력정책 및 가나 국 별협력전략(CPS, Country Partnership Strategy), 무상협력사업 관련자료 및 PMC 사업추진보고서 등을 검토․분석하여 평가자료로 활용하였다.
4.3.3 설문조사
사후평가를 위한 설문작업은 크게 사업대상지역의 농민과 가나 정부 관계자(식품농업부 및 관개개발청) 등 두 부류로 나누어 설문지를 작성하였 으며, 설문내용은 평가5기준에 따라 평가 대상사업의 적절성, 효과성, 효율 성, 지속가능성 및 영향력 등을 파악할 수 있는 질문 문항으로 구성하였다.
설문대상자는 가나 정부관계자 및 아쿠마단 지역 농민 및 연수생 등 으로 구분하였으며, 각 설문지는 국내에서 평가단, 한국농어촌공사 담당관 및 국내 자문그룹간의 의견 조율을 거쳐 영문으로 작성하였다.
설문지는 평가팀의 현지출장보다 먼저 보내 사후평가팀의 현지 도착 이전에 자유로운 분위기에서 설문작업이 진행되도록 하였는데, 가나 정부기 관 경우 총 12부(식품농업부 6부, 관개개발청 6부) 그리고 아쿠마단 지역 농 민 경우 50부를 배포하여 조사하였다.
구 분 배포대상자 배포 회수 회수율
정부관계자 식품농업부 6 6 3 50%
관개개발청 6 6 4 67%
지역주민 지역농민 70 50 46 92%
합 계 82 62 53 82.8%
<표 Ⅱ-3> 설문지 배포 및 회수 현황
30 미만 30-40 40-50 50-60 60-65 66-70 70 이상
남 (31) - 6 8 10 4 - 3
여 (15) 2 4 1 7 1 - -
합계(46) 2 10 9 17 5 - 3
<표 Ⅱ-4> 아쿠마단 지역 농민 성별 및 연령 현황
* 농민 연령분포를 살펴보면, 전체 응답자의 71.7%가 50대 이상으로 농촌 노령화 모습을 보여주고 있으며, 여성 32.6%, 남성 67.4%의 성비를 나타냈다.
4.3.4 이해관계자 면담조사
평가팀은 현지 조사시 가나 정부관계자, 현지 시공업체 관계자 및 마 을 이해관계자 등과 이야기 형식의 면담을 통해 프로젝트 사업 전반에 대 한 의견을 교환하였으며, 국내에서도 농어촌공사 담당관, PMC 사업 책임자 및 관리자 등 국내 이해관계자들과 면담하여 평가와 관련된 자료 및 정보 를 확인하는 등 다양한 사람들과 만나 다양한 의견을 청취하여 평가에 반 영하였다.
4.3.5 국내외 워크숍
현지조사일정 중 진행된 워크샵은 2014.11.5.일 테치만 마을회관에서 가나 식품농업부 사업 담당관(MOFA), 관개개발청(GIDA) 담당관, 테치만 관 개청 및 지역 농민 등 다양한 이해관계자들이 한 자리에 모여 서로의 의견 을 공유하며, 사업수혜자 스스로 동 사업을 객관적으로 평가하도록 하는 워 크숍겸 평가회의를 개최하였다.
또한, 평가팀은 2014.11.7. 아크라 식품농업부 장관실에서 MOFA 장 관, GIDA 부청장 및 관리국장 등이 참석한 가운데 아쿠마단 관개지구 사업 현장 시찰 및 사업평가 결과를 브리핑한 후 가나측의 의견을 청취하였으며, GIDA 본부에서는 워크숍을 통해 각 사업 담당자들과 아쿠마단 관개수로 건 립사업의 성공요인과 문제점, 추가 필요사항 등에 대해 워크샵을 실시하였 다.
4.3.6 사후평가 종료 보고회 개최 및 보고서 제출
2014.11월 평가팀은 그동안 수집하고 분석한 자료를 토대로 농어촌공 사 및 유관기관 관계자들과 “가나 농업관개시설 설치사업 평가” 중간보 고회를 개최하였으며, 2014년12월에는 농림축산식품부, 농어촌공사 및 유관 기관 관계자 참석하에 “가나 농업관개시설 설치사업 평가”최종보고회를 실시한 후 농어촌공사에 최종보고서를 제출함으로써 3개월에 걸친 평가 업 무를 마무리 하였다.
Ⅲ. 평가방법론
1. 평가방법
평가팀은 아래와 같은 평가 기본 프레임에 따라 단계별 평가업무를 수행 하였으며, LFA 논리모형과 체계적 접근방법에 의한 평가를 실시하였다.
¡ 1단계: 프로젝트의 이해
1-1. 배경 및 목적, 계획내용, 실시 내 용 등 전반적인 정보 파악 및 정 리
1-2. PDM의 변화경위 및 내용파악
1-3. PDMe (평가용 PDM)준비 PDMn PDMe PDM₁
PDM₂
¡ 2단계: 평가디자인 2-1. 평가 설문 작성
2-2. 판단기준 및 방법 검토 2-3. 정보수집방법 결정
2-4. 기타 평가조사 관련 세부사항 결정
평가5기준
평가질문
정보수집 방법
● 기간
● 과제 적절성 효과성 효율성 파급
효과 지속성 사업목표
프로젝트 목표
산출 투입
¡ 3단계: 정보수집 및 분석 3-1. 정보수집
3-2. 정보분석
평가5기준 결과
●정보수집
●결과분석 적절성 효과성 효율성 파급
효과 지속성 사업목표
프로젝트 목표
산출 투입
¡ 4단계: 보고서작성 및 보고 4-1. 평가5기준에 의한 평가 4-2. 전반적 결론 도출 4-3. 제언 및 교훈 작성 4-4. 결과보고
<평가보고서>
ㆍ평가5기준 평가 ㆍ전반적 결론 ㆍ제언 및 교훈
<결과보고>
<표 Ⅲ-1> 평가방법 순서도
1.1. Logical Framework Approach(LFA)
본 평가팀은 “가나 관개수로 건립사업 사후평가”업무를 수행함에 있어 OECD DAC가 권고하는 5대 평가기준을 기반으로 하되, Logical Framework Approach(LFA)의 논리모형(Logical Model)을 도입하였다.
LFA는 원래 프로젝트 계획입안 기법이나, 역설적으로 LFA는 효과적 인 평가기법으로도 인정되고 있어 평가계획 시점부터 LFA를 도입하여 사업 을 추진하였을 경우 LFA를 통한 평가도 매우 효과적으로 나타나기 때문이 다.
LFA의 주요기능을 살펴보면, 첫째, 프로젝트의 ①투입/활동 ②산출물
③사업목표 ④개발목표를 명확히 하고 있으며, 둘째로, 투입/활동-산출물-사 업목표-개발목표 간의 인과관계를 명확히 한다. 세번째로 LFA는 이러한 인 과관계에 영향을 미치는 제반요인들을 명확히 하며, 마지막으로 프로젝트의 산출물, 사업목표 및 개발목표를 객관적으로 측정할 수 있는 지표를 명확히 하는 기능을 가지고 있다.
따라서 본 평가팀은 이러한 LFA 기법을 통해 사업평가를 실시코자 하였으며, LFA의 기본구조인 PDM(Project Design Matrix)에 평가를 가미한 PDMe(PDM for Evaluation)를 재구성하여 평가를 실시하였다.
프로그램 요약 (Narrative Summary)
객관적 검증지표 (OVI: Objectively
Verifiable Indicators)
지표입증수단 (MOV: Means of
Verification)
외부조건 (Important Assumption) 개발목표
(Goal) 사업목표 (Purpose)
산출물 (Outputs)
(Activities)활동 투입(INPUT) 전제조건 (Pre-conditions)
<표 Ⅲ-2> PDM 양식
※ 평가 대상사업의 사업추진 흐름에 따른 ‘투입-활동-산출-성과’의 성과모형과 사업 의 논리적 구조에 따른 5가지 평가기준과의 관계는 아래의 표처럼 재구성 하여 나타 낼 수 있음.
<그림 Ⅲ-1> 사후평가의 성과모형
효율성 효과성 영향력 적절성 지속가능성
개발목표 의도된 혹은
의도되지 않은 긍정적,
부정적 영향은?
사업의 목표는 의미
있는가?
사업이후 수혜자는 긍정적 영향을 지속할 수
있는가?
중기목표 목표는
얼마나 성취되었고,
산출은 여기에 얼마나 기여
했는가?
단기성과
산출물 투입은 얼마나 산출에 기여
했는가?
활동 투입
<표 Ⅲ-3> 사업의 논리구조와 평가기준의 관계
1.2. 체계적 접근방법에 의한 평가
본 평가는 기본적으로 기 추진된 사업에 대한 수행체계평가(Process Evaluation)와 성과평가(Result Evaluation)로 구성하였으며, OECD 5대 평가 지표인 적절성(Relevance), 효율성(Efficiency), 효과성(Effectiveness), 파급효과 (Impact), 지속가능성(Sustainablity)에 대한 평가를 실시하였다.
아울러, ①수행체계 및 과정평가(Process Evaluation)에서는 프로젝트 싸이클에 대한 평가를 실시하였는데, 프로젝트 기획(identification), 준비 (preparation), 시행(execution), 감독(supervision) 및 사후점검(post appraisal) 의 각 단계에서 한국농어촌공사와 PMC(한국종합기술)가 어떻게 제반 요소 를 투입하고 상호 협력했는지 등 사업 발굴-기획-수행에 이르는 전 과정을 분석하여 사업수행시스템의 역할 및 한계 파악, 그리고 사업수행시스템이 의도한 효과를 도출하는데 미친 영향 등을 파악하였다. ②성과평가(Result Evaluation) 부문에서는 사업의 필요성, 목표달성도, 지속성, 원조의 가시성 및 학습효과 등 사업선정 과정에서부터 종료시점까지의 사업추진 정당성, 효과성 및 영향력에 기반한 성과를 점검하였으며, 사업종료 이후 진행과제 (사후관리 진행계획 등)에 대한 점검과 향후 유사사업 추진을 위한 제언사 항 등도 점검하였는데, 관개분야 사업의 특성을 고려하여 농업기반 구축, 농업생산성 향상, 산출물의 유통구조, 농가소득 및 생활수준 향상 등의 평 가를 포함하는 수리관개 시설의 농업 및 농촌 개발 지원효과와 주민 만족 도 등도 평가하였다.
구 분 평가목표 및
방법 II. 평가항목
수행체계 평가
(목 표) 효율적인 프로세스 관리
1) 투입 : 농어촌공사의 역할과 효율성 (Inputs – Donor)
2) 투입 : PMC의 업무수행 및 효율성 (Inputs –PMC’s performance)
(평가방법) 정성+정량 (5scale)
3) 투입 : 수원국의 자세와 의지
(Inputs-partner Country’s commitment)
성 과 평 가
(목 표) 효과성 및 지속가능성 확보
1) 사업의 필요성(Rationale)
2) 산출 및 목표달성도 (Outputs-Achivement of Objectives)
3) 지속효과성(Sustained Impact) (평가방법)
정성+정량 (5scale)
4) 원조의 가시성(Donor Visibility) 5) 공여자 학습효과(Learning Effect)
<표 Ⅲ-4> 항목별 평가 주요내용
2. 자료조사
2.1. Triangulation 및 Kirkpatrick 평가 조사 기법
평가를 위한 조사방법은 통계문헌조사, 방문면담조사, 현장조사, 자문 회의, 설문조사 등을 활용한 3각(Triangulation)조사 방법을 사용하였으며, 연수생 및 지역 주민에 대한 역량강화 부분은 Kirkpatrick 조사 기법2)을 사 용하였다.
<그림 Ⅲ-2> 평가기법 활용방안
특히 현지조사에 있어서는 직접적인 사업 수혜자에 대한 심층조사를 위하여 주요 이해관계자 방문 및 면담조사와 함께 2개 그룹 62명(사업 수혜 지역 농민 및 주민 50명, 식품농업부 및 관개개발청 공무원 12명)의 사업수 혜자를 대상으로 설문조사를 실시하였다.
설문조사는 앞서 관개수로 건립사업에 대한 만족도 조사와 함께 마 을 주민들이 동 프로젝트를 통해 직접적인 혜택을 받았는가? 향후 추가로 바라는 부분은 무엇인가? 등 평가 5대 항목의 결과를 유추하기 위해 필요 한 항목들을 포함하는 설문조사표를 작성하여 실시하였으며, 설문조사대상
2) Kirkpatrik(1998)은 교육훈련의 성과를 반응-학습-행동-결과의 4가지 수준에서 평가하는 모형을 제시하였 다.
자의 선정은 사업이 시행된 관개개발청(GIDA) 및 아마쿠단 관개농장 지역 주민대표, 테치만 MoFA 및 GIDA 현지직원, 그리고 식품농업부의 협조를 받 아 다양한 계층의 수혜자들로부터 의견을 들을 수 있도록 노력하였다
<그림 Ⅲ-3> 평가자료 조사방법
구 분 조 사 방 법
문헌조사
⚫ 평가대상 관련 각종 보고서는 물론, 관련 분야의 문헌, 통계․데이터, 타 공여기관에서 수행한 유사 사업 자료 등 다양한 자료를 연구, 분석하여 필요한 정보 수집
직접관찰
(1) 목적
⚫ 사업의 효과와 지속가능성을 분석하는데 있어서 좀 더 실제적 이고 생생한 결론 도출
(2) 방법
⚫ 관찰대상 및 수집대상정보에 대한 합의
⚫ 참여 관찰자 결정
<표 Ⅲ-5> 사후평가 현지조사방법 요약
⚫ 사업대상 지역을 직접 방문하여 관련 정보 수집
⚫ 수집된 결과에 대한 토론회 개최
⚫ 관찰자에 의한 편견 및 왜곡에 유의하여 객관적 정보 정리
Kirkpatrick
모델조사
(1) 목적
⚫ 1975년 Kirkpartrick이 개발한 훈련 및 역량강화의 4단계 평가방법 (2) 평가방법
단계별 측정대상 내 용
1단계 만족도 ⚫ 교재에 대한 반응 및 만족도를 평가
⚫ 연수 직후 설문조사를 통하여 실시 2단계 이해도
(지식)
⚫ 지식 및 기술 습득 정도를 평가
⚫ 연수 직후 테스트 및 체크리스트 등을 통하여 실시
3단계
실무행위 (Performa
nce)
⚫ 연수내용의 업무활용도를 평가
⚫ 업무관련자 및 연수 이수자 대상으로 인터뷰 등을 통하여 조사 실시
⚫ 연수 후 일정기간 경과 후 실시
단계 공헌도 (Impact)
⚫ 조직의 다른 업무에 대한 공헌도(양적, 질적, 매상 등)를 평가
⚫ 연수실시 이전 대비 변화를 측정
⚫ 연수 직후 설문조사를 통하여 실시
사례 비교조사
(1) 목적
⚫ 평가대상사업과 유사한 사업과의 비교조사를 통하여 시사점 도출 (2) 방법
⚫ 대상사업 선정
⚫ 평가 5기준에 의한 비교조사 실시
⚫ 비교분석을 통한 시사점 도출
현지 워크숍
개최
(1) 목적
⚫ 다양한 이해관계자의 의견수렴을 통해 수원국과 공여국의 균형적인 평가 시각 확보
(2) 방법
⚫ 세부 방법은 추후 한국농어촌공사측과 논의
그룹토의
(1) 목적
⚫ 이해관계자의 다양한 의견수렴을 통한 객관적인 정보수집 (2) 방법
⚫ 수집정보, 질문유형 및 내용
⚫ 참석대상자 선정
⚫ 그룹토의 Template 준비 및 실시
⚫ 그룹토의 결과 분석
설문조사
(1) 목적
⚫ 주로 통계분석을 목적으로 특별한 질문에 대해 가능한 많은 평가 대상으로부터 정보수집
(2) 방법
⚫ 수집정보, 설문유형 및 내용
⚫ 설문대상 결정
