평가방법

□ 통합평가 매뉴얼에서의 평가방법의 구분

ㅇ 매뉴얼에서는 평가방법을 여러 가지로 구분하고 아래와 같이 설명함.

표 3-13. 평가방법(통합평가 매뉴얼)

발생할 수 있다는 단점이 있다.설문지 조사 시에는 불특정 다수의 수익자나 관계자에 대한 조사와 같이 조사 대상이 되는 모든 사람을 조사하는 전수조 사와 그 일부를 조사하는 표본조사 중 하나를 선택하여야 하며,어느 방법을 선택할지는 조사의 목적‧대상자나 대상지역의 규모‧예산이나 시간의 제약‧

요구되는 데이터의 정밀도 등을 검토해 결정한다.

(4)인터뷰

인터뷰는 해당 사업에 대해 핵심적인 정보를 제공할 수 있는 사람들을 대상 으로 실시하게 된다.응답자의 상황이나 반응에 따라 유연한 대응이 가능하 고 응답자의 비언어적인 커뮤니케이션으로부터 상황을 읽어낼 수 있으며, 즉석에서 추가질문을 할 수 있는 등의 장점이 있다.반면,조사자의 역량에 따라 결과가 많이 좌우되고,조사자와 응답자의 개인적 편견이 작용할 가능 성이 있으며,수치화된 데이터로서 일반화할 수 없기 때문에 정리하기가 어 렵다는 등의 단점이 있다.

(5)그룹토의

그룹토의는 그룹을 대상으로 특정 주제(질문)에 대해 논의하도록 한 뒤,토 의 중 나온 의견으로부터 정보를 수집하는 방법이다.특정 주제에 관해서 응 답자가 어떠한 인식을 가지고 있는지를 아는 데 적합하며,보다 다면적인 측 면에서의 정보를 얻을 수 있다는 장점이 있으나,인터뷰와 비교하여 응답에 대한 책임의식이 약해진다는 단점도 있다.또한,민감한 주제에 대해 토의하 기가 어렵고 소수의 응답자가 논의를 주도할 가능성이 높다.그룹토의는 진 행 능력에 따라 결과가 크게 좌우되므로,적절한 진행자 선정이 중요하다.

*그룹토의의 한 가지 방법으로 ‘초점집단 토의’(FocusGroupDiscussion)가 많이 사용되는데,특정한 주제에 관하여 대략 10명 내외의 사람들이 모여 하 는 그룹토의를 말한다(ODA EvaluationDivision2012,5).

(6)사례조사

(계속)

표 3-13. 평가방법(통합평가 매뉴얼)

사례조사는 평가 대상에 대한 보다 심도 있는 정보수집을 위해 몇 개의 실 제 사례를 조사하는 것을 말하며,목적성‧개연성‧편이성을 고려하여 사례를 선택한다.사례조사는 정책 및 전략 평가와 같은 상위개념의 평가에서는 평 가목표와 관련된 실질적인 조사를 가능하게 해준다는 이점이 있다.예를 들 어,식수 및 위생 관련 개발전략 평가를 위해서 특정 지역에서 실시한 사업 을 사례로 조사하거나,타 공여기관의 유사전략 실행과정을 사례로 연구하 는 경우 평가를 조금 더 구체화할 수 있다.사례조사는 상대적으로 간단하고 다양한 상황에서 사용이 가능하며 심도 있는 정보수집이 가능하다는 장점이 있으나,적합한 유사사례를 선정하는 데 어려움이 있을 수 있고 특정한 사례 를 일반화시킬 때 논리적 비약이 수반될 수 있으며 평가자의 판단에 의존한 다는 등의 단점이 있다.

(7)지수조사

지수조사는 평가 대상과 관련된 지수나 데이터를 수집‧분석하는 방법을 의 미하며,문헌조사의 하부 방법으로도 사용될 수 있다.특히 국별‧분야별‧주 제별 평가에 많이 사용되며,프로젝트/프로그램 평가에서도 세부평가를 위 한 배경자료로 활용된다.자주 사용되는 지수들은 아래와 같다.

․경제지수 :GDP,경제성장률,국제수지

․사회지수 :인구,실업률,교육‧보건 관련 지수

․정부서비스지수 :교육‧보건 관련 지수,식수공급‧전기보급률 등

․기타 :빈곤 관련 지수 등 (8)SWOT분석

SWOT(Strength,Weakness,Opportunity,Threat)분석은 경영전략 분석에서 유래한 방법으로,국제개발협력에서는 주로 공여국의 정책 및 전략 평가에 사용된다.SWOT분석을 위해서는 문헌조사,인터뷰 및 그룹토의 등의 방법 이 주로 사용되며,분석을 통해 강점을 활용하고 기회를 활용하며,약점을

(계속)

표 3-13. 평가방법(통합평가 매뉴얼)

Strength (내부강점) Weakness (내부약점) Opportunity (외부기회) Threat (외부위협)

보완하고 위협에 대처하여 정책 및 전략을 검토‧개선하는 방향으로 주로 활 용된다.SWOT분석은 주변 환경에 비추어 정책 및 전략의 적절성을 짧은 시간 내에 분석할 수 있다는 장점이 있으나,주관적 판단에 의존하는 편이며 내부와 외부 요소들의 분리가 어렵다는 단점도 있다.

ㅇ 그런데 통합평가 매뉴얼에서의 이러한 구분은 자료수집 방식과 분석방식 을 혼합함으로써 혼동을 초래할 수 있음.

-문헌조사,직접관찰,설문조사,인터뷰,그룹토의,사례조사 등은 자료수 집 방식이며,지수조사,SWOT분석은 이와 같이 수집된 자료에 대한 분석방식이라고 할 수 있음.

그림 3-6.자료수집 방법

자료:KusekandRist(2004,85)

(계속)