평가질문 개발과 설계 매트릭스 수립
개발협력 프로그램 평가의 설계와 실행 Ch.6 Ch.7_ 린다G. 모라 이마스 레이C. 리스트, 한울
• 평가질문 선정 중요성:
- 평가질문이 평가와 평가설계의 방향을 결정,
- 주요 개인과 그룹의 의사 결정하고 대중에게 정보 공개하는 데 도움되는 요소
• 발생가능한 문제: 평가 참여자 모두가 대상 프로젝트 또는 프로그램 목적에 대해 동일하게 이해하고 있다고 가정
• 활용할 것(피츠 패트릭 등, 2004) -이해관계자의 질문, 우려, 가치 - 평가모델
- 경험론적 접근법을 포함한 프레임워크와 접근방법 - 기존 연구 및 평가 결과, 이를 통해 제기된 주요 이슈
…
• 평가질문 형성은
‘ 해당 프로젝트 작동 원리, 기대되는 성과와 혜택 등 논리모형이 기반을 두고 있는 주요 가설에서부터 시작＇
• 모든 질문은 측정 가능한 방식으로 명확하게 정의되어야 함
• 평가설계에는 평가에 투입 가능한 데이터, 시간, 재원과 함께 평가 질문의 유형이 영향을 줌
• 유형
1) 서술적 질문:
2) 규범적 질문
3) 인과관계 질문
• 유형
1. 서술적 질문
- 현상 및 상황을 기술하고자 함
- 절차, 상황, 다양한 관점, 제도적 관계 또는 네트워크 등이 해당됨 -패튼 (2002) “서술적 질문이 평가의 기초”
- 특징: 프로젝트 또는 절차 이해 위해 필요함, 육하원칙 등의 정보를 단순명확히 기술, 의뢰기관 의견 수렴위해 사용 등 2. 규범적 질문
- 현재 상황과 추구하는 바, 현재와 구체적인 목표, 지향점, 기준점을 비교
- 질문: 우리는 해야 할 일을 알고 있나?, 우리는 목표에 도달하고 있는가? 우리가 설정한 목표에 도달했는가? 와 같은 질문을 활용 - 예시: 계획한 만큼 예산을 지출했나?, 연간 5,000명의 학생 입학 목표를 달성했나? 목표한 10만 헥타르 규모의 토지배수를 달성 했나? 등
• 유형
3. 인과관계 질문
- 프로젝트 수행을 통해 나타난 변화를 정의함 - 영향 또는 귀속적 질문이라고도 함
- 목적: 프로그램 혹은 정책의 효과를 찾으려고(변화이론 모델은 계획한 결과와 영향력을 제시하지만 프로젝트의 결과가 인과 관계 질문형태로 기술되지 않을 수도 있으므로 인과관계 질문을 통해 효과 발견)
- 예씨: 휘발유에 대한 과세 증가가 대기 오염도를 낮추었는가?
1) 확산단계
- 잠재적으로 중요한 질문과 고려사항을 포함하는 목록 작성 - 다양한 출처 통해 질문 만듦
- 요약; 질문을 머릿속으로 간략하게 구성해보는 것, 자료조사와 논리적 분석과 판단을 요구함, 정보와 분석에 정성적 방법이 적합
2) 수렵단계
- 가장 핵심적인 질문을 선정하기 위해 확산단계에서 만들어진 질문 목록을 줄여나감 - 기준(매트릭스 형태로 표시 가능, 10점)
(1)정보 사용자는 누구인가 ?이 정보 원하는 사람은 누구인가? 질문이 누락되면 실망할 사람은 누구?
(2) 이 질문에 대한 대답이 불확실성을 제거하거나 혹은 지금 바로 활용할 수 없는 정보를 제공할 것인가?
(3) 이 질문에 대한 대답이 중요한 정보를 생산할 것인가? 대답이 다음 단계에 영향을 미칠 것인가?
(4) 이 질문이 특정인의 일시적인 질문인가 또는 지속적으로 관심이 높은 분야에 대한 핵심적 질문인가?
(5) 이 질문이 누락되면 평가의 범위나 완전성이 크게 훼손되는가?
(6) 주어진 예산, 인력, 시간, 방법 및 기술로 이 질문 답 찾는 것 가능한가?
1) 해당 프로젝트가 다루는 주요이슈 찾는 것에서 시작
2) 주요이슈는 대부분 유사 프로젝트에 대한 평가결과, 변화이론, 관련 문서와 이해관계자 및 의뢰인과의 논의통해 발굴됨
• 평가구성에 대한 계획이고, 평가에 대한 집행계획을 의미하지는 않음
• 요소
- 핵심평가 이슈 혹은 질문 (이슈; 개념적이슈와 기술적 이슈) - 일반적인 평가 접근방식
- 구체적인 평가질문 및 하위질문
- 정보수집을 위한 조작화, 정보 출처 및 방법론적 전략 - 분석계획
- 보고계획
• 개념적 이슈; 관계자들이 평가에 대해 어떻게 생각하는지를 다룸
기술적이슈: 정보 수집 및 분석 계획과 관련된 내용 다룸, 모든 평가에 필요한 설계 매트릭스의 중심임
• 이상적인 평가는 평가 설계에서부터 시작
절차: 평가계획 혹은 범위 설정 -> 평가 설계 ->평가실시 ->평가결과 보고 -> 평가결과 배포 및 후속 조치
활용: 평가설계 매트릭스(주요 평가이슈, 일반적인 접근방식, 평가질문 및 하위 질문, 이것의 유형, 측정방식 및 지 표 등
평가질문에 따른 평가설계의 선택
• 발생가능한 실수
1) 자료수집 전략 선택시
2) 각 평가에 하나의 설계만 수립해야 한다고 생각할 때
• 설계의 주요 종류
1) 실험적 설계; 무작위 실험 또는 진실험;
- 무작위 선정(배경, 성별, 상황, 시기 등 유사한 집단에 배치되어야 함) 통해 프로젝트 수행한 집단(실험군)과 그렇지 않은 집단(대조군) 결과 비교
2) 준실험적 설계;
- 무작위 선정 필요없고 비교집단을 설정하면 되므로 실험적 설계보다 실현가능성 높음 - 한계: 개발 프로젝트와 그 결과 간 인과관계 정확히 증명 못함
- 장점: 평가자는 많은 정보 습득 가능, 원인과 영향에 대한 합리적 가정 얻을 수 있음 3) 비실험적 혹은 서술적 설계;
- 주로 특징, 빈도수, 연계성을 살펴보고, 개발 프로젝트와 그 결과 간의 관계에 대해 기술 - 자료수집위해 기존 자료나 정보, 설문조사, 혹은 포커스 그룹 분석을 이용
1. 실험적 설계 - 뿌리; 의학
- 특징; 평가질문 제시 -> 질문을 명제로 전환 -> 명제에 대한 변화이론 구축
(ex. 말라리아 발병 줄이는 좋은 방법은? -> 침대 모기장이 말라리아 발생 줄일까? -> 만약 침대 모기장이 지역 사람들에게 제공된다 면 그 지역의 말라리아 발병이 감소할 것이다)
- 단계; 가설수립 -> 기초선 데이터 수집(종속변수 측정) -> 실험군과 비실험군으로 무작위 배치->독립변수도입->종속변수 재측정 ->집단 간 차이 계산 및 통계적으로 유의한지 확인
- 용어; 대조군=실험군, 무작위 배치, 내적 타당도(관찰 결과 원인 설명할 때 그 외의 다른 요인을 제외할 수 있는 설계 역량)
2. 준실험적 설계
- 특징; 비슷한 특징 가진 비교군 사용하는 설계와 비교군은 없지만 다양한 측정 방안을 사용하는 설계를 포함
- 집단 구성; 중요 특징이 유사한 집단을 구성, 비교군이라 불리는 집단의 변화를 비교, 사전 준실험 설계 선정하는 것이 좋음(-> 같은 집단 시간차 두고 여러 번 측정하는 것보다 비교군을 두는 것이 좋음)
- 견고한 준실험적 설계
(1) 비교집단 없는 사전-사후 설계 (2) 사전-사후 비동질 비교 설계 (3) 사후 전용 비동질 비교 설계 (4) 단절 시계열 설계
(5) 패널설계 (6) 종단연구 설계
(7) 통계적 통제를 이용한 상관관계 설계
3. 비실험적 설계 - 단순횡단연구설계
- 일회성 설계
- 인과관계 추론전략 - 사례연구설계
