제13장/14장 프로그램 평가의
준비과정 및 유형
1. 프로그램 평가
1) 평가의 개념
(1) 사전적 의미 : “사물 또는 그 속성에 대한 가치판단”
(2) 사회복지 분야에서 평가란 사회복지 프로그램이나 기관 이 실시한 제반 활동의 과정과 성과를 체계적으로 가치 판단하는 것
2) 평가의 기능
(1) 프로그램 과정 상의 환류 (2) 사회적 책임성 이행
(3) 이론형성을 위한 연구기능
2. 프로그램 평가의 중요성
평가는 사회복지 프로그램의 관리능력을 향상시킨다.
① 클라이언트에게 더 효과적 서비스의 전달이 가능
② 서비스 행상을 위한 “개입시점”의 파악이 가능
평가는 사회복지 프로그램의 자원을 조정하고 개발하는데 영향을 미친다.
사회복지 평가가 반드시 필요한 환경으로 바뀌어 가고 있다.
2. 프로그램 평가의 중요성
1) 평가와 책무성
• 사회복지조직의 책무성이 강조되기 시작하면서 프로그램 평가의 중요성 대두
• 책무성의 이행 정도는 프로그램 평가활동에 의해 확인 ․
• 사회복지조직의 책무성 평가는 객관적 기준에 입각하여 다면적으로 이루어져야
• 평가자의 자율성과 전문성이 전제
2. 프로그램 평가의 중요성
2) 평가의 필요성
• 경영통제(management control)
• 업무자들에 대한 피드백(feedback)
• 서비스 혁신(innovation)
• 책임성 순응 / (accountability/compliance)
• 대외관계(public relation)
2. 프로그램 평가의 중요성
3) 프로그램 평가의 동기
• 행정적인 결정을 내려야 할 때
• 실시한 프로그램이 우수한 프로그램인지 확인해야 할 때
• 클라이언트가 도움을 받고 있는가
• 서비스에 만족하고 있는가
• 프로그램이 사회문제에 영향을 미치고 있는가
• 실시할 만한 가치가 있는가
• 기존 프로그램 보다 우수한가
• 프로그램 실행에 있어 추가적인 지원이 필요한가
• 직원들을 적절히 활용하고 있는가
2. 프로그램 평가의 중요성
4) 기존 프로그램 평가의 문제점 (1) 프로그램의 중복성
(2) 프로그램 내용의 이질성 (3) 프로그램 목표의 불일치 (4) 비표준화된 도구 사용 (5) 다양한 측정도구의 부족
(6) 측정도구와 측정내용의 불일치 (7) 통계분석의 한계
(8) 일반화의 제한
(9) 부적절한 통계기법이나 평가설계의 적용
3. 프로그램 평가의 유형
1) 평가방법을 기준으로 한 모형
(1) 실험적 접근(Experimental Approach)
(2) 목표 지향적 접근(Goal-Oriented Approach)
(3) 의사결정 중심적 접근(Decision-focused Approach) (4) 이용자 지향적 접근(User-oriented Approach)
(5) 반응적 접근(Responbsive Approach)
3. 프로그램 평가의 유형
2) 운영과정을 기준으로 한 모형
(1) 형성평가/과정지향적 평가(Formative Evaluation) 형성 평가는 대개 프로그램 수행 중간에 프로그램의
운영 및 활동을 평가한다. 따라서 평가를 통해 프로그램 의 개선과 관련된 정보들을 수집하고 평가하게 된다.
또한 이것은 프로그램 개발이나 진행 과정에서 피드백 에 사용되는 정보들을 얻는 것이 목적이기에 평가 정보 들은 비교적 유연한 틀을 적용해서 도출된다는 특징이 있다.
3. 프로그램 평가의 유형
(2) 총괄평가/목표지향적 평가(Summative/Objective Oriented) 총괄 평가는 시기적으로 프로그램이 모두 종결된 후에 시행하는 것으로 프로그램의 결과에 주로 평가의 초점 을 둔다. 즉 프로그램이 애초에 설정했던 목표를 얼마나 효과적으로 또한 효율적으로 달성하였는지를 파악하고 자 한다. 형성 평가가 과정 지향적인 평가라면, 총괄 평 가는 목표지향적 평가라고 볼 수 있다. 또한 총괄 평가 는 형성 평가보다는 상대적으로 엄격한 틀을 필요로 하 는데 대개 기관 외부로부터의 시각과 전문적인 평가 방 법들이 개입되는 경향이 있다.
3. 프로그램 평가의 유형
분류 평가방법 내용
자료속성
평가시점
총괄평가 방법
개입대상
양적 평가 획득된 자료속성이 계량화 가능한 측정, 많은 사례 대상 실시 질적 평가 계량화 곤란, 나타나는 현상 정도와 수준을 평가하는 소수사례
형성 평가 사회복지사 개입과정을 사정하는 것 총괄 평가 개입 방식의 효과나 성과연구
결과적평가 의도된 결과 성취정도, 대상 개입결과 평가, 비교적 평가 수행 평가적평가 사회복지사 개입으로 결과가 성취된 것인가를 밝히고
개입과 결과의 인과적 관계를 파악하고자 사용 실천평가 사회복지사 개입 노력 사정
프로그램
평가 프로그램의 효과성과 효율성을 평가
4. 평가체계(Evaluation System)의 중요성
1) 평가체계의 구성
① 평가의 철학(이념)
② 측정도구
③ 평가수행절차
④ 평가 결과의 활용
2) 평가의 기본원칙
① 기본철학 : 이용자 중심(client- direction)의 서비스 질을 보장해주고 있는지를 확인하는 것이 가장 중요
② 평가는 기관차원에서 매년 재조사 및 평가되어야 함
③ 기관은 다음과 같은 평가 시스템을 갖추어야 함
• 프로그램 서비스의 성과 측정
• 모든 이용자(전수조사) 또는 표본조사
• 6개월 혹은 그 이상동안 유지된 프로그램의 목표와 관 련된 규칙적 성과관리
• 평가정보에 대한 사후 관리
4. 평가체계(Evaluation System)의 중요성
4. 평가체계(Evaluation System)의 중요성
④ 프로그램 평가시스템에 포함되어야 하는 것들
• 이용자 선정 기준
• 제공된 서비스 목록
• 측정할 수 있는 목표들
• 각 측정이 제공된 시간의 내역
• 목표의 우선순위
• 효과성과 효율성 측정
• 프로그램에 대한 수혜자의 만족도 측정
4. 평가체계(Evaluation System)의 중요성
⑤ 프로그램 평가를 통해 얻어진 정보가 적절한 기관운영 에 반영되어야 한다.
⑥ 운영위원회는 프로그램 평가시스템의 적절성에 대한 계 속적인 재검토가 있어야 한다. 평가 운영위원회의 활동 은 다음과 같다.
• 매년 기준에 대한 공식적인 재조사
• 성과의 증가, 프로그램 비용조절 및 감소, 지역사회 지 지나 유지, 향상과 관련된 시스템 성취에 대한 재조정
• 프로그램 평가시스템의 효율성 결정
⑦ 프로그램 평가시스템으로부터 얻은 결과는 이용자에 바 탕을 둔 계획과정과 통합되어야 한다.
5. 프로그램 평가를 위한 지침
① 평가 자료와 보고의 사용자 명확화
② 평가가 가능한지 결정
③ 프로그램 목표와 목적 진술
④ 평가될 프로그램의 개입 서술
⑤ 변화에 대한 측정 가능한 지표 선정
⑥ 적절하고 사용 가능한 자료수집과 측정도구 선정
⑦ 자료를 어떻게 수집하고 도표화하여 분석할 지 계획
⑧ 평가 결과 해석
6. 프로그램 평가의 윤리
① 비밀보장, 클라이언트 자기 결정, 기록을 클라이언트가 볼 수 있는 권리에 대한 평가적용
② 집단연구의 윤리 : 의도적 통제집단의 설정이 클라이언트 문제를 방임하는 것의 문제 → 그러므로 클라이언트를 보호 하는 윤리적 지침이 요구 됨.
THANK YOU!
