1. 프로그램평가의기준

(1)

제15장 프로그램 평가의 절차와 도구

(2)

1. 프로그램 평가의 기준

1) 평가의 기준

① 목표달성 수준

② 기대하는 변화의 정도

③ 변화 또는 성과를 나타내는 점수

④ 의도한 서비스 효과가 표현되는 맥락이나 상황의 수준

⑤ 원하는 가치가 산출되는 정도나 범위

⑥ 이용자의 만족도를 나타내는 특정 지표

⑦ 특정 행동 또는 태도의 변화 등으로 표현 2) York의 평가기준

① 노력성(effort), ② 효과성(effectiveness), ③ 효율성 (efficiency), ④ 서비스의 질(quality of services), ⑤ 과정 (process), ⑥ 영향(impact), ⑦ 형평성(equiuty)

(3)

1. 프로그램 평가의 기준-노력성

① 노력성(effort)

이 기준은 프로그램 활동의 양을 의미한다. 즉, 얼마나 많은 양의 프로그램 활동이 제공되었는지, 어떤 활동들이 있었는 지에 대해서 평가하는 것이다. 노력성 수준을 파악하는 데는 주로 다음과 같은 요소들을 평가한다.

• 단위 활동의 수

• 클라이언트 수

• 전문 지식과 기술의 소유와 활용 정도(전문 인력의 수)

• 프로그램 예산 및 자원

• 프로그램의 기간 및 하위 활동들의 단위 기간

• 프로그램 활동에 대한 전문인력의 투입시간

(4)

1. 프로그램 평가의 기준-효과성

② 효과성(effectiveness)

이 기준은 프로그램 목표의 달성 정도를 의미한다. 노력성과 관련된 정보들이 주로 프로그램 투입에 초점이 있는 반면 효 과성 기준 정보들은 목표가 달성되었는지, 목표가 달성되었 다면 그것이 그 프로그램으로 인한 효과인지를 확인할 수 있 는지에 초점을 둔다. 효과성은 프로그램이 의도했던 성과를 직접적인 자료 또는 간접적인 자료로 파악해볼 수 있다.

– 직접 자료: 클라이언트에 대한 의도된 성과를 직접 측정 (취업률)

– 간접 자료: 성과를 측정할 수 있는 간접적인 지표를 측정 (클라이언트 만족도)

(5)

1. 프로그램 평가의 기준 - 효율성

③ 효율성(effiency)

이 기준은 프로그램 산출 대비 비용 수준을 의미한다. 즉, 프 로그램에 투입된 비용(자원)을 경제적으로 효율적인 방법으 로 적절하게 활용했는지를 파악하고자 한다. 효율성을 평가 하는 데는 다음과 같은 평가 요소들이 활용된다.

• 프로그램 산출물의 단위와 관련한 비용

• 프로그램 투입에 대한 비용

• 프로그램 목표들을 성취하는데 부과된 비용

(6)

1. 프로그램 평가의 기준 -영향

④ 영향(impact)

이 기준은 프로그램 기획 차원에서 주로 검토되는 것이다.

이것은 프로그램이 애초에 의도했던 사회 문제의 해결이나 클라이언트의 변화에 미친 영향을 의미한다. 영향을 평가하 는 것은 단일한 프로그램을 평가하는 것으로는 불가능하다.

개별적인 프로그램의 효과성을 넘어서 특정 문제와 관련되 어 투입된 프로그램들 전반을 장기적으로 평가함으로써 가 능하다. 영향을 평가하는 데는 다음과 같은 평가 요소들이 활용된다.

– 위험 집단과 표적 집단 내에서의 변화 정도 – 사회 지표상의 변화에 대한 실증적 기대 정도

(7)

1. 프로그램 평가의 기준 –서비스 질

⑤ 서비스 질(quality)

대개 서비스 질은 효과성을 나타내는 기준으로 폭넓게 사용 되나, 엄밀히 말하자면 프로그램의 전문성이 된다. 프로그램 전문성이란 전문 인력이 채용되는 정도나 프로그램 제공자 의 전문성을 의미한다. 사회복지분야에서는 프로그램의 효 과성에 대한 직접 측정이 어려울 경우에 서비스 질을 많이 평가하는데, 이것은 전문성을 갖춘 인력이 프로그램을 수행 한다면 효과성에 있어서도 일정 부분 기대할 수 있다는 가정 이 전제되어 있는 것이다.

• 프로그램 인력의 전문 자격증 소유여부

• 프로그램에서 활용하고 있는 전문 지식과 기술의 발전 상태

(8)

1. 프로그램 평가의 기준 -과정

⑥ 과정(process)

이 기준은 프로그램 결과의 경로를 의미한다.

즉, 특정 프로그램의 성공이나 실패에 대한 이유를 파악하려 는 것이다. 과정 평가는 프로그램의 속성, 프로그램 대상 인 구, 프로그램 시행 시 환경에 주로 초점을 둔다. 과정 평가 요소에는 다음과 같은 것이 있다.

• 하위 목표들의 달성 정도와 연계성

• 하위 목표와 프로그램 결과 사이의 영향 정도의 차이

(9)

1. 프로그램 평가의 기준 -공평성

⑦ 공평성(equity)

이 기준은 프로그램 배분의 공평성을 의미한다. 이 기준은 기획 차원의 평가에서 주로 검토된다. 실제 현실에서는 욕구 에 따른 분배 기준보다는 일관성의 기준이 프로그램 분배에 서 적용되기가 더 쉽다. 공평성 평가는 프로그램의 접근성 평가로 주로 평가된다. 공평성 평가 요소에는 다음과 같은 것이 있다.

• 대상 집단에게 동일한 접근기회가 주어지는지 여부와 그 정도

• 프로그램 활동이 지역 내에 균등하게 배분되는 정도

(10)

2. 프로그램 평가의 과정

1단계: 평가목적 확인

2단계: 평가목표 진술

3단계: 평가설계 선정

4단계: 평가도구 선택

5단계: 평가자료 수집

6단계: 평가결과 분석

7단계: 평가 결과 보고

8단계: 평가결과 활용

(11)

3. 프로그램 평가의 요소

• 체계적 접근에 따르면 프로그램은

1) 투입 (inputs)

2) 전환/활동/과정 (throughputs, activities, process) 3) 산출(outputs)

4) 성과(outcomes)로 구성

(12)

3. 프로그램 평가의 요소 -투입

1) 투입(Inputs)

이용자나 서비스 자원과 관련된 변수

• 이용자

• 직원 /봉사자

• 물적 자원

• 시설

• 설비

 이를 위해 이용자 숫자, 프로그램 담당직원의 업무투여 시간, 자원봉사자의 총 봉사시간, 활용된 시설, 여러 가지 물품 및 장비, 프로그램에 관련된 법률, 규정 등의 자료를 수집할 수 있는 체계를 마련해 두어야 함

(13)

3. 프로그램 평가의 요소 -투입

서비스 단위(Unit of Services)란 ?

• 이용자 수(count) : 프로그램 혜택 혹은 서비스 이용자 수 예> 매월 신규상담 이용자 수

• 사건(Event) : 서비스 제공자와 이용자들의 구체적인 활동의 총 건수 예> 전화접촉, 케이스 관리, 심리검사, 집단 등

• 이용자의 지위의 변화(Status of change) : 프로그램 기간 중 이용자의 지위, 상태 의 총 변화 횟수

예> 취업신청 상태, 심사상태, 취업승락 상태, 완전취업상태 등

• 에피소드(Episode) : 공통된 초점 혹은 목표를 가진 일련의 활동의 종료(종료된 이 용자수)

예> 입양된 아동 수, 취업된 장애인 수

• 시간(Time) : 이용자가 소비한 시간(예, 치료시간 수), 서비스 제공자가 프로그램을 위해 사용한 시간 수(예, 상담시간)

투입/노력 평가를 하기 위해서는 서비스 통계의 조건들이 비교가 가능해야 한다.

따라서 노력의 양을 재는 평가는 서비스 단위를 제는 척도를 무엇으로 하느냐 가 주된 관심이 된다.

(14)

3. 프로그램 평가의 요소 -전환

2) 전환(Throughputs) – 활동(Activities)

서비스 전달과정을 나타내며, 목적달성을 위하여 투입되는 자원으로 프로그램을 진행시키는 것, 즉 “프로그램 기획에서 정의한 이용자와 그 문제에 적합한 서비스 종류, 서비스 사 용 및 개입방법 – 활동내용”을 의미함

– 전략

– 기술 치료유형 – 서비스 방법 등

– 예를 들어 직업재활에서 직업평가, 직업 전 훈련, 사회적응훈련, 부모교육 등 제반 활동을 의미함

(15)

3. 프로그램 평가의 요소-산출

3) 산출(Outputs) : 서비스 종료

프로그램 활동을 통한 직접적인 산물/양, 실적, 기대하는 결 과를 얻기 위한 최소한의 서비스 양을 의미

산출 그 자체로는 고유의 가치가 없음

• 상담 건수

• 서비스 참여자 수

• 취업 인원

• 서비스 제공시간

• 교육받은 학급 수 지도한 집단 수

• 제공된 교육자료 등

(16)

3. 프로그램 평가의 요소-성과

4) 결과/성과(outcomes): 변화내용과 관련된 변수

프로그램 실시 이후 참가자가 얻은 이익 참가자에게 나타난 변화 효과

(1) 초기성과

• 참가자의 지식 기술 태도의 변화 (2) 중간성과

• 초기성과에 따른 행동변화 (3) 궁극 최종 장기성과

• 성취하기를 기대하는 최종의 성과

• 참가자의 환경 및 지위의 중요한 변화

(17)

<그림 > 프로그램 평가요소 전체과정

(inputs)투 입

(Throughputs )전 환 산출/서비스종료

(outputs) 결과/변화 (Outcomes)

• 프로그램에 투 여되거나 소비 된 자원

-이용자-직원, 봉사자 -자금/예산 -시설-장비,소모품

• 프로그램에 작 용하는 기제들 -법,규정,규칙

• 임무수행을 위 해 프로그램에 서 투입으로 활동하는 것 -상담-직업훈련 -치료 및 교육 -보호-정보제공,의뢰 -기타 서비스 방

법들

• 프로그램 활동 의 직접적인 산물(량) -상담 수

-서비스참석인원 -취업인원

-서비스 시간 -분배된 교육자 -지도한 집단 수료의 양

• 프로그램 활동 과 활동 후 참 여자들이 얻은 이익(변화) -새로운 지식 -향상된 기술 -태도 및 가치의 -행동수정변화

-향상된 조건 -변화된 지위 등

(18)

THANK YOU!