5장. 논리주도평가의 이해

5장. 논리주도평가의 이해

02 프로그램 논리의 구조적 이해

03 논리주도평가의 개관

04 논리주도평가의 전략

배경 및 현황

가. 논리주도평가의 등장 배경

 종래의 교육평가 : 방법이 주도하는 평가(method-driven evaluation)

 행동적 용어로 진술된 교육목표에 대한 측정 및 평가의 강조 ⇨ 목표중심평가모형이 큰 영향, 학교교육과정평가 논리로 정착

 행동목표중심의 교육과정과 목표달성중심 평가모형 의존도 높아짐 ⇨ 획일적인 평가활동을 유발, 교육평가에 대한 신뢰도와 유용도 저하

 평가의 타당성 및 적절성 저하 비판

신뢰성 , 객관성 위주의

타당성, 유용성

중시

가. 논리주도평가의 등장 배경

 논리를 중시한 평가의 필요성 대두

 맞춤형 평가를 기하기 위해 프로그램에 내재되어 작동하는 프로그램 논리를 중시해야 함 = 논리가 주도하는 평가, 논리주도평가

 Rossi&Freeman(1981,1985)

- 프로그램의 개념화, 설계, 실천 및 결과 활용도 등을 종합적으로 고려 +프로그램에 적합한 평가 방법을 맞춤식으로 선정

 Chen이 제시한 프로그램에 맞춘 평가방법과 유사

 평가논리 구축하려는 노력 점차 증가

 2000년 이후 논리주도평가적 접근방법이 하나의 평가 모형으로 인정

나. 논리주도평가의 특성

 논리주도평가의 특성(Donaldson,2003)

- 프로그램을 시행 또는 실천하기 전에 생각하게 함

- 프로그램 관련 내용 영역에 관하여 마스터하도록 요구

- 평가적 질문을 구성하고, 질문 중요도나 비중을 정하도록 요구

- 질문에 대한 답변을 하는데 필요한 내용 및 본질에 관하여 이해하도록 요구

 논리주도평가의 주요기능

실천가능한 것 자율능력 함양 포괄적인 것

나. 논리주도평가의 특성

 논리주도평가의 이점

- 보다 효과적인 프로그램의 개발에 필요한 도구적 유용성

- 개인들이 취급하고 있는 프로그램과 당면한 문제에 대하여 생각하는 방법 을 재구성해 주는 개념상의 유용성

- 보다 긍정적인 결과를 산출하는 인과적 과정들이 보다 잘 이해될 때의 일반화 가능성

- 적절한 연구대상 변인을 결정하는 방법론적 유용성

나. 논리주도평가의 특성

 Sidani&Barden(1998) 의 논리주도평가의 장점 - 중재(조정)의 설계, 개발, 실행을 안내해 준다.

- 효과 연구의 설계를 안내해주는 동시에 성과 측정을 위한 참여자, 변인, 시점 등을 선정하는데 필요한 정보를 제공해 준다.

- 연구 대상인 변인들을 명료하고 구체적으로 정의해주며, 변인들 간의 관계 를 묘사해주며 통계적 분석방법을 지시해 준다.

- 결과 해석을 안내해주는 동시에 결론의 타당도를 증진시켜 준다.

- 연구결과의 임상적 적절성과 적용가능성을 제고시켜 준다.

나. 논리주도평가의 특성

 논리주도 평가에 대한 오해

① 프로그램 논리를 사회과학이론으로 생각하는 오해

② 논리중심 프로그램 평가를 logic modeling과 동일시하는 오류

③ 논리 중심 프로그램 평가는 간단한 black-box 평가나 결과평가를 제외한 다는생각

④ 부수효과를 경시한다는 생각

⑤ 프로그램 논리에 대한 일치된 견해가 없어 문제라는 생각

⑥ 많은 경비와 시간이 소요된다는 생각

다. 프로그램논리에 관한 이해

논리주도평가 - 논리가 주도하고 이끄는 평가

- 논리에 입각하여 설계하고 추진하는 평가

1)프로그램 논리의 개념

① Conrad&Miller(1987) : 프로그램 논리를 프로그램이 추구하는 철학이라 는 의미로서 프로그램의 구성, 과정, 산출을 규정하는 신념, 가치, 목적들 을 체계화한 것

② Scheirer(1987) : 인간관계를 명료화하는 동시에 프로그램 처치를 정당화 하는 일련의 관계

③ Wholey(1987) : 프로그램의 자원, 활동, 의도하는 성과를 파악하고 프로

다. 프로그램논리에 관한 이해

1)프로그램 논리의 개념

④ Smith(1989) : 프로그램활동과 성과를 연결하는 인과적 연결고리이며 수 단과 목적간의 위계인 동시에 프로그램 안에서 성과가 발생하도록 유도하 는 총체적 노력의 표현

⑤ Patton(1997) : 프로그램 작동 원리인 인과관계의 고리를 개념화 하는데 초점을 둔 수단과 목적간의 위계

⑥ Weiss(1998) : 프로그램을 실천하는 일과 관심을 두고 있는 성과의 출현 간을 중재하는 메커니즘

⑦ Rogers(2000) : 프로그램 모형은 프로그램활동, 의도한성과, 프로그램활 동이 의도한 성과를 유발하는 기제 그리고 메커니즘이 작동하는 맥락 등 의 네 가지 요소로 구성된 것

다. 프로그램논리에 관한 이해

1)프로그램 논리의 개념

⑧ Funnell(2000) : 의도하는 결과, 성공 기준, 성공에 영향을 미치는 요인, 프 로그램의 활동과 자원, 수행 정보, 자료의 출처들 간의 관련성을 밝혀냄으 로써 프로그램의 구성과 그 작용 맥락을 파악할 수 있도록 함

⑨ Rossi, Freeman&Lipsey(2004) : 프로그램에 내재된 논리와 계획이 그 목 표를 달성하도록 작동하는 프로그램 논리라고 할 수 있음

⑩ Frechtling(2007) : 교육프로그램에 내재된 중재로 인하여 예상되는 목표 달성을 중심으로 한 변화를 인과적으로 연결고리로 표현한 일종의 변화의 논리

다. 프로그램논리에 관한 이해

1)프로그램 논리의 개념

⑧ Funnell(2000) : 의도하는 결과, 성공 기준, 성공에 영향을 미치는 요인, 프 로그램의 활동과 자원, 수행 정보, 자료의 출처들 간의 관련성을 밝혀냄으 로써 프로그램의 구성과 그 작용 맥락을 파악할 수 있도록 함

⑨ Rossi, Freeman&Lipsey(2004) : 프로그램에 내재된 논리와 계획이 그 목 표를 달성하도록 작동하는 프로그램 논리라고 할 수 있음

⑩ Frechtling(2007) : 교육프로그램에 내재된 중재로 인하여 예상되는 목표 달성을 중심으로 한 변화를 인과적으로 연결고리로 표현한 일종의 변화의 논리

공통점 : 추구하는 목표, 성과, 프로그램의 구성요소와 그 운영, 프로그램에 내재된 논리와 계획에 따른 메커니즘의 작동, 인과

라. 프로그램 논리의 주요 기능

 프로그램논리를 파악하고 탐색하여 그에 따라 평가를 설계하고 추진하기 때문에 ‘논리가 주도하는 평가’라고 칭함

 프로그램 논리의 기능(Bickman) - 사회과학적 지식 탐구에 기여

- 프로그램 관련 정책 입안자들의 이해를 도모 - 프로그램의 실패와 이론의 실패 구분 가능 - 해결할 문제와 표적 대상집단 확인 가능 - 프로그램 실천 과정을 상세하게 안내

- 프로그램의 부수효과 파악 - 프로그램의 중재 변인 파악 - 평가의 형성적 활용 증진 - 측정상의 문제 명료화

- 프로그램평가에 관한 합의점 형성

구조적 이해

가. 주요프로그램 논리체계

 Rossi

- 프로그램 논리에 따라 설계된 평가를 보다 종합적이고 적절한 논리로 실천하기 위해서는 다양한 선택적 노력이 필요

- 다양한 이론을 적절하게 선택하여 적용하는 것이 바람직 1)Chen의 프로그램 논리 체계

- 프로그램 이론에 따라 추진된 평가라는 논리에 입각 - 규범적 이론과 인과론적 이론으로 분류

- 15년 후, 프로그램 논리에는 명시적 가정과 암시적 가정이 배합되어 있으므로, 기술적 속성과 처방적 속성을 동시에 가지면서 행위 중심

이어야 한다고 주장

가. 주요프로그램 논리체계

2)Rossi, Freeman, & Lipsey의 프로그램 논리 체계

- 정의 : 프로그램의 목표를 달성하기 위하여 적용하고 있는 전략과 전 술, 그리고 목표 달성으로 발생하는 효과와 관련된 일련의 가정

- 프로그램에 내재된 논리와 계획이 목표를 달성하도록 작동 - 과정논리와 영향논리로 구성

- 적절한 평가를 구체적으로 설계하기 위해서는 프로그램 논리를 도출 하고 표현하는 일과 그에 관하여 사정하는 일이 필요

- 구조적 특성을 위해 일곱 가지 구성요소 제시

가. 주요프로그램 논리체계

3)Rogers의 프로그램 논리 체계

- 프로그램 모형을 프로그램 논리라는 의미로 활용

- 프로그램 모형 : 프로그램 활동, 의도한 성과, 프로그램활동이 의도한 성과를 유발하는 기제 그리고 메커니즘이 작동하는 맥락으로 구성 - 세 가지 목적으로 활용 제안

① 프로그램 모형의 타당성을 구축하고 검증하는데 초점을 둔다.

② 프로그램 개선 목적의 형성적 평가를 지향한다.

③ 프로그램에 관한 모니터링과 수행 측정에 관한 요구 증대에 부응하도 록 지원한다.

03 논리주도평가의 개관

 프로그램평가 설계의 타당성 및 적절성 제고를 위해 프로그램논리의 이해, 파악, 기술, 구성 등을 중심으로 접근

 프로그램 논리의 파악 및 확인활동 = 평가가능성을 사정, 평가의 설계 자체의 타당성을 사정

 평가 설계 및 준비단계의 참고사항

① 종합적인 평가 지향

② 맞춤형 평가 지향

③ 논리주도평가 지향

 Pancer & Westhues(1989) 프로그램 개발 단계와 평가 관계

프로그램 단계 추구할 질문 평가 기능

1) 사회적 문제와 요구의 사정 - 지역사회의 요구와 기준이 어느 정도 부합하는가? - 요구의 사정, 프로그램 설명

2) 목적의 결정 - 그 요구와 기준을 충족시키

기 위하여 무엇을 해야 하는가? - 요구의 사정; 서비스 요구 파 악

3) 대안적 프로그램의 설계 - 바람직한 변화를 위하여 어떤

서비스를 활용할 것인가? - 프로그램 논리의 평가 4) 대안의 선정 - 어떤 프로그램이 최선인가? - 실천가능성 연구; 형성적 평

가 5) 프로그램의 시행 - 프로그램을 어떻게 작동시킬

것인가? - 실천의 평가

6) 프로그램 작동 - 프로그램이 계획대로 작동되

었는가? - 과정평가; 프로그램 모니터링

7) 프로그램 성과 - 프로그램이 바람직한 효과를

거두었는가? - 성과평가

 평가적 질문과 평가방법 관계

프로그램의 요구에 관한 질문

(어떤 프로그램이 왜 필요한가?) → 요구사정기법 프로그램 개념화 또는 설계에 관한 질문기법

(프로그램을 어떻게 설계해야 하는가?) → 프로그램 논리의 사정 프로그램의 작동과 실시에 관한 질문

(프로그램이 제대로 실천 운영되고 있는가?) → 과정평가 기법 프로그램 산출에 관한 질문

(프로그램의 효과-영향은 어떤 것인가?) → 영향평가기법 프로그램의 비용과 효율성에 관한 질문

(프로그램은 효과적으로 시행되었는가) → 효율성 사정기법

(비용-효과 분석법 등)

 평가위계 – Rossi, Lipsey, & freeman(2004) 1단계) 프로그램을 위한 요구의 사정

2단계) 프로그램의 설계 및 논리의 평가 3단계) 프로그램 과정과 시행에 관한 평가 4단계) 프로그램 성과와 영향에 관한 평가 5단계) 프로그램 비용과 효율성에 관한 평가

 논리주도평가절차와 교육과정평가상의 단계적 활동 관계

 Donaldson(2003)의 평가설계 1단계) 프로그램논리를 개발하기

2단계) 평가 질문 형성하기 및 그 우선순위 정하기 3단계) 평가 질문에 답변하기

미국 질병관리센터의 프로그램평가 구조 1단계) stakeholders를 평가에 참여시키기 2단계) 프로그램에 관하여 기술하기

3단계) 평가설계에 초점두기 4단계) 신뢰로운 근거 수집하기 5단계) 결론을 정당화하기

6단계) 활용 확인 및 학습결과 공유

04 논리주도평가의 전략

•개발촉진, 수행모니터링, 수행평가, 계몽적 평가 전략 요구

•평가가능성 사정, 성과 모니터링, 효율성 평가, 효과 평가, 논리주도 성과 평가 등의 평가적 접근

 Chen 의 논리주도 프로그램평가를 수단과 목적의 관계

가. 평가적 전략

•적절한 정보와 지원을 제공하는데 중점

•배경정보의 제공, 개발촉진, 분쟁조정, 파트너십 개발

•평가적 접근 방법 : 요구사정, 형성적 연구, 개념화 촉진, 타당성 검 증하기 등

프로그램 설계 단계

•출처와 시행문제에 관한 정보 제공에 중점

•분쟁조정, 파트너십 개발 등의 전략 활용

•형성적 평가, 프로그램 심의/미팅 주최, 양방향 권한부여 평가 등의 평가적 기법 적용

초기 시행 단계

•분쟁조정, 개발촉진, 수행평가, 수행모니터링, 계몽적 사정 등의 전 략 사용

•형성적 평가, 프로그램 심의/미팅 주최, 개념화 촉진, 개념 지도화, 충실성평가, 과정 모니터링, 논리주도 과정 평가 등의 평가적 접근

본격적 시행 단계

성과 단계

 Chen 의 네가지 전략

- 전반적인 평가활동 및 절차와 관련하여 평가목적을 효과적으로 달성하기 위 한 전략

가. 평가적 전략

사정(평가)

전략 개발전략 계몽전략 파트너십

전략

 Chen 의 네가지 전략

- 전반적인 평가활동 및 절차와 관련하여 평가목적을 효과적으로 달성하기 위 한 전략

가. 평가적 전략

성과 단계 사정(평가)

전략

-프로그램의 장점이나 수행에 관한 정보를 제공할 수 있는 전략

-수행평가전략과 수행모니터링 전략이 주로 사용

 Chen 의 네가지 전략

- 전반적인 평가활동 및 절차와 관련하여 평가목적을 효과적으로 달성하기 위 한 전략

가. 평가적 전략

-평가이해관련자로 하여금 프로그램을 개발하거나 계 획하도록 돕기 위하여 비교적 신속하게 평가적 자료를 제공하는 것

-배경정보제공 전략, 분쟁조정 전략, 개발촉진 전략 등 이 포함되어 활용

개발전략

 Chen 의 네가지 전략

- 전반적인 평가활동 및 절차와 관련하여 평가목적을 효과적으로 달성하기 위 한 전략

가. 평가적 전략

성과 단계 사정(평가)

전략

-프로그램의 개선과 관련 책무를 완성하는데 중점 -프로그램의 과정과 성과에 관한 논리주도평가를 적용 하도록 권장하는 전략

계몽전략

 Chen 의 네가지 전략

- 전반적인 평가활동 및 절차와 관련하여 평가목적을 효과적으로 달성하기 위 한 전략

가. 평가적 전략

사정(평가) 전략

-프로그램을 개발, 실천하는 과정에 걸쳐 평가자와 이해관련자간의 동료의식 함양을 위해 노력

-양방향 권한부여접근이 권장

계몽전략 파트너십전략

 프로그램 평가 관련 실용적인 분류체계 활용하는 단계 활동(Chen) - 평가자는 각 단계별로 필요한 선택과 결정을 내려야 하므로 여러 여건과 환경을 종합적으로 고

려하여 상호연관된 견해에 기초하여 지혜로운 판단을 내려야 함

나. 평가 전개 활동

성과 단계

이해관계자의 요구, 프로그램의 상황을 파악하여 적절한 전략과 평가적 접근방법 선정

내용

관심있는 프로그램 단계를 확인하기

내용

내용

이해관계자의 목적에 맞춘 평가 전략 선택을 위해 그들의 입장에서 프로그램 관련 문제 파악, 자료 수집, 문제해결을 위한 전략 선정

평가 전략 선택하기

평가적 기법, 접근방법 선정

수용 가능한 형평성을 지닌 평가접근과 연구방법 선택하기

최종 결정된 전략과 방법 설명, 의사소통

이해관계자에게 평가전략을 선정한 사실에 관하여

 Rossi et al(2004)

다. 프로그램논리의 분석

내용

내용

내용

프로그램과 프로그램 참여자 간의 상호작용에 중점 서비스 활용계획과 프로그램 조직상 계획이 포함

프로그램과 참여자 간의 서비스 상호작용이 작동하는 과 정절차를 중시

과정논리

상호작용을 통하여 프로그램이 목표하는 바가 달성되어 성과로 나타나는데, 성과가 영향논리로 표현 됨

영향논리

 행위모형과 변화모형

다. 프로그램논리의 분석

성과 단계

내용

내용

내용

프로그램을 계획한 바와 같이 시행하는 활동을 중심으로 하는 모형

행위모형

프로그램의 목표를 중심으로 기대하는 바를 달성하는 인 과적 과정을 중시하는 모형

변화모형

- Chen은 프로그램의 성과를 중심으로 평가하는데 주된 관심

- 프로그램 성과를 interventions와 determinants의 작용 결과로 가정

- 프로그램 논리는 처치와 성과간의 관계를 설명하는 행위모형과 변화모형 으로 구성된다고 봄