4. 대안적 평가모형의 고찰

4. 대안적 평가모형의 고찰

대 안적 평가모형의 대두 원인

- 고전적 평가모형으로는 해결할 수 없는 평가문제 대두 - 평가 방법의 두드러진 발전

- 고전적 평가 모형에 대한 비판적 시각

1970년대 중반 이후

C ontents

의사결정 중심의 평가 모형 (CIPP모형, 불일치 평가 모형, CSE모형)

판단 중심의 평가 모형 (Stake의 안모평가 모형)

반론 중심의 평가 모형

전문성 중심의 평가 모형 (감식안 및 비평모형, 전문적 심의 모형)

참여 반응 중심의 평가 모형 (조명적 평가 모형, 수행과정평가모형,

반응적 평가모형, 자연주의적 평가모형)

의 사결정 중심의 평가 모형

- Stufflebeam의 CIPP 모형 - Provus의 불일치평가모형

- Alkin & CSE(UCLA)의 평가모형

1.1 Stufflebeam의 CIPP모형 (p.163~169)

- 평가란 의사결정자에게 필요한 적절한 정보를 기술(delineating), 획득 (obtaining), 제공(providing)하는 과정

- 평가를 위한 준거로써 절차방법적 적합성, 유용도, 비용효과 등을 활용

의도성 실제성

목적

1. Context Evaluation Recycling decision 4. Product Evaluation

수단

2. Input Evaluation Implementation decision 3. Process Evaluation

1.1 Stufflebeam의 CIPP모형

1. C ontext Evaluation(상황평가)

- 프로그램 목표를 결정하기 위한 정당한 근거 제공 목적. 가장 기본적인 평가형식

- 적절한 환경 규정, 바람직한 실제 환경 기술, 잠재 요구 기회 규정, 장애 진단 등 접근 방법 활용 - 체제 분석, 조사, 기록물 고찰, 청문 및 심의, 진단검사, 델파이 기법 등 활용

2. I nput Evaluation(투입평가)

- 프로젝트의 목적을 달성하기 위하여 어떻게 자원을 활용할 것인가를 결정하는데 필요한 정보를 제공하 기 위한 평가형식

- 행동의 적절성, 실천가능성, 경제성을 파악하기 위해 가용한 인적, 물적 자원, 해결전략, 절차방안을 기 술하고 분석하는데 중점

- 참고 문헌 탐색, 현지방문, 변론팀 기법, 사전탐색적 시행 등의 방법 활용

3. P rocess Evaluation(과정평가)

- 프로젝트 실천 단계에서 실천과정 및 절차방안 상의 결점 파악, 필요한 정보 제공, 절차적 사안과 활동 기록, 판단하는데 목적

- 효과적 통제를 위한 프로그램 설계, 절차를 개선하고 실천하는데 중점

4. P roduct Evaluation(산출평가)

- 프로젝트 종료 단계와 실시 도중에 산출 및 획득 결과를 측정하고 해석하기 위한 목적으로 이루어짐 - 산출 정보를 목표, 상황, 투입 및 과정에 관련된 정보와 관련시키는데 중점

1. 의사결정 중심의 평가 모형

1.1 Stufflebeam의 CIPP모형

적음 ^{변화의 정도 큼}

높음

정보의 이해도

낮음

변화추구

유토피아적 변화

균형유지

복구적 변화

정보의 폭과 변화 정도에 따른 의사결정 장면

증진주의

발전적 변화

혁신주의

혁신적 변화

1.1 Stufflebeam의 CIPP모형

평가기능과 평가형태 간의 관계

1. 의사결정 중심의 평가 모형

평가 형태

상황평가 투입평가 과정평가 산출평가

평가기능 의사결정 형성적-전진적 평가

책무성 총합적-소급적 평가

1.2 Provus의 불일치 평가모형 (p.170~177)

- 평가란 (1)프로그램 기준에 관하여 동의하고 (2) 프로그램 성취 결과와 기준 간의 불일치(discrepancy)를 파악하고 결정하며, (3) 그 불일치에 관한 정보를 프로그램 의 약점을 파악하는데 활용하는 과정이다.

- 기준(내용관련, 프로그램 개발 관련)과 성취수행 간의 차이를 팀 접근방식으로 비교 확인하는데 중점

- 불일치 발견 이후 단계별 질문-준거-정보-결정의 순환과정

단계 성취 기준

제1단계 프로그램 정의 및 설계 단계 (투입, 과정, 산출요소)

프로그램 기준의 설계 (포괄성, 내적 외적 일관성)

제2단계 프로그램 개설 설계된 투입 및 과정요소

제3단계 프로그램 중간 산출 결과 설계된 투입 및 과정요소 제4단계 프로그램 최종 산출 결과 설계된 산출요소

제5단계 프로그램 비용 비교 동일 산출의 타 프로그램 경비

질문-준거-정보-결정의 순환과정(QCID)

- 질문(Question): 불일치에 관한 질문

- 준거(Criterion): 프로그램 정의 및 준거 설정 - 정보(Information): 현장에서 본 관련 정보 수집 - 결정(Decision): 의사 결정

- 목적에 따른 질문 유형

- A형: 불일치 존재 이유 파악 - B형: 수정 행동 및 대안 강구 - C형: 최선의 대안 선택

A형 질문

Q- 왜 프로그램이 기준과 같이 개설되지 않았는가?

C- 프로그램 개설 절차 모형

I- 실제 개설 절차를 기술한 정보 수집

D- 절차상 문제가 어느 곳에 존재하는가를 결정 B형 질문

Q- 프로그램을 개설하기 위해서 무엇을 할 것인가?

C- 일반적인 성격의 개설 전략을 대안으로 삼는다 I- 대안적인 전략의 작동상의 제한점에 관한 정보 수집 D- 가능한 구체적인 전략을 결정한다.

C형 질문

Q- 어떤 전략이 최상의 것인가?

C- 의사결정권자의 가치상의 우선순위

I- 적용 가능한 전략들의 실제적인 가치결과 예측 D- 최상 가치 산출이 가능한 전략 선정

1. 의사결정 중심의 평가 모형

1.3 Alkin & CSE(UCLA)의 평가모형 (p.177~182)

1. 체제 사정 2. 프로그램 기획 3. 프로그램 실천 4. 프로그램 개선 5. 프로그램 인증

CIPP

 Context Evaluation

 Input Evaluation

 Process Evaluation

 Product Evaluation

- 체제사정

- 목표와 현 상태 간의 간격을 나타내는 학생, 지역사회 및 국가사회의 요구(needs)에 관련된 체제의 현 상태 에 관한 정보 제공. 불일치 파악

- 문제 선정의 의사결정에 관심

- 프로그램 기획 (투입평가)

- 파악된 요구를 충족 및 해결할 수 있는 교육 프로그램의 종류에 관한 정보 제공

- 요구를 해결하기 위한 수단 강구, 목표 달성가능성, 상대적 잠재성 예측. 내부평가와 외부평가 요함

- 프로그램 실천 (과정평가)

- 프로그램이 실제로 기획했던 바와 같이 실천되고 있는가, 프로그램 개선을 위한 의사결정

– 프로그램 실천 (진보평가)

– 평가자가 프로그램 진행 과정에 직접 개입 및 관여하여 프로그램 개선 역할을 함

– 즉각적으로 의사결정권자에게 정보를 제공하고 그에 입각한 변화를 조치하도록 작용함으로써 프로그램 에 대한 평가자의 개입이 이루어짐

- 프로그램 인증

- 프로그램 종료 후 산출 결과 파악하고 프로그램의 장점과 가치에 관한 정보를 의사결정권자에게 제공 - 잠재적 일반화 가능성 및 수정 등에 관한 결정을 내림

1. 의사결정 중심의 평가 모형

1.3 Alkin & CSE(UCLA)의 평가모형

1.4 의사결정 중심 평가모형의 특성 및 제한점

- 평가자 역할 감소

- 개념의 조작적 정의 문제

- 의사결정 방법에 관한 구체적 설명 부족 - 현실성 부족

특성

제한점

- 기존의 평가모형에 비하여 폭넓은 대상을 평가 - 프로그램의 여러 상황 및 국면에 대한 평가 가능 - 의사결정과 평가 간의 체제적 접근이 가능

- 계열적이고 일관성 있는 평가 가능

C ontents

의사결정 중심의 평가 모형 (CIPP모형, 불일치 평가 모형, CSE모형)

판단 중심의 평가 모형 (Stake의 안모평가 모형)

반론 중심의 평가 모형

전문성 중심의 평가 모형 (감식안 및 비평모형, 전문적 심의 모형)

참여 반응 중심의 평가 모형 (조명적 평가 모형, 수행과정평가모형,

반응적 평가모형, 자연주의적 평가모형)

• 평가는 평가 의뢰인 중심으로 이루어져야 한다. (Client-centered)

• 평가 대상 프로그램에 관련된 선행조건, 진행과정, 산출결과를 기술해야 하며,

• 의도한 결과 뿐만 아니라 부수적 효과나 우발적 결과에도 관심을 가져야 한다.

• 간혹 실험법이나 표준화 검사의 사용이 부적절할 경우가 있으므로 주관적이고 기술 묘사한 다양한 자료를 활용할 필요가 있다.

Stake의 Countenance Model(안모모형 ) (p.182~187)

형식적 평가 비형식적 평가

점검목록표 일상생활 관찰

체계적 방문 및 관찰 모호한 목표 중시

통제된 비교 직관적 규준

표준화 검사 주관적 판단

객관적 평가 결과 보고 평가의뢰자에게 민감하게 반응하는 평가(반응적 평가)

2. 판단 중심의 평가 모형

형식적 평가와 비형식적 평가

기술과 판단을 위한 자료행렬

합치도 분석: 각 요인 별로 논리적으로 탐색하여 정한 의도와 경험적으로 관찰된 결과가 일치하는 정도를 분석

연관성 분석: 의도와 실제 관찰을 구분하여 각 요인 간의 연관성을 점검

<김석우(2009), 교육평가의 이해, 학지사 p.61~p.63>

2. 판단 중심의 평가 모형

판단의 기준

기술 행렬에 입각한

기술적 자료 절대적 기준

상대적 기준

(유사집단, 규준집단) 판단

절대평가

상대평가

Stake의 안모평가모형의 특성 및 제한점

- 거시적인 관점에 입각하여 그 취급범위가 종합적이고 철저함 - 기술적 자료와 판단적 자료를 구분하고 그 관계를 중시

- 평가에서 판단의 역할을 강조 - 판단을 위한 기준형식을 구분

- 형성적 평가와 총괄적 평가에도 공통적으로 활용 가능 - 일반화 정도가 높다

특성

제한점

- 지나치게 이상적

- 기준과 판단의 구분이 모호함 - 우선순위를 정하기 힘듬

- 가치 갈등 문제의 안내가 부족

- 구체적인 설명 부족

C ontents

의사결정 중심의 평가 모형 (CIPP모형, 불일치 평가 모형, CSE모형)

판단 중심의 평가 모형 (Stake의 안모평가 모형)

반론 중심의 평가 모형

전문성 중심의 평가 모형 (감식안 및 비평모형, 전문적 심의 모형)

참여 반응 중심의 평가 모형 (조명적 평가 모형, 수행과정평가모형,

반응적 평가모형, 자연주의적 평가모형)

법정의 사법적 심리 절차, 의회의 청문회, 구조화한 논쟁 방법 등을 통합 활용 법률적 심의과정을 중시한 구조를 바탕으로 구성됨

긍정적 입장 (Advocate)

부정적 입장

(Adversary)

(1) 문제 생성 단계

광범위한 문제들을 파악하고 개발하는 활동 관련 인사들과의 면접

(2) 문제 선정 단계

파악된 문제들 중 청문단계에서 다룰 만 한 문제 선정 중요도와 적절성을 기준으로 점검 수정

(3) 논쟁 준비 단계

찬성 및 반대 입장을 담당한 평가 팀의 근거 자료 수집 프로그램 참여자의 증언 청취, 관련자의 견해 수집 등

(4) 청문 심리 단계

예비 단계: 청문 담당관과 청문-심리절차 및 원칙, 논쟁 문제 합의 증인 숫자, 반대심문의 범위, 근거 허용 준거 합의

본 단계: 찬-반 양측의 입장에서 논의, 대질 질문, 배심원의 심의 활동

3. 반론 중심 평가 모형

절차 및 단계

특성 및 제한점

(1) 정보의 광범위함 (2) 양질의 근거

(3) 무의식적 편견의 감소 (4) Yes man 증후군의 감소 (5) 잠재된 가정의 표출

특성

제한점

(1) 변론인 기교상의 불균등 (2) 중재인의 실수 가능성

(3) 평가 모형에 대한 과도한 신뢰

(4) 변론에 의해 해결이 가능하도록 평가문제를 구성하는 애로

(5) 과도한 비용

C ontents

의사결정 중심의 평가 모형 (CIPP모형, 불일치 평가 모형, CSE모형)

판단 중심의 평가 모형 (Stake의 안모평가 모형)

반론 중심의 평가 모형

전문성 중심의 평가 모형 (감식안 및 비평모형, 전문적 심의 모형)

참여 반응 중심의 평가 모형 (조명적 평가 모형, 수행과정평가모형,

반응적 평가모형, 자연주의적 평가모형)

• 교육기관, 교육프로그램, 교육활동 등을 평가하기 위하여 오래 전부터 활용되었으나 20세기 후반에 이르러서는 체계성, 객관성, 공정성 등에 대한 논란

• Accreditation Model에 근간

• 전문 분야의 작품이나 예술 등과 같이 전문성에 입각한 감정 및 판단을 활용하기에 적합한 분야를 중심으로 활용도가 높아짐

• 예) 연극, 문학작품, 예술작품 등에 관한 평정, 대학 신입생 선발 판정, 교육과정에 대

한 전문가적 판단, 환자에 대한 전문의의 진단, 연구 계획서 및 보고서에 대한 연구

교수의 심의

첫째, 행동주의 심리학에 기초한 목표 중심 모형과 의사 결정 모형은 교육 현상을 둘러 싸고 있는 맥락과 질적 특성을 무시한 채 교육현상을 원자론적 사고에 의해 계량화 하 는데 초점을 두고 있기 때문에 내면적인 생각, 영상, 감정을 표현하기에 부적합

둘째, 공학적 입장에서는 미래지향적 성취에 중점을 두기에 현재 진행 과정의 중요성을 간과하며 내재적 동기 유발보다 외재적 보상만을 중시하게 됨

셋째, 지식의 질적인 측면인 암시, 은유, 유추, 통찰 등을 무시하게 됨

넷째, 학교 현장의 표준화 검사는 교수-학습의 개별화를 사정하지 못하고 모든 개인을 균등하게 취급하며 생산적인 개인적 특성을 간과하여 비교육적 결과 초래

4.1 감식안 및 비평 모형(Connoisseurship & Criticism Model)

Eisner의 과학적 패러다임에 대한 비판

교육평가이론은 처방적인 것이라기보다는 진단적이어야 하며 현상

의 질적 속성을 잘 관찰하고 이해할 수 있도록 사고력 및 통찰력을

함양하는데 기여 해야 한다.

교육적 감식안

관찰 대상의 특징을 이해하고 그 사이 관계를 깨닫는 감상술로서 교육현상의 자질 평가.

교육(수업)의 의도, 학교의 구조, 교육과정, 교수법, 평가(시험) 등을 대상으로 함 비평

감식안이 포착한 사상이나 사물의 질을 드러내는 예술

은유(metaphor), 유추(analogy), 시사(suggestion), 암시(implication) 등을 이용 부정적인 평가 방식 뿐 아니라 평가 대상의 질과 특성을 감지하는 교육 과정 관찰 대상에 대한 기술, 해석, 평가 활동이 필요하다.

평가 절차 및 방법으로써의 감식안과 비평

기술적 측면(자료 수집): 교육현상을 사실 그대로 묘사하고 표현함

해석적 측면: 기술적 내용을 바탕으로 사회적 환경 속에서 수행된 다양한 형태의 행동이 지닌 의미와 중요성을 이해하고 그 가치를 인정하는 활동

평가적 측면: 교육적 준거에 입각하여 관찰 해석한 현상에 대하여 감식 및 감정하는 단계.

교육적 가치를 발견 및 판단하는 데 중점.

비평의 세가지 측면

구조적 확증(structural corroboration)

현상에 관한 결론을 그 현상의 맥락에 적합한 조건과 사실들을 이용하여 확인 및 검증 하는 방법

다양한 관점에서의 근거 확인을 통하여 확증(배가적 확증) 참조적 적합성(referential adequacy)

비평가가 기술, 해석 및 가치 판단한 근거가 실증적으로 그 현장에서 발견되는가를 검증 함으로써 비평의 적합성을 확인하는 것.

4.1 감식안 및 비평 모형(Connoisseurship & Criticism Model)

교육적 비평 타당화 시도

전문적 심의방식의 비교

전담기구 명시적 기준 구체적 일정 예

공식적 심의 O O O 인정평가 제도

비공식적 심의 O △ △ 장학위원회

전담기구 심의

Ad hoc panel review X X X 특별전문위원회 전담개인 심의

Ad hoc individual Review

X X X

4. 전문성 중심의 평가 모형

특성 및 제한점

교육적 관찰에 대한 질적인 해석 시도

평가 과정에서 전문가의 판단과 인간적 지혜의 중요성 강조

특성

제한점 평가자의 전문성에 대한 지나친 의존

평가의 주관성의 문제를 초래할 수 있음

C ontents

의사결정 중심의 평가 모형 (CIPP모형, 불일치 평가 모형, CSE모형)

판단 중심의 평가 모형 (Stake의 안모평가 모형)

반론 중심의 평가 모형

전문성 중심의 평가 모형 (감식안 및 비평모형, 전문적 심의 모형)

참여 반응 중심의 평가 모형 (조명적 평가 모형, 수행과정평가모형,

반응적 평가모형, 자연주의적 평가모형)

1970년대 이후 두 갈래의 큰 흐름

첫째, 교육은 인간적 노력이며 인간의 조건은 복합적이라는 점을 인정하는 총체적 관점 둘째, 가치의 다원성이 인정, 수용, 보호되어야 함

5. 참여 반응적 평가 접근 (p.205~222)

참여 반응적 평가 접근의 영향 요인

• Cronbach의 숫자노름 비판

• Parlett & Hamilton의 농업적-식물학적 패러다임

• Stake의 묘사 중심의 평가 개념, 반응적 접근방법

• MacDonald의 총체적 접근방법으로서 평가

• Guba & Lincoln의 자연주의적 접근 방법 참여 반응적 평가 접근의 특성

• 귀납적 추론방식

• 평가자료의 다원성 인정

• 특정 계획에 구속 받지 않음

• 단일의 실재보다 복합적인 실재를 기록한다

.

- 조명적 평가모형 - 수행과정 평가모형 - 반응적 평가모형

- 자연주의적 평가모형

- 주특징

- 프로그램의 광범위한 맥락을 중시하고 그 역사적, 문화적, 사회적 영향을 고려함 - 세가지 단계

1. 관찰단계 2. 탐구단계 3. 설명단계

- 관찰, 인터뷰, 질문지와 검사, 기록물과 배경자원 등으로 자료 수집하며 이를 다각적 접근방법에 의하여 종합적 활용, 현실 기술, 설명 중시

- 전반적인 상호관련성 중시, 일종의 조정적 접근(coordinated approach) - 속성

- 반응적(responsive), 자연적(naturalistic), 발견적(heuristic), 해석적(interpretive)

5. 참여 반응적 평가 모형

5.1 조명적 평가(Illuminative evaluation)

- 주특징

- Transaction. 수행과정, 대처과정, 진행과정, 변화과정에 초점을 둠

- 기관의 강요와 구성원 개인의 요구간의 간극을 해소, 전환, 변화하는 측면 중시 - 평가 단계

1. 개시 단계

2. 도구 선정 및 개발 3. 프로그램 개발 4. 프로그램 모니터링 5. 재순환

- 여러 이익집단들 간의 갈등의 원인을 파헤치는데 중점 - 인간이라는 요소를 강조하고 중심으로 접근함.

- 갈등 관리의 측면에서 의사결정중심적 평가의 특성과 반론중심적 성격을 지닌 참여반 응 중심적 접근.

5.2 수행과정 평가모형

- 프로그램이 실시되는 현장에서 관련자들이 인식하고 있는 핵심문제에 반응 및 대응 - 반응적 평가의 목적, 틀, 초점 등은 사전에 결정되어 있는 것이 아니고 구성 요소와의

상호작용을 통해 파악, 등장하고 핵심문제에 진보적으로 초점을 맞춤.

- Here & Now process

5. 참여 반응적 평가 모형

5.3 반응적 평가모형

반응적 평가의 12단계

1단계: 평가 의뢰인, 프로그램, 평가 관련자와의 대화 2단계: 프로그램 범위의 확인

3단계: 프로그램 활동의 조망 4단계: 목적과 관심사의 확인 5단계: 문제의 개념화

6단계: 자료 요구의 확인

7단계: 관찰자, 판정자, 도구의 선정

8단계: 지정된 선행조건, 수행과정, 산물의 관찰 9단계: 사례연구, 사실묘사의 준비

10단계: 타당화, 확인, 반증 시도

11단계: 선별, 관련자가 쓸 수 있도록 구성 12단계: 자료 종합하고 보고서 제출

- 반응적 구성주의적 평가

- 평가핵심관련자(Stakeholders)의 주장-관심-쟁점(Claims, concerns, issues)의 확인, 소개, 정보수집, 해결책 강구 절차가 평가의 중심 과정

- 평가 수행 중 필요한 적합한 방법을 결정하여 융통성 있게 구성함.

5.4 제4세대 평가(자연주의적 평가)

제4세대 평가의 12단계

1단계: 평가의뢰인이나 후원자와의 평가 계약 체결 2단계: 평가 활동의 조직

3단계: 평가 핵심관련자 확인

4단계: 관련자 집단 내 협력체 구성

5단계: 새로운 자료와 추가 자료를 소개하여 협력체 해석 검증,수준 정교화를 위한 협력체 확대 6단계: 해결된 CCI와 미해결된 CCI의 선별

7단계: 미해결 CCI의 우선순위 결정

8단계: 미해결 CCI를 해결하기 위한 정보 수집 9단계: 협상안의 준비

10단계: 협상 실시

11단계: 사례 연구 방식을 통한 결과 보고 12단계: 재순환

1. 평가자의 주관적 관찰과 판단에 크게 의존하여 결과의 신뢰성에 문제 2. 체계적 평가가 아닌 기술적 연구 수준에 불과하다는 비판

3. 평가 수행상의 비효율성

4. 평가자의 편견과 오류 가능성 5. 일반화 가능성이 적음

5. 참여 반응적 평가 모형의 공통적 제한점

제한점

THANK YOU