가 . 프로그램명 :
직업교육훈련가를 위한 평가훈련프로그램나 . 프로그램 목적
1) 교육훈련평가시스템의 이해와 교육훈련목표 달성도 측정을 위한 평가 도구 개 발 기법을 습득하고 교육평가의 전문가를 양성한다.
2) 다양한 교육훈련 평가의 이론 및 평가도구 개발 기법을 설명한다.
3 ) 단계별 평가도구 개발 사례 분석 및 참여 학습을 유도한다.
4 ) 직업교육훈련의 효과성과 효율화를 위해 평가를 기획할 수 있는 능력을 배양 시킨다.
5 ) 직업교육훈련의 평가 방법과 평가에 필요한 정보를 수집하고 분석하는 방법 을 습득한다.
6 ) 분석된 결과를 해석해서 의사결정을 위해 피드백 하거나 보고하는 방법을 안 다.
다 . 연수기간 :
2주일 (1일 3시간, 월～금)라 . 연수 내용
1 ) 연수 체제
단계 1 단계 2 단계 3
시작 이론적 배경 〉 평가기준과
모형 〉 도구제작 및
개발
단계 4
기획과 운영 설계 〈
∨
단계 5 단계 6 단계 7
기준설정 〉 정보수집 〉 정보분석
단계 8
기록과 보고 〈
∨ 단계 9
사례발표 종료
[그림Ⅳ- 1] 연수 체계도
2 ) 주제별 내용 및 개요 가 ) 대분류
Ⅰ
Ⅳ
Ⅴ Ⅱ/ Ⅲ
[그림Ⅳ- 2] 평가의 대분류
① 평가조사
무엇을 평가할 것인가 왜 평가해야 하는가
누가 참여하고 누구에게 보호할 것인가 제한점은 무엇인가
② 평가질문지 개요
수집할 정보와 관련하여 대답해야할 질문 조사되어야 할 평가목적 측면
평가목적에 대한 더 구체적인 정의 - 평가조사
- 평가질문지 개관
③ 정보수집계획
수집해야할 정보 종류 정보수집 방법
대답할 수 있는 정보의 종류
④ 분석 및 해석계획
수집된 정보를 분석하는 방법 수집, 코딩, 저장방법
분석기법
해석을 위해 사용할 준거
⑤ 보고 계획 보고내용
누구에게 보고할 것인가 어떻게 보고할 것인가 언제 보고할 것인가
나 ) 세목차 및 내용
세목차 내 용
1. 평가의 이론적 배경 ・평가의 정의 - 평가와 평가과정 - 평가
- 평가의 목적
・평가에 대한 신화
・평가를 개선하기 위한 방안
- 평가는 충분한 지적 기초가 필요함 - 평가는 다시 평가되어야 함
- 평가자들은 평가의 정치적 특성을 이해해야 함
- 평가자는 평가방법과 기법의 선정에 보다 넓은 시각을 지 니고 있어야 함
2. 평가의 기준과 모형 ・평가의 기준과 모형
- 평가를 위한 전문적 기준과 윤리 - 평가 기준
- 평가기준의 채택
・평가모형
- 평가방법에 의한 분류
- 평가의 역할과 목적에 의한 분류
・평가모형
- Kirkpatrick 접근법 - Bell Sys t em 접근법 - CIRO 접근법 - IBM 접근법 - XEROX 접근법 - CIPP 모형
< 계속>
세목차 내 용
3. 평가도구제작 및 개발 ・반응평가 - 반응평가 내용 - 평가문항의 예
・학습평가
- 학습평가의 기초 - 평가의 구조화
・수행평가 - 태도평가 - 업적평가 - 직무평가
・비용- 효과분석
- 교육프로그램 비용결정 - 비용추정
- 교육훈련에 대한 회수 추정 4. 기획과 운영 ・요구사정을 행하는 방법
- 잠재적 목표 확인 - 가장 중요한 목표 결정
- 현재 이용 가능한 서비스의 특성과 유형 사정 - 정보수집
- 최종 목표 선택
・평가를 운영하는 방법 - 시간계획짜기
- 임직원을 배정하고 활동을 조정하는 방법 - 예산편성 방법
・프로그램의 효과를 입증할 방법 - 효과는 있었는가
- 그 효과는 통계적으로 유의미한가 - 그 효과는 프로그램 적으로 유의미한가?
- 관찰된 효과가 중재로부터 나왔다는 것은 얼마나 적절한가?
- 증거는 믿을 만하고 해석적일 것인가?
・평가계획법 5. 기준설정 ・기준설정
- 전문가들 - 과거의 수행 - 비교 - 규준집단
- 평가자의 프로그램 기술
< 계속>
세목차 내 용
・수행에 대한 최소의 능력수준 설정 방법 - Nedelsky의 모형
- Ebel의 모형 6. 평가 설계와 표집 선택 ・평가 설계 선택법
- 사례 설계 - 시계열 - 비교집단 설계
・표집
- 단순무선표집
- 층화된 무선 군집 표집 - 단순 무선 군집 표집 - 쌍으로 선택한 군집 표집 - 단순 무선 문항 표집
- 단순 무선 문항 : 피검자 표집 - 다중 행렬 표집
7. 정보수립 ・평가 정보 수집방법 - 서슬형 자기보고 측정 - 관찰
- 면접 - 수행검사 - 기록조사
- 능력과 지식에 대한 서면 검사
・평가도구를 타당화하기 위한 방법 - 신뢰도 계산법
- 타당도 계산법
・현장에서 정확한 자료를 수집하는 방법 - 정보 수집자 고용 방법
- 정보 수집가를 훈련하는 방법 - 정보수집 시작
- 평가정보를 분석하기 위해 조직화하는 방법
・성취검사 설계 방법 - 주제(내용) 확인 - 학습결과 (과정) 확인 - 내용/ 과정 행렬 준비 - 문항 유형 선택
< 계속>
세목차 내 용
・선다형 문항
・질문지 사용법 - 질문지 설계 - 질문지 사용
- 응답률을 높이는 방법
・면접을 사용하는 방법
- 어떤 문제를 어떻게 물어야 하는가?
- 질문해야 할 사람과 답할 수 있는 사람 - 면접을 행하는 방법
・시뮬레이션 사용법
- 전화거는 사람을 위한 원고 쓰기 - 평가 형식 만들기
- 전화자 선발 및 훈련 - 전화하기
8. 정보 분석 ・태도 평가 방법
- 리커르트 척도(Likert Scale) - 의미 변별
- 강요된 선택 - 관찰
- 측정을 개발하는 방법 - 대안적 기법
・자료분석 기법을 선택하고 사용하는 법 - 기술통계
- 상관관계 - 회귀분석 - 예비검사 - 결과의 해석 - 권고사항
・아노바(ANOVA)를 사용하는 방법
- 가정을 만들고 진술하는데 어떤 비교룰 해야하는가를 결정 하라
- 가설을 검증하고 결과를 보고하라 - 분석
・만휘트니U 검사(Mann - Whitney U T est )를 사용하는 방법 - U 계산 방법
- U를 계산하기 위한 다른 방법 - 통계와 척도
< 계속>
세목차 내 용
・범주형 자료와 연속 자료를 어떻게 분석할 것인가 - 카이제곱(Chi- Squar e)
・유형분석을 사용하는 방법 - RZA : 가설적인 사례연구 - 용어와 표
- 부로 검정(T he Sign T est ) - RZA의 결과
9. 기록과 보고 ・도입
・설계와 표집에 대한 보고
・정보수집에 대한 보고
・정보분석
・평가결과
・운영보고 10. 평가의 실제
・실업자재취직훈련 평가
- 1998년 실업자재취직훈련 평가 - 1999년 직업능력개발사업 평가
・대학평가 - 대학종합평가 - 학과평가
・전문대학평가
- 1998년 전문대학 평가 - 1999년 전문대학 평가
・실업계고등학교 현장실습 평가 - 실업계고등학교 평가 - 현장실습평가
・평생교육기관 및 프로그램 평가 - 학점인정을 위한 사회교육기관 평가 - 평생교육기관 및 프로그램 평가
3 ) 현장견학 대상 (평가 결과 우수기관 및 과정 견학 )
구 분 기 관 명 비 고
실업자재취직훈련평가
・공공직업훈련기관
・인정직업훈련기관
・사업내직업훈련기관
대학평가 ・평가결과 우수기관
전문대학평가 ・평가결과 우수기관
평생교육기관 및 프로그램 평가 ・현장결과 우수기관 및 과정견학
4 ) 연수일정
구분
일자 내 용 비 고
1주
1일 개회식 및 오리엔테이션, 평가의 이론적 배경 2일 평가 기준과 모형
3일 도구 제작 및 개발 4일 기획 및 운영 설계 5일 기준설정
2주
6일 정보 수집 7일 정보 분석 8일 보고 9일 사례 발표 10일 현장 견학
* 매일 09:00～12:00 (10일간)
5 ) 연수 평가 가 ) 전문지식 조사
내용 조사실시
- 한명 이상의 내용 전문가 선택,
내용 및 과제와 관련된 지식과 경험을 지닌 전문가 선택, 목표 집단에 대한 이해를 지닌 전문가 선택
- 수업내용에 대한 조사 및 수정 요청 - 개정을 위한 투입요소 비교와 통합
수업전략에 대한 조사실시
- 한명이상의 교수전략 전문가 선택 - 참여자와의 대화
- 개정을 위한 투입 요소 비교와 통합
< 표> 수업평가
수업평가 (시험결과 요약 )
프로그램명 :
대 상 :
주 요 목 적 : 평가방법 :
- 일대일 형성평가 - 예비 형성평가 - 총괄평가
자료출처 : - 사전검사 - 사후검사 - 수행평가측정 - 학생태도조사 - 강사태도조사 - 교과전문가 평가
결과
목 표 검사문항 총 점 사전검사점수 사후검사점수
사전검사총점 : 사전검사평균 :
사후검사총점 : 사후검사평균 :
나 ) 일대일 형성평가
- 학습자 집단 중에서 3개의 서로 다른 능력집단 (상, 중, 하) 구분 - 최종산출물에 대한 대략적인 초안 작성
- 교재의 진행과정에 대한 질문
- 수정을 위한 투입요소의 비교와 통합 - 학습자의 논평에 근거한 교재 수정
평가 : 수정을 위한 요구 파악
프로그램명 : 강의목적 : 과제목표 :
목 표
・ 기준은 목표를 충족시켰는가
・ 검사문항은 개선을 필요로 하는가
・ 강의내용은 개선을 필요로 하는가
・ 강의계열성은 개선을 필요로 하는가
・ 강의전략은 개선을 필요로 하는가 - 프리젠테이션
- 실행 - 피드백
・ 매체선택과 활용은 개선을 필요로 하는가
・학습자는 강의 목적을 성취했는가
・어떤 정보나 활동은 제거될 수 있는가
・학생의 태도에 대한 조사결과는 개정을 필요로 하는가
・교사의 태도에 대한 조사결과는 개정을 필요로 하는가
・이 프로그램의 가장 큰 장점은 무엇인가
예 아니오
예 아니오
예 아니오
예 아니오
예 아니오
6 ) 자원 인사
해당기관 관련인사 (교/ 강사 )
교육부
산업교육정책과장 전문대학지원과장 평생교육정책과장
노동부 인적자원개발과장
자격지도과장
한국직업능력개발원
직업교육훈련평가실 담당 연구팀 노동시장분석실 연구진
자격제도실 연구진
한국교육과정평가원 교육평가실
한국대학교육협의회 대학교육협의회 평가 담당자
전문대학협의회 전문대학협의회 평가 담당자
전국직업전문학교협회 전국직업전문학교 지도 및 평가
한국산업인력공단 훈련기준실
훈련기획실
7 ) 향후 과제
가) 연수생을 평가자 자원으로서의 활용방안을 강구한다.
나) 실제로 평가를 실시하도록 프로그램을 편성한다.
다) 학습자 평가 방안을 마련한다.