디어 코스웨어 평가를 위한 적절한 평가 기준 및 평가 점검표를 고안한다.
3. 멀티미디어 코스웨어 평가 시행 절차 및 방법을 숙지하고 실제적으로 기존의 CD-ROM 타이틀 및 웹 페이지를 평가ㆍ분석한다.
■ 학습 내용
= 멀티미디어 코스웨어 평가 기준 및 평가점검표 개발 - 멀티미디어 코스웨어 평가 기준 및 요소
- 평가 점검표
= 멀티미디어 코스웨어 평가 시행 - 평가 도구
- 평가 절차 및 방법
03 | 멀티미디어 코스웨어 평가 기준 및 평가 점검표 개발
2. 멀티미디어 코스웨어 평가 기준 및 요소
● 멀티미디어 코스웨어 평가를 위한 표준화된 절대적인 평가 기준 혹은 지침은 없다.
코스웨어의 다양한 내용을 효율적으로 평가하기 위해서는 다음과 같이 심층적이고 구체적인 평가 요소가 포함된 기준이 제시되어야 한다.
- 코스웨어의 목적 및 목표
- 관리ㆍ행정적 측면: 프로그램 사용 환경, 유형, 제작 및 발행과 관련된 기본적인 사항 - 교육적 측면: 학습 목표 및 내용, 피드백, 상호작용 및 평가의 적절성 및 효과성에 대한
사항
- 기술적 측면: 화면 구성 및 디자인, 사용의 편이성, 프로그램의 안정성 등 - 실행 보조적 측면 및 윤리성
1) 목적 및 목표
멀티미디어 코스웨어의 완성본에 각 프로그램의 목적 및 목표가 명확히 기술되어야 한다.
- 완성된 제품의 겉면 혹은 초기 화면, 혹은 프로그램 사용 설명서에 교수ㆍ학습에 대한 궁극적인 목표 및 목적이 제시되어야 한다.
[그림 1] 중등 5 분 생활영어(이충현 2002)의 목적ㆍ목표 및 활용 방법
[그림 1-a] Learning Resources의 목적 및 목표
2) 관리ㆍ행정적 요소
사용자가 프로그램 제목, 저자, 사용 환경 및 프로그램 유형과 관련된 기본적인 정보와 발행처, 발행일 및 가격 등에 관한 정보를 쉽고 정확하게 얻을 수 있어야 한다.
또한 프로그램 실행 시 도움이 필요할 경우 개발사로부터 지원 가능성도 알아야 한다.
- 프로그램 사용 환경, 즉 중앙처리장치(CPU), 메모리, 운영체제(OS)와 비디오 및 사운드 카드 등에 관한 정보가 제공되어야 한다.
[그림 2] 중등 5 분 생활영어 CD-ROM(이충현 2002) 사용법
- 프로그램 유형, 즉 선다형, 진위형(true-false), 완성형(total deletion), 단답형(short answers), 빈칸 채우기(Gap-filling), 배열형(sequencing), 연결형(matching), 모의실험(simulation) 등 및 통합형 유형에 관한 정보가 제품에 명시되어야 한다.
* 이 정보는 CD-ROM 타이틀 겉면에 제시되거나 혹은 프로그램을 실행 시킨 후 내부적으로 제시될 수도 있다. 웹 사이트인 경우는 제작한 일시 및 저자 혹은 회사명이 초기화면 하단에 제시되어야 한다.
[그림 2-a] Learning Resources’ Instructor Page
3) 교육적 요소
멀티미디어 코스웨어의 학습목표, 학습내용, 피드백 및 평가를 중심으로 그 타당성 및 적절성을 평가한다.
(1) 학습목표
학습목표의 제시 유무, 학습자에 대한 학습목표의 적합성, 학습목표에 대한 학습내용의 적합성 및 학습매체의 적절성을 중심으로 보다 더 구체적으로 구분되어 평가한다.
(2) 학습내용
학습자에 대한 학습내용의 적합성, 학습내용에 대한 학습매체의 적절성, 학습내용 제시의 타당성, 학습내용 양의 적절성, 질의 타당성, 학습내용의 상호작용성 및 학습내용의 실제성 및 학습 내용의 참신성*을 평가한다.
[그림 3] 중등 5 분 생활영어 Week 5(이충현 2002)의 내용
(3) 피드백
피드백의 적절성, 피드백 형식의 적합성, 피드백 내용의 적절성 및 정확성과 피드백의 통제성을 평가한다.
(4) 평가
사전ㆍ사후 평가의 유무, 평가 문항 내용의 적합성, 평가 문항의 다양성 및 통제성과 평가 결과의 정확성 및 체계성에 대하여 평가한다.
[그림 3-a] Learning Resources의 내용
4) 기술적 요소
화면 구성, 색상, 소리, 그래픽 및 동영상, 사용의 용이성 및 안정성, 음성 인식, 웹과의 연결성을 중심으로 평가한다.
(1) 화면 구성
화면 구성의 통일성, 학습자에 대한 화면 구성의 적합성, 화면에 제시되는 학습 양의 적절성, 학습 진행 상황에 대하여 알아본다.
(2) 색상, 소리, 그래픽 및 동영상
색상, 소리, 그래픽, 동영상 등 사용된 매체의 적합성, 선명성, 효과성 및 통제성을 평가한다.
[그림 4] TeLL me More (Auralog, 2002) (3) 사용의 용이성 및 안정성
설치(접속)의 용이성, 화면 간 이동 및 종료의 자율성과 사용의 용이성 및 안정성을 평가한다.
(4) 음성인식 기술
음성인식 기술의 정확성, 교육적 효과성 및 음성인식 기술의 안정성을 평가한다.
(5) 웹과의 연결성
웹과의 연결성 및 안정성과 웹과의 연결의 교육적 효과성을 평가한다.
(6) 저작성
기존의 프로그램 내용에 대한 편집 및 추가할 수 있는가를 평가한다.
[그림 4-a] Kiz Club (http://www.kizclub.com)
5) 실행 보조적 요소
보조 자료의 적합성과 사용자 관리 및 편의성을 평가한다.
(1) 보조 자료의 적합성
보조 자료의 유무 및 보조 자료 사용의 용이성 및 유용성을 평가한다.
(2) 사용자 관리 및 편의성
학습자의 학습을 기록, 저장, 관리 및 프로그램 사용의 편의성을 제공해야 한다.
[그림 5] TeLL me More (Auralog, 2002)의 Lesson Report
6) 윤리성
프로그램의 윤리적 요소는 차별성, 편협성 및 폭력성으로 구분하여 평가한다.
3. 평가 점검표
● 제시한 평가 기준 및 요소를 바탕으로 현장교사는 물론 평가 전문가 혹은 프로그램 개발자들이 멀티미디어 코스웨어를 보다 용이하게 평가할 수 있도록 구체적이고 종합적인 멀티미디어 코스웨어 평가 점검표를 개발하였다(교재 74-80 쪽 참조,‘*’ 표시는 주로 웹 페이지 혹은 웹 자료의 평가를 위한 것이다).
● 이 평가 점검표의 특징은 다음과 같다.
- 형성평가(formative evaluation)와 정량적(quantitative) 평가로 각 요소 별 평가를 실시한다.
- 이를 토대로 상위 기준에 대한 종합 평가인 정성적(qualitative) 평가를 실시한다.
- 마지막으로 프로그램의 총체적 평가를 위한 최종 종합 평가를 실시한다.
● 평가자는 필요하다면 프로그램의 목적 및 목표, 특성 그리고 언어의 각 기능에 따라 제시된 평가 점검표를 융통성 있게 수정ㆍ보완하여 재편집하여 사용하여야 할 것이다.
04 | 멀티미디어 코스웨어 평가 시행
● 개발된 평가 기준 및 평가 점검표를 바탕으로 멀티미디어 코스웨어를 일관성 있고 객관적으로 평가하기 위해서 평가자는 전문가적인 식견 및 판단은 물론 많은 시간과 노력이 필요하다.
● 적절한 멀티미디어 코스웨어 선정 및 구입을 위한 평가 시행에 대하여 평가 도구, 평가 절차 및 평가 방법을 중심으로 평가자를 위한 실질적인 코스웨어 평가 시행 방법은 다음과 같다.
1. 평가 도구
● 멀티미디어 코스웨어 평가 도구
일반적으로 정량적 평가 점검표 및 평가 질문지, 혹은 서술식 점검표가 사용된다.
- 평가 점검표는 프로그램을 실행하면서 프로그램의 각 요소를 점검할 수 있기 때문에 프로그램의 질과 효율성을 구체적으로 평가할 수 있는 장점이 있다.
- 이는 평가자의 의견을 기술하는 서술식 점검표나 인터뷰보다 더 객관적이며 무엇보다도 통계 처리가 용이하다.
● 코스웨어가 학습에 적절한지를 평가하기 위해서 학습자의 평가도 중요하다.
- 코스웨어를 직접 사용할 학습자의 평가 및 반응을 알아보기 위하여 개발된 평가 점검표를 축소하여 학생용 평가 점검표 혹은 질문지 형식으로 재편집하여 사용한다.
[그림 6] 멀티미디어 코스웨어 평가 점검표의 예(이충현, 2005)
[그림 6-a] 학생용 멀티미디어 코스웨어 평가지의 예(이충현, 2005)
2. 평가 절차 및 방법
● 교육 목표, 교육 과정 및 교수요목에 적합한 최적의 코스웨어를 평가, 선정하여 구입하기까지의 평가 시행 절차는 다음 그림 7 과 같다.
[그림 7] 멀티미디어 코스웨어 평가 시행 절차
3. 요약: 멀티미디어 코스웨어 평가 점검표의 평가 요소 및 평가 방법
● 멀티미디어 코스웨어 평가 점검표의 평가 기준과 하위 요소 및 평가 방법의 내용을 요약하면 표 6 과 같다.
- 표 6 의 정량적 평가에서 부여된 점수는 절대적인 것이 아니다. 코스웨어의 목적 및 목표, 특성 등에 따라 평가자는 융통성 있게 점수를 재조정하여 사용할 수 있다.
● 평가 3 단계에서는 평가점검표를 중심으로 정량적 및 정성적 평가를 동시에 실시한다.
이 단계에서 추후 재고할 사항은 4 단계에서 보다 자세히 검토된 후 평가되어야 한다.
- 평가 3 단계와 4 단계는 상호 보완적으로 진행된다.
● 평가 4 단계까지의 평가자의 평가 결과를 바탕으로 프로그램의 선정이 결정된다.
평가 요소 하위 요소 정량적 평가 정성적 평가
1. 목적 - 5
- 각 요소 별 정성적 평가가 실시될 수 있도록 평가 점검표를 구성한다.
- 정성적 평가는 각 요소 별 정량적 평가를 바탕으로 실시된다.
2. 관리․ 행정적 요소 - 5
3. 교육적 요소
1) 학습목표 2) 학습내용 3) 피드백 4) 평가
8 20 12 10 50
4. 기술적 요소
1) 화면구성
2) 색상, 소리, 그래픽 및 동영상 3) 사용의 용이성 및 안정성 4) 음성인식
5) 웹과의 연결성 6) 저작성
5 5 6 6 4 4 30 5. 실행 보조적 요소 1) 보조 자료의 적합성
2) 사용자 관리 및 편의성 4 6 10
6. 윤리성 1) 차별성
2) 편협성
3) 폭력성 - 적합, 부적합 판정
7. 종합 평가 평가 요소 별 정량적, 정성적 평가를 실시한 후 그 결과를 바탕으로 프로그램에 대한 최종 평가를 실시한다.
● 이충현(2000)이 지적한 바와 같이 평가에서 가장 중요한 사항은 무엇보다도 평가의 객관성과 일관성을 유지하는 것이다.
- 그림 7 에 제시된 것처럼 평가 결과 산정이 끝난 후 평가 2 단계부터 다시 평가하도록 한다. 이러한 과정은 1 차 평가와는 달리 다소 빠른 속도로 진행될 수 있으며, 적어도 세 번 이상 반복 시행되어 평가의 객관성과 일관성을 최대한 유지하여야 하겠다.
- 평가 도구에서도 언급했듯이 해당 프로그램을 직접 사용하게 될 학습자들의 평가도 실시하는 것이 바람직하겠다.
05 | 정리
● 최근 각급 교육기관에서 멀티미디어 영어 교육을 위한 기자재 및 콘텐츠의 유효성에도 불구하고 멀티미디어를 수업현장에서 효율적으로 활용하지 못하는 이유 - 영어교과 내용과 학습 활동에 관련된 멀티미디어 코스웨어의 부재
- 현장 교사들이 지식 부재로 코스웨어를 적절하게 평가하고 선정하지 못함.
- 교사들에게 평가 및 선정의 중요성을 전달하지 못하고 상용 코스웨어 사용 및 직접 제작 시 지침이 되는 평가 기준 및 점검표를 제공하지 못한 전문가들의 책임
- 국내 평가 기관에서 코스웨어에 대한 적절한 평가 시행 방법과 평가 분석한 자료에 대한 정보를 제대로 제공하지 못한 점.
● 멀티미디어 코스웨어의 효율적인 평가, 선정 및 시행은 교사, 평가 전문가, 평가 기관 및 개발자 모두의 공동의 책임과 협력을 필요로 한다.
● 코스웨어 선정 방법
- 멀티미디어 코스웨어 선정 시 광고나 평가 전문가에 전적으로 의지하지 말고 활용하고자 하는 코스웨어를 직접 평가하여 선정하는 것이 바람직함.
- 구체적이고 체계적인 평가 기준 및 평가 점검표를 통하여 교육 목표, 교육 과정 및 학습 활동에 적합한 멀티미디어 코스웨어가 선정되어야 함.
● 멀티미디어 코스웨어 평가 기준 및 점검표
- 멀티미디어 코스웨어 평가 기준의 핵심 요소: 교육적, 제시적 및 기술적 측면
- 통합적이고 심층적인 평가 기준: 7가지 상위 평가 요소, 목적 및 목표, 관리ㆍ행정적 요소, 교육적 요소, 기술적 요소, 실행 보조적 요소, 윤리성 및 종합 평가, 및 구체적인 하위 평가 항목
- 각 항목에 대하여 양적 및 질적 평가를 할 수 있는 평가점검표 제시(이충현, 2000;
이충현, 윤미현, 2003)
● 멀티미디어 코스웨어 평가 시행 방법
- 코스웨어 평가는 처음부터 끝까지 일관성과 객관성을 유지해야 함.
- 3인-5인의 심사위원을 구성함.
- 체계적인 평가 기준, 점검표 및 평가 절차를 바탕으로 프로그램을 적어도 세 번 이상 반복적으로 평가함.
● 멀티미디어 코스웨어 평가 기준의 필요성
- 코스웨어 평가의 주 목적은 적절한 코스웨어 선정 및 구입 결정, 그리고 멀티미디어 자료 개발 시 지침 혹은 개발된 코스웨어의 향상을 위한 것(이충현, 2000).
● 멀티미디어 코스웨어 평가 기준 및 요소의 실제 - 코스웨어의 목적 및 목표
- 관리ㆍ행정적 측면: 프로그램 사용 환경, 유형, 제작 및 발행과 관련된 기본적인 사항
- 일반적으로 정량적 평가 점검표 및 평가 질문지, 혹은 서술식 점검표가 사용됨 - 학생용 평가 점검표 혹은 질문지
4 평가 절차 및 방법
- 평가 대상 멀티미디어 코스웨어 선정, 평각 위원단 구성, 평가 1 단계-4 단계, 평가 결과 산정 및 최종 판정
- 각 단계 마다 평가의 객관성과 일관성을 유지
● 멀티미디어 관련 기술은 급속도로 발전하기 때문에 코스웨어 평가 기준 및 평가 점검표도 이와 병행하여 지속적으로 연구ㆍ개발되어야 함.
● 현장 교사들에게 멀티미디어 코스웨어 평가에 관련된 올바른 지식과 경험의 습득을 위한 교사 교육 혹은 워크숍이 정기적으로 제공되어야 할 것임.
● 코스웨어 개발업체, 평가 전문 기관, 멀티미디어 외국어 교육 관련 기관 등에서는 현장 교사들이 코스웨어를 평가할 수 있는 시설 및 자료를 제공해 주어야 함.
- 현장교사들이 코스웨어 사전 평가를 위하여 개발업체들에게 프로그램을 요청할 경우 개발업체들은 완제품이나 모든 기능을 포함한 데모버전을 적극적으로 제공해야 함.
- 코스웨어 평가 전문기관에서는 평가된 결과를 현장교사들에게 도움이 되도록 데이터베이스를 구축하여 정보를 지속적으로 제공해야 할 것임.
학습 문제 및 토론
1. 가장 바람직한 멀티미디어 코스웨어 선정 방법은?
2. 멀티미디어 코스웨어 심층 평가 기준을 모두 기술하시오.
3. 멀티미디어 코스웨어 평가 시행 방법을 간단히 서술하시오.
4. 멀티미디어 코스웨어 평가의 주 목적은?
5. 멀티미디어 코스웨어 평가 기준에서 관리ㆍ행정적 측면의 하위 요소는?
6. 멀티미디어 코스웨어 평가 기준에서 교육적 측면의 하위 요소는?
7. 멀티미디어 코스웨어 평가 기준에서 기술적 측면의 하위 요소는?
8. 웹 자료 평가 기준의 교육적 및 기술적 측면에서 반드시 포함되어야 할 요소는?
9. 멀티미디어 코스웨어 평가 기준에서 실행 보조적 측면 및 윤리성의 하위 요소는?
- 윤리적 측면 혹은 윤리성은 반드시 평가 되어야 하는가?
10. 멀티미디어 코스웨어 평가 도구의 종류는 어떤 것이 있으며 가장 많이 사용하는 평가 도구는? 그 이유는?
11. 멀티미디어 코스웨어 평가 절차 및 방법을 간단히 서술하시오.
