5주차
멀티미디어 코스웨어 평가의 이론 및 실제
■ 학습 목표
1. 멀티미디어 코스웨어 혹은 콘텐츠 평가의 중요성 및 필요성을 인식한다.
2. 국내외적으로 실제 교육 현장에서의 멀티미디어 코스웨어 평가, 선정 및 구입 방법을 알아본다.
3. 기존의 멀티미디어 코스웨어 평가 기준, 평가 점검표 및 시행 방법을 고찰한다.
4. 멀티미디어 코스웨어 평가 기준 및 평가 점검표의 필요성을 인식한다.
■ 학습 내용
= 도입
- 성공적인 멀티미디어 영어 교육의 관건
- 기존의 코스웨어 평가 지침 및 평가 점검표의 문제점 - 멀티미디어 코스웨어 평가를 위하여 고려해야 할 사항
= 이론적 배경 - 코스웨어 선정 방법 - 평가 기준 및 평가 점검표 - 평가 시행 방법
=
멀티미디어 코스웨어 평가 기준 및 평가점검표 개발
- 멀티미디어 코스웨어 평가 기준 및 평가 점검표의 필요성
00 | 서론
● 성공적인 멀티미디어 영어 교육을 위한 세 가지 핵심 요소:
- 하드웨어, 소프트웨어(및 코스웨어)의 유효성 및 효율적인 교수 방법
- 교육부의 교육정보화 사업에 대한 투자의 결과로 하드웨어 및 시설 부족 문제는 어느 정도는 해결됨.
- 앞으로는 소프트웨어의 유효성 및 효율적인 교수 방법이 성공적인 멀티미디어 영어 교육의 관건임.
●
멀티미디어 코스웨어 혹은 콘텐츠 평가의 중요성 및 필요성- 멀티미디어 코스웨어의 적절한 평가 및 선정과 효율적인 교수 방법의 적용만이 영어 교육에서 정의적 측면인 동기 부여 및 흥미 유발 그리고 궁극적인 목표인 학습자의 학습 성취도를 향상시킬 수 있음.
- 우리 실정에 맞는 적절한 코스웨어의 선정을 위한 종합적인 평가 기준 및 평가 점검표에 관한 지속적인 수정, 보완 및 개발에 관한 연구가 필수 불가결함.
- 최근 교사들이 관심을 갖고 있는 멀티미디어 자료 저작에 관련하여 하나의 지침이 될 수 있기 때문에 더욱 중요함.
● 기존의 코스웨어 평가 지침 및 평가 점검표의 문제점
- 기존의 코스웨어 평가 지침 및 평가 점검표는 현재 하드웨어 및 소프트웨어 관련 기술의 비약적 발전에 비하여 현실에 맞지 않아 재검토가 필요한 실정임.
● 효율적인 멀티미디어 코스웨어 평가를 위하여 최우선적으로 고려해야 할 사항
- 국내외적으로 학교 현장에서 코스웨어 평가, 선정 및 구입은 적절하게 시행 되고 있는가?
- 기존의 관련 연구의 코스웨어 평가 기준 및 평가 점검표는 어떠한 것이 있으며, 현 실정에 적합한가?
- 효율적인 코스웨어 평가 기준 및 평가 점검표는 어떻게 구성되어야 하는가?
- 코스웨어 평가 기준을 바탕으로 한 효율적인 평가 시행 방법은 무엇인가?
01 | 이론적 배경
● 실제적으로 교사 혹은 전문 평가자가 외국어 교육 현장에서 직접 쉽게 사용할 수 있는 구체적인 평가 기준, 평가 점검표 및 시행 방법을 통합하여 제시한 연구가 미비함.
● 최근 몇 년 동안 하드웨어 및 소프트웨어 관련 기술의 비약적인 발전으로 기존의 소프트웨어 평가 기준, 지침 및 평가 점검표는 수정 및 보완이 필요함.
1. 코스웨어 선정 방법
● 국내외 외국어 교육용 멀티미디어 코스웨어 평가 및 선정 과정
4 Robb과 Susser (2000)의 교사 대상 연구 결과
- 데모 버전을 이용하여 주관적 평가 (81%), 광고를 이용한 코스웨어의 선정(66%), 평가 기준 및 점검표를 이용한 평가 및 선정(25%) 등.
4 (Lee, 2002)의 교사 대상 연구 결과
- 광고(45%), 데모버전 평가(25%), 동료교사 추천(21%), 평가 점검표 활용(8%) 및 기타(1%)
- 적절한 코스웨어 선정 및 구입에 대한 사전 평가를 위하여 개발사로부터 코스웨어의 임대 및 기증 받는 것은 불가능하였음.
- 코스웨어 평가에 관련된 지식과 경험의 부족으로 데모 버전이 있어도 기존의 평가 기준 및 점검표를 활용하여 평가하지 않았음.
● 체계적인 평가 기준 및 평가 점검표를 활용하지 않는 개인의 주관적 평가, 상업성 광고 및 동료의 추천에 의한 코스웨어의 선정은 비 교육적 및 효과적이며 많은 위험성이 내포됨.
● 멀티미디어 코스웨어 평가 분야의 연구자들의 제안(이충현, 2000; 이충현, 윤미현, 2003; Hawkridge, 1990; Hubbard, 1987; Merill, 1988; Odell, 1996, 등)
- 코스웨어 평가 기준 및 평가 점검표를 바탕으로 객관적이고 체계적인 평가 및 선정이 이루어져야 함.
- 코스웨어는 책이나 비디오의 선정과는 달리 기술(descriptions), 분석(analyses) 및 비평(critiques)보다 한 단계 위인 평가(evaluations)를 통하여 양적 및 질적으로 평가가 이루어져야 함.
- 평가 자료를 데이터베이스로 구축하여 관련 전문가뿐만 아니라 최종 사용자들에게도 제공해야 함.
2. 평가 기준 및 평가 점검표
● 멀티미디어 코스웨어 평가 연구에서 나타난 기본적 및 공통된 평가 기준
- 상위 요소(교육적, 기술적 및 관리ㆍ행정적 요소)와 구체적인 하위 요소(학습 내용, 화면 구성 및 보조 자료의 적합성 등)(김인석, 1999; 이충현, 2000; 이충현, 윤미현, 2003; Alessi & Trollip, 1985; Council of Ministers of Education, 1985; Hubbard, 1987, 1988; Levy & Farrugia, 1988; Merill, 1988; Windeatt, et al., 2000, 등).
● Hubbard(1988)의 평가 기준 제시를 위한 코스웨어 평가 체제(framework)의 필요성
- 평가 체제: 접근법(approach), 디자인(design) 및 절차(procedure)- 코스웨어 접근법에 대한 평가가 중요함. 즉, 코스웨어가 지향하는 언어에 대한 정의, 언어 교수ㆍ학습 접근법에 대한 평가의 필요성을 지적함.
- 평가의 융통성(flexibility)이 중요함. 제시된 체제를 바탕으로 평가자(교사)는 교육 목표 및 교육 과정에 적합한 코스웨어 평가 기준 및 점검표를 스스로 작성할 것을 주장함.
● 이충현(2000)의 평가 기준 설정을 위한 중요한 고려 사항
- 평가 목적(코스웨어 구입 결정, 멀티미디어 자료 개발 시 지침 및 개발된 코스웨어의 향상)
- 평가자(CALL 전문가, 교사 및 학생)
- 평가 방법(평가 점검표, 질문서, 관찰법, 인터뷰 등) - 평가 절차
● 국내외 멀티미디어 코스웨어 평가 기준 및 평가 점검표의 내용
4 Windeatt (1995)의 기본적으로 평가 기준에 포함되어야 내용
- 프로그램의 교수 및 학습 목표, 프로그램의 저작성, 학습자의 변인, 프로그램의 융통성, 프로그램의 전반적인 인상, 교육과정과의 적합성, 프로그램의 적용성(adaptability) 등
4 Windeatt, et al. (2000)의 웹 페이지 평가 기준 및 항목
- 컴퓨터 소프트웨어와는 달리 누구나 사전 검열 없이 다양한 목적을 가지고 정보와 자료를 웹에 올릴 수 있기 때문에 무엇보다도 웹 페이지의 정보의 상태가 중요함.
- 웹 페이지의 목표 및 목적, 웹 페이지의 저자 및 제작 기관, 최신 정보 및 자료의 수록(및 수록 날짜), 정보 및 자료의 양과 질, 정보 및 자료의 객관성 및 정확성, 웹 페이지의 전체 구성 등
● 멀티미디어 코스웨어 평가 기준의 핵심 요소: 교육적, 제시적 및 기술적 측면
[표 1] 국외 소프트웨어 코스웨어 평가 기준 및 평가점검표의 내용
평가 분류 연구자 평가 기준
및 평가점검표
단순 평가 Alessi&
Trollip (1985)
언어와 문법, 디자인의 특징, 질문과 메뉴, 코스웨어 내용, 기타 자료 등의 기준과 하부 요소. 평가점검표 제시함.
단순 평가 Scarborough (1988)
언어의 단위에 중점을 둠. 화면 구성 및 제시, 기술적 수행 및 언어학습 가치 면
단순 평가 Levy &
Farrugia (1988)
코스웨어 내용, 목적, 설명서, 교수, 학습자 사용, 피드백, 디자인, 저작성, 동기부여 등
단순 평가 Eastment (1996) 학습 목표, 설치의 용이성, 사용의 용이성, 설계의 적합성, 저작성 및 흥미성
단순 평가 Merrill (1994)
교수적(instructional) 기준과 제시적(presentational) 기준.
-교수적 기준: 코스웨어의 목적, 코스웨어의 목적과 학습목표의 일치, 코스웨어 응용 형태와 학습 목표와의 일치 등,
-제시적 기준으로 화면 구성, 이동, 사용의 용이성, 상호 작용 등 심층 평가
Council of Ministers of Education(1985)
프로그램 목적, 교육적 내용, 교수 형태, 기술적 디자인, 실행 보조 및 전체 종합 평가를 평가 기준(및 평가점검표)으로 제시함.
-각각의 요소는 하위 평가 항목으로 구체적으로 세분되어 있음.
[표 2] 국내 멀티미디어 코스웨어 평가 기준 및 평가점검표의 내용
평가 분류 연구자 평가 기준
및 평가점검표
단순 평가 손정배(1999)
교육적 및 기술적 요소
-교육적 요소: 목표 제시, 정보의 정확성, 통제성, 피드백 및 도움말 기능
-기술적 요소: 실행의 안정성, 입출력의 설정, 화면 구성의 친근감, 색채, 그림, 소리 기능의 효과성 및 하이퍼미디어의 평가 등.
심층 평가 김인석(1999)
교과과정, 기술적 및 교육적의 3가지 측면
외국어 교육용 소프트웨어 평가에 보다 초점을 맞추어 교육공학적 측면과 외국어 교육학적(학습원리, 학습 방법 및 언어 습득) 측면에 하위 요소와 평가 척도를 제시함.
심층 평가 멀티미디어교육 지원센터(1999)
일반 교육용 코스웨어 평가 기준 및 평가 점검표
-내용 영역: 선정의 타당성, 창의성, 조직의 합리성, 명확성, 윤리성 및 매체의 적합성
-교수전략 영역: 동기유발, 피드백 및 학습 통제성
-기술적 영역: 사용의 편리성, 프로그램의 안정성, 기능성, 정보 수용의 용이성 및 관리 체제
● Windeatt, et al. (2000, p. 35, 41)의 단순 웹 사이트 평가 점검표
[표 3] 웹 페이지의 설계 및 디자인 평가 점검표
Page Marks/ 5 Comments
General appearance
Is the page attractive? Why/Why not?
Clarity
Is the page Clear? Can you read the information easily?
Use of colour
Are the colours attractive?
Do they help to make the information easy to read?
Ease of use
Is it easy to move around the page, or to move on to other pages?
Is there anything on the page that distracts your attention from the most important information?
Presentation and accuracy
Are there any spelling or grammar mistakes?
Multimedia
Does the page make good use of pictures, sound, animation or video? Does the page take a long time to appear?
Interest
Is the page interesting? Why/Why not?
Other Criteria
[표 4] 웹 페이지의 정보에 대한 평가 점검표
Comments How accurate is the information?
How do you know?
Who provides the information?
How much do they know about the topic?
Is more than one side of the argument presented?
How up-to-date is the information?
(Add your own questions)
What is your opinion of this Web document?
● 기존의 평가 기준 및 평가 점검표가 수정ㆍ보완 되거나 재검토 되어야 하는 이유
- 대부분의 평가 기준 및 점검표의 내용이 외국어 교육용 멀티미디어 코스웨어 평가, 즉 CD-ROM 타이틀 혹은 웹 콘텐츠 평가에 적합하도록 구체적이며 체계적으로 제시되지 않았음. (* 현장 교사들이 직접 사용하기에 어려움.)
- 평가 점검표는 양적 및 질적 평가를 동시에 적절하게 실행할 수 있도록 구성되지 않았음. 평가 항목별로 평가 점수와 총평이 제시되고 최종적인 평가 점수와 총평을 제시할 수 있도록 구성되어야 함.
- 최신 멀티미디어 코스웨어에서 많이 사용되고 있는 기능에 대한 평가 항목이 부족함.
(예를 들면, 음성 인식기술, 웹과의 연동성, 저작성, 프로그램의 편집성과 학습자의 학습 정보 기록 및 관리 등의 기능에 대한 평가 항목이 제시되어 있지 않음).
- 목표 언어 국가의 문화가 적절하게 제시되고 있는지에 관한 평가 항목이 미비함.
- 프로그램의 윤리성에 대하여 대부분 하위 평가 요소로 간단히 제시하거나 혹은 전혀 제시하지 않음. (윤리성은 학습자에게 많은 영향을 미칠 수 있는 중요한 기준임. 단지 상위 평가 기준의 하위 항목으로 축소하기 보다는 독립된 하나의 평가 기준으로 간주되어야 함.)
● 이충현(2000), 이충현, 윤미현(2003)의 멀티미디어 코스웨어 평가 기준 및 점검표
4 통합적이고 심층적인 평가 기준 제시- 7가지 상위 평가 요소: 목적 및 목표, 관리ㆍ행정적 요소, 교육적 요소, 기술적 요소, 실행 보조적 요소, 윤리성 및 종합 평가
- 7가지 상위 평가 요소를 바탕으로 구체적인 하위 평가 항목을 제시함.
- 각 항목에 대하여 양적 및 질적 평가를 할 수 있는 평가점검표 제시함.
- 윤리성을 독립된 하나의 평가 기준으로 간주함.
- 전문가 및 교사용 평가 점검표에 상응한 학습자를 위한 평가 점검표(질문지) 제시함.
- CD-ROM 코스웨어와 웹 콘텐츠에 대한 평가 기준 및 점검표를 구분하여 제시함.
(*부록 참조)
3. 평가 시행 방법
● 멀티미디어 코스웨어 평가는 매우 복잡하고 어려운 과정이기 때문에 주로 평가 전문 기관 및 평가 전문가를 중심으로 실시되었음.
- 평가 기준, 평가 도구, 절차 및 방법에 대한 구체적인 평가 시행의 자료나 정보가 현장 교사들에게 공개되지 않았고 교사를 위한 평가 시행에 관한 연구가 상대적으로 매우 미비함.
- 현재 영어 현장 수업에서 멀티미디어 콘텐츠가 활발하게 활용되고 있기 때문에 교사를 위한 올바른 코스웨어 평가 시행은 매우 중요함.
- 교육 현장에서 교사나 학습자가 활용할 수 있는 평가 시행 방법이 제시 되어야 하고 관련 워크숍이 실시되어야 함(이충현, 윤미현, 2003; Hubbard, 1988).
[표 5] 멀티미디어 코스웨어 평가 시행 방법에 관한 연구
연구자 멀티미디어 코스웨어 평가 시행 방법
Beattie (1989)
- 코스웨어 평가는 교육적 요구, 즉, 교육 목표, 학습자 수준, 교수 내용, 기대 효과 등을 명확히 규정하는 것에서부터 시작되어야 함.
- 코스웨어 평가 시행에 앞서 하드웨어의 상태를 점검하고 관리ㆍ행정 차원에서의 지원과 관련된 여러 가능성 및 제한점을 숙지해야 함.
- 다음으로는 교육 목표에 맞는 코스웨어의 목록을 조사하고 데모 버전을 구한 후 프로그램의 내용, 교육적 및 기술적 측면에서 평가함.
The Council of Ministers of Education (1985)
- 코스웨어와 관련된 사용 설명서, 교수 및 학습 지침서 등의 보조 자료를 검토한다.
- 프로그램에 대한 전반적인 윤곽을 파악하기 위해 전체를 검토한다.
- 평가 점검표를 사용하면서 세부 사항을 심도 있게 검토한다.
- 재고할 부분에 대해서는 다시 검토하면서 평가한다.
이충현(2000), 이충현, 윤미현(2003)
- 코스웨어 평가는 처음부터 끝까지 일관성과 객관성을 유지해야 함.
- 3인-5인의 심사위원을 구성함.
- 체계적인 평가 기준, 점검표 및 평가 절차를 바탕으로 프로그램을 적어도 세 번 이상 반복적으로 평가함.
03 | 멀티미디어 코스웨어 평가 기준 및 평가 점검표 개발
1. 멀티미디어 코스웨어 평가 기준의 필요성
● 최근 수준별로 영어 교과서용 CD-ROM, 영어 교육 관련 다양한 상용 CD-ROM 코스웨어 및 웹 콘텐츠가 지속적으로 개발ㆍ배포되고 각급 교육기관에서는 이와 같은 멀티미디어 콘텐츠를 수업 현장에서 활발히 활용하고 있다.
● 성공적인 멀티미디어 활용 영어 교육을 위해서는 무엇보다도 적절한 평가 기준을 바탕으로 교수ㆍ학습에 적합한 코스웨어를 평가하고 선정하여 효율적인 교수ㆍ학습 방법을 적용해야 할 것이다.
● 멀티미디어 코스웨어 평가의 주 목적은 적절한 코스웨어 선정 및 구입 결정, 그리고 멀티미디어 자료 개발 시 지침 혹은 개발된 코스웨어의 향상을 위한 것이다(이충현, 2000).
- 영어 교육을 위한 적절한 코스웨어를 평가하여 최종적으로 구입 결정에 책임 있는 교사 및 평가자는 먼저 일반적으로 실제적인 면, 즉 가격, 유효성, 내용 등을 염두에 둘 것이다. 또한 학습자의 연령, 수준, 요구 및 흥미 등도 고려할 것이다.
- 이와 같은 요소는 매우 기본적인 것들이며, 이외에도 코스웨어 평가는 다른 많은 중요한 요소들이 필요하며 전문적인 지식, 경험 및 노력이 요구되는 복잡하고 힘든 일이다.
- 따라서 현장 교사 혹은 평가자가 평가의 객관성 및 일관성을 최대한 유지하며 용이하게 평가할 수 있도록 구체적이고 체계적인 평가 기준 및 평가 점검표는 반드시 필요하다고 하겠다.
