職 業 能 力 開 發 硏 究 第8卷(1), 2005. 7, pp. 65~88
ⓒ 韓 國 職 業 能 力 開 發 院
e-Learning의 유효성 평가방법에 관한 연구
1)
이 용 탁*
최근 많은 기업들이 e-Learning을 도입하여 기존의 오프라인 교육훈련에 소요 되는 막대한 비용을 절감하고, 이를 지식경영의 수단으로 활용하고 있는 추세이다.
따라서 e-Learning은 비용의 감소, 유연한 조정, 비즈니스 필요에 합치, 종업원 재교육, 적은 반복비용 그리고 고객지원 등이 가능하고 상당한 교육훈련 예산을 절 감하고 있으며, 지속적 직무능력향상에 기여하고 있다.
본 연구에서는 e-Learning의 유효성을 평가하는 데 있어 작용할 수 있는 요소 들에 대하여 많은 선행연구들에 대한 문헌조사를 통하여 현실적이고 적합한 e-Learning 유효성 평가에 대한 기준과 방법을 제시하고자 하였다. e-Learning 유효성의 평가요소로서 크게는 e-Learning에 대한 교육훈련 관점에서의 평가요 소의 구분, 기술적 측면에서의 평가요소의 구분, 그리고 학습자의 학습성취도 측면 에서의 구분을 시도하였다.
교육훈련 관점에서의 세부적인 요소로는 e-Learning에 대한 학습자의 만족도, 학습참여와 상호작용의 정도, 그리고 학습내용이나 결과에 대한 피드백의 유효성 으로 제시하였다. 기술적 측면에서의 세부적인 평가요소로는 교육과정설계와 전 달방법의 효율성, 학습환경의 적절성, 그리고 사용자 인터페이스 설계의 유효성으 로 제시하였다. 그리고 학습자의 학습성취도에서는 학습과정이나 학습목표, 학습결 과가 직무에 미치는 영향력의 정도로서 그 유효성을 평가하는 요소로 구분하였다.
- 주제어: e-Learning, e-Learning 유효성, 교육훈련, 인적자원개발
투고일: 2005년 6월 21일, 심사일: 7월 5일, 심사완료일: 7월 13일
* 부산인적자원개발원 연구위원
Ⅰ. 서 론
최근 선진기업들은 지식기반경제에 부응할 수 있는 우수인재 확보 및 육성을 기업성공 의 핵심요인으로 간주하고 있다. 선진국의 인적자원 육성을 위한 인적자원개발의 현황 및 동향을 살펴보아도, 공통적으로 지식기반경제라는 시대적 요구와 변화를 적극적으로 수 용할 수 있는 인적자원의 개발을 위한 교육훈련체제를 구축하는 데 주력하고 있다는 것 을 알 수 있다.
지식기반경제에서 기업내 종업원들이 습득해야 하는 지식의 양은 시간의 흐름에 따라 기하급수적으로 증가하며, 그 생성과 소멸 또한 빠른 속도로 이루어지고 있다. 따라서 전 통적 교육훈련 방식이 가지고 있는 폐쇄성, 획일성으로 인해 이러한 변화를 탄력적으로 수용하기에는 한계가 있으며, 정보량과 신속성 측면에서도 역부족이라고 할 수 있다. 이 런 시점에서 정보통신기술의 발전과 더불어 지식의 변화를 즉각적이며 적시에 수용할 수 있는 대안적 교육훈련 체제로 e-Learning에 대한 중요성이 있다.
e-Learning은 디지털 매체와 교육훈련이 접목되어 탄생된 새로운 교육훈련 체제이며, 전통적인 교육훈련 방식의 대안으로서 주목받고 있다.
e-Learning은 인터넷의 정보통신기술을 기반으로 하며, 주된 특징으로는 학습자가 언 제 어디서나 손쉽게 학습이 가능하다는 점, 더 나아가 지식을 최대한 효율적으로 공유하 고 확산하고 활용하여 지식혁명을 가능하게 한다는 점을 꼽을 수 있다.
그동안 e-Learning은 사이버학습, 온라인 학습, 전자학습, 원격학습 등 다양한 용어와 함께 쓰여지고 있다. 이러닝은 정보통신기술을 이용하여 학습자 스스로 학습목표와 방법 을 주도하는 교육훈련 방법을 의미하거나 또한 네트워크를 기반환경으로 하여 디지털화된 학습 콘텐츠를 학습자의 인지구조로 재구조화 하는 일련의 학습활동으로 이해되기도 한다.
그리고 산업적인 관점에서는 학습자를 대상으로 하는 교육분야의 e비즈니스 혹은 조직 차원에서 지식을 공유, 학습하기 위한 웹기반의 지식경영시스템으로도 알려져 있다.
정보통신기술의 발전에 따라 이러한 e-러닝이 발전하면서 인적자원개발은 또 다른 차 원의 질적 변화의 가능성에 직면하고 있다. 교수자와 학습자간의 상호작용이 그 시간의
동일성과 공간의 동일성이라는 구속에서 해방되는 초시간적, 초공간적이라는 특징을 갖 고 있는 것이다. 기존의 전달식, 획일적인 전통적 교육패러다임에서 학습자 중심의 자율 성과 다양성을 중시하는 새로운 패러다임으로 e-Learning에 대한 중요성을 지니는 것 이다.
기업들은 학습, 훈련, 관리 등을 통합하여 인적자원개발 경쟁력에 기초한 성과중심의 조직을 만들기 위해 e-Learning을 도입하여 기존의 오프라인 교육훈련에 소요되는 막대 한 비용을 절감하고 핵심자산인 지식근로자의 육성을 위하여 전사적 차원의 지식경영으 로 연계해 나가기 위한 수단으로 활용하고 있는 추세이다. 따라서 e-Learning은 비용의 감소, 유연한 조정, 비즈니스 필요에 합치, 종업원 재교육, 적은 반복비용 그리고 고객지 원 등이 가능하며, 상당한 교육훈련 예산을 절감하고 있으며, 지속적 직무능력향상에 기 여하고 있다.
따라서 e-Learning을 도입하고 추진하는 기업의 수는 지속적으로 증가하고 있으나 e-Learning의 유효성에 대한 평가에 대한 중요성의 가치도 증가되고 있는 것이 사실이 다. 기업은 e-Learning에 투자된 비용에 상응하는 효익이나 결과에 관심을 두어야 한다.
이러한 문제인식으로 본 연구에서는 e-Learning의 유효성을 평가하는 데 있어 작용할 수 있는 요소들에 대하여 많은 선행연구들에 대한 문헌조사를 통하여 현실적이고 적합한 e-Learning 유효성 평가에 대한 기준을 제시하고자 하였다.
Ⅱ. e-Learning의 유효성 평가에 대한 선행연구의 고찰
1. e-Learning의 도입 및 효과
정보통신기술의 발전에 따라 사회의 각 분야 역시 빠르게 변화되고 있다. 이중에서도 가장 큰 변화가 일어나고 있는 분야중의 하나가 교육 분야라는 데 이견이 없어 보인다.
특히 정보통신기술이 교육 분야에 본격적으로 접목되면서 나온 e-Learning이라는 새로 운 교육 패러다임은 학교나 공공기관 그리고 기업 등에서 기존의 면대면(face-to-face) 중심의 오프라인교육을 보완하거나 대체하기 위한 새로운 교육방법으로 자리를 잡아가고
있으며, 언제, 어디서, 누구나 수준별 맞춤형으로 학습할 수 있다는 특징을 지닌다.
전통적인 오프라인 형태의 교육훈련 방법이 교수자를 통해 학습내용이 학습자에게 전 달되는 형태의 단방향 학습 모델인 반면 e-Learning은 교수자와 학습자, 학습자와 학습 자 간에도 정보의 제공뿐만 아니라 정보를 상호 공유 할 수 있는 다중방향 학습모델이라 고 할 수 있다.
이러한 e-Learning의 특징을 교수자와 학습자간의 상호작용적 관점에서 고려하면 사 이버공간에서 학습자들은 자신이 편리한 시간에 웹에서 제공되는 다양한 학습자료들을 탐색하며, 공간적으로 멀리 떨어져 있는 교수자 및 다른 학습자들과의 다양한 상호작용 활동을 수행하게 된다. 보다 구체적으로 그 특징을 살펴보면, 첫째, 인터넷을 활용한 e-Learning은 어떤 통신 수단보다도 많은 양의 최신 정보를 실시간에 교류할 수 있도록 함으로서 효과적인 정보공유의 수단을 제공한다.(Chung, 1991)
둘째, e-Learning은 기존의 일방향(one-way) 매체들과는 달리 고도의 상호작용적 의사소통을 가능하게 해준다(Rommizowski & Mason, 1996). e-Learning 학습에서 학습자들은 다른 학습자나 교수자, 혹은 다른 전문가들과 정보나 의견을 교환하고, 온라 인 토론을 통하여 창의적이면서도 활발한 상호작용 활동을 수행할 수 있다.
셋째, e-Learning은 고도의 실시간, 비실시간 상호작용을 통해 협력 학습체제를 가능 하게 해준다. e-Learning 학습에서 학습자들은 개별 학습 뿐만 아니라, 수많은 사용자와 의 상호작용을 통해 협동학습을 수행할 수 있다.
넷째, e-Learning은 독특한 사회심리적 커뮤니케이션 구조를 제공하여 줌으로서 긍정 적 학습효과를 가져올 수 있다(정인성, 1999). 즉 학습자들은 컨퓨터를 매개로 하는 토 론에 참여함으로서 자신의 사회적, 경제적 배경, 성의 차이 등 외부조건이나 사람들의 선 입견 등에서 오는 사회심리적 부담없이 상호작용을 할 수 있다.
다섯째, 웹상에서 학습자들의 행동 추적이 가능하며 학습자들에게 언제든지 피드백을 제공할 수 있다. 또한 온라인 상호작용 퀴즈 등을 활용하여 학습자들의 학업성취도 평가 를 자율적으로 처리할 수 있고 좀 더 높은 학습성과를 제공한다(정인억 외, 2001).
이러한 상호작용적 학습성과향상을 기할 수 있는 특징을 지닌 e-Learning은 90년대 중반부터 기업에서 교육훈련비의 절감차원에서 시작되었다고 볼 수 있다. e-Learning은 기업에서 저비용 고효율을 목표로 기업체 교육훈련의 적합한 형태로 관심이 증가되었다.
이렇듯 e-Learning 교육훈련 시스템의 구축과 활용이 증가되고 있는 이유를 [그림 1]과 같이 정리할 수 있을 것이다. 즉, 수요 측면에서는 지식과 교육방식의 급속한 진부
화, 지역적으로 분산되어 있는 조직구성원들을 대상으로 한 저렴한 교육수단의 필요, 평 생교육 추세에 따라 교육대상 인원 및 내용의 증가, 실시간 교육 전달 필요성 증대 등을 이유로 들 수 있고, 공급 측면에서는 기업의 전보 전달 수단으로서 인터넷 활용증가, 기 술진보로 인터넷상에서 e-Learning 관련 쌍방향 의사소통과 각종 비디오 활용가능, e-Learning 실시를 위한 네트워크 인프라 조성, e-Learning 상품 및 서비스 수요 증가 등으로 설명할 수 있을 것이다.
[그림 1] e-Learning 도입 배경
- 지식과 교육방식의 급속한 진부화 - 전세계에 분산되어 있는 구성원들 대상으로 한 저렴한 교육수단 필요 - 평생교육 추세에 따라 교육대상 인원 및 내용의 증가
- 실시간 교육 전달 필요성 증대
수요 측면
- 기업의 정보 전달 수단으로 인터넷 활용 증가
- 기술진보로 인터넷 상에서 e-Learning 관련 쌍방향 의사소통과 각종 미디어 활용가능
- e-Learning 실시를 위한 네트워크 인프라 조성
- e-Learning 상품 및 서비스 수요증가
공급 측면
e-Learning
자료 : SRI Consulting and WR Hambrecht+ Co.
2. e-Learning 유효성 평가의 유형
가. e-Learning 유효성평가의 중요성
기업은 종업원들에 대한 교육훈련에 대한 비용절감을 위한 보다 나은 방법을 모색하기 위해 노력하여 왔다. e-Learning은 전통적 강의실 교육보다는 훨씬 비용이 덜 들게 되 며, 훈련시설의 예약, 종업원이나 교수자의 이동비용에 대한 비용절감, 직무수행상의 효 율성의 제고 등으로 인한 많은 관련된 많은 비용절감의 효과를 가져오게 한다. 그러나 e-Learning에 대하여 많은 경비를 지출하는 몇몇 기업들은 그들이 기대한 대로의 경제
적 이익을 받지 못하고 있는 실정이다(Strother, 2002).
Hall & LeCavalier(2000)는 전통적 교육방법을 e-Learning으로 전환하는데 대한 결과로 나타나는 유효성(effectiveness)으로서 기업의 경제적 비용절감에 대하여 주장 하면서, 그 예로서 IBM이 1999년에 200만달러 이상의 비용절감이 e-Learning 교육훈 련의 결과로 나타났다고 주장하였는데, 5번에 걸친 e-Learning 학습을 통하여 이전의 교육훈련 방법보다 그 경비를 3분의 1로 절감하였다는 것이다. 또한 웹기반 교육(80%) 과 강의실 교육(20%)을 결합하여 Ernst & Young사는 35%의 훈련비용을 절감하는 효 과를 나타내었으며, Rockwell Collins사는 단지 25% 비율로 웹기반 훈련으로 전환하여 기 존의 비용보다 40%의 훈련비용 절감의 효과를 가져오게 되었다고 주장하였다(Strother, 2002).
일반적으로 긍정적인 경제적 효익과 더불어, 편의성, 표준화된 교육전달, 자기주도의 학습, 다양한 콘텐츠의 이용가능성 등의 이점들이 e-Learning을 많은 기업들이 선호하 게 만들고 있다. e-Learning의 실행에 대하여 많은 논의가 있고, 많은 논의의 주제는 주 로 e-Learning의 기술에 초점을 두고 있지만, Driscoll(2001)은 e-Learning이 기술의 문제가 아닌 많은 인간적 요인이 작용하고 있다고 주장하였다.
Barron(2001)은 e-Learning 학습을 위한 기술 제공자들이 점차적으로 비용절감이 나 보다 향상된 효익을 증명하고 있고, e-Learning을 적용하기 위한 혁신적인 방법을 제시하는 것이 가능해지고 있다는 것을 증명하였다. 그러나 기업의 교육훈련 담당자들이 e-Learning 프로그램의 유효성에 대한 확실한 측정을 하는 것은 아직 불충분한 상태이 다. e-Learning의 성공을 보여주는 많은 사례들이 있지만, 기업의 교육훈련프로그램의 전문화에 의한 정착과 구축에 있어서 학습자들의 성취도에 대한 확고한 측정방법을 발견 하기는 쉬운 일이 아닌 것이다.
나. e-Learning 유효성 평가의 유형
기업의 학습 결과를 측정할 때, 전통적 훈련방법과는 다르게 e-Learning을 평가하여 야만 하는가에 대한 질문에 ASTD(2000)는 교육훈련평가의 기술이나 과정의 훈련전달 방법으로서 e-Learning도 포함되어야 한다고 주장하였다. 실제로 e-Learning을 평가 하기 위한 기술은 다른 교육훈련 방법을 평가하는 것과 동일하게 이루어져야 한다는 것 이다.
e-Learning의 가장 큰 장점중의 하나는 인터넷, 멀티미디어, 인공위성 등을 활용한 교육훈련으로서 비용절감을 가져올 수 있다는 것이다. e-Learning은 다양하면서도 효과 적인 방법으로서 훈련내용을 전달하고, 훈련비용을 크게 감소시킬 수 있다. Chute, Thompson & Hancock(1999)의 연구결과에 따르면, e-Learning과 관련된 잠재적 재 무적 비용절감은 전통적 훈련방법과 비교했을때 더욱 중요해진다고 주장하였다. 그들은 e-Learning이 교육가 훈련 욕구에 가장 적합할 수 있는 비용 측면에서 효과적인 해결책 을 제공할 수 있다고 제시하였다. e-Learning이 다양한 훈련유형과 방법을 통해 훈련내 용을 전달할 수 있는 매체가 된다는 것이다(Strother, 2002).
e-Learning과 관련된 비용절감에 대한 예측은 전통적 강의식 교육과 비교하는 것부 터 시작될 수 있다. Whalen & Wright(1999)는 웹기반 강의의 비용분석을 위한 비교기 준은 동일한 전통적 강의식 교육훈련에서 소요된 개발과 전달비용의 측면에서 파악되어 야 한다고 주장하였다.
교육훈련에 대한 비용절감은 e-Learning에 의해 제공된 많은 효익들의 결과들 중의 하나이다. 교육훈련에 대한 비용발생의 주요 요인은 e-Learning과 관련된 비용을 분석 하는데 중요한 그 기초적 근거를 제공한다. e-Learning의 비용발생에 대한 주요 요인은 e-Learning을 전통적 강의실 교육과 비교할 때 엄밀하게 분석되어져야 한다. 교육훈련 에 있어서 비용절감은 교수자와 학습자들의 교육장로의 이동비용, 강의실 준비비용, 이동 에 소요된 시간적 비용 등에 의한 감소로 분석되어질 수 있다.
이하에서는 e-Learning의 유효성에 대한 측정 방법으로 제시된 주요 연구내용을 중 심으로 열거해 보고자 한다.
1) e-Learning 4단계 학습 평가모형
훈련평가에 대하여 가장 유명한 접근법의 하나는 1959년에 최초로 구축된 Kirkpatrick의 모형이다(Strother, 2002). Kirkpatrick의 모형은 미래의 교육훈련 프로 그램을 향상시키거나, 비효과적인 프로그램을 제거하기 위하여 제시된 교육훈련의 효과 성을 결정하기 위한 4단계 과정으로 구성되어 있다. 비즈니스 위크 1,000개 기업을 조사 한 연구에서 응답자들의 51%가 그의 모형을 활용하고 있었다(Hackett, 1997).
e-Learning의 결과로서 발생하는 특히 기업훈련 프로그램 내에서, 학습의 효과성을 측정하는 것에 대한 단순한 결론을 내리기에는 부족하지만, Kirkpatrick의 4단계 평가모
형을 활용하여 주로 원거리학습 프로그램에 대한 평가를 어느 정도 도출해 낼 수 있다.
Kirkpatrick의 평가모형의 단계를 세부적으로 살펴보면, 1단계는 반응(Reaction) 단 계로서, 이 단계의 평가는 훈련프로그램에 참가한 사람들이 어떻게 그들의 경험에 대하여 어떻게 지각하고 있는가를 측정하는 것이다. 학습자는 그들이 학습하는 것에 대하여 만족 하고 있는가? 그들의 작업과 관련된 것으로서 학습재료를 여기고 있는가? 학습재료가 직 무에 있어서 그들에게 도움을 줄 수 있을 것으로 믿고 있는가? 따라서 이 단계에서는 학 습을 측정하지는 않는다. 학습자가 훈련에 대하여 얼마나 좋아하고 있는 가를 단순하게 측정하는 것이다.
2단계는 학습(Learning)단계로서, Kirkpatrick에 따르면 2단계 학습은 학습자에게 이 해되어지고 흡수되어지는 원칙이나 사실, 기술 등의 정도로 파악될 수 있다. 훈련 담당자 가 학습을 측정하고자 할 때, 얼마만큼 학습자의 기능, 지식, 태도 등이 변화가 되었느냐 에 대하여 파악하고자 한다. 학습을 측정하는 것은 1단계의 반응 단계의 조사 보다 엄격 한 과정을 요구한다. 이상적으로는, 학습의 사전 검사나 사후검사가 이루어지면 훈련프로 그램의 결과로서 피훈련자가 얼마만큼 학습하였는가를 파악할 수 있을 것이다(Bylinsky, 2000)
3단계는 행동(Behavior) 단계이다. 아무리 정보가 잘 주어지더라도 양적 학습목표는 학습자가 학습이 직무수행에 얼마나 잘 반영하지는 못한다. 학습결과로서 직무수행상 변 화되어 나타나는 행동은 기업의 훈련 프로그램에서 바라는 가장 주된 목표이지만, 이러한 변화를 측정한다는 것은 학습자들의 지각을 파악하거나 검사방법을 통해 직접적인 학습 을 측정하는 것보다는 훨씬 어렵고 복잡한 일이다. 이것과 관련된 많은 연구들에서도 학 습자의 행동상 변화와 기대했던 결과간의 연결고리를 가정하고 있을 뿐이다. 즉 확실한 사업성과로서 다음의 4단계 결과가 나타나더라도 실증적 측정은 어려운 것이다.
4단계는 결과(Results) 단계로서, 4단계의 평가는 훈련의 결과를 측정하는 것으로서 기업의 모든 계층에 직접적으로 영향을 미체게 된다. Kirkpatick(1999)은 많은 변수들 과 복잡한 요인들에 의하여 교육훈련이 조직의 모든 계층에 미치는 직접적인 영향력을 평가하는 것은 어려우며, 이는 전통적인 교육방식이나 e-Learning도 동일하게 어려운 과정이라고 주장하였다.
2) 비용-효익의 투자수익률 모형
비용-효익 비율(CBR)과 투자수익율(ROI)은 훈련 프로그램에 대한 비용효과성을 결
정하기 위해 가장 보편적으로 활용되어지는 기법이다(Phillips, 1994). CBR과 ROI는 조 직에서 이루어지는 다양한 형태의 투자에 대한 효과성을 의사결정하는데 사용되어지는 가장 전통적인 재무적 분석도구이다.
Phillips는 교육훈련 평가 솔루션을 제시하였는데, 그는 학습결과에 대한 측정분야에 크게 두가지 큰 공헌을 하고 있다. 첫째는 Kirkpatrick의 4단계를 측정하기 위한 세분적 인 과정을 구축하여 제시하였고, 둘째는 투자수익률을 추가하여 Kirkpatrick의 모델에 한 단계를 추가하여 5단계 모형을 개발하였다. 투자수익률과정은 조직의 학습결과에 대 한 평가를 하는데 있어서 Kirkpatrick의 4단계나 Phillips의 5단계를 측정하기 위한 도 구(툴)로서 전 세계에서 유용하게 활용하는 방법이다. Phillips의 ROI과정을 도식하면 다 음 [그림 2]와 같다.
[그림 2] e-Learning 교육훈련의 투자수익률 분석과정
평가 계획 자 료 수 집 자 료 분 석 보 고
솔루션 비용의 도표작성
Level 1
Level 2 목표나 솔루
션의 개발
평가계획과 기초자료
개발
솔루션 실행동안의
자료수집
솔루션실행 이후의 자료수집
isolate the effects
data를 재무적 가치
로 전환
투자수익률 계산
Generate impact
연구
무형적 평가의 확인
무형적 효익 Level 3
Level 4 Level 5
출처 : Berk(2003), “Learning Measurement: It's Not How Much You Train, But How Well”, The eLearning Developer's Journal, Vol. 3, pp. 1~8.
Parsons(1995)는 훈련프로그램에 대한 재무적 분석도구의 적용은 3가지 효익을 지 니고 있다고 주장하였다. 즉, 재무적 분석도구 기법들은 HRD 실무자들에게 훈련프로그 램을 수요자의 입장에서 볼 수 있도록 도와주며, HRD 실무자들에게 훈련 프로그램에 대 하여 조직의 이해관계자들과 의사소통을 원활하게 하는데 도움을 주며, 실무자들이 의사 결정을 내리는데 있어서 합리적인 기준을 제공하게 된다.
비용-효익 비율은 단순하게 프로그램의 효익을 비용으로 나누는 것이다. 공식은 다음 과 같다.
CBR =
프로그램 효익 프로그램 비용
이 공식은 훈련프로그램에 소요된 총효익과 총비용을 활용한다. 프로그램의 효익을 계 산하기 위해서는 사업결과와 훈련프로그램간의 관련된 데이터가 재무적 가치로 전환되어 져야만 한다. 프로그램의 비용을 계산하는 것은 프로그램의 설계, 개발, 훈련내용의 전달 (delivery)과 관련된 모든 비용을 포함한다. 이러한 비용들의 예로서 시설임대, 교육과정 자료, 프로그램에 참가한 종업원의 봉급과 베니핏, 관리비용 등이 될 수 있다.
투자수익률은 순효익을 프로그램 비용으로 나누는 것이다. 순효익은 프로그램 효익에 서 비용을 차감한 것이다. 공식은 다음과 같다.
ROI(%) = 프로그램 순효익
× 100 프로그램 비용
투자수익률 과정은 자료수집 방법부터 시작하며 평가노력의 중심적인 위치를 차지한다 (Phillips, 1994). ROI는 hard, soft 데이터를 재무적 가치로 변환하는 것에 기초를 둔다.
ROI 데이터를 수집하는데 사용되어지는 7가지 가장 보편적인 방법(도구)은 survey, 질문 지, 인터뷰, 포커스 그룹, test, 관찰, 성과기록(performance record)이다(Phillips, 1997).
ROI과정은 많은 작업을 요구한다. 학습단계는 많은 사람들에게 수용되어졌는데, 만족 차원에서부터 사업결과와의 연계성까지 성과메트릭의 모든 영역을 포괄하기 때문이다.
ROI과정은 정밀하고, 견고하기 때문에 많은 사람들에게 수용되어진다. 그래서 실용적으 로 바꾸는 것은 다음의 단계이지만, 재무적, 물리적, 인적자원에 대한 많은 투자가 소요된
다면 별 실용성은 없을 것이다. 훈련 자체에 대한 비용보다 훈련을 평가하는데 비용이 더 든다면 소용없는 일이 될 것이다.
3) e-Learning 활동 ․ 성과 기준의 평가
Berk(2003)은 e-Learning의 유효성 측정방법으로 활동평가(activity measure)와 성과평가(performance measure)의 두 가지 기준으로 분류하여 제시하고 있다. 활동 평 가는 학습자가 얼마만큼의 훈련을 받았는가 즉, 훈련의 양에 대한 측정으로서 학급당 평 균학생수, 시설활용 정도 등을 평가요소로 한다. 반면 성과평가는 얼마나 훈련을 잘 받았 는가 즉, 훈련의 질에 대한 측정으로서 직무에 반영되는 시간, 훈련과 관계없이 전략적 결과에 대한 변화 등을 평가요소로 하고 있다. Berk이 제시한 두 가지 평가기준에 대한 세분적인 내용은 다음 <표 1>과 같다.
<표 1> e-Learning의 활동ㆍ성과 평가 요소
활동평가(activity measures) 성과 평가(performance measures) 1. 학급, 과정, 프로그램, 커리큘럼, 학습방법의
등록율
2. 학급, 과정, 프로그램, 커리큘럼, 학습방법의 중도포기율
3. 학급, 과정, 프로그램, 커리큘럼, 학습방법의 등록자의 최소, 최대, 평균치
4. 학급, 과정, 프로그램, 커리큘럼, 학습방법의 등록자와 출석율의 비율
5. 학급, 과정, 프로그램, 커리큘럼, 학습방법의 학습자 활동
6. 학급 포기율
7. 학습방법에 대한 완성율 8. 강사활용율
9. 지리적 위치 활용율 10. 코스웨어 활용율 11. 코스웨어 Aging Report
12. 학급, 과정, 프로그램, 커리큘럼, 학습방법 의 수강자 프로필
13. 평가에 대한 반응율 14. 재무적 요약
1. 강사(instructor) 성과 2. 코스웨어 질
3. 학습에 대한 시설의 전달성 4. 훈련자의 고객서비스 평가 5. 온라인 delivery 질 6. OJT 지원 툴의 효과성 7. 학습의 효과성(지식 획득) 8. 직무에 적용되는 훈련의 비중
9. 훈련이 직무에 영향을 미치는데 소요되는 시간 10. 직무에 대한 훈련용도의 장벽이나 가능정도 11. 직무에 활용될 수 있는 기술훈련의
시간 비중
12. 직무에 대한 훈련의 임계치
13. 훈련과는 별개로 사업성과에 대하여 추정 될 수 있는 변화
14. 시간과 비용 측면위 투자로서의 훈련가치 15. 훈련에 대한 투자수익율
출처 : Berk(2003), “Learning Measurement: It's Not How Much You Train, But How Well”, The eLearning Developer's Journal, Vol. 3, pp. 1~8.
이외에도 국내외에서 이루어진 e-Learning의 유효성 평가 기준을 정리하면 다음 <표 2>와 같다.
<표 2> 국내외 e-Learning의 유효성 측정 방법에 관한 선행연구
저자 e-Learning
유효성 기준 e-Learning 평가 요소
이수경 (2004)
인적자원 기준 인력확보 및 전문화정도
문화 및 제도 기준 학습문화의 변화정도 및 구축정도
시설 및 시스템 기준 사용자 접근 용이성이 확보된 시설 및 시스템 구축정도 과정개발/운영/행위 기준 위의 세 가지 요소를 지원하고 연계하는 정도
유일 외 (2003)
사용자 만족도
능동적 수업참여와 학습동기부여정도, 시간과 공간의 한계 극복 정도, e-Learning 시스템에 대한 전반적인 만족도 등 학습자가 e-Learning을 통하여 지각하는 만족도 공유지식정도 e-Learning을 통한 학습자들간의 지식공유정도
임효창 외 (2001)
피훈련자의 만족도와 실제 현업에서 활용되는 전이성과로 측정
피훈련자와의 e-mail 교육, 피훈련자와의 직접적 만남, 피 훈련자의 학습동기, 피훈련자의 컴퓨터 자기유능감, 멀티미 디어, 토론방 제공여부, 사이트의 사용편리성
Rosenberg (2001)
e-Learning 비용
e-Learning 학습자수, 교육프로그램의 수명,
교육프로그램의 길이, 개발비, 유지비, 사용기간 동안의 전달비, 학습자의 여행비, 기회비용
e-Learning 품질 학습자의 지식향상, 성과개성 정도, 투자가치 e-Learning 서비스 프로그램에 대한 접근 용이성
e-Learning 속도 e-Learning 개발속도, e-Learning 전달 속도, e-Learning 유지보수 속도
McCrea, Gay &
Bacon (2000)
e-Learning 솔루션 다양한 학습과정, 관리/평가시스템, 기존시스템과의 호환성 학습관리시스템 사용사의 편의성, 교육과정의 간편성
프로그램의 질 교육과정 개발프로그램의 질의 우수성
기술의 표준화 학습내용의 모듈화, 프로그램 운영ㆍ관리 편의성 개발시간의 단축 학습내용의 간편한 모듈화/재사용을 위한 개발시간 단축 조직의 학습분위기 e-Learning 과정에 필요한 H/W, S/W 구축
경영층의 지지 경영층의 절대적지지, e-Learning 담당자의 적극적 참여 다양한 의사소통 채널 e-Learning 참여인력간의 의사소통 채널 확보 및 이용
학습 콘텐츠 양질의 콘텐츠
학습자 준비상태 참여, 개별적 학습방법의 숙지
비용-투자 수익률 e-Learning 투자비용에 대한 사업성과 측면에서의 효과성
Ⅲ. e-Learning 유효성 평가요소의 개발
과거 몇 년간 인적자원 부서나 훈련개발 부서들을 포함한 기업의 스탭 부서들에서 e-Learning을 평가하기 위한 많은 노력들을 해왔다(Hackett, 1997). 최고경영자는 최 하위 계층까지에 대한 훈련의 영향력에 대하여 점차적으로 관심을 증가시켜왔다 (Phillips, 1997). 훈련은 더 이상 사업을 하는 데 있어서 단순하게 비용의 관점으로 보 여지지 않는다. 조직의 리더들은 훈련이 조직유효성이나 경쟁적 위치에 어떠한 영향력을 미치는 지에 대하여 알기를 원한다. Holton(1995)에 의하면 조직의 최하위 계층까지 공 헌하는 프로그램이나 개입을 강조하기 위한 압력은 인적자원개발부서나 훈련 부서에 존 재하고 있다는 것이다. 훈련 가치를 결정하기 위하여 훈련 전문가는 주어진 훈련프로그램 의 설계, 개발, 그리고 이전 등과 관련된 비용이 조직에 가치를 추가할 수 있다는 증거를 제공하여야만 한다는 것이다. 많은 조직들에 있어서 훈련훈련에 대한 평가는 훈련이 어떻 게 가치를 부가시키느냐를 보여주는 가장 적합한 방법으로서 확인되어야 한다(Preskill, 1997).
조직은 훈련프로그램을 평가하기 위한 다양한 방법들을 사용한다. 그 방법들은 평가의 목적에 의해 추출되어진다(Wentling, et al., 2000). 훈련프로그램을 평가하는 것은 많 은 이유들이 있다. Phillips(1997)는 10가지의 평가의 목표와 활용에 대하여 광범위하게 제시하였다. ① 프로그램의 목표를 달성하기 위한 성공요인의 결정, ② 인적자원개발 과 정의 강점과 약점의 확인，③ 인적자원개발 프로그램의 효익에 대한 비용의 비교，④ 향 후 프로그램에 대한 참여자의 결정, ⑤ 훈련 테스트, 사례 등에 대한 명확성과 타당성의 검증, ⑥ 성공적 프로그램이 되기 위한 참여자에 대한 결정, ⑦ 참가자들에 대하여 주요 성공 포인트의 강화, ⑧ 향후 마케팅 프로그램에 도움을 줄 수 있는 데이터의 수집, ⑨ 특 정 욕구충족이 될 수 있는 적합한 솔루션의 결정, ⑩ 경영관리적 의사결정에 도움을 줄 수 있는 데이타베이스의 구축.
본 연구에서는 e-Learning의 유효성을 평가하는 요소로서 교육훈련 측면과 기술적 측면, 그리고 학습자의 학습성취도 측면의 3가지 관점에서 분류해 보고자 한다.
1. e-Learning에 있어서 교육훈련 측면의 유효성
e-Learning 프로그램의 급속한 성장과 통합은 교육훈련 전문가나 연구자들에 대하여 어떻게 하면 e-Learning 프로그램의 유효성을 가장 잘 평가하겠느냐에 대한 의문을 제 기하고 있다. 훈련방법의 변화는 기업의 훈련담당 부서가 어떻게 그들의 노력을 조직에 대하여 가치를 더할 수 있느냐에 대한 책임을 져야 하는 시기인 것이다(Hackett, 1997;
Phillips, 1997; Holton, 1995; Parsons, 1995). 훈련방법과는 관계없이 조직은 훈련이 조직에 어떠한 도움을 줄 수 있는가를 확인하기 위하여 훈련전문가를 모색하게 된다. 일 반적이고 전통적인 훈련과정이나 절차와 마찬가지로 e-Learning의 교육훈련도 그 유효 성을 측정하기 위한 평가방법의 사용을 요구한다. 따라서 e-Learning도 전통적 훈련프 로그램과 마찬가지로 동일한 유효성 측정을 요구하게 된다.
가. 학습자만족
학습자만족은 e-Learning 시스템의 유효성에 중요한 요소로 검증되어져 왔고, 학습자 의 경험에도 중요한 요인으로 작용하여 왔다(Chute, Thompson & Hancock, 1999;
Smith, 1998). e-Learning의 매체나 과정에 대한 학습자들의 만족 수준은 미래 e-Learning 교육과정에 대하여 참여를 하게 되는 학습자들의 욕구에 작용하는 학습환경 을 창조하여 왔다. 학습자만족이 성공적 훈련, 특히 e-Learning 교육과정의 중요한 요소 이기 때문에 학습자만족의 다양한 측면에서의 주의깊은 분석은 e-Learning 교육과정을 평가하는 데 중요한 요소로 작용한다(Chute, Thompson & Hancock, 1999).
전통적 강의실 교육과 마찬가지로 e-Learning은 학습자의 경험에 다양한 측면들로 영향력을 미친다. e-Learning과 관련된 많은 문헌들에서 언급된 교육참가의 수준, 상호 작용의 수준, 피드백의 양이나 질, 학습환경, 기술 등은 학습자의 학습경험과 만족의 수준 에 유의적으로 영향을 미치게 된다.
나. 학습참여와 상호작용
교육훈련에 있어서 학습자들간의 커뮤니케이션과 상호작용은 효과적 학습에 아주 중요 한 요소이다. 상호작용은 교수자나 다른 사람들로부터 학습자가 배울 수 있는 기회를 제
공한다. Thompson(2000)은 학습자와 교수자간의 강의실 밖의 커뮤니케이션 절차도 중 요함을 주장하였는데, 이는 학습자가 e-Learning 교육에 있어서는 교수자와 거리상으로 멀리 떨어져 있기 때문이라는 것이다. 교육과정의 설계에 있어서 상호작용과 커뮤니케이 션의 구축에 초점을 두어야 한다는 것이다. 원거리 교육의 한 연구에서 Smith(1998)는 학습자들간의 대인적 관계나 상호작용은 원거리 학습경험에 영향을 크게 미치고 있음을 발견하였다. 그는 교수자와 학습자간, 학습자와 학습자간의 상호작용은 원거리학습경험 에 중요한 요소임을 주장하였다.
Thomas(2000)는 e-Learning 교육에 있어서 참가자들간의 심리적 거리감을 줄이고 상호작용을 증가시키기 위한 전략의 개발은 아주 중요하다고 제시하였다. 커뮤니케이션 과 상호작용에 대한 욕구는 학습자와 학습자, 학습자와 교수자간에 발생할 수 있다는 것 이다.
Thompson(2000)은 원거리 교육에 있어서의 사회적 실체(social presence)의 중요 성을 피력하였는데, 사회적 실체란 개인이 실존적(real) 개인으로서 지각하거나 경험하 는 정도로 정의하였다. 그는 높은 수준의 사회적 실체를 창출하기 위한 교수자의 능력은 교육의 효과성이나 학습자 만족에 중요하게 작용함을 제시하였다. 부가하여 사회적 실체 란 동기부여와 학습에 영향을 미칠 수 있는 것이다.
다. 피드백
학습자에게 제공된 양적, 질적 피드백은 학습자 만족에 중요한 영향을 미친다. 피드백 은 e-Learning 교육과정의 효과적 학습전달에 있어서 특히 중요하다. 웹기반 강의와 같 은 e-Learning 전달방법은 전통적 강의실 학습에 있어서의 피드백보다는 힘든 과정이 다. 예를 들면 웹기반 교육에 있어서는 교수자에게 직접 손을 들어 질문을 하지는 못한다.
따라서 피드백 메카니즘의 설계나 통합은 학습경험과 만족의 수준에 영향을 미치게 된다.
Neal & Ingram(1999)에 따르면 원거리 학습자는 전통적 강의실 학습과 같이 매일매 일 피드백의 형태를 취하지는 못한다는 것이다. 교수자와 학습자간의 피드백은 특정 주제 나 교육의 전체 과정에 있어서 학습자들의 만족 수준을 높이는데 주요한 작용을 하게 된다.
학습이 이루어지는 동안이나 학습 이후의 학습자에 대한 피드백은 학습자 만족의 수준 을 성공적으로 평가하는데 작용하는 중요한 요소이다. 교수자와 학습자간의 대면적 접촉 의 부족이 있기 때문에 e-Learning 교육은 학습자의 만족에 관한 정보를 획득하기 위한
특별한 노력을 요구하게 된다. 예를 들면 e-Learning교육은 대면적 표현이나 body language와 같은 전통적 학습방법에서 알 수 있는 학습자 만족의 수준을 교수자가 알 수 가 없는 것이다.
2. e-Learning 기술 측면의 유효성
가. 교육과정설계와 전달방법
e-Learning에 있어서 학습전달에 사용되어지는 많은 방법들이 있다. 웹기반, CD-ROM, 인공위성, 화상회의 등은 가장 흔한 학습전달 방법들이다. 또한 여러 가지 방 법들이 혼합되어 활용되어지기도 한다. Porter(1997)는 원거리학습의 가장 큰 장점의 하나는 제공되어지는 정보의 다양한 구성(format)에 있다고 언급하였다. 다양한 포맷은 각기 다른 학습자들의 욕구를 부합시키는 것이다. 어떠한 방법을 사용할지 아니면 여러 방법들을 결합할 지를 결정하는 것은 교육과정의 설계, 학습전달의 기술, 그리고 교수와 학습자에 대한 철저한 분석을 하여 주제에 적합할 수 있는 방향으로 이루어져야 한다. 여 러 방법들이 결합이 되었을 경우에는 결합된 요소들이 시스템 수준에 대한 평가에 중요 하게 작용을 하게 된다(Chute, Thompson & Hancock, 1999).
전통적 학습방법과는 달리 e-Learning 교육에 있어서 교육과정의 설계는 가장 중요 한 요소이다. Thompson(1999)은 교육과정이나 학습전달방법의 설계에 대한 세심한 관 심은 성공적 e-Learning 유효성에 아주 중요 요소라고 주장하였다. 다른 여러 요소들은 교육과정의 설계 다음에 구축되어야 한다. 따라서 전달방법을 결정할 때에는 전달방법을 교육과정설계에 적합하게 만드는 것이 필수적이다.
웹기반 강의의 효과성에 관한 보고서에서 강의의 질이 웹기반 강의 효과성을 결정하는 데 가장 중요한 요소임을 나타내었다. Goodwin(2000)은 전통적 강의방법과 마찬가지로 교수자와 교육과정의 질은 훈련과 교육의 효과성을 결정하는데 가장 중요한 요소임을 주 장하였다.
교육과정설계가 e-Learning의 가장 중요한 요소이지만, 학습의 효과성에 공헌을 하는 e-Learning의 다른 측면들이 많이 있다. 학습환경, 사용자 인터페이스 설계 등은 자주 언급되는 e-Learning 시스템의 유효성에 중요하게 작용하는 요소들이다.
나. 학습환경
기술기반의 학습방법은 학습자의 환경에 초점을 두어야 한다(Wentling, et al., 2000). 학습환경에 대한 학습자의 접근용이성은 교육에 대한 학습자의 만족수준에 작용 하는 학습의 양에 영향을 미치게 된다. 학습환경에 접근이 불편한 웹기반 교육은 학습자 들에게 만족감을 덜 주게 된다. Thomas(2000)에 따르면 기술 기반 학습 프로그램의 성 공은 교수자가 아닌 학습자 지향성에 두어야 한다고 주장하였다. 학습자나 학습환경의 조 성에 초점을 둔다는 것은 전통적 학습설계에서 기술개발에 의한 학습설계로 변화되고 있 다는 것이다. Norton & Wilburg(1998)은 학습자에게 기반을 둔 도구들(tools)은 학습 자가 학습을 하는데 도움을 줄 수 있는 방식에 근거하여 선택되어야 한다고 주장하였다.
따라서 e-Learning 유효성에 가장 중요한 것은 얼마나 학습과정을 잘 지원할 수 있는 도구가 되느냐이다.
다. Interface 설계
온라인 교육 훈련은 e-Learning과 결합된 가장 전도유망한 전달방법이다. 조직은 온 라인 훈련과 결합되어 많은 효익을 얻어낸다. 이러한 효익들로서는 감소된 이동비용, 적 시적(just-in-time) 학습, 개인화된 학습의 개선 등이 잠재적 효익들로 제시된다(Urdan
& Weggen, 2000).
사용자 인터페이스 설계는 학습자가 정보에 접근하는 것을 허용하는데 대한 전반적인 시각이나 느낌을 의미한다(Hall, 1997). 사용자에게 가장 친숙한 navigational tools이 무엇인지, 정보가 어디에 위치하고 있는 지를 확인하는 것은 사용자 인터페이스의 설계와 관련되어 있다. 따라서 사용자 인터페이스를 평가할 때 Brandon(1997)은 학습 화면의 설계가 일관성있고, 명확한 것인지, 그리고 그래픽이 이해가능하고, 소구력(appeal)이 있 는 것인지 등을 점검하여야 한다.
3. 학습자의 학습성취도 측면의 유효성
교육훈련의 효과성을 측정하는 가장 보편적인 방법은 학습자의 성취도를 측정하는 것 이다. e-Learning 환경에 있어서 학습자 성취도를 평가하는 것은 각별한 주의를 요한다.
Chute, Thompson & Hancock(1999)은 전통적 학습자들의 욕구를 평가하기 위해 사용 된 전략과 절차들은 원거리 학습환경에 적합하기 위해서는 그에 적합할 수 있는 평가방 법으로 수정되어야 한다고 주장하였다.
CD-ROM, 웹기반 응용과 같은 e-Learning 애플리케이션의 주요 측면들은 개인화된 학습을 가능하게 한다. 교수자는 각기 다양한 학습자들의 학습목표에 대한 정보를 받을 수 있다(Brogan, 2000). 학습자 성취도는 각기 다른 학습목표에 근거할 수 있다. 예를 들면 개인의 학습목표는 시험을 통과하는데 있거나, 또 다른 사람들은 단순하게 기본적인 지식을 재충전하거나, 어떤 사람들은 직무수행상의 새로운 과업과 관련된 작업방법에 배 우기를 원한다는 것이다. 이러한 학습목표의 유형은 e-Learning 측정과 평가 접근법을 개발할 때 반드시 고려해야만 한다.
Paloff & Pratt(1999)는 학습과정에 가장 유용한 방법의 모색, 학습목표가 성취될 수 있는 교육, 학습목표의 성취 방법, 학습결과에 대한 목표, 학습결과가 직무성과에 및는 영 향, 교육과정에 대한 만족도, 협동작업이나 조직성과에 대한 공헌 정도 등을 평가하여야 한다고 주장하였다.
Ⅳ. 연구결과의 논의와 시사점
오늘날 빠르게 변화하는 경영환경에 있어서 학습원천에 대한 효과적 관리는 조직성공 을 위한 중요한 요소로 작용한다. 조직은 학습을 단순하게 하나의 비용요인으로 보기보다 는 경쟁우위를 달성할 수 있는 요소로 보는 경향이 있다(Urdan & Weggen, 2000). 이 처럼 교육훈련에 대한 증가된 중요성은 많은 조직들로 하여금 조직이 투자한 다른 요소 들에 대한 평가와 마찬가지로 교육훈련프로그램에 대한 결과가 기업에 어떠한 효익을 가 져다 주는지에 대한 중요성을 제시하고 있다. 그 결과로 조직의 교육훈련담당 관리자들은 교육훈련에 대하여 유효성을 검증하기 위한 많은 노력을 기울여왔다(Phillips, 1997).
e-Learning은 디지털 매체와 교육훈련이 접목되어 탄생된 새로운 교육훈련 체제이며, 전통적인 교육훈련 방식의 대안으로서 주목받으며 성장하여 왔다. e-Learning은 인터넷 의 정보통신기술을 기반으로 하며, 주된 특징으로는 학습자가 언제 어디서나 손쉽게 학습
이 가능하다는 점, 더 나아가 지식을 최대한 효율적으로 공유하고 확산하고 활용하여 지 식혁명을 가능하게 한다는 점을 꼽을 수 있다.
이러한 맥락에서 e-Learning이 국내에서도 활발하게 추진되고 있으며, 특히 기업에서 인적자원개발을 위한 중요한 학습형태로 자리잡아가고 있다. 이와 같이 국내의 e-Learning은 높은 기대와 더불어 기업내에서 빠르게 확산되고 있음에도 불구하고, 아 직까지도 기업 e-Learning의 유효성에 대한 관심은 상대적으로 적다고 할 수 있다.
따라서 본 연구에서는 e-Learning의 유효성을 평가하는데 있어 작용할 수 있는 요소 들에 대하여 많은 선행연구들에 대한 문헌조사를 통하여 현실적이고 적합한 e-Learning 유효성 평가에 대한 기준과 방법을 제시하고자 하였다. 국내외 많은 선행 연구들을 바탕 으로 본 연구에서는 e-Learning 유효성의 평가요소로서 크게는 e-Learning에 대한 교 육훈련 관점에서의 평가요소의 구분, 기술적 측면에서의 평가요소의 구분, 그리고 학습자 의 학습성취도 측면에서의 구분을 시도하였다.
교육훈련 관점에서의 세부적인 요소로서는 e-Learning에 대한 학습자의 만족도, 학습 참여와 상호작용의 정도, 그리고 학습내용이나 결과에 대한 피드백의 유효성으로 제시하 였다. 기술적 측면에서의 세부적인 평가요소로서는 교육과정설계와 전달방법의 효율성, 학습환경의 적절성, 그리고 사용자 인터페이스 설계의 유효성으로 제시하였다. 그리고 학 습자의 학습성취도에서는 학습과정이나 학습목표, 학습결과가 직무에 미치는 영향력의 정도로서 그 유효성을 평가하는 요소로 구분하였다.
본 연구에서 제시하고 있는 e-Learning 유효성 평가기준과 평가요소의 개발은 선행 국내외 선행 연구된 내용을 바탕으로 분석하고 있다. 따라서 기업의 규모와 같은 기업체 내부환경적 특성, 환경변화와 같은 외부적 특성, 그리고 조직구성원의 특성과 같은 변수 들을 포함한 실증분석 결과가 아니기 때문에 기업에 적용할 수 있는 e-Learning 유효성 평가방법으로서는 어느 정도 한계를 지니고 있다. 그러나 e-Learning 유효성 평가에 대 한 실무적ㆍ학문적 노력에 대한 기초적 자료를 제공한다는 차원에서 그 의의를 두고자 한다.
참 고 문 헌
유일ㆍ김재전ㆍ조영만(2003). 「웹기반 온라인 기업교육의 성과에 관한 연구」,
『Information System Review』, 제5권, 33~46쪽.
이수경(2004). 「기업이러닝의 올바른 이해 및 실천」, 『월간 HRD』, 제164권, 34~47쪽.
임효창ㆍ남기찬ㆍ박경규(2001). 「기업내 가상교육훈련시스템의 효과성 결정요인에 관 한 연구」, 『인사관리연구』, 제25권 제1호, 397~423쪽, 한국인사관리학회.
정인성(1999). 『원격교육의 이해』, 교학사.
정인억 외(2001). 『APEC 역대 정보통신 부분 인력개발을 위한 원격교육사업운영방안 연구』, 정보통신정책연구원.
ASTD(2000). “Evaluating the Effectiveness and the Return on Investment of E-learning”, http://www.astd.org/virtualcommunity/research.
Baron, T.(2001). “An E-Learning Industry Update”, http://www.learningcircuits.org.
Berk, J.(2003). “Learning Measurement: It's Not How Much You Train, But How Well”, The eLearning Developer's Journal, Vol.3, pp. 1~8.
Blynsky, G.(2000). “Hot New Technologies for American Factories”, http://www. fortun e.com/fortune/imt/2000/06/26/elearning.html.
Brogan, P.(2000). “Harnessing the Power for Online Learning”, E-learning, January-March, 41.
Chung, J.(1991). “Televised Teaching Effectiveness: Two Case Studies”, Educational Technology, Vol.32 No.1, pp. 41~47.
Chute, A. G., Sayers, P. K. & Gardner, R. P.(1999). “Networked learning environments”, http://www.lucent.com/cedl/networked-learning.html.
Chute, A. G., Thompson, M. M. & Hancock, B. W.(1999). The McGraw-Hill Handbook of Distance Learning, NY: McGraw-Hill.
Driscoll, M.(2001). “Myths and Realities of E-Learning”, Invited Address at
EDMEDIA 2001 World Conference on Educstional Multimedia, Hypermedia and Telecommunications.
Goodwin, J.(2000). “Web-based Distance Learning: How Effective is It?”, http://www.lucent.com/cedl/web_based_distance_learning.html.
Hackett, B.(1997). The Value of Training in the Era of Intellectual Capital, The Conference Board Report.
Hall, B.(1997). Web-based Training Cookbook, NY: Wiley.
Hall, B. & LeCavalier, J.(2000). “E-Learning Across the Enterprise: The Benchmarking Study of Best Practices”, http://www.brandonhall.com/ elacenbenstu.html.
Holton, E. F.(1995). “In Search of an Integrative Model for HRD Evaluation”, Proceedings of the 1995 Academy of Human Resource Development Annual Conference.
Kirkpatrick, D.(1979).“Techniques for Evaluating Training Programs”, Training and Development Journal of Distance Education, Vol.33 No.6, pp. 78~92.
McCrea, F., Gay, R. K. & Bacon, R.(2000). Riding the Big Waves: A White Paper on B2B E-Learning Industry, CA: Thomas Weisel Partners LLC.
Neal, L.(1997).“Virtual Classroom and Communities”, http://www.lucent.com/ cedl/
group97.html.
Neal, L. & Ingram, D.(1999). “Asynchronous Distance Learning for Corporate Education:
Experiences with Lotus Learningspace”, http://www.lucent.com/
cedl/neal_formatted.html.
Norton, P. & Wiburg, K. M.(1998). Teaching with Technology, FL: Harcourt Brace & Co..
Parsons, J. G.(1995). “The Impact of Values on the Financial Analysis of HRD”, Proceedings of the 1995 Academy of Human Resource Development Annual Conference.
Phillips, J. J.(1994). “Measuring ROI in an Established Program”, In Action:
Measuring Return on Investment, Vol.1, pp. 187~197, American Society for Training and Development,
(1997). Handbook of Training Evaluation and Measurement
Methods(3rd ed.), TX: Gulf Publishing.
Porter, L. R.(1997). Creating Virtual Classroom: Distance Learning with the Internet, NY: J. Wiley & Sons.
Preskill, H.(1997). “HRD Evaluation as a Catalyst for Organizational Learning”, Proceedings of the 1997 Academy of Human Resource Development Annual Conference.
Romiszowski, A. & Mason, R.(1996). “Computer-Mediated Communication”, in Jonassen, D. H.(eds.), Handbook of Research for Educational Communication and Technology, NY: Prentice-Hall.
Rosenberg, M. J.(2001). E-Learning: Strategies for Delivering Knowledge in the Digital Age, NY: McGraw-Hill.
Smith, N. T.(1998). Student Satisfaction in Distance Learning Classes, Unpublished Doctoral Dissertation.
Strother, J.(2002). “An Assessment of the Effectiveness of E-Learning in Corporate Training Programs”, International Review of Research in Open and Distance Learning, Vol.3 No.1, pp. 1~17.
Thomas, L.(2000). “Evaluation of Distance Education Systems”, http://www.lucent.com/cedl/evaluaofdes.html.
Thompson, M.(2000). “The Effectiveness of Distance Learning”, http://www.lucent.com/cedl/learningworks/facinfl.html.
Urdan, T. A. & Weggen, C. C.(2000). Corporate E-Learning: Exploring a New Frontier, PA: WR Hambrecht+Co..
Wentling, T. L., Waight, C., Gallaher, J., Fleur, J. L., Wang, C. & Kanfer, A.(2000). E-Learning-A Review of Literature, IL: Knowledge and Learning Systems Group, NCSA.
Whalen, T. & Wright, D.(1999). “Methodology for Cost-Benefit Analysis of Web-based Tele-Learning: Case Study of the Bell Institute”, The American Journal of Distance Education, Vol.13 No.1, pp. 24~44.
abstract
A Study on the Evaluation of e-Learning Effectiveness
Yoeng-taak Lee
Economic, social and technological forces continue to change the global economy, and the way of life in organizations and the world. In specific, these forces have and continue to revolutionalize teaching and learning in organizations. Technology, the rapid obsolescence of knowledge and training, the need for just-in-time training delivery, and the search for cost-effective ways to meet learning needs of a globally distributed workforce have redefined the processes that underlie design, development and delivery of training and education in the workplace.
In the context of companies, e-Learning has merits in terms of access convenience, costs reduction, self-directed learning, reciprocity, and flexbility.
In this regard, the primary purpose of this study is to investigate evaluation methods of e-Learning effectiveness. The results of this study shows that evaluation methods of e-Learning effectiveness are comprised of three components: training effectiveness in e-Learning, technology satisfaction, and learner achievement.
First, Training effectiveness in e-Learning is composed of learner satisfaction, participation and interaction, feedback of learning. Second, technology satisfaction is composed of curriculum delivery methods and preference, learning environment, interface design. finally, learner achievement is composed of learning usefulness, achievement of learning objective, influence of job performance.
Keyword: e-Learning, e-Learning effectiveness, Education and training, Human resource development
