평가모델

가. 평가모델의 개념

교육훈련에서 평가란, 조직 구성원들의 다양한 관심에 유용한 정보 와 의사결정 자료를 제공하기 위하여 프로그램 자체 및 결과와 영향 력을 체계적으로 분석하는 활동이다(홍영란, 1997). 나일주 등(2003) 은 교육훈련에 있어 평가의 목적은 실시한 교육훈련이 초기의 목적을 달성했는지를 확인하고, 교육의 테마․내용․방법 등이 적절하였는지 확인하여 앞으로의 개선에 반영하며, 교육정책 의사결정권자에게 교 육부서 및 교육담당자의 역할을 이해시켜 주는 데 있다고 하였다. 따 라서 평가에 대해 어떤 관점을 택하는가에 따라 평가의 정의나 평가 방법 및 절차가 달라질 수 있다.

한편, 모델(model)은 어떤 일의 과정과 절차, 혹은 개념과 도구를 간략히 도식화한 추상의 산물을 의미한다(Rothwell & Kazanas, 1998;

김소영 외, 2011 재인용). 그러므로 모델은 목적과 상황에 따라 복수 의 모형을 결합시키거나 함께 활용하는 것이 가능하며, 특히 인적자원 개발 분야에서는 어떤 하나의 모델에 지나치게 경도되기보다는 이러 한 결합적 활용을 통하여 교육훈련의 개념을 더욱 구체화하고 현장 활용도를 높일 수 있다.

그러므로 교육훈련 평가모델이란 교육훈련의 평가목적을 효과적으 로 달성하기 위하여 특정 탐구방식을 적용하여 평가방법 및 절차를 체계화해 놓은 것이라고 정의할 수 있으며, 평가모델은 복잡한 평가현 상을 구체적으로 파악하는 데 매우 유용한 정보를 제공해 주는 역할

을 한다(서민원, 1994).

이에 따라 기존에는 맥락에 맞게 평가모델을 구축하고 교육훈련의 성과를 파악하고자 하는 연구들이 주를 이루었다. Astin(1991)은 대학 교육의 성과를 개인적인 측면에서 보고 학문적 능력, 인지적 능력, 자 아개념, 자아존중감, 대학 만족도 등을 학생 성과의 질을 나타내는 요인 으로 분석하였다. 장은정 등(2007)은 원격대학의 성과 측면에 초점을 두고, 원격대학이 진정으로 교육적 결과에 영향을 미치는지, 영향을 미 친다면 어느 정도 영향을 미치는지 등과 같이 원격대학의 교육적 기능과 역할에 따른 궁극적인 목적 달성도를 분석함으로써 성과를 다차원적으 로 분석하였다. 권기혁(2013)의 연구에서 팀 성과는 조직 수준 성과, 팀 수준의 행위와 결과, 개인 수준의 역할기반 성과 및 복합적 성과로 나눌 수 있다는 이론에 근거하여, 성과모델에 개인 수준, 팀 수준, 조 직 수준 차원을 포함시키고, 팀 성과의 복합적인 성과를 분석하였다.

나. 평가모델의 종류

그동안 교육훈련의 효과를 측정하기 위한 다양한 평가모델들이 제 시되어 왔는데, 이러한 평가모델들은 크게 과정 지향적 평가모델과 결 과 지향적 평가모델로 나누어 볼 수 있다. 과정 지향적 평가모델은 교 육의 전 과정을 평가하는 모델로 CIPP 모델, CIRO 모델 등이 대표적 이다. 결과 지향적 평가모델은 교육의 결과를 평가하는 모델로 Kirkpatrick의 4단계 평가모델, Phillips의 5단계 평가모델 등이 있다.

본 연구에서는 이중에서 기업의 성과모델에 많이 쓰이고 있는 Kirkpatrick 모델, CIPP 모델, 논리지향 평가모델, IPO 모델을 소개한다.

1) Kirkpatrick 모델

[그림 2-2] Kirkpatrick 모델

Kirkpatrick의 4단계 평가모델은 오늘날 교육훈련 평가를 위하여 가 장 일반적으로 사용되고 있는 평가방법이다(임세영 외, 2006).

1단계 반응평가는 학습자들의 반응을 측정하는 것이다. 평가내용은 강사, 학습내용, 학습방법, 교재, 학습환경, 학습일정에 대한 단기적 만족도이다. 반응평가의 실시 시기는 교육 종료 시 시행하는 것이 가 장 보편적이며, 프로그램 전체 혹은 과목별로 실시한다.

2단계 학습평가는 훈련 이전에 설정했던 학습목표의 달성 여부를 측정하기 위한 것이다. 습득한 지식의 기억 여부, 습득한 기술의 숙련 도, 의도했던 태도의 변화 등을 측정하여 학습자들이 학습목표를 달성 하지 못했을 경우에는 이를 달성하도록 추가 지도를 하기도 한다. 만 일 대다수의 학습자들이 학습목표 달성을 못했다면 훈련 프로그램을 대폭 수정하기도 한다. 평가형식은 지필 테스트, 배운 기술을 직접 수

행하기 또는 태도 관찰 등이 있다.

3단계 행동평가는 학습한 것을 현장에서 행동으로 실천하는가를 측 정하는 것이다. 즉, 훈련 장면에서 배운 것을 현업 상황에 전이시켜 지속적으로 활용하는가를 평가하는 것이다. 학습자를 통한 자기행동 변화 측정이 가능하기도 하지만, 신뢰도를 배가하기 위하여 상사, 동 료, 부하 및 고객으로부터 다양한 정보를 입수하여 폭넓게 접근하기도 한다. 실시 시기는 훈련 후 3∼6개월 후가 가장 적정하며, 설문조사, 관찰, 인터뷰 등의 방법이 활용된다.

4단계 결과평가는 학습결과가 현장에 적용되어 조직에 어떠한 성과 를 가져왔는지를 측정하는 것이다. 훈련의 실시 결과 비용 절약, 업무의 질 개선, 산출의 증대와 같은 조직의 발전과 개선에 미치는 영향을 중 시하며, 조직의 유지 및 산출과 관련된 변화에 평가의 초점을 맞춘다.

2) CIPP 모델

[그림 2-3] CIPP 모델

CIPP 평가모델은 의사결정권자의 의사결정을 돕기 위해서 훈련을 평가하는 목적과 역할에 의의를 두는 평가관점이다(이용환 외, 2010).

상황평가는 프로그램의 상태를 점검하는 가장 기본적인 단계로서 훈련의 바람직한 상황 설정과 달성되지 않은 잠재된 기회 파악, 충족 되지 않은 요구 사정, 요구의 충족과 기회의 활용을 저해하는 장애물 파악 등을 목적으로 한다. 기회와 문제점들에 대한 개념적 분석, 성취 목표를 구체화하기 위한 경험적인 연구 및 분석을 병행하는 데 체제 분석과 자료검토, 의견 조사 및 청취, 면담 등이 활용될 수 있다(이준 희 외, 2010).

투입평가는 훈련목표를 달성하는 데 어떠한 자원들이 어떻게 투입 되고 활용되는지를 파악하기 위한 단계이다. 평가의 대상이 되는 항목 들은 해당 훈련을 위하여 훈련을 담당하고 있는 기관이 가지고 있는 인적 또는 물적 자원과 목표 달성전략을 파악한다. 투입평가에서 내용 은 훈련활동에 동원, 투입던 자원이 훈련목표를 달성하는 데 적절했는 지에 대한 정보를 제공함으로써 향후 훈련과정의 구조화 단계 의사결 정에 활용될 수 있다(이준희 외, 2010).

과정평가는 훈련을 실행하는 과정 및 절차의 현황, 성공요인, 문제 점, 장애요인을 파악하고 이를 개선할 수 있는 절차를 도출해가는 단 계이다. 평가방법에는 훈련의 운영과 실행에 대한 문헌분석과 실행절 차를 지속적으로 기록하고 판단하는 방문분석이 있다. 이렇게 도출된 자료들은 훈련 담당자로 하여금 프로그램의 절차나 과정에 있는 결 점들을 파악하고, 실제로 이를 운영하면서 발견된 수행과정상의 관 련 문제점을 인식하고 개선을 위한 노력을 할 수 있게 해준다(이준희 외, 2010).

성과평가는 훈련이 종료되는 시점에서 도출된 결과를 측정하고 분 석하는 단계이다. 이 단계에서는 앞선 상황․투입․과정 평가 단계의 결과와 연관하여, 프로그램이 기존에 설정된 목표에 부합하여 운영되 었을 때의 최종적인 훈련성과를 검토하여 해당 훈련의 최종적인 효과 성을 판단할 수 있는 정보를 제공한다. 훈련목표의 달성 정도와 훈련 진행 이후에 나타난, 의도하였거나 의도하지 않았던 결과들을 파악할 수 있다(이준희 외, 2010).

3) 논리지향 평가모델

논리지향 평가의 기본 가정은 프로그램의 실행 과정과 효과를 이해하 는 평가의 기초로서 프로그램의 존재 근거 혹은 프로그램 논리를 활 용한다는 것이다(배을규, 2009; Smith, 1994). 프로그램 논리에 대한 일치된 견해를 찾아보기는 어려우나, 공통적으로는 ‘프로그램에 내재 된 논리’, ‘프로그램 구성요소와 프로그램이 의도한 목표의 달성’, ‘그 로 인한 성과 창출로 연계되는 인과적 관계’라는 내용을 담고 있다.

일반적으로 논리모델은 투입, 과정, 산출, 성과, 그리고 외적 영향 요인으로 구성된다. 투입 요인은 프로그램을 위하여 필요한 인적․물 적 자원을, 과정 요인은 프로그램이 의도하는 결과를 낳기 위해 필요 한 활동을 의미한다. 산출 요인은 프로그램 참가자들에게 직접적으로 제공되는 상품 및 서비스 등을, 성과 요인은 프로그램 참가자들에게 주어지는 혜택 또는 프로그램으로 인한 변화를 의미한다. 마지막으로 외적 영향 요인은 성공적인 프로그램 수행에 영향을 미치는 특징적 요소를 의미한다(McLaughlin & Jordan, 2010). 그리고 이러한 논리모

델은 ‘관련 정보 수집’, ‘프로그램이 의도한 목표 및 프로그램이 수행되 는 상황적 요인 검토’, ‘논리모델에 포함될 요소 규정’, ‘논리모델 개발’,

‘이해관계자와의 협의를 통한 검증’의 단계를 거쳐 구축된다(Coryn, Noakes, Westine & Schröter, 2011; Donaldson, 2007; McLaughlin &

Jordan, 2010).

4) IPO 모델

[그림 2-4] IPO 모델

IPO 모델은 1964년 McGrath가 최초로 제시한 것으로, 그는 집단 내에서 이루어지는 작업에 대하여 투입, 과정, 산출의 순서로 설명하 고, 집단의 행동과 성과를 분석하였다. 이후 IPO 모델은 투입-과정-산출 -결과의 기본 틀을 근간으로 연구자들에 따라 다양한 방식으로 변경, 확장되며 발전해 왔으며(LePine 외, 2008; Cohen & Bailey, 1997; 권 기혁, 2013 재인용), 다면적인 방법으로 성과분석 연구가 진행되었다.

이를 요소별로 구체적으로 살펴보면, 투입은 업무 수행을 위하여 인

이를 요소별로 구체적으로 살펴보면, 투입은 업무 수행을 위하여 인