• 검색 결과가 없습니다.

평가 활용의 영향요인 검토

평가 활용의 영향 요인에 관한 기존의 연구를 정리하고 본 연구의 영향 요 인을 분석을 위한 기초를 만들도록 한다. 선행 연구는 국외 연구와 국내 연 구로 나누어 살펴보겠다.

1) 평가 활용의 영향 요인 국외 연구 검토

Pattton외(1977)은 미국 연방 정부의 정신보건 사업 관련자 및 평가자를 대상으로 영향요인을 연구하였다. 방법론의 질적 수준, 방법론의 적합성, 적 시성, 평가연구 종료의 지연, 긍정적 혹은, 부정적 결과, 예측하지 못한 평가 결과, 평가 대상 사업의 목적, 관련된 연구의 존재, 정치적 요인, 의사결정자 와 평가자 사이의 상호작용, 평가 연구에 동원 가능한 자원의 11가지 영향 요인을 제시하였다. 이 중에서 개인적 요인과 정치적 요인이 가장 강력한 영향력을 행사하는 요인이라고 설명한다.

Leviton&Hughes(1981)는 기존의 영향 요인을 5개 범주로 구분하였다.

정책결정자, 사업담당자, 고객의 요구 충족 정도를 적실성의 범주로 묶고, 평가자와 활용자의 직접적 의사소통 및 관료제 내의 커뮤니케이션을 의사 소통 범주로 분류하였다. 다음으로 관료가 평가 결과를 처리하는 과정과 평

가 결과의 표현 방식, 평가 결과의 관련성에 대한 활용자에 인식을 정보처 리로, 평가자에 대한 신뢰, 평가방법의 질, 평가 결과 이외의 다른 정보와의 비교는 신뢰성으로 범주화하였다. 마지막으로 활용자의 평가 관여와 정책에 대한 활용자의 선호를 활용자의 참여와 옹호로 제시하였다.

Alkin(1985)는 기존의 연구들을 종합하여 영향 요인을 3가지로 재분류한 다. 인간적 요인으로 사업과 평가에 대한 활용자의 태도, 활용자의 배경과 조직 내 지위, 활용자의 전문 경험 수준을 제시했다. 맥락적 요인으로는 평 가 환경으로 조직의 권한 배분, 정치적 분위기, 재정적 제약이 제시되었다.

평가적 요인으로는 평가 과정 절차, 평가 보고서의 품질, 평가결과의 품질을 제시하였다.

Cousins&Leithwood(1986)는 문헌분석 기법으로 평가 활용의 영향 요인 을 크게 평가 집행 요인과 의사결정 또는 정책 환경 요인으로 나누고 각 분 류 별 6개씩 총 12개의 요인을 제시한다. 평가방법의 정교성, 평가 모형의 유형을 평가의 질로, 평가자의 객관성, 평가자에 대한 신뢰성, 평가 기준의 적절성을 신뢰성으로 범주화하였다. 평가 목적, 평가자의 조직 내 지위, 평 가자의 내부조직 소속 여부를 적실성으로 분류하고 의사소통의 질은 보고 서의 스타일 등을, 평가 결과는 평가 결과가 활용자의 기대와 일치하는 정 도를 의미하며, 적시성은 평가 결과가 적절한 때에 제공되는 정도로 제시한 다. 의사결정 또는 정책 환경 요인 6가지는 정보 요구, 의사결정의 속성, 정 치적 분위기, 경쟁적 정보, 활용자의 개인적 특성, 활용자의 평가에 관여이 다. 정보 요구 요인에는 정보 요구의 강도, 요구되는 정보의 유형을 포함시 켰고, 의사결정의 유형 및 중요성은 의사결정의 속성으로, 평가 위탁자의 정 치적 성향과 조직 간 경쟁자, 의사결정자의 독립성은 정치적 분위기로, 평가 결과 이외에 다양한 정보원의 존재를 경쟁적 정보 요인으로, 활용자의 조직 내 지위, 정보 처리 스타일, 조직 내 경험, 리더십, 열린 마음을 활용자 개인 특성으로, 평가 개입 정도, 활용자의 평가에 대한 태도를 활용자의 평가 관

여 요소로 설정하였다.

Preskill&Caraeilli(1997)는 미국의 정책평가학회 회원들을 대상으로 평가 활용에 대한 인식 조사를 실시하여 영향 요인을 조사하였다. 평가 활용 계 획, 의도적 활용자의 식별과 중시, 평가의 의도적 활용 식별과 중시, 제한된 자원 내에서 평가 설계, 평가 과정에 이해관계자 참여, 평가 과정에 이해관 계자들과의 의사소통, 평가 결과 보고 계획 수립의 7가지 요인을 도출하였 다.

Johnson(1998)은 평가 결과의 영향 요인으로 내재적 과정 모형과 명시적 과정 모형을 사용하여 이론적 모델을 제시하였다. 이 모델에서 평가 활용은 인지적 활용과 행태적 활용으로 분류되고, 활용에 영향을 미치는 변수는 크 게 배경변수, 상호작용 변수, 활용 변수로 나누어진다. 배경변수로는 조직적 특성, 개인적 특성, 평가자 특성을 포함하였고 상호작용 변수로는 평가 참 여, 전파, 정치, 진실성 및 효용성을, 활용 변수로는 이해관계 및 이데올로 기, 정치, 조직 학습을 포함하고 있다.

Forss, Rebien, &Carisson(2002)는 평가 활용에 영향을 미치는 요인으로 활용의 수혜자, 평가 방법론, 평가자 및 이해관계자의 구성의 3가지 요소를 제시한다. 첫 번째로는 평가 활용을 통해 이득을 얻는 수혜 집단을 분석한 다. 두 번째로 평가 프로세스 활용에 영향을 미치는 요인은 평가 방법론의 선택이다. 평가 관련자 사이의 의사소통에 평가 방법이 영향을 미칠 수 있 기 때문이다. 세 번째는 외부 평가자와 이해관계자들의 구성방식이다.

Alkin&Taut(2003)는 평가 활용의 영향 요인으로 인적 요인, 평가적 요인, 맥락 요인을 제시한다. 평가 요인에는 평가 절차, 평가 설계, 비교 프로그램, 자료수집 및 분석 방법 등이 포함되며, 인적 요인에는 평가자 특성과 사용 자 특성을 포함시키고 있다. 마지막으로 맥락 요인에는 예산 제약, 조직 특 성 등 사업이 평가되는 환경적 요인을 제시하였다.

Dull(2008)은 평가 활용을 변수로 사용하여 미국 공무원을 대상으로 활용 에 대한 실증분석을 시도하였다. 종속변수로 평가결과의 신뢰성, 활용성, 유 용성을 설정하고, 독립변수로는 리더십, 관리방식, 도전적인 성과지표, 의회 의 관심 부족, 정치적 갈등, 응답자 특성(근무연수, 지위, 책임정도), 프로그 램 유형을 사용하였다. 분석 결과 기관장의 리더십은 평가결과 활용에 긍정 적인 영향을 미쳤지만 성과 측정 문제는 평가 결과 활용에 부정적인 영향을 미치는 것으로 나타났다. 다른 독립 변수인 관리 역량, GPRA 인지도, 직원 규모, 응답자의 직급 수준은 평가 활용에 긍정적 영향을 미쳤으나 프로그램 유형은 종속 변수에 영향을 주지 않았다.

Loegreid, Roness&Rubecksen(2008)는 노르웨이 정부의 성과정보 활용 에 대한 실증 연구를 진행하였다. 분석 대상은 노르웨이 부처 소속기관의 관리자이며 연구 목적은 노르웨이 성과 관리 제도를 연구하면서 활용에 영 향을 미치는 요인을 밝혀내는 것에 있었다. 성과 활용에 영향 요인 분석으 로 종속 변수는 성과를 활용한 통제(Performance steering)이며 독립변수 는 성과관리 요인(목표수립, 성과지표, 성과보고), 조직적 요인(공무원 충원, 지방조직유무, 집행위원회 유무, 서비스 생산 및 공급 유무), 문화적 요인 (조직의 크기와 연령), 환경적 요인(시장 경쟁, 외부로부터의 비판) 4가지를 제시하고 있다. 회귀분석 결과 성과 활용에 성과관리 요인에 해당하는 성과 보고 요인이 강한 영향을 미쳤고 설명력 26%로 독립 변수 중 가장 강한 설 명력을 보였다.

Moynihan&Pandey(2010)는 평가 활용 영향 요인으로 공무원의 특성과 조직 및 환경적 요인을 설정하고 미국 지방공무원을 대상으로 실증 연구를 시행하였다. 이들의 연구는 평가 활용에 있어서 합리적/기술 관료적 요인과 정치적/문화적 요인을 강조하여, 영향 요인으로 주지사, 입법부, 주의 정치 적 맥락, 공동체 특성, 응답자 특성, 조직문화, 성과지표 특성, 리더십, 네트

워크 특성, 행정적 요인, 정치적 변수, 과제 특성, 역사 의존성, 구조적 변수, 문화적 변수 등을 제안하였다. 이러한 영향 요인 중에서 개인 신념(공직복 무동기), 조직 요인(정보 활용 가능성, 발전문화, 유연성), 외부 요인(시민참 여, 전문가 영향력)이 종속 변수인 평가 활용에 영향을 미치는 것으로 나타 났다.

Moynihan&Lavertu(2012)는 평가 활용에 영향을 미치는 4가지 요인을 제 시한다. 첫째는 일상 업무상의 개혁(Reform Routines) 수준으로 GPRA, PART에 참여하는 정도를 측정하여 반영하였다. 두 번째는 응답자의 특성 으로 고위 공무원 여부, 근무 연수를 측정했다. 세 번째, 조직 요인으로 리 더십, 후속조치와의 연계성, 측정의 어려움, 의사결정 권한 정도, 정치적 갈 등 등이 해당한다. 네 번째, 주관 기관은 평가 활용에 대한 상위기관의 관심 정도, 의회의 관심정도, 감사의 관심정도로 측정하였다.

2000년-2007년 통합 데이터를 분석한 결과, GPRA, PART에 참여하는 정 도는 성과지표 개선 및 성과목표 설정의 수동적 활용에는 영향을 미쳤으나 의도적 활용에는 영향을 미치지 않았다. 조직적 요인은 수동적 활용과 의도 적 활용 모두에 유의미한 영향을 미치는 것으로 나타났다.

연구자 주요 내용

Patton외(1977)

-방법론 질, 방법론 적합성, 적시성, 평가연구 완료의 지 연, 긍정적 혹은 부정적 결과, 예측 못한 연구 결과, 평 가 대상 사업의 목적, 관련된 연구의 존재여부, 정치적 요인, 의사결정자와 평가자 사이의 상호작용, 평가에 동 원 가능한 자원

Leviton&

Hughes(1981)

-적실성: 정책결정자/사업담당자/고객의 요구 충족 -의사소통: 평가자와 활용자의 직접적 의사소통 등 -정보처리: 행정 관료들이 평가결과를 처리하는 과정 -신뢰성: 평가결과 외의 다른 정보와 비교 등

-활용자의 참여와 옹호: 활용자의 평가 관여 Alkin(1985)

-인간적 요인: 활용자와 평가자의 특성 등 -맥락적 요인: 사업이 평가되는 환경적 요인 -평가적 요인: 평가 실행 과정 절차 등

Cousins&

Leithwood(1986)

-평가 집행 요인: 평가의 질, 신뢰성, 적실성, 의사소통의 질, 평가결과, 적시성

-의사결정 또는 정책 환경 요인: 정보요구, 의사결정의 속 성, 정치적 분위기, 경쟁적 정보, 활용자의 개인적 특 성, 활용자의 평가 관여와 평가의 수용성

Preskill&

Caraeilli(1997)

-평가 초기 활용 기회, 의도적 활용자 식별, 의도적 활용 식별, 제한된 자원 내 평가 설계, 이해관계자의 참여, 이 해관계자들과 의사소통, 평가 보고 계획

Johnson(1998)

-배경변수(조직적 특성, 개인적 특성, 평가자 특성) -상호작용변수(평가참여, 정보 확산, 진실성/효용성 테스 트)

-활용 변수(이해관계/이데올로기, 정치, 조직 학습) Forss, Rebien

& Carisson(2002)

-활용의 수혜자 -평가 방법론

-평가자 및 이해관계자의 구성 Alkin&

Taut(2003)

-평가 요인: 평가 설계, 자료수집 및 분석 방법, 평가절 차

-인적 요인: 평가자 특성, 사용자 특성 -맥락 요인: 예산 제약, 조직 특성

Dull(2008) -리더십, 관리방식, 성과지표, 의회의 관심부족, 정치적 [표 2-3] 평가 활용 영향 요인에 대한 국외 선행 연구

관련 문서