1) 지표의 개념
지표(indicator)란 어떤 사상의 속성이나 상황을 가장 잘 나타내는 척도 (measure of scale)를 말한다(김신복, 1991:284). 평가모형을 개발하는데 있어 서 가장 중요한 작업은 평가대상을 선정하고 구체적인 평가방법을 설계해 이를 체계적으로 측정하여 평가근거로 삼을 수 있는 지표를 설계하는 일이 다. 특히 공공부문의 평가대상은 그 공공성과 목표의 추상성으로 인하여 평 가대상을 지표화 하는 것이 사부문보다 어렵다.
따라서 지표개발을 위한 이론적 기초를 튼튼히 하는 것이 평가지표의 타 당성과 객관성을 극대화하는 첩경이 될 수 있다. 지표의 구성과 관련하여 개념 과 조작화 에 대한 이해가 필요하다(김해동, 1991:46). 개념은 주위에 산재해 있는 일정한 현상들을 보다 일반화함으로써 그들을 대표할 수 있는 추상화된 표현 또는 용어라고 할 수 있다. 따라서 유용한 개념(useful concept)이란 경험적 현상을 추상화한 개념이 일반화된 것을 말한다. 개념 에도 추상성의 의미가 함축되어 있다. 그 추상성 일반성의 정도는 이론의 그 것에 미치지 못하나 이론이 바로 개념과 개념간의 관계에 의해 형성된다는 점에서 개념 의 중요성이 있다.
지표를 구성한다는 것은 바로 평가대상에 대한 개념을 분명히 하는 작업 이라고 할 수 있기 때문이다. 그러나, 인문 사회과학 영역에 있어서는 상대 적으로 과학, 수학 등의 자연과학 영역과는 달리 그 외부적 양태를 쉽게 관 찰할 수 없으며, 그러한 양태를 객관적인 숫자로 표현하는 것이 매우 어렵 다. 왜냐하면 그 추상성의 정도가 높고 함축적인 여러 의미를 내포하기 때문 이다. 개념은 한정성, 통일성을 구비하여야 하고, 또 개념도 그것이 커버하는 범위를 적절히 정할 수 있어야 하며(개념의 추상화 정도의 문제), 체계적 의 미를 지녀야한다. 조작화(operationalism)란 인식의 주체가 객체를 대상으로 인식활동을 벌여 과학적 지식을 얻는데 있어서 기호화를 위한 활동이라고 할 수 있다(김경동・이온즉, 1986:21). 우리는 과학적 지식을 얻기 위해 과학 적 활동을 하며 이 과학적 활동의 요체가 기호화 활동으로 조작적 행위는
그 단면이다. 조작적 정의에 대한 비판이 많은 것은 사실이나 기호화 활동속 의 조작적 행위는 자료를 대상으로 전개되며 활동의 구체적 내용은 관찰, 실 험, 측정, 추리 및 증명 등이나 특히 사회과학연구에서는 실험집단의 연구나 관찰연구 등을 지칭한다. 이러한 조작적 정의는 이론과 모형의 정립 또는 검 증에 있어서 중요한 전환적 기능을 한다.
2) 지표의 분류
지표는 다양하게 분류될 수 있지만12)(김신복, 1991:284-285) 잠정지표(ad hoc in dicator), 자료에 기초한 지표, 그린 복합지표(composite in dicator)로 분류할 수 있다(Judith Innes De Neufville, 1978-1979: 178-180). 잠정지표는 정부가 정책정당화가 필요할 때 갑자기 또는 임시로 만든 지표이다. 자료에 기초한 지표는 요인분석이나 군집분석을 통해 개발한 지표를 말하고, 복합지 표란 하나의 개념을 위해 개발된 여러 가지 척도 내지 지표를 의미한다. 여 기서 관심을 갖는 것은 자료에 기초한 지표와 여러 가지 상이한 속성으로 결합된 복합지표이다.
또한 지표에는 객관적인 지표와 주관적인 지표가 있다. 객관적인 지표는 사물의 객관적인 특성을 나타내는 것인데 반해, 주관적인 지표는 객관적인 상황에 대한 인식이나 평가를 의미한다. 객관적인 지표와 주관적인 지표를 구분하는데 있어서 커터(S.L. Cutter)의 세 가지 지표유형은 독특하다. 커터는 범죄, 주택, 건강, 소득 등과 같은 사회적 환경(social environment), 기후, 오 염, 오락 등과 같은 물리적 환경, 그리고 이들 객관적 지표에 대한 주관적인 평가를 의미하는 인지적 지표(perceptual indicator)를 제시하고 이 세 가지 지표의 통합을 시도하였다(S.L. Cutter :1985). 그러나 커터의 분류 중 첫 번 째 두 가지는 환경에 대한 주관적인 평가나 장소에 대한 주관적인 지표로 볼 수 있고, 마지막 인지적 지표는 개인의 외부에 존재하는 가치체계에 의해
12) 김신복 교수는 지표에 대한 정의를 경제지표와 사회지표, 직접지표와 간접 지표, 저량지표와 유량지표, 그리고 투입지표- 과정지표- 산출지표로 나누고 있 다.
가중치가 부여된다는 점에서 객관적인 지표로 분류될 수 있다(J. Horley &
B.R.Little, 1989).
3) 지표개발 과정에 대한 이론적 검토(한국행정연구소, 1992: 36-40) 조직활동을 종합평가하기 위한 지표를 개발함에 있어서는 평가대상과 평 가방식을 분명하게 규명하는 가운데 각 지표와 어떻게 연계되어 있는가를 사전에 개념적 구성요소로서 도출해 내는 작업을 수행하여야 한다. 그래야만 평가대상의 특성을 가장 잘 나타낼 수 있는 지표의 작성(구체적 타당성)이 용이하게 될 것이다. 지표는 단순히 사실에 대한 인식을 나타내는 것은 아니 다. 지표를 통하여 부처활동의 적정성을 사실에 기초하여 체계적으로 표현해 내기 위해서는 자료 수집의 방법과 자료해석의 준거틀을 명시적으로 고려하 여야 한다. 특히 지표는 해석의 과정을 통하여 사실에 관한 언명 이 정책의 영향에 관한 언명 으로 전환된다는 점에서 해석의 준거를 마련하는 것이 필 요하다. 일반적으로 지표작성은 〔그림Ⅴ-5〕에서 표시된 바와 같이 2단계 과정을 통하여 수행된다.
<관념(idea)> <실제(reality)>
일반개념 복합적 현상
1단계 1단계
하위개념 속성 또는 차원
또는 변수
2단계 2단계
지표 구체적 평가대상
〔그림 Ⅴ-5〕지표작성 단계 출처: 서울대학교 석사학위논문 (이재용, 1995).
우선 평가대상이 되는 활동이 일반적 개념으로서 추상적이고 복잡한 현상 으로 표현되기 때문에 이를 보다 하위의 개념구성요소, 또는 변수로 세분화, 구체화하는 것이 필요하다. 1단계에서 이와 같이 일반개념은 하위개념 또는 변수로 구체화시키는 것을 내포적 정의 또는 구성적 정의 라고 한다. 다음 2단계는 하위 개념이나 변수가 지칭하는 대상물을 구체화시키는 과정이다.
이와 같은 하위관념이나 변수의 구체화 과정을 흔히 조작적 정의 라고 한다.
지표의 구성은 이와 같은 조작적 정의라는 단계를 통하여 구체적인 지칭 대 상물로 전환된다고 할 수 있다. 따라서 지표개발 과정에서 가장 중요한 문제 는 이와 같은 내포적 정의나 조작적 정의를 얼마나 명료하게 수행할 수 있 느냐 하는 것이다. 지표작성과정에서 내포적 정의나 조작적 정의는 개념의 구성요소를 구체화시키는 분석적 과정이나 측정대상에 관한 관심사항을 확 인하는 과정을 통하여 수행될 수 있다. 이런 점에서 지표개발과정에서는 연 구의 목적이나 지표작성의 목적을 구체화, 체계화시켜야 함은 물론 이를 지 표작성 과정에 반영하고 하는 노력이 수반되어야 한다.
지표설정에 영향을 미치는 요인으로서는 측정의 질적 수준 과 측정의 실 행가능성 에 대한 고려가 있다. 개념 혹은 관심의 구체적 과정을 통하여 지 표를 선정한 다음에는 분석의 단위와 측정의 수준의 선택에 관한 문제를 고 려하야야 한다. 또 선정된 분석단위를 기준으로 하여 자료의 수집이 가능한 가 하는 실행가능성의 문제를 고려하여야 한다. 측정의 수준과 관련해서는 측정지표의 척도를 선정하는 문제라고 볼 수 있다.
즉, 명목척도, 서열척도, 등간격척도, 비율척도 중에서 선정된 지표의 특성 에 부합되는 척도를 골라야 한다. 이와 같은 과정을 통해 선정된 지표가 과 연 잘 구성되었는가를 타당성과 신뢰성의 관점에서 평가하는 작업이 필요하 다. 특히 변수 혹은 하위개념이 다차원적 성격을 띠고 있어 복수의 지표가 선정된 경우에는 구성의 타당성 검토에 주안을 두는 것이 필요하다.
4) 평가지표의 구성 요소 가) 평가지표의 기본 요소
평가지표는 지표의 정의, 평가산식, 평가기준치, 가중치 및 등급구간 등 5
가지를 기본 요소로 한다. 지표의 정의는 지표에 사용된 개념들을 정의하고 평가대상과 구체적으로 연계시키는 작업이다. 평가산식은 평가지표의 구체적 측정방법을 서술하는 것이며, 평가기준치는 결정된 산식에 따라 계산하여 어 느 정도가 평가기준으로 결정되어야 할 것인가에 대한 설명이다. 등급구간은 평가결과가 기준치를 상회할 경우 단순히 합격한 것으로만 평가할 것인가 아니면 이를 다시 등급화하여 나타낼 것인가의 문제이다. 마지막으로 가중치 는 각 지표의 점수를 종합할 때 각 지표간 평가비중은 어떻게 줄 것인가의 문제이다.
나) 평가지표가 갖추어야 할 구체적인 속성
첫째, 측정가능성이다. 계량・비계량을 막론하고 평가의 객관성을 확보할 수 있도록 각 개별지표의 측정방법에 대한 심층적인 분석이 이루어져서 실 제 측정 가능한 지표를 구성하여야 한다.
둘째, 개선가능성이 있다. 평가지표는 해당 행정활동의 과정과 성과를 개 선할 수 있는 개선잠재력이 높은 분야의 개선을 촉진하도록 설계되어야 한 다.
셋째, 관리가능성이 있다. 평가지표는 해당 부처의 통제 범위내의 활동을 대상으로 하여야 한다. 부처의 노력만으로 해결될 수 없는 문제점을 평가하 는 것은 지양되어야 한다.
넷째, 상대적 중요성에 입각해야 한다. 평가지표의 종류 및 수의 적정성 여부는 평가목록, 대상 등에 따라 달라지나, 지표관리 및 평가합목적성 측면 에서 볼 때 지표의 종류 및 수는 제한될 수밖에 없다.
다섯째, 충분성의 원리가 있다. 평가지표는 부처의 성과를 충분히 평가할 수 있어야 하며 중복 평가나 상호 모순되는 지표가 없어야 한다.
여섯째, 비교가능성이 있다. 평가지표는 원칙적으로 계속성을 유지하여 부 처활동 및 평가의 안정성을 확보하고 연도별의 성과와 개선정도를 비교할 수 있어야 한다.
다) 지표 선정의 기준
그러므로 지표가 단순한 통계 이상의 것을 나타내려면 최소한 두 가지 요 건이 충족되어야 할 것이다. 한 가지는 지표로써 표현되는 내용에 대한 이해
와 합의가 있어야 할 것이다. 다른 한가지는 관련 학계는 물론 정책 입안자 나 일반인이 인적자원개발지표가 나타내는 내용을 인지할 수 있는 이론이 정립되어야 할 것이다. 지표로서 갖추어야 할 이러한 요건이 모두 충족되는 지표를 선정한다는 것은 쉬운 일이 아니다. 다만, 이러한 요건 중에서 하나 라도 근접하는 경우로 판단되는 경우 선정하고 자 한다.