측정의 타당도(validity)는 측정도구에 의해 측정 하려고 의도한 개념을 정확하게 측정했는가의 문제 이다.
청렴도를 측정하는 과정에서는 타당도를 확보하기 위해 다각도의 측면에서 노력이 있어왔다. 첫째, 변화 하고 있는 행정환경에 맞도록 평가자 범위를 확대하고 평가모형을 보완하여 왔다. 처음 도입 당시에는 민원인 대상의 설문조사결과만으로 청렴도 측정이 이루어졌 지만, 이후 내부직원, 정책고객 등 다양한 각도에서 평가가 이루어질 수 있도록 평가자 범위가 확대해 왔다. 또한, 평가자 설문조사 위주의 측정방식에서 벗어나 부패공직자 징계통계나 부패사건 등의 자료를 설문 조사 결과와 결합하여 점수를 산출하는 등 측정모형을 보완하여 왔다.
둘째, 청렴도 측정방법에 대한 객관성을 확보하기 위해 청렴도에 대해 연구하거나 직접적인 연관이 있는 전문가들로부터 여러 차례 자문을 받고, 델파이(Delphi) 조사를 통해 의견을 수렴하였다. 델파이 조사란 대상 문제에 대해 설문지를 작성한 후 전문가들로부터 개 별적으로 의견을 수집하고 이 결과를 요약하여 다시 전문가들에게 피드백을 요청하여 의견을 수정할 기회를 주고, 이를 반복적으로 진행한 후 마지막으로 의견을 종합하여 합의된 결과를 도출하는 것을 말한다. 공공 청렴도 측정의
타당도
기관 청렴도 측정은 연구자들과 전문가들의 합의를 통해 도출된 조사모형과 측정방식을 사용하여 왔다.
셋째, 설문조사 방식에서도 응답자의 인식에 치중 했던 기존 청렴도 관련 조사 방식의 한계를 극복하기 위해 평가자의 부패경험을 묻는 방식을 도입함으로써 실질적인 청렴수준을 측정하기 위해 노력했다.
넷째, 표본조사의 모집단 대표성을 높이기 위해 청렴도 조사에 활용된 민원인리스트와 직원리스트 등 응답자 리스트를 모두 데이터베이스화 한 후, 정해진 표본추출방법에 따라 표본이 데이터베이스에서 자동 으로 추출될 수 있도록 하는 등 조사 전 과정을 관리 할 수 있는 전용 프로그램을 만들어 표본추출과정 에서의 오류를 줄여왔다.
측정의 신뢰도(reliability)는 측정을 통해 얻어진 자료를 어느 정도 믿을 수 있는가의 문제이다. 신뢰 도는 동일한 개념을 반복해서 측정했을 때 동일한 측정값이 얻어지는 정도(일관성)와 관련된 개념이다.
청렴도 측정과정에서는 신뢰도를 높이기 위해 다음과 같은 노력을 기울이고 있다. 첫째, 설문 등 측정 도구를 개발하는 과정에서 예비조사를 실시하고, 매회 조사 시마다 신뢰도 점검도구인 신뢰계수(Cronbach α)를 통해 신뢰도를 점검해 왔다. 둘째, 청렴도 측정에서의 다양한 개념을 차원을 다르게 측정하거나 동일 차원을 청렴도 측정의
신뢰도
정반대의 입장에서 측정해 일관성을 점검했다. 셋째, 응답자의 편의를 위해 전화조사뿐만 아니라 온라인조사, 스마트폰을 활용한 조사 등으로 조사방법을 다양화함 으로써 충실한 응답을 유도하려 하였다. 넷째, 측정 대상 기관들의 평가자들에 대한 표본오염행위에 대해 서는 설문조사 및 현지점검을 통해 적발하고 이를 점수화하여 측정결과에 감점 반영함으로써 측정의 신뢰도를 높이고 있다.