타당성(validity), 혹은 구성 타당성(construct validity)이라고도 불리는 이 개념은 실제 측정하고자 하는 구성개념을 정확하게 측정하고 있는가에 대한 것이다. 예를 들어,‘연민’이라는 개념을 측정하고자 할 경우, 실제로‘연민’에 대하여 측정을 하고 있는지, 아니면 ‘동정심’과 같이 다른 개념이 측정이 되는지에 대한 것이다. 타당성은 이론적 및 실증적 접근을 통한 평가가 가능하고 가능한 두 가지 접근을 모두 활용하는 것이 바람직하다. 이론적 측면에서의 타당성 평가는 이론적으로 구성개념을 얼마나 잘 조작적 정의로 표현하였는지를 측정한다. 이러한 유형의 타당성을
‘번역 타당도(translational validity)’또는 표현 타당도(representational validity)라고 한다. 이 타당성은 안면 타당성 (face validity)과 내용 타당성(content validity)로 구성된다. 번역적 타당도는 주로 전문가로 구성된 패널에 의해 평가된다. 이들은 각각의 항목들이 구성개념의 정의와 잘 이루어 졌는지 평가를 하게 되는데 여기서 Q-솔트(Q-sort)라는 질적 기법을 사용한다.
실증적 관찰을 바탕으로 한 하나 이상의 외부 요소들과 측정하고자 하는 구성개념이 얼마나 잘 연결되어 있는지가 타당성의 실증적 검증과 직결되는 문제인데 이를 기준 타당도(criterion-related validity)라고 한다. 이것은 수렴 타당도(convergent validity), 판별 타당도(discriminant validity), 동시 타당도(concurrent validity), 예측 타당도(predictive validity)로 구성되어 있다. 반면 번역 타당도(translational validity)는 측정하려는 구성개념이 이론의 개념을 잘 반영하였는지를 평가한다면, 기준 타당성은 이론적 구성개념의 측정이 실제 연구 설계에서 설정한 것처럼 잘 수행되고 있는가를 평가하는 것이다. 또한 관찰된 데이터는 상관관계 분석이나 요인 분석과 같은 통계적 기법을 활용한 양적 분석에 중점을 둔다. 타당성의 이론과 실증적 세계에서의 평가는 사회과학 연구에서 충분히 타당성을 검증하기 위한 필요한 방법이다.
다양한 종류의 타당도는 측정 과정(measurement procedures)과 관련이 있으며 가설 검증 과정(hypotheses testing procedures)과는 구별된다. 즉, 내적 타당도(internal validity: causality), 외적 타당도(external validity: generalizability), 통계적 결과 타당도(statistical conclusion validity)가 있으며 마지막의 통계적 결과 타당도는 다음 장에서 자세히 설명한다.
안면 타당도(face validity). 구성개념을 측정하는 표면 상의 합리적인 측정의 정도를 나타내는 지표(indicator)이다. 예를 들어, 충분한 설명 없이 한 사람의 종교의례 참가 횟수가 그 사람의 종교에 대한 신념을 나타내는 지표가 될 수 있다. 따라서, 해당 지표는 안면 타당도를 가지고 있다. 반면,
도서관에서 책을 대출하는 횟수를 직원의 도덕성의 지표로 측정한다면 이해 가능한 지표로 대표하기는 어렵기 때문에 안면 타당도가 부족하다. 특히, 조직행동 연구에서 사용되는 측정이 안면 타당도를 충분하게 만족하지 못하는 경우가 많이 있었다. 조직이 새로운 지식 및 기술을 받아들이는 능력을 연구 및 개발 투자 집중도라는 하나의 한 지표로 보는 경우가 대표적인 예이다. 만약 우리가 연구하고자 하는 구성개념의 정의가 모호하고 다른 연관된 개념들과 쉽게 구분을 할 수 없을 경우에는 전문가 패널을 고용하여 각 개념의 안면 타당도를 검증 받을 수 있다.
<그림 7.2> 타당도 평가에 대한 두 가지 접근법
내용 타당도(content validity). 측정하려는 구성개념의 관련된 내용 도메인과 척도 항목들이 얼마나 잘 일치하는지 평가하는 것이다. 예를 들어, 당신이‘레스토랑 서비스의 만족도’을 측정하고자 한다면, 음식의 질, 직원의 친절도, 대기시간, 레스토랑의 전반적인 분위기를 포괄하는 구성개념을 내용 도메인으로 정의해야 한다. 그리고 구성개념의 내용 타당도를 만족시키기 위해서 레스토랑의 고객이 위에서 언급한 사항들에 대해 만족하는지를 측정하는 지표를 사용하여 측정해야 한다. 이 접근 방법은 구성개념의 전반적인 내용 도메인에 대한 자세한 설명이 요구되며 자부심이나 지능과 같은 복잡한 구성개념은 더욱 그러하다. 전문가 패널을 활용하여 안면 타당도와 동일하게 구성개념의 내용 타당도 검증이 가능하다.
수렴 타당도(convergent validity). 실제 측정하고자 하는 방법이 측정 방법이 잘 알려진 구성개념을 얼마나 근접하게 측정하는지를 나타내는 것이다. 판별 타당도(discriminant validity)는 측정에 포함되지 않는 구성개념을 측정하지 않고 있는 정도를 나타낸다. 일반적으로 수렴 타당도와 판별 타당도는 일련의 구성개념들을 종합적으로 측정한다. 예를 들어, 조직 내 지식의 수준이 조직의 성과와 관련이
있다고 할 경우, 연구자가 측정하고 있는 조직 내 지식을 실제 조직 내 지식의 수준으로 측정하고 있는지(수렴 타당도), 조직의 성과를 측정하고 있지는 않는지(판별 타당도)를 동시에 살펴 볼 수 있다.
수렴 타당도는 구성개념의 특정 지표와 다른 지표의 비교를 통해 유사성으로 나타나지만 판별 타당성은 하나의 구성개념과 관련된 지표들이 다른 구성개념의 지표들과의 상이성으로부터 나타난다.
위의 예시로 돌아가서 조직 내 지식의 수준과 조직의 성과를 각각 세 개의 항목으로 측정한다고 하면, 각 항목간의 이진상관관계를 도출할 수 있다. 아래의 상관관계 매트릭스를 살펴보면 조직 내 지식의 수준과 조직의 성과의 개별 항목들 사이에는 높은 상관관계를 가지고 있음을 보여주지만 두 구성개념들의 항목들간의 상관관계는 낮게 나타났다. 따라서 항목 간의 수렴 타당도는 판별 타당도와 함께 동시에 확인할 수 있다(표 7.1).
<표 7.1> 수렴 타당도 및 판별 타당도의 이진 상관관계 분석
수렴 타당도와 판별 타당도를 판단하는 통계적 방법론에는 탐색적 요인분석(exploratory factor analysis)이 있다. 이것은 데이터축소기법(data reduction)으로써 이진 상관관계 분석을 바탕으로 구성개념의 주어진 항목들을 더 적은 수의 요인들의 집합체로 축소시켜 상관관계를 분석하는 분석방법이다. 여기서 주요인분석(principal components analysis)이라는 통계적 기법을 사용하는데 각 요인들은 이론에서 검증하고자 하는 구성개념과 밀접한 관계가 있어야 한다. 추출된 요인들은 고유치(eigenvalue)가 1.0 이상이 되어야 하고 요인들은 직각(orthogonal) 또는 사각(oblique)회전 기법을 사용하여 추출된다. 적절한 수렴 타당도를 측정하기 위해서는 구성개념에 해당하는 각각의 요인들은 0.6 (또는 0.7) 이상의 요인 적재 값(factor loading)이 나와야 하고 이를 동일성-요인 적재 값(same-factor loading)라고 한다. 반면에 판별 타당도는 0.3(또는 0.4)이하의 요인 적재 값(factor loading)이 나타날 경우 크로스-요인 적재 값(cross-factor loading)이라고 한다. 수렴 타당도와 판별 타당도를 더욱 정교하게 측정하기 위해서 사용하는 방법은 다속성 다측정 기법 매트릭스(multi-trait multi-method matrix: MTMM) 접근법이다. 이 접근 기법은 개별의 구성개념을 두 개 이상의 서로 다른 방법을 사용하여 측정해야 한다. 예를 들어, 설문조사와 개별적 관찰을 병행하는 방법, 교육의 질을 평가하는데 교사와 학부모라는 두 집단의 응답자를 대상으로 하는 설문조사가 있다. 이 방법은 다른 타당도 검증 방법과 비교하여 상대적으로 까다로워 널리 쓰이는 기법이 아니기 때문에 설명을 생략하도록 한다.
<표 7.2> 수렴 타당도 및 판별 타당도의 탐구적 요인 분석
기준 타당도(criterion-related validity)는 구성개념을 기존에 있던 측정 기준이나 미래에 개발 될 기준들과 얼마나 잘 관련이 되어 있는가를 측정을 하게 되는데, 이것을 각각 동시 타당도와 예측 타당도라고 부른다. 예측 타당도(predictive validity)는 이론적으로 기대되는 결과와 측정을 통한 미래의 결과가 얼만큼 정확히 예측할 수 있는가를 검증하는 정도이다. 학생의 대학 수학능력 시험과 같은 공인된 시험 점수와 높은 GPA 성적을 측정하여 성공적인 대학생활을 예측할 수 있을까? 이것은 이론적으로 구성개념들 간의 네트워크가 얼마나 잘 형성되어 있는지를 살펴보면 알 수 있다. 동시 타당도(concurrent validity)는 하나의 측정 방법이 동시에 다른 측정 방법과 얼만큼 잘 연계성이 있는가를 검증한 것이다. 가령, 학생들의 미분학 성적이 선형 대수학 성적과 높은 상관 관계가 있다고 할 수 있을 것인가? 여기서 두 성적은 모두 수학적 문제를 검증하는 것이기 때문에 동시 발생적으로 관계가 존재한다. 수렴 및 판별 타당성과는 다르게, 동시 및 예측 타당도는 사회과학 연구에서 그것들과 다르게 상대적으로 중요하게 다뤄지지 않는 편이다.