제7장 측정
전광희 교수
jkh96@cnu.ac.kr
학습내용
• 통계조사에서 측정의 의미를 이해하고, 측정의 수준에 대한 구 분법과 그 특징을 이해한다. 또 측정방식과 관련하여 타당성과 신뢰도의 개념을 이해하고, 이들을 추정하는 방법들의 장점과 단점에 대해서 배운다.
• 주요 용어: 측정, 조작적 정의, 명목척도, 순서척도, 구간척도, 비율척도, 표본타당도, 내용타당도, 기준관련타당도, 신뢰도, 재 검사법, 동형방법, 반분법, 내적 일관성법, 크론바하의 알파
(Cronbach’s alpha)
2016-12-09 제7장 측정 2
학습내용
1. 측정이란 무엇인가?
1) 측정의 개념 2) 조작적 정의 3) 개념 측정의 과정 4) 신생아 성장에 대한 사례연구 5) 남녀의 정치적 관심도 비교 사례
2. 측정의 수준
1) 명목척도 2) 순서척도(서열척도) 3) 구간척도(등간척도) 4) 비율척도(비척도) 5) 측정수준과 관련된 참고사항
3. 타당도의 개념과 측정방법
1) 타당도의 개념 2) 표면타당도 3) 내용타당도 4) 기준관련타당도: 동시타당도, 예측타당도 5) 구성체타당도
4. 신뢰도의 개념과 측정방법
1) 신뢰도의 개념 2) 재검사법(검사-재검사법) 3) 동형방법(복수양식법) 4) 반분법 5) 내적일관성법(내적합치도법)
2016-12-09 제7장 측정 3
1. 측정이란 무엇인가?
• 측정(measurement): 각 조사단위의 어떤 특징을 일정한 기준에 따라 관측하여 수치를 부여하는 작업
• 조사에서 다루는 여러 개념들은 측정과정의 어려움 정도에 따라 차이가 있다. 사람의 키 나 체중 같은 명확한 것은 측정된 결과에 대해서 논란의 여지가 적다.
• 반면에 태도(attitude), 가치관(value), 만족도(statistifaction), 감정태도 등의 개념을 측 정하는 것은 어렵다. 이러한 개념들은 직접적으로 관측될 수 없을 뿐만 아니라 다차원적 인 성격을 띠고 있다.
• 사회조사에서 측정이 필요한 조사의 대상은 대부분이 개인이다. 경우에 따라서 가족이나 단체 특히 기업과 같은 집단이 될 수도 있지만, 가장 일반적인 조사단위는 개인이다.
• 개인이 분석단위인 경우는 개인에 대해서 눈으로 확인할 수 있는 여러 특성뿐만 아니라 보이지 않는 특성들도 측정 될 수가 있다. 예) 종교, 지능 결혼생활 만족도, 직업 만족도 등
2016-12-09 제7장 측정 4
1) 측정의 개념
1. 측정이란 무엇인가?
• 추상적 개념들과 관련된 연구를 진행하기 위해서는 이러한 추상적 개념들을 구체적이고 측정 가능한 형태로 나타내야 한다. 이렇게 추상적 개념을 경험적이고 측정할 수 있는 형 태로 정의하는 것을 조작적 정의(operational definition)이라고 한다.
• 조사 연구에서 대부분의 개념은 직접 측정할 수 없어서 도구(道具: instrument)를 사용하 여 수치로 나타낸다. ex) 뜨거운 정도에 대해 알고 싶을 때 직접 열의 정도를 측정하는 것 이 아니라 “온도계”(溫度計)가 도구로 쓰인다.
2016-12-09 제7장 측정 5
2) 조작적 정의
3) 개념 측정의 과정
• 연구될 개념을 정의함으로써 문제를 명확하게 한다
• 각 개념과 관련된 변수들을 찾는다
• 각 변수에 대해서 측정 도구를 선택하거나 개발된 것이 없다면 새롭게 고안한다
• 각 변수의 측정에 대한 단위를 정한다
참고: 개념 측정의 과정
2016-12-09
제7장 측정
6
개념의 정의
변수 선택
측정도구 선택
측정단위
선택 측정
열 온도 온도계 이용 섭씨 또는 화씨
온도
음주운전 혈중 알코올
농도 호흡측정기 혈중 알코올
농도(%)
참고: 신생아 성장에 대한 조사연구 사례
• 개념 정의: 신생아의 성장
• 변수 선택: 키, 몸무게, 가슴둘 레 등
• 측정도구: 자, 체중계(저울) 등
• 측정단위: 센티미터, 킬로미터
2016-12-09 제7장 측정 7
신생아의 성장
키
몸무게
가슴둘레
참고: 남자와 여자의 정치적 관심도 비교 사례
• 개념 정의: 정치적 관심도
• 변수 선택: 몇 개의 설문항 목
• 측정도구: 설문지
• 측정단위: 하나로 규정하 기 힘듦
2016-12-09 제7장 측정 8
정치적 관심도
정치모임 참여 여부
투표참여 여부
정당 또는 압력 단체 가입 여부 신문 정치면 관
심 정도
2. 측정의 수준
• 사회조사: 조사단위를 조사하여 개념이나 속성 등을 측정하는 것 데이터(data): 측정된 전체 자료
변수(variable): 측정된 개별적인 속성들
• 변수를 나누는 기준: 측정하는 방법에 따라 명목척도, 순서 척도, 구간척도, 비율척도로 나뉜다. 이걸 구분하는게 중요하다.
2016-12-09 제7장 측정 9
1) 측정과 관련된 개념
2) 명목척도(nominal scale: 명명척도)
• 각각의 조사단위가 어떤 속성을 갖고 있는지, 어떤 범주에 속하는가에 따라 분류
• 운동 선수 등 번호(back number)처럼 각 범주를 구분해 주는 역할 이외에 다른 의미는 없다.
• 명목 척도에 사용된 숫자들은 단지 구분을 목적으로 부여된 기호에 불과.
• 숫자 사이에 대소 비교라든지, 연산은 아무 의미 없다.
2. 측정의 수준
• 각 조사단위에 부여된 수(측정값)는 어떤 특성을 많이 또는 적게 지니고 있는 가에 따라 정해진 것
• 어떤 의견에 대해 찬성 또는 반대 정도를 묻는 질문, 제품이나 서비스 질을 묻는 질문, 학 력조사 등에 주로 사용
2016-12-09 제7장 측정 10
3) 순서척도(ordinal scale: 서열척도)
4) 구간척도(interval scale: 등간척도)
• 측정된 두 값 사이의 차이만 의미 있다.
• 두 값 사이의 비는 의미 없다.
• 절대 0 (absolute zero)을 정의 할 수 없다. 임의로 지정된 0만 있을 뿐.
• 섭씨(Celsius)온도, 습도, IQ지수, EQ점수, 적성검사 점수 등이 해당되는 데이터다.
2. 측정의 수준
• 각 조사단위에 부여된 수(측정값)는 어떤 특성을 많이 또는 적게 지니고 있는 가에 따라 정해진 것
• 어떤 의견에 대해 찬성 또는 반대 정도를 묻는 질문, 제품이나 서비스 질을 묻는 질문, 학 력조사 등에 주로 사용
2016-12-09
제7장 측정
11
3) 비율척도(ratio scale: 비척도)
4) 명목, 순서, 구간, 비율 척도의 비교
척도기준 명목척도 순서척도 구간척도 비율척도
항목 분류 o o o o
많고 적음 x o o o
동일 간격 x x o o
절대 영(zero) 존재여부
x x x o
2. 측정의 수준
• 전체적으로 구간척도와 거의 비슷하다, 절대 0을 정의 할 수 있다는 점이 차이점 (절대 0:
측정하고자 하는 속성이 전혀 없음)
• 비율척도로 측정된 데이터는 한 단위가 다른 단위에 비해 몇 배 더 특성을 갖고 있다. 각 조사단위에 부여된 수(측정값)는 어떤 특성을 많이 또는 적게 지니고 있는 가에 따라 정해진 것
• 어떤 의견에 대해 찬성 또는 반대 정도를 묻는 질문, 제품이나 서비스 질을 묻는 질문, 학 력조사 등에 주로 사용한다
2016-12-09
제7장 측정
12
5) 비율척도(ratio scale: 비척도)
6) 명목, 순서, 구간, 비율 척도의 비교
척도기준 명목척도 순서척도 구간척도 비율척도
항목 분류 o o o o
많고 적음 x o o o
동일 간격 x x o o
절대 영(zero) 존재여부
x x x o
2. 측정의 수준
• 얻어진 데이터에 대한 측정 척도에 알맞은 통계적 방법을 사용하는 것이 대단히
중요하고 어떠한 분석 기법을 사용할 것인지를 자료 수집과정에서 미리 구상해야 한다.
• 일반적으로 사회조사에서 얻어지는 데이터는 측정의 척도에 따라 질적 데이터(qualitative data)와 양적 데이터(quantitative data)로 구분된다.
• 질적 또는 범주형 데이터: 명목척도나 순서척도에 의해 측정된 자료로 범주형 데이터(categorical data)라고도 한다.
• 양적 데이터: 구간척도나 비율척도로 측정된 자료로 연속형 데이터(continuous data)라고도 한다.
• 그러나 통계조사를 통해 얻은 대부분 데이터는 양적 데이터와 질적 데이터가 혼합된 형태를 갖는다.
2016-12-09
제7장 측정
13
7) 양적 데이터와 질적 데이터
2. 측정의 수준
• 대개 구간척도 또는 비율척도로 측정된 변수는 구체적인 측정단위를 갖는다.
측정수준은 측정되는 대상의 성질과는 관련이 없고, 측정방법에 의존한다 (사람의 몸무게는 비율척도로 측정될 수도 있고, 과체중 적정 체중, 저체중으로 구분하면 그것은 순서척도로 측정한 셈이 된다.
• 수집된 자료는 각 척도의 특성을 고려하여, 그 특성에 알맞은 방법으로 분석되어야 한다. 명목척도로 측정된 변수를 등간척도에 알맞은 통계분석을 이용하면, 논리적 오류(logical error)를 범하고, 반대의 경우는 정보의 상실(information loss)을 야기하는 오류를 범한다.
• 이 때문에, 수집된 자료에 대해서 특정 척도에 알맞은 통계분석을 이용해야 하며, 이 때문에 통계학을 배운다고 보면 된다. 또 조사방법론은 미리 구상된 특정 척도의
자료를 최소비용과 노력을 통하여, 모집단의 특성을 제대로 대표할 수 있는 수집하는 방법을 배운다.
2016-12-09
제7장 측정
14
8) 측정수준과 관련된 참고사항
3. 타당도의 개념과 측정방식
• 통계조사에서 사람들의 태도, 지적 능력, 심리상태, 학업성취도, 스트레스 정도, 불안감 등을 직접 측정하는 것은 힘들거나 불가능한 경우도 있다,
• 이러한 개념은 설문지나 검사지 등을 이용하여 간접적으로 측정하며, 이 때문에 설문 지나 검사지가 본래의 개념을 제대로 측정했는가를 검토해야 한다.
• 타당도(validity)의 개념: 사용된 조사도구(설문지,시험지)가 조사에서 측정하고자 하는 것을 얼마나 충실하게 측정했는가의 문제로 조사도구의 적합성(relevance)에 해당한다.
• 물론 타당도만을 가지고 조사에서 사용된 측정 방법을 평가하기는 부족하며 조사의 신 뢰도(reliability)도 함께 평가되어야 한다.
• 타당도의 종류: 표면타당도, 내용타당도, 기준관련타당도, 구성체타당도 등
2016-12-09
제7장 측정
15
1) 타당도의 개념
3. 타당도의 개념과 측정방식
• 친구나 가족과 같은 비전문가들이 조사항목을 간략하게 검토한 결과에 기초하여 타당 도를 평가하는 것.
• 다른 방법과 비교할 때 가장 기초적이고 가장 주관적이긴 측도이기 때문에 대부분 연구 자들은 타당도의 평가도구로 고려하지 않는다.
2016-12-09
제7장 측정
16
2) 표면타당성(face validity: 액면 타당도)
3) 내용타당도(content validity)
• 해당 분야의 전문가들이 설문지 등의 조사도구가 얼마나 적합한가를 검토하여 구한 주관적인 측도. 통계적인 방법에 의해 조사도구의 적합성을 수량화 하는 것이 아니라 해당분야의 전문가들이 조사도구의 적합성을 검토하여 얻은 전반적인 의견.
• 누가 평가하는가에 따라 설문지의 타당도가 달라질 수 있는 단점이 있기 때문에 설문지의 정확성에 대한 과학적인 측도는 될 수 없다.
• 전문가의 판단에 의해 타당성을 입증 받기 때문에 설문지가 조사목적에 적합한가의 여부를 검증 할 수 있다. 전문가들은 해당분야에 대해 어느 정도 공통된 인식을 갖고 있으므로 다른 견해를 내는 경우는 드물다.
3. 타당도의 개념과 측정방식
• 어떤 개념에 대한 새로운 조사도구와 널리 통용되고 있는 기존의 조사도구를 비교하여 새로운 조사도구의 타당성 여부를 판단할 때 사용한다
• 내용타당도와 비교하여 좀더 풍부하게 측정도구의 정확성에 대한 수치 정보를 제공한다
• 동시타당도(concurrent validity)와 예측타당도(predictive validity)로 나뉜다
2016-12-09
제7장 측정
17
3) 기준관련타당성(criterion-related validity)
3-1) 동시타당도(concurrent validity)
• 어떤 개념에 대한 새로운 측정도구에 의한 결과와 현재 널리 통용되고 있는 기존의
측정도구에 의한 결과를 비교하여 새로운 측정도구의 타당성 여부를 확인할 때 사용한다
• 측정도구에 의한 결과와 같은 시점에서 기준이 되는 측정도구를 이용한 결과의 상관계수를 이용해서 평가하는데 상관계수가 크게 나오면 동시타당도가 높고, 반대로 상관계수 값이 작으면 동시타당도가 낮다.
• 동시타당도는 기존에 널리 통용되고 있는 측정도구가 있지만 사용하기 불편하거나 비용이 많이 드는 경우에 기존의 측정도구를 개선할 목적으로 사용될 수 있다.
• 동시타당도는 사용된 측정도구의 타당성을 계량화하여 객관적인 정보를 제공할 수 있다는 장점이 있다.
• 동시타당도를 이용하기 위해서는 기준이 되는 조사도구를 찾을 수 있어야 한다. 측정하고자 하는 개념이 추상적일수록 그것에 대한 기준이 될 수 있는 조사도구는 찾기 힘들다.
3. 타당도의 개념과 측정방식
• 어떤 측정도구를 이용하여 측정한 결과가 미래의 사건이나 행위,태도,결과 등을 얼마나 잘 예측할 수 있는가를 통해서 타당성을 평가하는 방법이다
• 동시타당도와 마찬가지로 상관계수에 의해서 추정된다. 먼저 조사대상자에게 새로이 제작한 조사도구를 이용해서 조사를 실시한다
• 일정기간이 지난 후에 앞서 조사도구에서 측정하고자 했던 조사대상자의 행위나 업무 수행결과를 측정한 다음에 앞서 조사도구를 이용해서 얻은 측정값과 이후의 행위 또는 결과에 대한 측정값에 간에 상관계수를 구하여 추정한다
• 일반적으로 예측타당도를 포함한 기준관련 타당도는 상관계수 값이 0.7보다 크게 나타 나면 좋은 타당도를 갖는 것으로 인정되고 있다
2016-12-09
제7장 측정
18
3-2) 예측타당도(predictive validity)
3. 타당도의 개념과 측정방식
• 어떤 조사도구를 이용해서 수집한 자료를 분석하여 얻은 경험적 관계와 이론적 관계 (또는 가설)가 어느 정도 일치하는가를 나타낸다.
• 가령, 자부심과 학교활동에 대한 참여도: 양의 상관관계(이론적 관계 또는 가설) 조사검수와 학교활동 참여도의 관계(경험적 관계) 검토
• 구성체 타당도를 구하는 과정은 상관계수를 구하는 과정이라기보다는 가설검정과 비 슷한 과정이다.
• 구성체 타당도는 상관계수를 구해 보거나 통계적인 방법으로 요인분석(factor analysis)을 통해서 살펴볼 수 있다.
2016-12-09
제7장 측정
19
4) 구성체타당도(construct validity)
참고: 타당도를 높이는 방법
• 설문지의 타당도를 높이는 손쉬운 방법: : 설문지에 대해서 주위 사람들의 의견을 들어서 설문지를 수정하는 것.
• 측정도구를 실제 조사연구에 적용하기 앞서 사전에 몇몇 사례에 적용해 봄으로 해서, 타당도를 확인하여 필요한 경우에 측정도 보완해야 한다.
• 전문적인 분야에서 타당도를 확인하는 것은 매우 중요한 과정이므로 많은 노력과 시간, 경비가 소요된다
2016-12-09
제7장 측정
20
3. 신뢰도의 개념과 측정방식
• 신뢰도(reality)는 실험, 검사, 조사 등 어떤 측정절차에서나 적용되는 개념으로 같은 대 상을 반복 측정하는 경우에 얼마나 일치하는(유사한)값을 얻을 수 있는가를 나타내주 는 측도이다.
• 일반적으로 어떤 현상에 대한 측정은 필연적으로 어느 정도의 우연오차를 포함하기 마 련이다. 그러나 잘 관리된 측정방법이라면 반복해서 측정된 값들이 완벽하게 일치하지 는 않겠지만 어느 정도 일치하는 경향을 보이게 된다.
• 반복된 측정에서 얻어진 결과들의 일치하는 정도가 높을 때 그 측정방법은 신뢰도가 높다고 하고, 반대로 얻어진 결과들의 일치하는 정도 가 낮을 때 신뢰도가 낮다고 한다.
• 사람들은 대상으로 개인적인 속성이나 행위를 묻는 질문은 측정오차가 작아서 신뢰도 가 높다. 그러나 사람들의 태도, 믿음, 느낌 등의 질문들에 대한 응답은 종종 부정확하 거나 상황에 따라서 변하는 것이기 때문에 상대적으로 신뢰도가 떨어지게 된다.
• 신뢰도는 하나의 질문 또는 여러 개의 질문으로 이루어진 설문지를 통해서 어떤 특성 을 얼마나 안정적이고 일관성 있게 측정하는가를 나타내 주는 값이다. 그래서 설문지 를 보완할 목적으로 사전조사를 실시할 때 수행되어 신뢰도가 낮은 질문은 수정하여 보안하든지 삭제하는데 이용되기도 한다
2016-12-09
제7장 측정
21
1) 신뢰도(reliability)의 개념
3. 신뢰도의 개념과 측정방식
• 가장 널리 사용되고 있는 신뢰도 평가방법이다.
• 재검사법은 조사대상자를 조사하고, 얼마간의 시간이 지난 후에 같은 사람들을 대상으 로 같은 내용을 조사하여 얻은 두 조사결과 간의 상관 계수를 이용해서 조사도구의 신 뢰도를 평가하는 방법이다.
• 만약 두 사람이 같은 응답을 했다면 재검사법의 신뢰도 계수는1이 된다.재검사법은 매 우 단순하여 구해진 신뢰도의 의미를 직관적으로 이해할 수 있다는 장점이 있다.
• 그러나 재검사법은 매우 단순하지만 두 시점에서 같은 사람을 대상으로 같은 조사를 해야 하기 때문에 실제로 수행하기는 쉽지 않다.
2016-12-09
제7장 측정
22
1) 재검사법(test-retest method: 검사-재검사법)
3. 신뢰도의 개념과 측정방식
• 두 개의 비슷한 측정도구(설문지,시험지)를 만들어 동시에 또는 일정한 시일이 지난 후 에 동일한 대상에게 조사하여, 두 조사에서 얻은 결과 사이에 상관계수를 계산하여 측 정도구의 신뢰도를 평가하는 방법이다.
• 이 방법은 교육분야에서 시험의 신뢰도를 평가하기 위해 광범위하게 사용되고 있다.이 방법은 동일한 응답자를 대상으로 두 종류의 검사를 받도록 한다는 점에서 재검사법과 비슷하다.
• 이방법의 장점은 조사의 시간적 간격이나 응답자가 과거 조사의 응답을 기억함으로써 나타나는 문제점을 극복할 수 있다는 점이다. 그러나 두 개의 설문지나 시험지를 만들 기 어렵고, 시험이나 조사를 두 번 시행함으로써 조사환경이나 응답자의 동기 및 태도 에 차이가 생기는 단점이 있다.
2016-12-09
제7장 측정
23
2) 동형방법(복수양식법: alternative-form method)
3. 신뢰도의 개념과 측정방식
• 설문지 혹은 시험지의 문항들을 두 부분으로 나누어서 각각에서 얻은 조사결과를 두 번의 조사나 검사에서 얻어진 것처럼 간주하여 그 사이의 상관계수를 산출하여 신뢰도 를 평가하는 방법이다.
• 앞서 설명한 재검사법이나 동형방법은 신뢰도의 평가를 위해서 같은 사람을 대상으로 두 번의 조사나 검사를 하였지만, 반분법을 사용하면 한번의 조사를 통해서도 신뢰도 를 구할 수 있다.
• 반분법은 비교적 간단하게 신뢰도를 검토할 수 있으나. 앞에서 설명한 동형방법에서처 럼 그 반분된 두 개의 검사가 완전히 동등하도록 만드는 것은 쉽지 않다. 또한 어떻게 반분하느냐에 따라 신뢰도 계수가 다르게 나올 수 있다.
2016-12-09
제7장 측정
24
3) 반분법(split-halves)
3. 신뢰도의 개념과 측정방식
• 같은 주제에 대한 서로 다른 여러 문항들이 같은 주제를 얼마나 잘 측정하고 있는가를 나타내는 지표이다.
• 내적 일관성법은 하나의 조사항목에 대해서는 적용될 수 없고, 어떤 개념의 여러 측면 을 측정하는 것으로 생각할 수 있는 조사항목들의 그룹에 대한 신뢰도 평가방법이다.
• 내적일관성법을 이용하면 설문지의 문항들을 양분하거나 반복하여 조사하지 않고, 한 번의 조사나 시험으로 유일한 값의 신뢰도 계수를 얻을 수 있다.
• 내적일관성법을 이용한 신뢰도 추정방법 중에서 가장 널리 사용되고 있는 것은 크론바 흐의 알파(Cronbach’s alpha)이다.
• 크론바흐의 알파는 어떤 개념이나 변수 혹은 속성의 서로 다른 측면들을 측정하는 서로 다른 문항들이 얼마나 잘 서로 보완하여 전체적으로 개념, 변수 또는 속성을 잘 측정하 고 있는가를 나타내준다.
2016-12-09
제7장 측정
25
4) 내적 일관성법(내적합치도법: internal consistency method)
2016-12-09 제7장 측정 26
