신뢰성의 정의

제 11주차, 제 12주차 신뢰성의 검증

추상적의 의미에서 신뢰도는 같은 대상에 대해 반복적으로 적용된 특정기법이 매번 같은 결과를 가져오는지에 여부의 문제이다.

Reliability

Reliability measurement

사례1

종류가 다른 두 공장에서 일하는 공장노동자들의 사기를 연구하고자 한다.

한 공장에서는 업무가 극단적인 노동의 분화를 반영하여 세분화 되어있고,

개별 노동자들은 긴 조립 라인 앞에서 수행되는 전체과정 중 아주 작은 직무에 공헌한다.

다른 공장에서는 각 노동자들이 여러 직무를 수행하며 소규모 작업팀이 전 과정을 완성한다.

어떻게 사기를 측정하는가?

전략1 공장노동자들의 관찰을 통한 감정적 반응, 일에 대한 선호 관찰에 대한 연구자들의 판단으로 사실의 오도될 수 있음

전략2 노동조합에 고충처리 접수현황

접수에 수를 확인을 통해 보다 사실적인 판단가능

사회과학연구에서 신뢰도의 문제

관찰자에 주관성, 응답자들의 상의한 응답(응답의 일관성 결여), 질문(명료성)에 상황에 따른 응답자의 이해도 등의 문제점들로 인해 안정적인 측정의 어려움

신뢰성의 정의

신뢰성의 정의 : 한 검사가 측정대상이 되는 내용을 어느 정도의 안정성을 가지고

일관성 있게 측정하고 있느냐 하는 것과 관련된 정확성(accuracy)을 말함

체계적 오차가 없다는 가정아래,

연구자가 관측이 불가능한 실제값 T를 측정하기 위해 측정값 X를 사용하였다면, 무작위 오차 는 실제값과 측정값의 차이 (X-T)로 표현할 수 있을 것이다.

측정값(x) = 실제값(T) + 무작위 오차(ε)

T : 한번의 측정이 아닌, 수없이 반복을 통하여

이들의 평균값으로 얻을 수 있으나 현실적 불가능이므로,

실제값은 가상적이고 추상적인 수치 ρ 신뢰성 측정에 중요한 역할

ε

: 무작위 오차는 실제값과 측정값의 차이를 만드는 요인 실제값은 측정값보다 클 수도 작을 수도있는 무작위성 갖음

Reliability

상관이란 두 변수의 관계를 말한다.

한 변수의 변화에 따라 다른 변수가 어떠한 변화를 보이는지를 의미한다  직업만족도 : 스트레스 / 광고선호 : 제품 매출 /

상관계수란 상관의 범위에서 정도를 나타내는 지수로

상관계수의 범위는 -1.0 ~ 1.0 사이에 존재하며 절대값이 커질수록 상관이 높다.

상관계수

직 업 만 족

도 스트레스 광고선호도

제 품 매

출 기업의 부정적이미지 제

품 매 출

Reliability

공분산은 한 변수가 변할 때 다른 변수가 변하는 양으로

한 변수 Xi가 그 평균값 X 로부터 얼마간 떨어진 정도와 비례하여, 다른 변수 Yi가 그 평균값 Y로부터 얼마나 떨어져 있는가를 의미한다.

한 변수가 평균값으로부터 멀리 떨어져 있을 때

다른 변수도 그 평균값으로부터 멀리 떨어져 있으면 공분산은 커진다.

상관계수는 공분산에 비례하며,

공분산을 각 변수의 표준편차로 나누어야 한다는 사실을 통해 단순적률 상관계수를 제시하였음

상관계수

Reliability

측정값이 실제값 보다 큰 무작위 오차 측정값이 실제값 보다 작은 무작위 오차

0 (무작위 오차의 평균)

X = T+

ε

E(X) = E(T)+E(ε) = E(T) :

신뢰성 측정은 여러 번 반복 측정하여 전체적인 차이 비교

Var(X) = Var(T+

ε

ε

ε

측정값의 분산 = 실제값의 분산 + 무작위 오차의 분산의 합 측정값의 분산의 고정, 실제값의 분산 > 무작위 오차의 분산 / 실제값분산 < 무작위 오차분산

무작위오차개념

Reliability

측정값의 분산 :

실제값의 분산 무작위 오차의 분산

신뢰성(reliability) ρ는 측정값의 분산(전체분산)에서 실제값의 분산이 차지하는 비율로 정의

신뢰성은 0에서 1사이의 값을 가지며, 대부분 무작위 오차가 차지하고 있으면,

0에 가까운 값을 가지며, 오차의 크기가 0에 가까운 경우 신뢰성은 1에 가까운 값을 가진다.

( 0<ρ <1 )

Reliability

만일 측정 1,2 실제값이 같고(T1=T2=T), 무작위 오차에 분산이 같은 경우 두 측정은 상호교환적(parallel)임, 두 측정값은 같은 개념 두 측정의 차이는 무작위 오차의 의해서만 영향을 받음

상호교환적인 두 측정에 대한 신뢰성 측정값 = 실제값 + 무작위 오차

측정 1: X1 = T1 + ε 1 측정 2: X2 = T2 + ε 2

Reliability

Reliability measurement

Test-retest method

Parallel – form method

Inter – item Consistency method

Split – half Reliability method

구체적인 평가는 안정성과 동등성이라는 기준에 따라 평가

재조사법 : 주로 안정성을 평가에 사용되며,

두 시점간에 반복하여 조사된 결과간에 상관성의 정도로 평가됨 상호교환적 검사를 이용한 방법

반분법 : 전체문항을 두 개의 조로 나눈 다음,

각 조간의 상관계수를 중심으로 신뢰도를 평가하게 됨

내적 일관성 : 문항상호간의 어느 정도 일관성을 가지고 있는지 여부를 측정

Reliability measurement

ρ(X1,X2)= 측정1의 신뢰성=측정 2의 신뢰성 =ρ

두 개의 상호교환적 설문의 경우 두 문항의 상관관계를 통해 문항의 신뢰성을 얻을 수 있음

Reliability

실제값의 대한 분산과 측정값분산이 모두 크다면

특정개념변별능력이 뛰어나 신뢰성의 증가

Test-retest method

- 동일한 설문을 일정시간 후 반복하여 신뢰도 추정 - 두 검사의 측정이 동일한 결과일 경우 신뢰도는 1임

측정 1: X1 = T1 +

측정 2: X2 = T2 + ε 2 (일정한 시간이 지난 후의 두번째 측정) Ρ (X1,X2) = X1의 신뢰성 = X2의 신뢰성

Time

X

X

ε 1

T

1. 시간에 따른 실제값의 변화 2. 선행측정결과에 영향

3. 반복측정으로 인한 학습효과

Split-half reliability method Parallel form method

- 한 측정대상에 대해 두 형태의 서로 다른 상호 교환적 측정방법 - 신뢰성은 재검사 방법과 같은 두 측정값 사이의 상관계수가 됨

측정에 사용되는 항목들을 두 그룹으로 나누어 결과에 대한 상관계수를 이용하여 신뢰성을 측정하는 방식

 스페어만 브라운 예측 공식

Inter –item consistency method

오늘날 널리 사용되고 있는 내적 일관성 추정치는 크롬바알파계수이다.

한 검사의 단일 시행에서 얻은 점수들의 동질성이나 내적 일관성을 측정하기 위해 알파 계수를 개발

크롬바알파 계수는 모든 종류의 검사문항에 사용할 수 있다.

즉 검사문항들이 이분형으로 제시되는 경우나 연속형 문항이다. 모두 사용할 수 있다.

알파계수는 검사를 이루고 있는 모든 문항들이 동일한 잠재특성을 측정하고 있다는 가정에 근거한다.

따라서 한 검사가 두 개 이상의 하위검사(예, 지능검사에서 기억력, 어휘력, 판단력, 추리력 등)로 구성되어 있을 때에는 각 하위검사마다 알파계수를 산출하여야 한다.

알파계수는 한 검사를 구성하고 있는 모든 문항들간의 상호상관의 평균으로 해석 할 수 있으며 흔히 급내 상관(interaclass- correlation)라고 부른다.

크롬바알파계수는 검사의 신뢰도 계수의 기초가 되는 상관계수의 단점과 측정학적 결함이 가장 적은 방법이다.

Chronbach’s alpha: 하나의 개념에 대하여

여러 개의 항목으로 구성된 척도를 사용할 경우에,

모든 항목에 대하여 가능한 모든 반분 신뢰도를 구하고 이들의 평균을 산출하는 것

측정도구들 속에 포함된 각 문항들 사이의 상관 정도를 조사하여 이들이 얼마나 합치하는가를 검토함

Cronbach's alpha ; α = N / (N-1)[1-Σσ2(Yi)/σx2]

(N - 항목 갯수, Σσ2(Yi) - 항목변량들의 합, σx2 - total composit 편차)

; 이를 상관행렬로 나타내면, α = Nρ / [1 + ρ(N-1)] (ρ - interitem상관의 평균) 항목의 수를 늘리면 척도의 신뢰성을 늘릴 수 있으나 제한점 有

① 무한히 항목을 첨가시키면 신뢰도에는 점차 영향을 덜 주게 됨

② 척도에 항목의 수가 많아질수록 도구를 고안하는데 더 많은 비용과 시간이 듬

Inter –item consistency method

2. 측정도구의 모호성을 제거한다.

1. 측정항목 수를 늘린다.

3. 측정 방법에 일관성을 유지시킨다.

4. 조사대상자에게 적절한 내용의 항목으로 측정한다.

5. 이전의 조사에서 신뢰성이 확보된 측정 도구를 이용한다.

Inter –item consistency method