제6장
신뢰도
본 강의 자료는 아래의 자료를 요약하여 구성하였음을 밝힙니다.
★ 신뢰도:
코더들 간의 일치도 (관찰에 사용되는 측정도구는 반드시 시간, 장소 및 상황에 크게 구애됨 없이 높은 일관성을 유지해야 된다.) - 중요개념 ① 범주와 하부 범주가 개념적으로 복잡하면 할수록 합당하게 받아들려질 수 있는 신뢰도 확보가 더 어렵다. ② 많은 수의 복잡한 개념들이 사용될 경우, 코더들이 실수를 할 가능성이 높아져 연구의 신뢰도가 줄어든다. ③ 신뢰도는 어떤 개념이 보다 명백할(manifest) 때 보다 쉽게 획득할 수 있다. Why??? → 코더들이 내용 속의 개념들을 보다 쉽게 인지할 수 있다.명백하다??? → 겉으로 보아서(on its face) 관찰이 가능하기 때문에 쉽게 인지하고 혜아릴 수 있다. 명백한 내용의 반대 → 잠재적인(latent) 내용. ▲ 내용이 명백할 때 신뢰도 획득하기가 쉽지만 내용속에 감추어져서 관찰자들에 의해 해석되는 의미도 다루려 할 수 있다. ▲ 코더들이 내용의 의미를 어떻게 해석하느냐에 따라 정의된 개념들의 적용이 달라질 수 있다. ▲ 명백한 의미와 잠재적인 의미에 대한 개념들은 연속성의 개념으로 생각할 수 있다. 상징들의 잠재적인 의미를 동일한 언어를 사용하는 집단의 얼마나 많은 구성원이 그러한 잠재적인 의미를 공유하는지에 따라 달라진다.
▲
복잡한 코더들의 해석을 필요로 하는 범주의 수는 제한되어야 한다.★ 내용분석 프로토콜:
내용에 적용될 코딩 규칙들을 정의하는 문서 기록. ① 프로토콜의 목적: 1) 연구 내용을 정의하고 측정 방식에 따라 연구를 수행하게끔 하는 규칙을 정한다. 2) 연구작업 및 정의. ② 프로토콜 개발: 연구자가 생각하는 것들을 적어 두어야 한다. 즉, 단어를 통해 개념들을 정의한다. ▲ 개념들을 단어와 문장으로 표현함으로써, 다른 사람들이 그러한 개념들의 의미를 보다 분명하게 알게 하고 연구자가 생각했던 개념들을 놓쳐버리는 대안적인 해석(alternative interpretation)에 덜 휘말려들게 해준다. ③프로토콜 조직: 1) 도입 2) 구체적인 설멸 3) 범주의 구체화 Q: 범주의 정의들은 어느 정도 상세해야 할까? A: 필요한 만큼만 상세하면 된다. ▲ 개념들을 정의하고 프로토콜에 그러한 정의들을 구체화하는 것은 하나의 상호작용적인 과정이다. 코더들이 연습기간 동안 그러한 정의들을 사용하여, 훈련 과정의 여러 단계에서의 잠정적인 합의들을 평가함에 따하 프로토콜 자체를 변하게 된다. ④ 코딩용지 - 지면 인쇄/ 컴퓨터 스크린상 제시 ▲ 종이의 경우: 1) 코딩시 융통성을 발휘해야 한다. 2) 컴퓨터가 없이도 내용을 분석할 수 있으며 자판 입력을 위해 주기적으로 내용 코딩이 중단되는 것을 피할 수 있다. 3) 신문과 같은 물리적으로 양이 많은 내용을 조사할 때 종이 용지는 특히 유용하다. 4) 코더가 수치들을 손으로 쓰기 때문에 분석할 데이터가 많으면 엄청난 시간을 필요하다. 5) 데이터 백업 구실을 한다. ▲ 코딩용지의 일반적인 분류 2가지: 단일사례→ 각각의 사례, 각각의 기록 단위가 하나 혹은 이상의 페이지에 기록된다. 복수사례 → 하나 이상의 사례를 한 페이지에 코딩한다. (흔히 해렬 모양/ 아이템 수가 많으면 효율적이다.)★ 코더 혼련
1. 코딩과정
- 코더들을 훈련시키는 첫번째 단계: 분석하고자 하는 내용과 친숙해지도록 하는 것. (▲친숙화 관정에서 사용되는 자료로 연구 표본들이 사용되어서는 안 된다.) ＊친숙화: 조사하고자 하는 내용에 대해 코더들이 보다 편안해지게 하고 코딩할 내용에 대해 어떠한 예상을 하게 해주며, 그러한 내용을 이해하기 위해 어느 정도의 에너지와 집중력이 필요한지를 알려주는 것이다. - 조사절차는 또한 범주 정의에 대한 코더들의 기억력을 새롭게 하기 위해 연구자는 각 코딩 시기가 시작될 때 반드시 프로토콜을 다시 한 번 읽어도록 지시할 수 있다. - 코더들은 또한 프로토콜에 대해 그들 서로 간에 토론을 하고 그것을 조사하고자 하는 내용에 적용시킬 때 나타나케 될 문제점을 다룸으로써 그들 스스로 내용분석 프로토콜과 친숙해져야 한다.2. 코더간 차이의 근원
①범주문제 → 가장 간단한 접근방법: 모호함이나 복잡함의 원천을 제거하기 위해 범주를 수장하는 것. ▲ 연구자는 코더들이 어떤 범주를 신뢰할 만하게 사용할 수 없다는 이유로 그러한 범주를 제외해야 할지의 여부를 결정.) ② 코더문제 ▲ 만약 단 한 사람의 코더가 계속해서 다른 코더들과 의견 불일치를 보인다면, 무언가로 인해 그 코더는 그러한 정의들을 적절하게 적용하지 못할 가능성이 있다. → 문제가 있는 코더를 조사에 참여시킬지 아니면 배제시킬지를 결정.★ 코더 신뢰도 평가
① 코더 신뢰도 검증: 전체 내용 가운데 10% 내지 20%를 검증. (Wimmer & Dominick, 1997)
▲ 시뢰도 검증을 위한 내용을 무작위로 추출하지 않을 때의 문제점은 표본을 무작위로 추출하지 않을 때 발생하는 문제점과 동일. ② 추출절차: ▲ 신뢰수준을 획득하는 데 필요한 표본의 크기를 구할 수 있는 공식: N: 모집단의 크기(연구에 사용된 내용 단위들의 수) P: 모집단 일치도 수준 Q: (1-P) n: 신뢰도 검증을 위한 표본의 크기
★ 범주 신뢰도 검증
① 일치비율: 최소한 80% 수준은 넘어야 한다는 것이 일반적인 기준이다.② 우연에 의한 일치(chance agreement) / 기대 일치(expected agreement) 검증: 기초적인 확률이론을 이용해 계산된다.
③ 검증 통계치를 구하는 스코트 pi 공식: OA= 관찰 일치 EA= 기대 일치 (Kappa의 공식과 동일) ▲ 연구들이 보고하는 신뢰도 수준은 0.8-0.9 사이다. ④ 클리펜돌프(1980)의 alpha공식: 관찰 불일치 기대 불일치 ▲ alpha는 또한 크기가 작은 표본에 대해 보장이 가능한다. PQ SE N PQN SE N n + − + − = 22 ) )( 1 ( ) )( 1 ( ▲ 단순 일치비율과 우연에 의한 일치 가능성을 검토하는 통계치들 가운데 하나를 모두 보고해야 한다. 우연 일치 검증 안 해도 OK! EA EA OA pi % 1 % % − − = c o
D
D
alpha
=
1
−
=
oD
D
c=
제7장
타당도
★ 타당도(valid)의 개념화
＊ 내적 타당도: 어떤 실험이 타당한 인과관계를 설명할 수 있는 능력 ＊ 외적 타당도: 어떤 실험의 발견 상항들이 실제 세계에서의 매우 복잡하고 역동적인 인과관계 패턴과 보다 복넓은 관련성이 가지고 있음을 의미함. ▲ 어떤 실험은 “자연스러운 상황”을 설계 속에 함께 포함시킴으로서 외적 타당도를 높일 수도 있다. ▲ 내용분석이 홀로 사용될 경우 내용분석은 캠벨 및 스탠리가 사용한 의미에서의 내적, 인과적 타당도를 지닐 수 없다는 점이다. ▲ 인과적 관계를 추론하는 데는 원인과 결과가 작용하는 시간의 순서에 대한 지식, 원인과 결과 공변동(joint variation)에 대학 지식, 다른 변수들의 영향 통제 및 추정되는 인과관계를 설명하는 이론적 근거를 필요로 한다. ▲ 외적 타당도는 사회적 타당도(social validity)와 관련될 수 있다. 사회적 타당도는 내용분석이 찾아낼 수 있는 내용의 사회적 의의와 연구자가 만든 내용분석 범주들이 학계 밖에서도 어느 정도 관련성과 의미를 지니고 있느냐의 정도에 죄우될 것이다.★ 내적 타당도와 설계
▲ 내용분석가는 “내용 중심성”과 같은 내용의 선행원인이나 사후 결과를 논리적으로 추론할 수 있다. ▲ 내용분석과 다른 방법들을 병행 사용하여 인과적 관계를 추론할 수 있는 능력을 강화시킴으로써 내적 타당도를 향상 시킬 수 있다. ▲ 교차지체 상관관계 - 뉴스 소비자들 사이에서 어느 한 시점에서의 여러 가지 뉴스 토픽에 대한 주목의 차이가 유사한 차후 토픽 중요도 순서를 야기하는가 여부를 살펴보는 수단. - 이 기법을 사용할 경우, 내용분석과 서베이 조사가 각기 다른 시점에서 이루어진다. 각각 시점에서 내용분석을 통해 미디어의 의제(media agenda)를 평가하고 또한 서베이를 통해 공중의 의제(public agenda)를 측정한다. 시점 1의 미디어 의제와 시점 2의 공중 의제 간의 교차지체 상관관계와 시검 1의 공중 의제와 시점 2의 미디어 의제 간의 교차지체 상관관계를 계산한다.★ 측정의 신뢰도와 타장도 문제
- 척도들이 신문의 질을 잘 측정하고 있다고 말할 수 있는가? - 아름다움과 같은 질이 신문을 보는 사람들의 맘음속에 존재하는가?▲ 신뢰할 만한 척도라고 해서 반드시 사람들이 그것이 측정하리라고 생각하는 것이 아니다.
대답은 반드시 여러 단계에 걸쳐 이루어져야 한다.
★ 측정 타당도 검증
1. 액면 타당도(face validity): 내용분석 사용되는 가장 흔한 타당도 검증이자 사람들이 요구하는 최소한의 검증.
▲ 연구자는 어떤 개념을 측정하고자 하는 어떤 특정한 척도가“겉으로 드러난 그대로(on its face)”이치에 닿는지를 묻는다. but“겉으로 보아 명백하게” 보이는 것이 때때로 명백하지 않다.
▲ 어떤 척도에 대한 상호주관적인 합의의 정도가 관련된 연구자들 사이에서 높을 때 액면 타당도에 의존하는 것이 때때로 적절할 수 있다.
2. 일치 타당도(concurrent validity): 척도A+척도B 융합활용 ▲ 액면 타당도 추론을 위해 강화될 수 있다.
강화를 위해 가장좋은 방법: 한 연구에 사용된 척도와 다른 유사한 연구에 사용된 척도를 상호 관련 지우는 것. → 두 방법은 상호 공통되는 일치 타당성을 제공할 수 있다.
▲ 지표에 포함된 각 척도의 액면 타당도 외에 관련된 전문가 표본을 이용한 교차확인작업(cross-check)도 병행한다. 3. 예측 타당도(predictive validity): 어떤 척도와 어떤 예측된 결과를 상호 관련 지우는 검증 척도A → 변수B ▲ 결과가 예측한대로 발생한다면 그 척도의 타당도가 입증된다.
4. 구성 타당도(construct validity): 어떤 척도가 만들어지는 이론적 맥락과 관련이 있다.
▲ 구성 타당도는 어떤 특성 연구에서 밝혀진 어떤 인과적 관계와 그러한 관계를 밝히는 데 사용되 척도들의 적합성이 전반적으로 타당한지를 보여주는 전체 연구 프로그램 및 이론적 틀과 관계가 있다.
