국내 식품과학 , 조리 및 음식문화 학술지에 나타난 통계 적 기법 활용의 타당성 평가에 관한 연구
정진은 안산1대학 식품영양학과
1. 서 론
오늘날 통계적 사고, 통계적 기법의 활용은 자연과학, 사회과학, 인문과학, 조리과학 등 모든 학문 분 야에서 일상의 다양한 영역에 이르기까지 보편화되고 있으며, 사용되는 기법들의 종류가 다양해지고 그 수준도 높아지는 추세이다. 그러나 이러한 통계, 통계적 기법의 홍수를 면밀히 관찰해보면 많은 문제점, 오류 등이 있는 것을 알 수 있다. 전문적 지식의 결여로 인한 통계기법들의 잘못된 선택과 잘못된 통계패키지의 사용 등, 내용상의 잘못된 응용이 그것이다. 이러한 응용은 식품과학, 영양학, 음식문화 관련 학위논문, 또는 전문 학술지에 게재된 논문들에서도 찾아볼 수 있다. 잘못된 통계적 기법 또는 잘못된 통계패키지를 사용함에 따라 받아들일 수 없는 결과와 잘못된 결론을 도출하게 된 다. 이는 잘못된 정책 설정으로 이어질 수 있으며, 이 분야 학문의 발전을 저해시키는 중요한 요인이 될 수 있다. 그러므로 이러한 문제의 범위와 그 심각성에 대한 올바른 평가는 선행되어야 할 시급한 과제로 생각된다. 특히 한국음식의 세계화를 이루기 위하여 한국음식의 우수성을 과학적으로 입증하 기 위해서는 올바른 통계기법의 활용이 절실히 요구되고 있는 실정이다.
통계적 기법이 올바르게 이용될 경우에 과학적이 될 수 있는 반면, 만일 잘못 사용될 경우에는 심 각한 문제를 야기할 수 있다. 따라서 통계적 기법을 활용하는 연구자는 통계적 오류를 피하는 동시 에 그를 효율적으로 이용할 수 있는 방안을 적극적으로 탐색하여야 한다.
본 연구에서는 이에 대한 대응책으로 통계적 기법 활용을 위한 점검표를 작성하고, 이를 토대로
하였다. 통계적 기법을 활용하려는 연구자가 통계적 무지에 의하여 통계적 오류를 범하지 않는 동시 에 좀 더 효율적으로 통계적 기법 활용에 이용될 수 있는 하나의 기준을 탐색하는 데 초점을 두어, 식품영양과학, 조리 및 음식문화의 통계적 기법 활용의 문제, 통계적 오용과 통계적 오류의 문제 등 통계적 기법 활용을 둘러싼 문제 등을 탐구해보고, 통계적 기법 활용을 위한 기준이 되는 점검표를 구성하여 검토하고자 하였다.
본 연구의 목표는 국내 식품영양과학, 조리 및 음식문화학의 통계적 기법 활용의 제안서 평가를 시도해봄으로써, 통계적 기법의 효율적 이용 방안에 대한 대비책과 점검표 활용 가능성을 검토해보 고자 하는 데 있다. 또한 국민건강영양조사 데이터를 이용한 보고서 및 논문의 수가 증가하는 추세 임에 반하여, 자료의 특성과 표본추출법에 대한 이해 없이 올바른 통계패키지를 사용하지 못하여 잘 못된 결론을 도출한 문제점이 제기되고 있다. 그러므로 본 연구에서는 우선 국내 과학학술 분야 중 국민건강영양조사 자료를 이용하여 작성한 논문을 선정하여 통계적 기법의 활용 빈도를 조사하였고, 통계패키지를 잘못 사용했을 경우의 결과 차이와 결론 도출의 오류 등을 파악하고자 하였다.
2. 연구방법 및 내용
2.1 식품과학 및 음식문화에 관련된 학술지 선정
국내 과학학술 분야에서 통계적 기법의 활용 정도를 개관하기 위하여 전국 규모의 학술지 몇 가지에 대해 수록된 논문의 통계적 기법 이용 빈도를 조사하였다. 대상 학술지는 식품영양학 분야에서 한국 식생활문화학회의 ≪한국식생활문화학회지≫, 한국식품조리과학회의 ≪한국식품조리과학회지≫ 등 4 개이다. 이 학술지들을 선택한 이유는, 국내 전국 규모의 학회에서 발간하는 학술지 중에서 비교적 통계적 기법의 이용 빈도가 높았기 때문이다. 최근의 2년간(2008～2009년) 이들 학술지를 대상으로 통계적 기법 활용을 조사한 결과는 <표 1>과 같다.
<표 1> 학술지별 통계적 기법 활용 논문 비율*
연도
학술지
2008 2009
비고≪한국식생활문화학회지≫ 82/93 54/65 년 5～6회 발간
≪한국식품조리과학회지≫ 108/113 79/83 년 6회 발간
≪대한영양사협회 학술지≫ 31/31 30/32 년 4회 발간
≪한국영양학회지≫ 74/77 62/69 년 8회 발간
* 비율은 ‘통계기법 이용 논문 편수’를 ‘수록 논문 편수’로 나눈 값이다(비율=통계기법 이용 논문 편수/수록 논문 편수). 통계적 기법을 활용한 한 편의 논문이 두세 가지 기법을 동시에 이용했을 때, 비율에는 1로 계산했으나 응용통계기법에는 기법별로 각각 누계하였다.
연도
2008 2009
계이용 통계 기법
기술통계 63 51 114
t-test 41 34 75
Chi-square test 31 25 56
회귀분석 7 5 12
상관분석 16 18 34
분산분석 47 30 77
Multiple comparison 2 2
Logistic Regression 10 7 17
Odds Ratio 6 5 11
비모수
Factor Analysis 2 2
Cluster Analysis
기타
신뢰도 분석 1 3 4
스피어만 상관분석 3 1 4
ANCOVA 2 2 4
순위분석 1 1
ROC 곡선 1 1
민감도 분석 2 2
위의 표에서 살펴볼 수 있는 바와 같이 식품영양학 분야에서는 비교적 통계적 기법이 활발하게 이용되고 있음을 알 수 있다. 또 현재에 이를수록 통계기법이 다양화하고 높은 수준으로 이용되고 있다. 즉 기술통계, t-검정, 카이제곱 검정, 분산분석, 회귀분석 등에서 요인분석(Factor Analysis), 판 별분석(Discriminant Ananlysis), 다변량분산분석(MANOVA) 등의 기법으로 다양화, 고등화되고 있다.
그러나 이들을 주의 깊게 살펴보면, 통계적 기법의 활용 면에서 불만족스러운 점과 오류가 많은 것 도 사실이며 이 점이 추후 논의의 대상이다.
2.2 식품과학 및 음식문화에 관련된 학술지의 통계적 기법 활용 실태 파악
식품영양학 분야의 최근 2년간(2008～2009년) ≪한국영양학회지≫, ≪한국식품조리과학회지≫, ≪한 국식생활문화학회지≫, 그리고 ≪대한영양사협회 학술지≫의 통계적 기법의 활용을 조사한 결과는
<표 2>에서 <표 5>까지와 같다. 본 연구에서는 ≪한국영양학회지≫와 ≪한국식품조리과학회지≫ 수 록 논문 중 통계적 기법을 활용한 논문을 대상으로 하여 이후에 제안될 점검표를 토대로 하여 통계 적 기법 활용에 관한 타당성 평가를 시도한다.
<표 2> 최근 2년간 ≪한국영양학회지≫의 통계적 기법 활용
연도
2008 2009
계양성예측도 분석 1 1
Exact test 1 1
일치도 분석 1 1
이용 통계 패키지
SAS 28 23 51
SPSS 40 34 74
MS 2003 Excel 1 1
SUDAAN 2 2
<표 3> 최근 2년간 ≪한국식품조리과학회지≫의 통계적 기법 활용
연도
2008 2009
계이용 통계 기법
기술통계 35 35 70
t-test 19 22 41
Chi-square test 13 8 21
회귀분석 7 9 16
상관분석 8 4 12
분산분석 87 64 151
Factor Analysis 6 9 15
Cluster Analysis 1 1
기타
신뢰도 5 10 15
중요수행도분석(IPA) 1 1
스피어만(비모수상관) 1 1 2
다중응답분석 1 1
반응표면분석 1 1
적합결여검증분석 1 1
Wilcoxon 부호순위검정(비모수) 1 1
구조방정식모형검증 1 1
공변량구조분석 1 1
이용 통계 패키지
SAS 46 30 76
SPSS 54 45 99
Design Expert 2 2
XLSTAT 1 1
Minitab 1 1
Sigma stat 1 1
AMOS 1 1
LISREL 1 1
<표 4> 최근 2년간 ≪한국식생활문화학회지≫의 통계적 기법 활용
연도
2008 2009
계이용 통계 기법
기술통계 61 38 99
t-test 25 21 46
Chi-square test 22 15 37
회귀분석 13 10 23
상관분석 18 9 27
분산분석 46 32 78
Odds Ratio 1 1
비모수 3 3
Factor Analysis 16 9 25
Cluster Analysis 1 3 4
기타
신뢰도 18 11 29
구조방정식모형분석 4 4
다중응답분석 3 3
ANCOVA 1 1
Fisher's test 1 1
중요수행도분석(IPA) 1 1 2
모형적합도분석 1 1
직접효과분석 1 1
간접효과분석 1 1
경로분석 1 1
이용 통계 패키지
SAS 16 12 28
SPSS 60 39 99
LISREL 5 2 7
Design Expert 1 1 2
AMOS 1 1
IAMS 1 1
Minitab 1 1
<표 5> 최근 2년간 ≪대한영양사협회 학술지≫의 통계적 기법 활용
연도
2008 2009
계이용 통계 기법
기술통계 31 26 57
t-test 15 20 35
Chi-square test 16 15 31
회귀분석 1 4 5
상관분석 7 6 13
분산분석 13 12 25
Logistic Regression 2 2
Odds Ratio 1 1
Factor Analysis 1 3 4
기타
신뢰도 4 4 8
Wilcoxon 순위합검정(비모수) 1 1 2
경로분석 1 1
Shapiro-Wilk test 1 1
Wilcoxon Two sample test 1 1
중요수행도분석(IPA) 1 1
이용 통계 패키지
SAS 7 7 14
SPSS 21 22 43
AMOS 1 1 2
2.3 점검표
오늘날 통계적 사고의 도구화인 통계적 기법의 활용은, 과학이라는 용어가 붙은 모든 학문 분야에서 일상의 다양한 영역에 이르기까지 보편화되는 추세이다. 본 연구에서는 국내 식품영양과학, 조리 및 음식문화 학술지의 통계적 기법 활용에 관한 타당성 평가를 시도하고자 점검표를 사용하였다.
점검표는 통계적 기법을 활용하는 연구자가 통계학에 대한 이해가 부족하여 통계적 오류를 범하는 경우를 줄이기 위한 방안으로 개발된 것이다. 또한 통계적 기법을 활용하는 연구자에게 통계적 오류 를 범하지 않게 해주는 동시에, 통계적 기법을 좀 더 효율적으로 활용하게 해줄 수 있을 것이다.
본 연구에서는 Schor와 Karten(1966)의 통계적 평가법, Ford와 Tortora(1978)의 점검표, 최종후 (1989)의 점검표를 토대로 하여 통계적 기법 활용을 위한 점검표를 수정․작성하였다. 일반적으로 연 구자가 연구의 방법을 구현해나가는 데에는, 연구의 과정이 연차적(sequential) 단계로 필요할 것이며 연차적 과정의 매듭마다에 나름의 요소들이 있을 것으로 기대할 수 있다. 따라서 본 연구에서는 점 검표를 크게 세 단계로 나누었다. 1단계는 연구논문의 설계 과정인 통계적 추론 이전의 단계이고, 2 단계는 통계적 추론의 단계, 3단계는 결론 도출 과정인 통계적 추론 이후의 단계이다. 통계적 추론의 단계에서 통계적 기법의 선택 항목은 적정성의 문제를 중심으로 통계적 기법을 활용하는 연구논문에 서 보편화된 통계적 기법인 t-검정, χ2-검정, 분산분석법, 회귀분석법, 로지스틱 회귀분석에 대하여 활 용기법에 따른 점검표를 제안하였다.
점검표의 각 항목은 5개의 범주로 나누어 판정하도록 하는데, 이는 정확, 부정확, 오류, 무시, 해당없음으로 나누었고, 정확은 ‘정확하게 수행되었음’, 부정확은 ‘불만족스럽게 수행되었음’, 오 류는 ‘잘못 수행되었음’, 무시는 ‘고려하지 않았음’, 해당없음은 ‘해당사항이 없음’을 뜻한다.
점검표의 작성
수정 작성된 점검표는 <표 6>과 같다.
<표 6> 점검표
1단계(연구설계)
정확 부정확 오류 무시 해당없음
1. 연구문제 2. 연구의 대상
A. 목표모집단과 표본모집단 B. 모집단의 규모, 구조, 특성 C. 모집단에 대한 가정 3. 연구의 가설
4. 연구설계 A. 표본추출방법 B. 측정
C. 표집된 자료의 기술 D. 대표성
E. 표본의 크기 F. 그룹 선택의 기준 5. 자료탐사
6. 기타 A. 반복 B. 확률화 C. 블록화
2단계(통계적 추론)
정확 부정확 오류 무시 해당없음
1. 연구과제의 통계적 형상화 A. 모형
B. 가설설정 2. 통계적 기법의 선택
A. 기법의 기술 B. 적정성
(1) 가정 (2) 변환 (3) 기타 C. 적용절차
D. 사용한 통계패키지 3. 분석결과의 통계적 기술
A. 주요 통계량 B. 유의수준(값) C. 유의확률(P값)
3단계(결론도출)
정확 부정확 오류 무시 해당없음
1. 연구가설에 대한 결론 A. 통계적 결론과 일치 여부 B. 제약점
2. 결론의 해석 기타
1. 보조적 분석기법(TABLE, CHART) 2. 통계용어의 사용
3. 인용 시 통계적 서술 4. 설문 및 자료의 제시
통계처리기법에 따른 점검표
통계적 기법 활용의 타당성 평가를 위한 활용기법에 따라 제안된 점검표는 다음과 같다(최종후, 1989). 이는 <표 6> 점검표를 보완하여 활용하게 되는데, 즉 통계적 기법을 활용한 논문이 2～3가지 의 통계적 기법을 동시에 이용했을 경우 <표 6> 점검표의 2단계인 ‘통계적 추론’에서 통계적 기법 선택의 적정성 항목은 <표 7> ‘활용기법에 따른 점검표’에 의해 활용기법별 타당성 평가를 내린 다 음 <표 6> 점검표에서 종합평가를 내린다. 따라서 <표 7>는 활용기법에 대한 세부 점검 내용이다.
활용기법에 따른 점검표는 <표 7>와 같다.
<표 7> 활용기법에 따른 점검표
t-검정
(1) 가정
- 정규성(모집단의 분포가 정규성을 만족하는가?) - 독립성(관찰치들이 서로 독립인가?)
- 등분산성(두 개의 독립표본에 의하여 모집단의 평균치 차에 대한 검정을 할 경우, 두 모집단의 분산은 균 일한가?)
(2) 변환 (3) 기타
- 짝짓기(짝진 표본이 필요한가?)
Chi-square 검정
(1) 가정 (2) 변환 (3) 기타
- 연속성의 수정(분할표상에서 각 범주의 기대도수가 충분히 큰가?)
분산분석법 (1) 가정
- 정규성(비교대상의 모집단들은 정규분포를 따르는가?) - 독립성(관찰치들이 서로 독립인가?)
- 등분산성(비교대상의 모집단이 분산은 균일한가?) (2) 변환
(3) 기타
- 다중비교(귀무가설이 기각되었을 경우 다중비교를 할 것인가?) 회귀분석법
(1) 가정 - 정규성 - 독립성 - 등분산성 (2) 변환 (3) 기타
- 모형에 대한 검정
- 회귀진단(영향력이 큰 관찰치, 다중공선성에 대한 검토가 필요한가?) 로지스틱 회귀분석법
(1) 분포: 종속변수가 이진수 자료(binary)로 이항분포를 하는가?
(2) 변환: 종속변수를 logit 변환을 하였는가?
(3) 기타
- 모형에 대한 검정 - 랜덤추출이 아닐 경우
- 결론의 해석(영향력이 큰 관찰치, 다중공선성에 대한 검토가 필요한가?)
점검항목의 여러 가지 문제
앞에서 개발된 점검표의 점검항목을 둘러싼 문제들을 각 단계별로 검토하고자 한다. 이는 과학학술 논문의 타당성 평가를 위한 점검표라는 형식에서 하나의 기준이 포함하고 있는 점검항목을 연구함으 로써 점검항목을 구체화시키고, 나아가 점검표의 문제를 연구하려는 것이다(최종후, 1989).
1) 1단계(연구설계 과정) (1) 연구문제
연구자가 자신의 연구문제를 간단명료하고 완전하게 설정하는 것은 중요한 일이다. 어떤 연구문제를 해결하고자 한다면 그 문제가 무엇인지를, 특히 과학적인 문제가 무엇인가를 전반적으로 알아야 한 다. 연구의 가장 중요한 부분 중의 하나인 연구문제에 대한 적절한 기술을 어떻게 해야 하는 것일 까? Kerlinger(1986)가 제시한 문제 서술의 세 가지 기준은 다음과 같다.
첫째, 문제는 둘 또는 그 이상 변수 간의 상관관계로 표현되어야 한다. 예컨대 ‘A와 B는 C와 어 떤 관계가 있는가?’라고 질문하는 것이다.
둘째, 문제는 질문 형식으로 분명하고 명확하게 서술되어야 한다. 질문은 문제를 직접적으로 제기 하는 이점을 갖고 있기 때문이다.
셋째, 문제 서술은 경험적 검정의 가능성을 함축하는 것이라야 한다. 서술된 관계를 검정한다는 의미가 함축되지 않은 문제는 과학적인 문제가 아니다.
(2) 연구의 대상
여기에서는 목표모집단(target population), 표본모집단(sampled population)의 탐지 및 모집단의 규모, 구조, 특성의 서술 문제를 다룬다. 연구의 대상인 목표모집단은 연구자가 취급한 표본모집단과 비교 할 필요가 있다. 합리적인 표본을 얻기 위한 선행적 과제로 모집단의 규모, 구조, 특징을 살피는 것 은 중요하다.
(3) 연구의 가설
가설이 과학적인 연구에서 중요하고도 필수적인 도구라는 것에 대해서는 의심할 여지가 없다. 연구 문제는 보통 폭넓은 속성을 지니고 있으며 직접적으로 검증되지 않기 때문에 가설의 형태로 축소되 지 않으면 과학적으로 해결할 수 없다. 가설(hypothesis)이란 둘 혹은 그 이상 변수 간의 관계에 대한 추측 또는 서술이라고 할 수 있다. 가설은 과학자들로 하여금 자기 자신을 객관적으로 바라볼 수 있 게 하기 때문에 이론을 전개시키는 효과적인 수단이 된다. Kerlinger(1986)에 의하면 ‘훌륭한’ 가설에 는 두 가지 기준이 있다. 가설은 변수 간의 관계에 대한 서술이며, 가설은 서술된 관계를 검정한다는 분명한 의미를 내포하고 있어야 한다.
(4) 연구의 설계
연구설계(research design)란 어떤 문제에 대한 해답을 얻기 위하여 고안된 연구계획을 말한다. 가설 로 설정된 연구문제에 대하여 신뢰할 수 있고 타당성 있는 결과가 얻어지도록 최대한 적절하고, 객 관적이고, 정확하고, 경제적인 연구를 추구해야 한다. 그 이상적 기준이 과연 있으며, 있다면 어떤 것 인가, 그러한 지식은 어디에서 얻어지는가, 자료의 원천과 수집방법은 무엇인가, 그와 같은 방법으로 얻은 자료가 지니는 한계는 무엇이며, 왜 문제가 있는가, 연구에 적합한(intended use) 자료를 얻으려 할 때는 어떤 조처를 할 것인가 등의 문제이다.
본 연구의 점검표에서는 연구설계의 세부항목으로 표본추출방법, 측정, 표집된 자료의 기술, 대표 성의 고려, 표본의 크기, 그룹 선택의 기준 문제 등을 포함하였다. 자연과학 분야의 경우에 측정이 어떤 규칙에 따른 가시적인 것이지만, 사회과학 분야의 경우에 측정은 좀 더 복잡해진다. 그러므로 측정 항목에서 타당도(validity)와 신뢰도(reliability) 문제를 점검해야 한다.
타당도는 보통 세 가지 유형으로 분류되는데, 내용타당도(content validity), 기준관련타당도(criterion-
related validity) 및 구성타당도(construct validity)이다. 내용타당도는 측정의 자명성(self evident) 판단 의 문제이다. 각각의 검사문항은 측정하려는 속성 내용을 대표하는 것으로 작성되었기 때문에 검사 문항들을 신중하게 연구하여야 한다. 기준관련타당도는 측정의 실용적(pragmatic) 판단에 관한 타당도 인데, 이는 변수들을 측정하는 척도와 방법이 타당한 것인가에 관한 문제이다. 기준관련타당도는 검 사점수나 척도점수를 한 가지 이상의 외적 변수 또는 연구하고 있는 속성의 측정기준과 비교한다.
다음은 측정의 이론적 적합성 판단인 구성타당도의 문제이다. 일반적으로 연구자는 서로 관계를 맺 고 있는 구성개념이나 변인을 가지고 연구를 시작한다. 그 이유를 알기 위해서 관계를 맺고 있는 구 성개념의 의미를 연구해야 한다. 이 의미를 어떻게 연구할 것인가 하는 것이 구성타당도의 문제이다.
측정의 정확성을 논의할 때, 특히 측정수단의 문제와 관련해서 신빙성의 정도 또는 신뢰도의 문제를 따지게 된다.
신뢰도(reliability)란 측정도구의 정확성, 정밀성을 나타내는 개념인데, 크게 세 가지 측면이 있다.
첫째, 안정성(stability)의 문제로서 이는 측정도구를 반복해서 측정한다면 동일하거나 서로 비슷한 결 과를 얻을 수 있겠는가의 측면, 둘째, 등가성(equivalence)의 문제로서 서로 다르지만 내용이 같은 두 가지 이상의 측정도구로부터 얻은 측정결과는 서로 비슷한가의 측면, 셋째, 동질성(homogeneity)의 문제로서 동질적이라고 가정하는 한 가지 측정수단만을 가지고 자료의 신뢰도를 측정하는 측면이다.
신뢰도를 측정하고, 이를 향상시킬 수 있는 방법은 검사-재검사(test-retest), 반분비교(split-halves), 대안설문(alternative form), 내적일치도(internal consistency) 검사방법이 있다. 신뢰성을 측정하는 지표 로는 Cronbach's alpha계수, 쎄타(θ, theta)계수와 오메가(Ω, omega)계수가 있다. 신뢰도를 얻는 것은 대부분 기술적인 문제이다. 그러나 타당도는 기법 이상의 것으로 논리의 문제인 것이다. 아무리 신뢰 도가 높아도 타당도가 없으면 획득된 자료는 쓸모가 없을 것이다. 그러므로 모든 측정도구는 신뢰도 와 타당도라는 측면에서 검정되어야 한다.
(5) 자료탐사
고전적 통계적 기법들은 대체로 엄격한 이론적 가정 하에서 그 유용성이 인정되도록 개발되어 있다.
따라서 대부분의 통계적 추론은 모집단분포(parent distribution)의 성질에 관해 특별한 가정을 하고 수 행된다. 특히 정규성(normality)은 대부분의 통계적 추론에서의 가정이다. 그러나 모집단의 분포가 정 확히 정규분포를 따른다고 단정하기는 힘든 경우가 많다. 이때 우리는 정확히는 정규분포가 아니더라 도 이와 상당히 유사한 분포라고 하면 통계적 추론의 결과에 큰 차이가 없어 크게 문제가 되지 않을 것이라고 생각할 수 있다. 이렇게 분포의 가정이 약간 빗나가더라도 추론에 영향을 미치지 않는 방법 을 로버스트 방법(robust method)이라 하여 최근에 활발하게 연구되고 있는데, 이는 영향력(influence) 의 문제, 특이치(outlier)의 문제 등과 더불어 통계학의 유용성, 현실적응력에 대한 고려이다.
적 자료분석의 대주제인 ‘자료를 보고나서 분석할 것을 생각하라’처럼 훌륭한 자료분석이란 통계적 추론에 임하기에 앞서 획득한 자료를 면밀히 검토하는 것에 중점을 둔다. 실제적인 자료분석은 탐사 (exploration)의 단계와 확증(confirmation)의 단계로 구분될 수 있다. 탐사적 자료분석은 자료분석을 위 한 확률모형을 선택하기에 앞서 자료의 구조와 특징을 파악할 수 있게 해준다. 한편 확증적 자료분석 (confirmatory data analysis: CDA)은 자료의 관측된 형태나 효과의 재현성(reproducibility)을 평가하는 데 목적이 있다. 따라서 확증적 자료분석의 역할은 유의성 검정이나 전통적인 통계적 추론의 역할과 부합되며, 확증적 자료분석에서는, 관련된 다른 자료의 분석에서 얻어진 정보를 적당히 배려하는 일과 새로 수집된 자료가 앞서의 분석결과에 얼마나 부합하는가, 즉 타당성(validity)을 검토하는 일이 추가 된다. 즉 자료분석의 탐사적 단계는 자료의 미지의 구조(latent structure)를 밝힐 수 있는 증거를 찾는 일련의 과정이고, 확증적 단계는 수집한 증거에 대한 실증적 평가에 중점을 둔다.
점검항목에서의 일차적 관심은 탐사적 자료분석의 활용에 관한 것이다. 탐사적 자료 분석의 주제 는 특이치(outlier 또는 wild value)에 대해 민감하게 반응하지 않는 저항성(resistance), 저항성이 내재 된 기법에 의한 자료분석을 통하여 자료의 지배적인 형태(dominant behavior)와 보통과 다른 행태 (unusual behavior)를 파악하여 검토하고자 하는 잔차(residual)의 활용, 자료의 분석과 해석을 단순화 하기 위한 재표현(re-expression), 그래프와 같은 방법을 통한 자료, 혹은 이에 관련된 정보의 효과적 전달을 위한 현시성(revelation)이다.
최근 확증적 자료분석으로 메타분석(meta analysis)이 많이 쓰이고 있다. 메타분석은 특정 분야 또 는 주제에 관하여 누적된 연구결과들을 종합하기 위하여 독립적으로 이루어진 개별 연구의 결과들을 한데 모아 통계적 종합을 시도하는 분석이다. Smith(1977)는 메타분석의 특징으로 다음의 네 가지를 들고 있다. 첫째, 메타분석에서는 수량적 접근을 한다. 둘째, 종합하고자 하는 연구분야에서 이루어진 모든 연구를 대상으로 한다. 셋째, 한 연구분야에서 이루어진 연구결과를 전체적으로 종합하여 해당 연구문제에 대해 일반적이고 체계적인 결론을 도출하고자 한다. 넷째, 메타분석은 체계적이고 반복이 가능하다. 즉 메타분석 방법으로 연구결과들을 종합하면, 연구를 종합․분석하는 사람의 주관이나 편 견을 상당 부분을 줄일 수 있고 후속 연구자가 다시 반복하여 검토․확인할 수 있게 해줌으로써 사 회과학의 과학성 획득의 난점을 어느 정도 해소할 수 있다.
반면 메타분석에 대한 비판도 제기되고 있다. 적합성(suitability)의 문제, 즉 서로 비교할 수 없는 다른 성질의 연구결과들까지도 종합하려 한다는 점과, 가치(value)의 문제, 즉 ‘우수한’ 연구와 ‘졸렬 한’ 연구의 결과를 구별하지 않고 그대로 종합하려는 점을 문제로 들 수 있다. 또한 종합할 연구를 수집할 때 중요한 몇몇 연구를 누락할 수 있다는 점도 있다.
그러나 메타분석은 과학분야의 연구가 지니고 있는 과학성의 난점을 어느 정도 해소해 줄 수 있 으며, 선행연구의 개관 혹은 종합을 좀 더 체계적으로 이룰 수 있으며, 또한 동일한 주제에 대해 개 별 연구를 통합하는 것은 표본의 크기가 늘어난다는 점에서 통계적 검정력(power)을 높일 수 있다.
즉 메타분석은 많은 연구결과들을 종합하고 요약하기 위하여 사용되고 있다.
(6) 기타
통계적 기법을 활용하는 연구논문에서 자료의 수집은 관찰(observation)과 실험(experimentation)에 의 하여 얻어진다. 관찰은 수동적인 자료수집 방법으로 관찰자는 대상에 아무런 조작을 가하지 않고 자 료를 기록하는 반면에, 실험은 능동적인 자료수집 방법으로 실험자는 실험대상을 어느 정도 통제할 수 있다. 실험에 의한 자료획득 과정은 다시 세 가지 유형으로 나누어 생각할 수 있다. 실험도구에 의한 자료획득, 측정문항에 의한 자료획득, 실험도구와 측정문항을 병용한 자료획득이다. 일반적으로 실험에서는 통제(control)가 가능하므로 효율적인 자료획득 과정에 속한다.
Fisher는 실험계획에서 지켜야 할 세 가지 큰 원칙을 반복(replication), 확률화(randomization), 블록 화(blocking)라고 하였다. 세 가지 큰 원칙이 지켜진 실험에 의한 통계적 추론만이 통계적으로 근거 있는 결론이라고 할 수 있는 것이다. 연구의 대상집단을 실험집단(experimental group)과 통제집단 (control group)으로 나누고, 이때 통제집단은 실험처리 외의 모든 다른 요소들을 실험집단과 동일하 게 만들어야 한다. 즉 실험대상이 되는 단위를 무작위로 실험집단과 통제집단에 배치하는 확률화를 통하여 실험의 외적 요인의 영향을 상쇄한다. 이러한 실험설계 하에서 실험 후에 나타나는 차이가 비로소 실험의 처리 효과에 의한 영향이라고 생각할 수 있다. 이러한 실험계획을 완전확률화 설계 (completely randomazed design)라고 한다.
그런데 실험대상의 단위들이 모두 균일하지 않을 경우에는 완전확률화 설계로 성공적인 실험을 수 행할 수는 없으며, 실험의 반복에 따라 각 반복에서 적어도 균일한 실험단위를 취하여 서로 동일한 실험단위들이 한 블록을 이루도록 한다. 이와 같이 동일한 실험단위들을 동질적인 집단으로 묶는 일 을 블록화(blocking)라고 하며, 한 블록 안의 실험집단들에 각 처리가 골고루 배치된 실험을 랜덤화 블록 설계(randomized block design)라고 한다. 결국 완전확률화 설계는 확률화의 원리를, 랜덤화 블 록 설계는 확률화의 원리에 층화의 원리를 추가하여 실험을 계획한 것이다. 일반적으로 랜덤화 블록 설계가 완전확률화 설계에 비하여 효율이 높은 것으로 알려져 있다. 즉 블록화는 실험의 정도 (precision)를 높이는 데 크게 기여한다. 반복이란 같은 처리를 여러 번 거듭 수행하는 것을 말하며, 이를 통해 통계적 오차를 제어하는 역할을 한다.
2) 2단계(통계적 추론)
(1) 연구과제의 통계적 형식화
통계적 기법을 활용하는 연구논문에서, 연구가설이나 통계적 분석과정 들을 서술할 때 통계학에서
분명한 연구 진행과정을 나타낼 수 있다.
(2) 통계적 기법의 선택
통계적 기법의 선택에서는 연구논문에서 활용하고 있는 기법의 기술, 적정성의 문제, 적용절차의 문 제, 사용한 통계패키지의 문제를 고려한다. 적정성의 문제는 문제정립의 적정성 문제와 정립된 문제 에 대한 통계적 기법 적용의 적정성 문제이다. 대부분의 경우 연구논문은 두세 가지 통계적 기법을 동시에 활용하기 때문에, 연구논문에 대한 적정성의 평가는 활용한 기법별 점검을 우선적으로 수행 하고 이를 토대로 종합적인 평가를 고려한다. 적정성의 고려와 적용절차는 다음과 같이 구별된다. 활 용된 통계적 기법에 반드시 요구되는 가정을 무시하고 통계적 기법을 적용했을 경우 적정성의 문제 는 ‘무시’(고려하지 않았음)이고, 적용절차의 문제는 ‘오류’(잘못 수행됨)가 될 것이다. 적정성의 문제 를 연구논문에서 보편적으로 활용하는 몇 가지 통계적 기법의 예를 들면 다음과 같다.
① t-검정에서 적정성의 문제로 요구되는 가정은, 정규성(모집단의 분포가 정규성을 만족하는가), 독립성(관찰치들이 서로 독립인가), 등분산성(두 개의 독립표본에 의하여 모집단의 평균치 차에 대한 검정을 할 경우, 두 모집단분산은 균일한가)이다. 이때 정규성의 가정에서 이탈되었을 때에는 비모수 적(nonparametric) 검정법을 적용할 수 있다. 한편 독립성의 가정은, 각 표본 내에서 관찰치는 서로 독립이어야 하며 한 표본의 관찰치와 다른 표본의 그것과는 서로 독립이어야 한다는 것이다. 짝진 표본일 경우에는 독립표본 t-검정을 사용해서는 안 된다. 관찰치의 독립성 여부는 임의표본(random sample)의 관점에서 점검을 요한다.
등분산성의 가정은 두 모집단의 분산이 동일하다는 가정이 충족되었는가 하는 점이다. 실제로 성 질이 다른 두 모집단의 경우 두 모집단의 분산이 같다고 하는 가정이 의심스러울 때가 많다. 이러한 경우 측정치를 적절히 변환하여 모분산의 균일성이라는 가정이 만족되도록 변수변환을 시도한다. 변 수변환으로는 대수변환, 평방근변환 등과 같은 것을 이용할 수 있다. 기타 고려사항은 짝짓기 (matching)의 문제이다. 일반적으로 짝지어 대응하는 실험을 하는 목적은 두 가지 처리 결과에 대한 비교의 정도를 높이기 위한 것이다. 예를 들면 교육방법에 따른 교육성과를 알아보는 실험의 경우라 면, 실험대상자들의 과거 경력, 성장환경, 능력 등 여러 가지 외적 요인이 동일하다고 생각되는 사람 들끼리 짝을 만드는 것이 합리적인 방법이다.
② Chi-square 검정에서 적정성 문제로 고려해야 할 사항은, 연속성의 수정(분할표상에서 각 범주 [cell]의 기대도수가 충분히 큰가)의 문제이다. Chi-square 검정의 의미는 다항분포(multinomial distri- bution)에서 각 범주에 속할 확률이 ‘p1, p2, ……, pk’인지를 검정하고자 하는 것이다. 이때 i번째 범 주에 해당하는 관측도수 n과 이의 기대도수 npi와의 차이 ‘n-npi, i=1, 2, ……, k’에 의존하는 검정통 계량을 생각하게 되고, 검정통계량의 값이 크면 귀무가설, 즉 ‘p, p, ……, p’의 확률모형을 따른다는 가설이 기각될 것이다. 이처럼 이 검정통계량은 본래 다항분포를 따르고 있으나, 표본의 크기 n이 클
때 근사적으로(asymptotically) Chi-square 분포를 따르게 된다. 표본의 크기가 크고 np가 5보다 같거 나 클 때 이 근사적 접근이 무리가 없다고 알려져 있다. 따라서 분할표상에서 각 범주의 기대도수가 5 미만의 값을 가지면, 주변의 범주와 통합하여 기대도수가 5 이상이 되도록 하는 Yates의 연속성 수정(continuity correction)을 해야 한다.
범주형 변수 A와 B를 대상으로 Chi-square 검정을 실시하는 것은 변수 A와 B가 독립적인지 아닌 지를 평가하기 위한 것이다. 그렇기 때문에 그 결과를 변수 A와 B가 독립적이다 혹은 독립이 아니 다와 같이 해석해야 하나 ‘변수 A가 증가할 때 변수 B가 증가 혹은 감소하는 경향이 있다’와 같이 해석의 오류를 범하는 경우가 많다. 변수 A와 B의 증감 관계를 설명하고자 할 때는 로지스틱 회귀 분석을 통해 odd ratio를 보아야 한다.
③ 분산분석법의 적정성의 문제로 요구되는 가정 역시 정규성, 독립성, 등분산성이다. 즉 비교대상 의 모집단들이 정규분포를 따르는가, 관찰치들이 서로 독립인가, 비교대상의 모집단의 분산이 균일한 가이다. 이때 정규성의 가정에서 이탈되었을 때에는 비모수적 검정법을 적용해야 한다. 한편 독립성 의 가정은 t-검정과 같고, 등분산성의 가정은 등분산의 가설에 대한 가설검정을 통해 검토해볼 수 있 다. 기타 고려사항은 다중비교, 즉 귀무가설이 기각되었을 경우 다중비교를 할 것인가의 문제이다.
④ 회귀분석법의 적정성의 문제로 요구되는 가정 역시 정규성, 독립성, 등분산성의 문제이다. 이는 회귀모형 상의 오차항이 서로 독립인 N(O, σ2) 확률변수라는 가정을 말한다. 이 가정에 대한 검토를 잔차분석(residual analysis)이라고 하는데, 독립성은 더빈-왓슨(Durbin-Watson) 검정통계량을 통해 계 열상관(serial correlation) 정도를 판정하며, 등분산성은 독립변수의 관찰치(혹은 적합치 Y)와 표준화 잔차(혹은 표준화 제외잔차)를 xy평면 위에 그려봄으로써 검토할 수 있다. 또 정규성은 비대칭도 (skewness)와 첨도(kurtosis)에 대한 검정, 적합도 검정(test of goodness of fit), Shapiro-Wilk 검정통계 량 또는 정규확률지(normal probability paper) 등을 통해 검토할 수 있다. 이러한 검토결과 모형에 대 한 가정이 어긋났을 경우 이에 대한 대비책으로, 독립성의 가정이 훼손되었을 경우 Cochrane과 Orcutt의 변환(transformation)을 활용한다. 또 등분산성의 가정이 훼손되었을 경우는 G. L. S.
(generalized least squares) 또는 W. L. S.(weighted least squares)를 활용한다. 정규성의 가정이 훼손 되었을 경우는 흔히 변화를 활용한다. 기타 고려사항은 회귀모형의 추론과정에서 모형에 대한 검정 이 수행되었는가의 문제와 회귀진단법(regression diagnosis: 영향력이 큰 관찰치, 다중공선성에 대한 검토가 필요한가)의 문제이다. 이는 회귀분석 시 영향력이 큰 관측치(influential observation)를 색출하 여 이를 검토한다든지, 다중공선성(multicollinearity)의 원인과 여러 효과를 분석하는 문제를 말한다.
끝으로 대부분의 통계적 추론과정에 사용되고 있는 유의성 검정의 이용에 대한 적정성 문제를 생 각해본다. Moore(1979)는 유의성 검정의 이용과 오용에 관해 몇 가지 사항을 지적하였다.
우선 유의수준 선택의 문제이다. 이는 Neyman-Pearson의 가설검정 이론(testing hypothesis)과 Fisher
유의성 검정 결과 통계적 유의성(statistical significance)이 있다 하더라도 실제적 유의성(practical significance)이 없는 문제도 얼마든지 있을 수 있다. 예컨대 두 변수 사이의 상관계수가 0이라는 귀 무가설을 검정한다고 할 때 즉 H0 : ρ = 0 vs H1 : ρ ≠ 0, 표본의 크기가 1,000인 경우에는 r = 0.08도 =1%에서 통계적 유의성을 갖는다. 이런 경우 모상관계수 ρ는 0.08에 상당히 가까울 것으로 생각되므로, 통계적 유의성에도 불구하고 두 변수 사이의 상관성은 실제로 무시할 수 있다고 간주한 다. 그러므로 통계적 유의성에 대한 지나친 집착과 확대해석은 올바르지 못하다. Moore는 이에 대한 대안으로 구간추정의 적극적 활용을 들고 있다.
다음은 유의성의 결여에 대한 문제로서, 연구자들은 대립가설이 귀무가설과 유의성 있게 받아들여 지기를 바라는 경향이 있다. 그러나 Moore(1979)는 과학사를 통해 볼 때 유의성이 검출되지 않은 연 구결과도 때때로 그 자체로 훌륭한 의미를 지닐 수 있다고 주의를 환기시킨다.
또한 확률화(randomization)에 대한 문제로서, 통계적 추론이 확률법칙에 근거하기 때문에 확률화 과정이 없이 얻어진 데이터에 통계적 추론을 적용하는 위험을 지적하고 있다. 확률화의 과정을 무시 한 연구결과는 단순히 선택효과(selection effect)를 반영하는 것이 아닌가 하는 의문을 갖게 한다. 따 라서 통계조사나 실험계획 단계에서의 확률화에 대한 문제를 강조하고 있다.
마지막으로 유의성에 대한 지나친 집착의 문제로서, 유의성을 갖는 결과를 얻기 위하여 여러 가지 검정을 데이터에 동시에 적용한 후 유의한 검정 결과만을 보고하는 것은 옳지 못하다. 유의성만을 지나치게 추구하는 것을 경계할 필요가 있다는 것이다.
이상에서 지적되지는 않았지만, 제2종의 과오인 -error의 문제를 고려할 필요가 있다. 제1종의 과 오를 범하는 확률 를 줄이려면, 제2종의 과오를 범하는 확률 가 늘어난다. 이와 반대로 제2종의 과오를 범하는 확률 를 줄이려면, 제1종의 과오를 범하는 확률 가 늘어난다. 통계학에서는 이런 어려운 문제를 해결하기 위해 우선 제1종의 과오를 범하는 확률 를 문제의 성격에 알맞도록 설정 한 후에, 제2종의 과오를 범하는 확률 를 최소화하는 방법과 절차를 찾는 것이다. 이는 곧 검정력 (power) ‘P = 1―’의 관계에서 최강력 검정법(most powerful test)을 찾는 개념인 것이다. 대부분의 연구에서 제2종의 과오를 범하는 확률 를 무시하고 있는데, 때때로 문제의 속성상 가 중시되어야 할 필요가 있다. 결국 유의성검정에 대한 올바른 통계적 절차는, 어떤 가설을 검정하고 싶으면 그 가 설을 검정하기 위한 조사, 실험계획을 세워서 그에 따라 데이터를 수집하고 그 가설을 검정하는 단 계를 밟아나가야 한다는 것이다.
다음으로 사용한 통계패키지의 문제를 생각해보면, 사회과학 분야의 연구문제들은 많은 변인에 대 한 복잡한 분석과 반복계산을 필요로 하며, 요인분석, 판별분석, 다변량분산분석, 다중회귀분석 (multiple regression) 등의 고등 통계적 기법을 활용한 연구를 쉽게 접할 수 있다. 이와 같은 현상은 컴퓨터의 발전과 더불어 통계패키지의 발전 때문이다. 통계패키지는, 컴퓨터와 프로그래밍에 관해서 최소한도의 지식을 갖고 있는 연구자들이 비교적 용이하게 그들의 연구자료를 체계화하고 통계적 분
석을 할 수 있도록 통합 조정된 통계 소프트웨어이다. 그런데 통계패키지를 이용하는 연구자의 자세 가 잘못된 경우가 있다.
우선 일반적으로 연구자들은, 데이터 분석은 컴퓨터를 이용할 때 믿을 만하다든지 정확하다는 잘 못된 생각을 갖고 있다. 데이터 분석에는 컴퓨터에 입력할 수 없는 것들, 예를 들면 데이터의 질 (quality)이나 표본추출과정, 더 나아가 연구내용과의 부합성 등 많은 것을 동시에 고려하여야 한다.
SAS나 SPSS 같은 통계패키지를 활용하기 위해서는 통계적인 기본 지식이 필요하다. 또한 데이터 분석은 일반적으로 많은 단계, 때로는 몇몇 단계를 거듭 반복하는 과정이 필요하다. 예를 들어 회귀 분석의 과정을 보면 데이터의 각 변수 값의 분포형태라든지 두 변수 간의 plot, 기타 데이터의 특성 을 알아보는 기술적인(descriptive) 단계를 거쳐서 통계적 모형(statistical model)을 세운 후 적합하는 (fitting) 단계에 들어선다. 그리고 관심 있는 모수의 추정과 검정으로 데이터 분석을 한다. 그러나 데 이터 분석이 과학적 과정(scientific process)이기 위해서는 모형 적합 이후 적합 모형에 대한 검토 과 정이 필요하다. 이러한 작업의 결과 적합된 모형이 부적당하다고 판단되면 새로운 모형을 찾아보게 되고, 이후 모형 적합이 이루어지고, 이에 대한 모형 진단이 뒤따른다. 따라서 각 단계마다 적당한 통계패키지 프로그램을 순차적으로 이용해야 올바른 데이터 분석이 가능해지는 것이다.
통계패키지의 사용에 익숙해지면 통계적 방법론에 대한 이해를 과신하는 연구자가 많다는 점도 문 제이다. 예를 들어 요인분석 프로그램을 사용할 때 프로그램을 잘 사용할 수 있으려면, 초기 요인 (initial factor)이 도출되는 행렬, 초기 공통요인의 추출방법, 공통성의 추정, 요인수의 결정, 초기 요 인의 회전, 요인점수의 추정 등 요인분석이론에 대하여 충분히 이해하고, 결과 해석에 대한 것을 알 고 있어야 한다. 이는 연구문제를 분석하고 그 결과로부터 결론을 유도해내는 통계적 기법의 개념과 알고리즘(algorithm)에 대하여 충분히 알고 있어야 한다는 것을 의미한다. 이때 유념하여야 할 것은 동일한 문제를 해결하기 위한 알고리즘은 여러 가지 다른 형태를 취할 수 있다는 사실이다. 따라서 다양한 통계패키지는 문제해결을 위한 그 나름의 알고리즘으로 구성되어 있다는 점을 염두에 두어야 한다. 결국 통계패키지를 이용하여 데이터 분석을 올바르게 하기 위해서는 이를 활용하는 연구자가 통계 전문가의 견해 혹은 평가로부터 도움을 받아 기계적인 노력에서 나아가 지적인 노력을 추구해 야 한다.
다음으로 통계패키지의 활용이 점차 증가해 갈수록 이용자들에게 정확성의 기준이 필요하게 된다 는 점을 문제로 들 수 있다. 통계패키지의 기능은 자료관리, 파일관리, 통계적 분석으로 나뉜다.
통계패키지의 유용성에 관한 판단기준은 파일(file)과 편집, 통계자료의 탐사(Exploratory Data Analysis)와 수학적 분석, 습득의 용이함과 유용성, 신뢰성이다. 그러나 많이 쓰이는 통계패키지들도 통계적 분석과정에서 많은 한계점과 문제점을 드러내고 있기 때문에, 연구자들이 경계심을 갖고 통 계패키지를 사용하여야 한다. 통계패키지들이 다소 문제점을 안고 있기 때문에, 통계패키지들에 관해
통계패키지는 조심스럽게 이용되어야 하고, 연구자들은 이 프로그램이 내가 원하고 요구하는 것을 바르게 처리할 수 있는가에 관심을 기울여야 한다.
예를 들면 MacCallum(1983)은 SPSS, BMDP, SAS 통계패키지를 이용하여 요인분석 프로그램을 비교․검토하였다. 즉 자료입력의 제약, 자료입력의 형태, 초기 요인이 도출되는 행렬, 초기 공통요인 의 추출방법, 공통성의 추청, 요인수의 결정 초기 요인의 회전, 요인점수의 추정, plot의 관점에서 항 목별로 검토하였다. 이 각각의 개별 항목에 대한 비교․검토한 결과, 다른 통계패키지에 비하여 SAS 가 선택사양(option)이 다양하고 가장 결함이 적다고 SAS를 추천하였다. 그러나 SPSS, BMDP, SAS 는 표본이 모두 임의표본임을 가정하고 통계분석을 하기 때문에 임의표본이 아닐 경우 또 다른 문제 가 발생하게 된다.
(3) 분석결과의 통계적 기술
분석결과의 통계적 기술에는 주요 통계량과 유의확률(P-값)의 문제가 포함된다. 분석한 결과를 기술 할 때 그 결과를 뒷받침해주는 주요 통계량을 제시하는 것은 중요한 일이다. 또 P값의 표현은 분석 결과의 과학적 표현의 문제이므로 중요한 일이다. 통계적 기법을 활용함에 있어서 유의수준의 적용 문제는 두 가지로 나누어 생각할 수 있다. 즉 유의수준 를 미리 정하고 그에 따라 결론을 기술하 는 것과, P-값(observed significance level)에 따라 결론을 기술하는 것이다. 전자의 입장은 Neyman-Pearson의 가설검정이론(testing hypotheses)에 따른 것이고, 후자는, Fisher의 유의성검정이론 (Test of significance)에 따른 것이다. 이 둘은 개념상으로 뚜렷한 차이가 있는 것이지만, 실제 활용 면에서는 두 가지가 혼합된 방식으로 쓰이고 있다. 유의수준 를 미리 결정하여 P-값을 얻고 난 후 P-값이 유의수준보다 크면 귀무가설을 기각하지 않고 작으면 귀무가설을 기각하는 가설검정 절차에 서는 검정이 의사결정(decision making)의 성격을 갖는다. 이때 경험적 증거의 강약을 평가함으로써 금방 결론에까지 이르는 것이 합당한 것인가에 많은 사람들이 의문을 표시하고 있다. 의사결정은 많 은 실험의 결과를 종합적으로 검토한 후에 내려질 수 있는 것이며, 일반적으로 연구의 목적은 어떤 결정이 아니라 점진적인 이해의 과정이기 때문이다. 유의성검정의 기본은 귀무가설에 반하는 경험적 증거의 강약을 평가하려는 반증주의(反證主義)의 입장이다. 그리고 그것은 P-값으로 요약된다. 연구자 들은 때때로 P-값이 일정 수준에 도달해야 어떤 결정을 내리는데, 이때 그 일정 수준이라는 것이 이 른바 유의수준이고, 유의수준에서 유의해야만 연구결과가 의미 있다는 것이 연구자들의 기존 관념이 다. 유의수준 의 선택은 귀무가설 H0를 기각하기 위하여 어느 정도의 증거를 필요로 하는가에 달 려 있다. 만약 H0의 기각의 결과가 의학적 치료방법이나 교육방법의 값비싼 변환비용을 수반하는 것 이라면, H0를 기각하기 위하여는 강한 반증이 필요하다. H0의 지식으로서의 확고함이나 H0를 기각할 경우의 현실적인 평가는 사람에 따라 다를 수 있는 것이기 때문에, 유의수준 선택의 문제가 그다 지 객관적일 수는 없다. 그러나 연구자가 P-값을 제시하는 경우, 연구결과의 이용자는 각자의 기준에
따라 귀무가설에 반하는 경험적 증거를 판단하여 H0를 검정할 수 있으므로, 가능한 한 P-값을 연구 결과에 포함시키는 것이 좋다. 그러나 연구결과를 표로 제시할 때 유의수준과 P값을 잘못 표기하는 경우가 많으므로 주의해야 한다.
요약하면 연구자가 어떤 연구가설에 대하여 결정을 내리고자 하는 입장에 선다면 미리 유의수준
를 설정해야 할 것이고, 연구자가 원하는 것이 경험적 증거의 강약만을 평가하는 입장에 있다면 유 의수준 를 설정할 필요 없이 P-값만으로 기술하면 족할 것이다. 오늘날 대부분의 통계패키지들이 자동기술적으로 P-값을 인쇄해주기 때문에 이는 쉽게 해결될 수 있는 일이다. 또 유의수준의 크기를 선택하는 문제에서 연구자들은 흔히 유의수준의 값으로 10%, 5%나 1%를 선택하는 것이 보통이고 특히 5%의 유의수준이 가장 많이 사용되고 있으나, 앞에서 말한 이유에 의하여 = 0.05가 일반적 기준인 것은 아니다. 다시 말하자면, 유의수준의 크기 선택은 다루어질 문제의 성격에 따라 달라져야 하고 연구자에 따라 다르게 잡을 수 있는 것이기 때문에, 경우를 가리지 않고 어느 특정 로 검정 하는 것은 옳지 않다.
3) 3단계(결론도출)
(1) 연구가설에 대한 결론
통계적 기법 활용의 결과에 따라 연구가설에 대한 결론을 서술할 때 통계적 결론과 일치 여부를 살 펴보고 연구의 제약점을 언급하고 있는지를 살펴본다. 연구의 제약점을 기술해두는 일은 후속 연구 자의 연구에 도움을 준다. 이는 과학적 지식의 특징의 하나인 재현가능성(reproducibility)을 고려한다 는 점에서 중요하다.
(2) 결론의 해석
통계적 결론에 대한 해석이 적절한가를 점검한다. 통계적 결론은 어디까지나 경험적 결론임에 유의 하여야 하고, 경험적 결론이 옳다는 말은 기존의 이론을 반증하기 위한 경험적 증거가 믿을 만하고 마땅하다는 반증주의에 기반을 두어야 한다.
학회지명 연도 논문제목 저자 KNHANES
data 대상집단 활용 통계적 기법
사용한 통계 패키지
≪
한국영양학회지≫ 2007
<2001
년 국민건강영양조사 에 나타난 아침식사유형에 따른 식사의 질과 건강상 태>
심 등
2001 30-49yr mean SD, SE,
prevalence(%)
4) 기타
Table, chart 등 보조적 분석기법 사용의 문제, 통계용어 사용의 문제, 통계적 추론에 의한 결과를 인 용할 때 통계적 서술의 문제, 설문 및 자료 제시의 문제가 포함된다. 오늘날 다양하게 제공되는 통계 패키지에서 다양한 그래픽을 가능하게 해주기 때문에, 통계적 기법을 활용하는 연구논문에서 이의 적극적인 활용이 반드시 필요하다. 한편 통계용어의 적절한 사용은 연구논문의 과학성 제고라는 측 면에서 필요하다.
마지막으로 설문 및 자료의 제시라는 문제를 생각해보면, 연구자에 의하여 수집, 조직화된 통계자 료는 후속 연구자의 연구에 도움을 줄 수 있다. 새로운 연구자는 기존의 통계자료를 살펴봄으로써 기존의 연구결과에 대한 재분석(secondary analysis)이나 보완적인 후속 연구, 새로운 유형의 연구를 시도하는 데 도움을 얻는다. 그러므로 연구논문의 경우 연구에서 다루어진 원시자료(source data)를 제시하는 일이 필요하다. 최근에 많이 사용하고 있는 국민건강영양조사자료 등은 국가의 자료이므로, 후속 연구자가 기존의 연구논문에서 다루어진 자료를 활용하는 경우를 대비하여 연구논문에서 자료 를 정확하게 제시하는 것은 중요한 일이다.
2.4 국민건강영양조사 자료를 이용한 논문의 통계적 기법 활용 실태 파악
국민건강영양조사 자료와 같이 층화계통추출법에 의해 표본추출된 자료의 통계분석을 표본이 모두 랜덤표본임을 가정한 SAS나 SPSS 같은 통계패키지를 잘못 사용했을 경우의 결과 차이와 결론도출 의 오류 등을 파악하고자 하였다.
국내 과학학술 분야 중 국민건강영양조사 자료를 이용하여 작성한 논문을 선정하여, 논문에서 활용 한 통계적 기법 이용 빈도를 조사하였다. 대상 학술지는 식품영양학 분야에서 ≪한국영양학회지≫,
≪한국식품영양학회지≫, ≪대한지역사회영양학회지≫를 통하여 2007~2009년 동안 제출된 논문 21편 을 제시하였다(<표 8>).
<표 8> 2007년부터 2009년 사이에 식품영양학 분야에 나타난 국민건강영양조사 자료 이용 논문
