제12강 분산분석

제12강 분산분석

분산분석(ANOVA) (1)

1. 개요

비교하는 집단의 수가 3개 이상일 경우에 사용되는 통계기법이 분산분석이다.

두 표본 t검증에서는 문제의 단순성 때문에 야기되지 않는 문제들이 다수의 표본으 로 확대됨에 따라 문제들이 야기되기도 한다.

다음과 같은 r개의 모집단이 있다고 가정하자.

_{X11 X21} . . . . _Xr1

X₁₂ ～ N(μ₁, σ²) X₂₂ ～ N(μ₂, σ²) . . . . X_r2 ～ N (μ_r, σ²)

. . . . . . _X1n

1 _X2n

2 _{Xr n}

r

위의 그림과 같이 여러 번에 걸쳐 두 표본의 t검정을 하게되면 결론의 유의수준이 증가하게 될 뿐만 아니라 절차 또한 번잡하다. 이러한 문제를 해결하는 통계기법이 분산분석이다.

분산분석의 검정은 r개 모집단 평균이 모두 같은 지의 여부를 검정하는 하는 것

이다. 즉 H₀: μ₁ = μ₂ .... = μ_{r Ha}: _H0가 아니다.

이러한 검정을 하기 위하여 분산분석은 다음과 같은 가정을 두고 있다.

분산분석의 가정

(1) r개 모집단 분포는 모두 정규분포를 이루고 있다.

(2) r개 모집단의 평균은 다를 수 있으나 분산은 모두 같다.

(3) r개 모집단에서 추출한 표본은 서로 독립적이다.

분산분석은 집단을 구분하는 독립변수는 명목척도이고, 비교하고자 평균의 확 률변수는 종속변수로써 간격척도 이상인 자료의 분석에 사용할 수 있다. 집단을 구 분하는 독립변수를 요인(factor)이라고 하며, 각 집단을 요인의 수준(level)이라고 한 다. 또한 분산분석에서 사용하는 처리(treatment)는 일원배치 분산분석에서는 요인 의 수준과 같은 의미이며, 2원배치 또는 다원배치 분산분석에서는 각 요인의 수준 의 조합들을 의미한다.

2. 일원배치 분산분석 (One-way ANOVA)

1) 이론적 배경

일원배치 분산분석은 r개의 집단으로 분류하는 독립변수가 하나이며, r개의 수준에 따라 종속변수의 평균에 차이가 있는지를 검정하는 기법이다. i 번째 집단(수준)의 j 번째 사례의 확률변수 값을 X_ij라 하면 이는 다음과 같은 수식으로 나타낼 수 있 다.

_Xij = μ_i + ε_ij (2-1-1) 여기서 μ_i = i번째 집단의 평균 ε_ij = ～N(0, σ²) 인 확률변수

i번째 집단의 평균 μ_i와 전체 평균 μ의 거리 τ_i라고 하면 이는 집단(수준)의 효과 라고 할 수 있으며, _Xij는 다시 다음과 같은 수식으로 나타낼 수 있다.

X_ij = μ +τ_i +ε_ij (2-1-2)

τ_i는 i집단의 평균과 전체평균의 차이이므로 다음과 같은 관계가 성립된다.

_i

∑

만약에 집단별로 차이가 없다면 즉 τ_i의 값이 0이라면 식(2-1-1)과 식(2-1-2)는 같아진다. 따라서 분산분석의 귀무가설은 다음과 같이 표현할 수도 있다.

H₀: τ₁ = τ₂ ... = τ_r = 0

위와 같이 표현된 귀무가설은 각 집단의 처리효과의 존재여부를 판정하는 것이 다. 처리효과가 있다면 평균의 차이가 있어 식(2-1-1)과 식(2-1-2)는 다를 것이고 차이가 없다면 같게 될 것이다.

2) 총 변동의 분할

변동(variation)이란 분산을 구하는 공식의 분자부분을 말한다. 표본의 총 변동은 표본 자료가 전체 평균으로부터 떨어져 있는 거리 자승의 합이므로 그 수식은 다음 과 같다.

총 변동 SST(Totoal Sum of Square) = _i

∑

∑

r = 집단의 수

n_i = i번째 집단의 표본의 수

X_ij-X.. = (X_i. -X_..) + (X_ij-X_i.) (2-1-4) 이므로 식(2-3)은 다음과 같이 나타낼 수 있다.

∑

i= 1_j

∑

∑

∑

∑

= 1n_i( X_i.- X_..)²+_i

∑

= 1_j

∑

= 1(X_ij-X_i.)² (2-1-5)

식(2-5)에서 앞의 항은 각 집단의 평균이 전체 평균에서 떨어져 있는 거리의 자 승에 각 집단의 표본의 수로 가중치를 준 합으로써 집단간 변동(between groups

sum of square) 이며, 뒷 항은 각 자료가 각 집단의 평균으로부터 떨어져 있는 거 리의 자승의 합으로써 집단내 변동(within groups sum of square)이다. 즉 집단간 변동과 집단내 변동은 다음과 같다.

집단간 변동 SSB = _i

∑

집단내 변동 SSW =_i

∑

= 1_j

∑

= 1(X_ij-X_i.)²

3) 자유도의 분할

총 변동 _i

∑

∑

∑

i= 1_j

∑

∑

i= 1n_i( X_i.- X_..)²을 계산하는 데 r개 집단의 평균을 사용하였고,

∑

i= 1n_i( X_i.- X_..) = 0이 되어야 하므로 자유도는 (r-1)개가 된다. 집단내 변동

∑

i= 1_j

∑

∑

j= 1(X_ij-X_i.) = 0의 식을 만족하여야 하므로 자유도는 n-r개가 된다. 위의 내용을 다시 정리하면 아래와 같은 관계가 성립된다.

총 변동의 자유도 n-1 = 집단간 자유도 r-1 + 집단내 자유도 n-r

4) 평균변동

변동을 계산하는 데 사용된 자유도를 변동에서 나눈 값을 평균변동이라고 한다.

따라서 집단간 평균변동과 집단내 평균변동은 다음과 같다.

집단간 평균변동(between groups mean square: MSB) = SSB/(r-1)

- 5 -

집단내 평균변동(within groups mean square: MSW) = SSW/(n-r)

평균변동의 기대값은 아래와 같다.

집단간 평균변동의 기대치 E(MSB) = σ²+ _i

∑

집단간 평균변동의 기대치 σ²+ _i

∑

r-1 에서 _i

∑

r- 1 의 값은 분산분석의 영가 설 H₀: τ₁ = τ₂ ... = τ_r = 0의 가정 하에서는 0이 된다. 따라서 영가설이 옳 다면 MSB/MSE의 값은 1에 가깝고, 옳지 않다면 1보다 크게 된다. MSB/MSE는 영 가설 하에서는 F(r-1, n-r)의 F분포를 따르게 되므로 MSB/MSE을 F 값으로 하여 F 검정을 하게 된다. 분산분석에서 실시하는 F검정은 분산분석 기법이 두고 있는 가 정에 저촉되어도 민감하게 반응하지 않는 강건한(robust) 절차로 알려져 있어 수집 한 자료가 가정에 저촉되어도 그 결과는 심각한 문제를 야기하지는 않는다.

분산분석(ANOVA) (2)

<다중비교>

(1) 필요성

분산분석의 F검증에서 영가설을 수용하게 되면 더 이상 논리를 전개할 필요는 없다. 그러나 F검증에서 영가설을 기각하게 되면 r개의 모집단의 평균이 모두 같지 는 않다는 것을 의미하므로 어느 집단간의 평균이 달라서 영가설을 기각한 것인지 를 규명할 필요가 있다. 그러나 t검정을 이용한 두 모집단 평균차이에 관한 검증으 로 규명을 하려면

( )

- 6 -

유지할 수 없게 된다. 이러한 이유로 한꺼번에 여러 개의 모집단 평균을 비교하여 차이를 규명할 수 있는 다중비교(Multiple Comparison) 가 필요하게 된다.

(2) 사전비교와 사후비교

다중비교(Multiple Comparisons)는 자료수집 이전에 계획된 사전비교(priori comparison) 또는 계획비교(Planned Comparison)와 분산분석의 전체적인 가설검 증에서 귀무가설이 기각된 후 새로운 사실을 찾아내기 위하여 실시하는 사후비교 (Post Hoc Comparison)로 구분할 수 있다. 사전비교는 모든 집단의 평균이 같으 냐의 여부보다는 특정 집단간의 평균의 차이를 규명하는 것이 주목적이다. 따라서 사전에 염두에 둔 특정 집단간의 평균의 차이가 유의적인가에 대한 가설검증이 주 목적이므로 분산분석에서의 가설검증에는 관심의 대상이 아니라고 할 수 있다. 그 러나 사후분석은 모든 집단의 평균이 같은 가에 대한 관심이 우선하므로 영가설을 기각한 후 어떤 집단간의 평균이 다른가에 규명하여 영가설을 기각한 이유를 규명 하는 것이 주목적이라고 할 수 있다.

다중비교는 단순한 두 집단의 평균을 비교할 수도 있으며 다수의 집단을 묶어 서 그 평균들을 비교하는 복합적인 비교도 가능하다. 복합적인 비교도 결국은 두 개의 묶은 집단간의 평균의 비교가 되므로 자유도가 하나인 경우가 된다. 이러한 집단간의 평균비교를 비교(comparison), 대비(contrast), 또는 단일자유도비교 (single-degree of freedom comparison)이라 불리어진다.

b) 사후비교 (a) 이론적 배경

사후비교는 앞에서 설명하였듯이 자료를 수집하기 전에 집단간 비교에 대해 가 설을 두고 있는 것이 아니고 분산분석의 결과 모든 집단의 평균이 같지는 않다는 결론이 나온 경우 즉 영가설을 기각한 경우 그 원인을 규명하는 절차라고 할 수 있 다. 사후비교에서 가장 널리 사용되는 방식이 Scheffe, Tukey의 HSD, LSD, S-N-K, Duncan, Bonferroni, Dunnett 방식이므로 이에 대해서만 설명하기로 한다.

- 7 - (b) 절차 및 해석

One-Way ANOVA 대화상자에서 “Post Hoc..."을 클릭하여 대화상자가 나타나 면 적합한 다중비교 방식을 선택하고 ”Continue"를 눌러 ANOVA 대화상자로 복귀 하여 “OK"를 누르면 그 결과를 얻을 수 있다. 다중비교에 가장 많이 사용되는 기법 이 Scheffe, Tukey, LSD, S-N-K, Duncan, Bonferroni 방식으로 이 방식의 이론적 배경을 다음에서 설명하기로 한다.

Scheffe의 방식

Scheffe의 방식은 임의의 두 모집단 평균의 차이 μ_i -μ_i'는 사전비교에서 설명 한 선형대비의 특수한 형태로 취급하고 있다. 이에 대하여 Scheffe는 모든 가능한 집합에 대하여 동시에 적용할 수 있는 신뢰구간을 다음과 같이 제시하였다.

s²(ˆ) =L _i

∑

∑

i

ˆ -L S⋅s²(ˆ) ≤L L ≤ˆ +L S⋅s²(ˆ)L _{S= (r-1)F(r-1,n-r ;α)} (root 속의 F값은 분산분석에서의 임계값)

Scheffe가 제시한 신뢰구간의 특징은 분산분석의 가설검증에서 사용하는 임계값 F를 수정없이 그대로 수용하고 있는 이점을 가지고 있다. 그러나 두 모집단의 평균 의 차이의 비교는 모든 가능한 선형대비의 일부분인데도 불구하고 전체의 선형대비 에 동시에 적용할 수 있는 신뢰구간을 제시하고 있어 필요 이상으로 넓은 신뢰구간 을 제시하고 있는 한계를 가지고 있다.

Tukey의 방식

Scheffe의 방식은 모든 가능한 선형대비에 동시에 적용할 수 있는 신뢰구간을 구하기 위하여 분산분석에서 사용하는 임계값 F를 이용하였다. 그러나 Tukey의 방 식은 Scheffe의 방식과는 달리 모든 가능한 두 모집단 평균의 차이에 대하여 동시

- 8 -

에 성립될 수 있는 신뢰구간을 구하고자 SSW의 자유도, 유의수준 α, 비교대상이 될 평균의 수에 의해 그 값이 결정되는 Studentized Range q를 별도의 표로 개발 하여 제시하였다. 이 표를 근거로 두 모집단의 평균이 다르다고 주장할 수 있으려 면 아래에 제시한 값보다는 커야 한다고 주장하였으며 이 차이는 정직한 유의적 차 이(Honestly Significant Difference; HSD)라 불려지기도 한다. 그러나 이 방식은 각 집단의 표본의 수가 같을 경우에만 의미가 있는 결과를 제공한다.

D = ^MSW_n

i *q(r,n-r ;α)

최소유의적 차이 방식

최소유의적 차이 검증(Least Significant Difference)은 Fisher에 의해 개발된 기 법으로 다중비교 기법 중에서 가장 먼저 소개된 기법이다. 전체적인 ANOVA F검정 에서 귀무가설을 기각하게 되면 가능한 모든 모집단 평균의 차이에 대한 가설검증,

H₀: μ_i- μ_i' = 0, H_a: ^μ_i- μ_i' ≠0 을 실시한다.

이 때 관측치 값은 아래와 같으며 귀무가설이 옳을 경우 자유도가 n-r의 자유도를 가진 t분포를 이룬다.

t= X_i.-X_i' MSE( 1n_i ^{+ 1}n_i' ⁾

따라서 두 개의 표본 평균이 유의적인 차이가 있다고 주장하기 위해서는 두 집단 평균의 차이가 최소한 _{t(n-r, α/2 )}* MSE( 1n_i ^{+ 1}n_i' ⁾ 이 되어야 한다. 이 방법이 독립된 두 모집단 평균의 차이에 관한 검정과 차이가 있는 점은 독립된 두 모집단 평균 차이에 가설검정에서는 분산 σ²의 추정량으로 S²_p를, 자유도가 n₁+n₂-2를 가진 t분포를 이룬다는 점이다.

분산분석(ANOVA) (3)

- 9 -

Bonferroni 방식

Bonferroni방식은 개별적인 집단간의 평균비교의 유의수준(α_i)과 평균비교의 전 체의 유의수준(α_t) 즉 다수의 집단간 평균비교 중 하나 이상이 1종 과오를 범할 확 률이 다음과 같은 관계가 있다는 사실에 기초하여 개발되었다.

α_t= 1-(1-α_i)^c

여기서 c= 집단간 평균비교의 수

전체적인 비교결과의 유의수준을 대략적으로 추정하면 ˆα_t =cα_i가 되며, 이 값은 항상 α_t보다 크게 되므로 이 추정한 값을 전체적인 유의수준으로 해석하여도 문제 는 없다고 하겠다. 그러나 집단간 평균을 비교하는 수가 집단간 변동(SSB)의 자유 도 보다 많을 경우에는 다음과 개별적인 유의수준을 정하는 것이 바람직하다고 Bonferroni는 제시하였다.

α_i = df_B*α_t c

아래의 Bonferroni의 다중비교결과는 α_i=0.05에서 비교한 결과이고, 두 모집단의 평균비교 횟수는 6이고, 집단간 변동의 자유도가 3이므로 전체적인 유의수준은 대 략 α_t =0.1이 된다고 할 수 있다.

Student-Newman-Keuls의 방식과 Duncan의 방식

이 방식은 Tukey의 방식과 같이 Studentized Range를 사용하고 있다. 그러나 Tukey의 방식은 기본적으로 집단간 평균의 차이를 규명하기 위하여 하나의 범위로 써 동시적 신뢰구간을 구하고 결과적으로 두 모집단 평균의 차이를 검증하고 있는 반면에, SNK의 방식과 Duncan의 방식은 표본의 평균을 크기 순서에 따라 다수 의 범위를 이용하여 신뢰구간을 구하여 모집단 평균간의 차이에 대한 검증만을 할 수 있는 절차이기 때문에 다중범위검증(Multiple Range Tests)이라고 불리어진다.

다중범위검증에서는 먼저 표본평균을 크기순서로 놓고 r개의 평균 중에서 p개

- 10 -

의 평균을 선택하여 크기순서로 배열한다. p개의 평균 중에서 최대값과 최소값의 차이가 아래의 임계값보다 크면 유의수준 α에서 차이가 있다고 할 수 있고, 작으면 차이가 없다고 할 수 있다.

D = ^MSW_n

j *q(p,n-r ;α)

따라서 이 검증은 선택한 p개의 부분집합이 같은 부류의 집단인지 아닌지를 판명하 는 데 사용하고 있다.

위의 임계값이 앞에서 설명한 Tukey의 임계값과 다른 점은 q값을 구할 때의 집 단의 수다. Tukey의 방식은 전체 집단의 수를 사용하고 있는 반면에 SNK와 Duncan의 방식에서는 비교하려고 선택한 부분집합의 집단의 수를 사용하고 있는 점이다. 또한 SNK와 Duncan의 방식의 차이는 α값을 정하는 방식이다. SNK방식에 서는 본래의 α값을 사용하고 있는 반면에 Duncan의 방식에서는 α를 수정하여

α_m= 1-(1-α)^{p- 1} 를 사용하여 임계값을 정하고 있다. 따라서 세 방식에서 구한 다중범위의 임계값의 크기는 다음과 같은 관계를 갖는다.

Duncan _≤ SNK _≤Tukey

Dunnett 방식

Dunnett 방식은 실험계획에 통제집단이 포함되어 있고 통제집단의 평균과 실험 집단간의 대비가 필요한 경우만 사용할 수 있는 방식이다. 이 방식 또한 제 1종 과 오의 증가를 방지하기 위하여 유의수준을 수정한다는 점에서 Tukey등의 방식과 다 를 바가 없으나 비교의 대상이 통제집단과 실험집단간의 대비에 국한되어 있다는 점이 다르다고 하겠다. 이를 위하여 Dunnett는 통제집단을 포함한 집단의 수(r), 집 단간 평균자승의 합과 관련한 자유도(df_B), 유의수준(α)에 의해 결정되는 자신만의 q값을 개발하여 제시하고 통제집단과 실험집단간의 평균이 유의적인 차이가 있다고 판단하기 위해서는 최소한 아래와 값보다는 커야 한다고 주장하였다.

_{ˆ =D} ^{qD 2MSW} n_i

- 11 -

다중비교 방식의 비교 및 제언

위에서 설명한 다중비교의 여러 방식은 각각의 특성을 가지고 있으므로 결과가 상이하게 나타날 수도 있으므로 적합하게 사용되어야 한다. 사전비교의 경우 비교 의 수가 적을 집단간 평균자승의 합과 관련한 자유도의 수보다 작을 경우 수정없이 사용하는 것이 바람직하며, 자유도 보다 많을 경우 Bonferroni의 방식에서 유의수 준을 수정하여 사용하는 것이 바람직하다.

사후비교에 있어서 실험계획에 통제집단이 있는 경우 Dunnett방식을 사용하는 것이 바람직하다고 할 수 있다. 최소유의적 차이 검증은 F 통계량과 t통계량만 계 산하게 되면 쉽게 적용할 수 있는 장점이 있고 각 집단의 표본의 크기가 다를 경우 에도 적용이 가능하므로 표본의 크기가 다를 경우 LSD방식을 사용하는 것을 권 하고 싶다. 그러나 이 방식의 결과로 동시검정에 적용하는 것은 무리가 있다는 점 을 유의하여야 할 것이다.

Scheffe의 방식과 Tukey의 방식은 동시적 검정을 할 수 있다는 장점을 갖고 있 으나 Scheffe의 방식은 필요 이상으로 넓은 신뢰구간을 제공해 주고 있다. 그러나 선형대비에서는 오히려 Tukey의 방식에 비해 좁은 신뢰구간을 제공하므로 선형대 비가 필요한 경우에는 Scheffe의 방식을, 각 집단의 표본의 크기가 같고 비교결과 로 동시적 검증을 할 필요가 있는 경우에는 Tukey의 방식을 사용하는 것이 바람직 하다고 할 수 없다. 비교 결과로써 동시적 검증이 필요하지 않고 동질성집단의 유 무를 가리는 것에 목적이 있다면 S-N-K방식과 Duncan의 방식을 사용하는 것이 좋다고 하겠다. Duncan의 방식은 모집단 평균간의 차이를 예리하게 구분하여 주고 있으나 논리적인 근거가 충분치 못하므로 Duncan의 방법으로만 입증되는 검증의 결과는 사용하지 않는 것이 바람직하다.