인자분석(Factor Analysis)

(1)

인자분석(Factor Analysis)

(2)

1. 인자분석의 개요

1) 인자분석

데이터 축소를 통해 정보를 함축적으로 사용할 수 있게 한다.

측정된 항목들의 저변에 내재된 요인들간의 다른 구조 를 파악할 수 있게 한다.

단, 정보를 축소 할 경우 정보의 손실화를 최소로 해야 한다.

종속변수와 독립변수를 지정하지 않고, 변수들 간의 상

(3)

2) 인자분석 모형

관찰변수 잠재변수 특정변수

(4)

3) 인자분석 모형의 가정

i) f 는 서로 독립이며 평균이 0 이고, 분산이 1인 관측 불가능한 변수이다.

ii) e는 서로독립이며, 분산이 인 확률 변수이다. iii) f 와 e는 서로 독립이다.

(5)

<인자적재(패턴) 행렬(factor loading matrix)>

<인자구조 행렬 (factor structure matrix)>

(6)

4) 공통성(Communality)- 공통 분산

-공통분산은 q개의 인자들의 선형 원소들에 의해 설명되 는 분산의 한 부분을 나타낸다.

- 인자 모형으로부터 각 변수들의 분산은 다음과 같이 표 현된다.

(7)

5) 인자 모형의 적합 방법

A. 주성분 인자 법(principal component factoring)

<모형>

< 의 추정>

1 단계: 를 가정한다. 그러면 다음과 같이 분 산 공분산 행렬을 구할 수 있다.

(8)

2 단계 : 표본으로부터 를 추정한다.

3단계 : 직교 분해 법을 이용하여 인 인자의 차 원을 결정한다.

4단계 : 를 추정한다.

(9)

B. 주축 인자 법 (Principal Axis factoring) 1단계: 공통분산 을 추정한다.

2 단계 : 표본으로 부터 를 추정한다.

(10)

3 단계 : 축소된 상관행렬을 추정한다.

4 단계 : 를 추정한다.

(11)

6) 인자 개수에 대한 판정기준 A. 인자 공헌도

- 전체 분산 중 j번째 인자에 의해 설명되는 비율.

- 인자 공헌도를 통해 인자 수를 결정할 때에는 전체 분산의 80% 이상인 인자의 수를 선택한다.

B. 고유값의 크기- Kaiser 의 규칙

- 표본상관행렬의 고유값을 구하여 1보다 큰 고유값

(12)

C. Scree plot에 의한 방법

-고유값의 크기가 큰 순서대로 나열된 2차원 좌표상에 나타낸 그림으로서 특정한 i 번째 지점부터 평평한 지 점을 이루며 적절한 인자 수는 q=i-1 로 결정한다.

D. 카이제곱 검정에 의한 방법

- 변수들이 근사적으로 정규분포를 이룰 때 사용한다.

(13)

7) 인자의 회전

-관찰변수와 인자간의 관계, 즉 상관구조를 보다 명확하 게 나타내기 위해 사용된다.

- 직교회전방법(orthogonal) 과 사각회전방법(oblique) 이 있다.

-인자 적재행렬의 열 내 제곱 적재 값들의 분산을 최대화 한다.

- 인자적재행렬의 열 요소가 0 또는 +1, -1에 가까운 값 으로 단순화 된다.

(14)

-인자적재행렬의 행내 제곱 적재값들의 분산을 최대화 한다.

-사각회전 방법의 하나로서 직교회전 방법에 의해 인자 적재행령의 단순성을 파악할 수 없는 경우에 이용한다.

(15)

8) 인자점수(factor socre)의 추정 A. 인자점수(factor score)

- 인자 모형은 관찰값들을 인자들로 표현한 것이며, 이와는 반대로 인자를 관찰값들로 표현한 것을 인 자점수라 한다.

(16)

B. 인자점수의 추정방법

<회귀적 방법>

- Thompson(1951)에 의해 제안된 방법으로 인자점 수를 관찰된 변수들의 값으로부터의 회귀 모형에 의해 추정하는 방법이다.

<가중회귀방법>

- 표본의 변동을 고려하여 인자분석의 적합도를 검토 하는데 특수인자의 분산에 대해 오차가 큰 변수에

(17)

2. 인자분석의 적용

1) 인자분석을 적용할 경우

- 자료의 양을 줄여 정보를 요약할 경우

- 변수들 내에 존재하는 구조를 밝히고자 할 경우 - 요인으로 그룹화 되지않는 변수들을 제거할 경우 - 동일한 개념으로 측정되는 변수들이 동일한 요인으

로 그룹화 되는가를 확인할 경우

- 인자분석을 통해 얻어진 인자들을 이용하여 회귀분 석이나 판별분석을 이용하고자 할 경우

(18)

2) 인자분석의 절차

연구과제의 설정

• 포함되어야 할 변수?

• 변수의 수 ?

• 변수의 측정 ?

• 표본의 수 ?

인자의 추출

• 인자의 추출방법

• 인자의 수 결정

상관계수행렬의 계산

• R형

• Q 형

인자의 회전

• 직각회전 분석결과의 적절성

요인점수의 계산

• 회귀분석

• 판별분석

• 상관분석 적용

아니오

예

(19)

3) 인자분석의 주요 5단계

A. 인자분석의 적용 가능성 검토

- 모 상관행렬이 단위행렬인지를 검토한다 귀무가설 – “모상관행렬이 단위행렬이다.”

- Bartlett 검정, KMO통계량,공통변량의 점검 잔영상관행렬의 점검, 고유 값의 점검

B. 최초인자의 추출

주성분분석법, 최소제곱법, 최우추정요인 추출법, 주축요인 추출 법, 알파요인 추출법, 이미지요인 추출법

(20)

C. 인자수의 결정

고유값 기준, 스크리 검정, 통계적 가설검정, 분산비율, 선행 이론

D. 요인의 회전

Quartimax회전법, Varimax회전법, Equimax 회전법, Promax회 전법, Oblimin회전법

E. 결과 분석 및 적용

(21)

3. 데이터를 이용한 인자분석

<분석사례1>

대학 신문에 실린 8가지 기사의 내용의 특성을 몇 가지 요인으로 그룹화하여 나타내고자 함.

X1 : 대학문제 , X2: 학생활동, X3: 대학행정 X4 : 문화예술 , X5: 정치외교, X6: 과학기술 X7 : 경제경영 , X8: 언론

(22)

[데이터세트]

(23)

<상관계수의 계산>

상관행렬

1.000 -.067 .005 .009 -.077 -.396 .171 -.197 -.067 1.000 -.606 -.238 -.124 .106 -.658 -.675 .005 -.606 1.000 .115 .309 -.349 .294 .583 .009 -.238 .115 1.000 -.518 -.038 .330 .076 -.077 -.124 .309 -.518 1.000 -.519 .227 .417 -.396 .106 -.349 -.038 -.519 1.000 -.354 -.269 .171 -.658 .294 .330 .227 -.354 1.000 .574 -.197 -.675 .583 .076 .417 -.269 .574 1.000 X1

X2 X3 X4 X5 X6 X7 X8 상관계수

X1 X2 X3 X4 X5 X6 X7 X8

- 대부분의 변수들간에 음의 상관관계가 있는 것으로 나타나고 있다.

(24)

<타당성 검토>

KMO와 Bartlett의 검정

.514 44.530 28 .025 표준형성 적절성의 Kaiser-Meyer-Olkin 측도.

근사 카이제곱 자유도

유의확률 Bartlett의 구형성 검정

-KMO 값이 0.5 이상이므로 인자분석이 적절함을 나타낸다.

-Bartlett 검정통계량의 유의확률값이 <0.05 이므로 “모상관행렬 이 단위 행렬이다” 라는 귀무가설을 기각한다.

(25)

<공통성의 추출>

공통성

1.000 .808 1.000 .785 1.000 .577 1.000 .768 1.000 .894 1.000 .780 1.000 .687 1.000 .834 X1

X2 X3 X4 X5 X6 X7 X8

초기 추출

추출 방법: 주성분 분석.

Communality : PCA 방법에 의해 각 변수로 부터 추출된 요인에 의해 설명되는 비율을 나타내고 있다.

(26)

<총분산과 고유값의 계산>

설명된 총분산

3.100 38.744 38.744 3.100 38.744 38.744 1.672 20.903 59.647 1.672 20.903 59.647 1.363 17.044 76.691 1.363 17.044 76.691

.679 8.490 85.181 .671 8.387 93.568 .242 3.023 96.591 .147 1.837 98.428 .126 1.572 100.000 성분

1 2 3 4 5 6 7 8

전체 % 분산 % 누적 전체 % 분산 % 누적

초기 고유값 추출 제곱합 적재값

전체 8개의 성분이 전체 분산을 설명하고 있지만, 이중 고유값이 1이상인 3개의 인자를 고려할 수 있고, 이들이 설명하는 총 분산 의 비율은 76.69% 이다.

(27)

스크리 도표

성분 번호

8 7

6 5

4 3

2 1

고유값

3.5 3.0

2.5 2.0 1.5 1.0

.5 0.0

f1

f2

f3

도표로 부터 기울기가 큰 4번 까지의 성분을 인자의 개수로 결정하 여, 3개의 인자를 추출한다.

(28)

<회전전의 성분행렬>

성분행렬 ^a

.843 7.643E-03 -.351 -.807 -.338 .137

.769 .258 .172

.749 -4.89E-03 -.131

.171 .836 .201

.498 -.795 -.119 9.713E-02 -3.60E-02 .893 -.547 .398 -.568 X8

X2 X7 X3 X4 X5 X1 X6

1 2 3

성분

요인추출 방법: 주성분 분석.

추출된 3 성분 a.

요인1에 대해 X8,X2,X7,X3 가 공통적인 특성을 가지고 있으며, 요 인2에 대해 X4,X5가 요인3에 대해 X1,X6이 공통특성을 가진 것으

(29)

<회전된 성분행렬>

회전된 성분행렬 ^a

.883 -.202 -.119

-.869 -.169 -1.82E-02

.748 .164 .317

.742 -.151 6.820E-02

.337 -.870 .152

.291 .822 9.093E-02

-.111 .144 .881

-.315 .347 -.749

X8 X2 X7 X3 X5 X4 X1 X6

1 2 3

성분

회전 방법: Kaiser 정규화가 있는 베리멕스.

5 반복계산에서 요인회전이 수렴되었습니다.

a.

- 요인들간의 공통특성을 명확히 나타내기 위해 요인을 회전시킴.

-회전방법은 orthogonal 방법중 varimax 방법을 사용하였으며, 이 는 성분점수를 이용하여 회귀분석등을 수행하고자 할때 유용하게 사

(30)

<성분 변환행렬>

성분 변환행렬

.954 -.158 .257 .206 .963 -.172 -.220 .217 .951 성분

1 2 3

-성분변환행렬이 회전된 경우 변환 행렬 값을 나타냄.

(31)

<회전된 성분행렬>

회전 공간의 성분 도표

x7 x8 x3

x5

x1

성분 2

1.0 1.0

-.5

x4

0.0

.5 .5

.5 1.0

성분 3 성분 1

0.0 0.0

x2

-.5 -.5

x6

- 인자 1: 언론,학생활동,경제경영, 대학행정

- 인자 2: 문화예술, 정치외교 - 인자 3: 대학문제, 과학기술

인자1: 대학문화요인 인자2: 대학외부 요인 인자3: 대학문제요인

(32)

성분점수 계수행렬

-.119 .117 .635

-.312 -.132 .064

.251 -.062 -.029

.123 .505 .068

.074 -.502 .040

-.028 .167 -.482

.241 .137 .157

.317 -.095 -.176 X1

X2 X3 X4 X5 X6 X7 X8

1 2 3

성분

-인자점수 의 계산

-인자계수와 변수들간의 선형결합으로 인자점수를 계산할 수 있다.

(33)

<분석사례2> Smallcar.sav

출처 : http://www.spss.co.kr/sem/

소형차 구매자들이 생각하는 자동차의 특성을 파악 X1 : 내구성 , X2: 연비, X3: 보수 및 수리의 용이 X4 : 승차감 , X5: 공간확보, X6: 브레이크

<응답 값 해석>

7: 적극찬성 , 6: 상당히 찬성, 5: 찬성, 4: 보통, 3: 반대 , 2: 상당히 반대 , 1: 적극반대

(34)

<상관행렬>

상관행렬

1.000 .939 .944 -.113 -.069 .026

.939 1.000 .969 -.119 -.118 -.001

.944 .969 1.000 -.136 -.116 .063

-.113 -.119 -.136 1.000 .906 -.002

-.069 -.118 -.116 .906 1.000 .014

.026 -.001 .063 -.002 .014 1.000

소형차는 내구성이 있 도록 설계해야 한다 소형차의 연료효율은 최소한 갤론당 30마일 은 되어야 한다 소형차는 소유자가 보 수 및 수리하기가 쉬 워야 한다

소형차는 4명의 성인 이 편하게 탈 수 있도 록 설계해야 한다 소형차는 모든 승객들 에게 머리 위와 다리 공간이 충분해야 한다 소형차의 브레이크는 가장 중요한 부품이다 상관계수

소형차는 내 구성이 있도 록 설계해야

한다

소형차의 연 료효율은 최 소한 갤론당 30마일은 되 어야 한다

소형차는 소 유자가 보수 및 수리하기 가 쉬워야 한

다

소형차는 4명 의 성인이 편 하게 탈 수 있도록 설계

해야 한다

소형차는 모 든 승객들에 게 머리 위와 다리 공간이 충분해야 한

다

소형차의 브 레이크는 가 장 중요한 부

품이다

(35)

<분석의 적절성>

KMO와 Bartlett의 검정

.651 673.774 15 .000 표준형성 적절성의 Kaiser-Meyer-Olkin 측도.

근사 카이제곱 자유도

유의확률 Bartlett의 구형성 검정

KMO 측도 값이 0.5이상, Bartlett 검정의 유의확률이 <0.05 이므로 “모상관행렬이 단위행렬이다”라는 귀무가설을 기각한다.

즉, 인자분석에 적합한 자료로 판정한다.

(36)

<공통성>

공통성

1.000 .955 1.000 .973

1.000 .976

1.000 .953

1.000 .954 1.000 1.000 소형차는 내구성이 있

도록 설계해야 한다 소형차의 연료효율은 최소한 갤론당 30마일 은 되어야 한다

소형차는 소유자가 보 수 및 수리하기가 쉬 워야 한다

소형차는 4명의 성인 이 편하게 탈 수 있도 록 설계해야 한다 소형차는 모든 승객들 에게 머리 위와 다리 공간이 충분해야 한다 소형차의 브레이크는 가장 중요한 부품이다

초기 추출

(37)

<총분산>

설명된 총분산

2.973 49.554 49.554 2.973 49.554 49.554 2.899 48.317 48.317 1.837 30.613 80.167 1.837 30.613 80.167 1.909 31.820 80.137 1.001 16.678 96.845 1.001 16.678 96.845 1.002 16.707 96.845

.105 1.746 98.591 59E-02 .943 99.534 97E-02 .466 00.000 성분

1 2 3 4 5 6

전체 % 분산 % 누적 전체 % 분산 % 누적 전체 % 분산 % 누적

초기 고유값 추출 제곱합 적재값 회전 제곱합 적재값

고유값>1 인 인자들이 3개 이므로 “주요인자”의 개수를 3개로 결정한 다.

또한 각 성분의 총분산에 대한 설명력을 살펴보면, 성분1의 경우 전체 분산의 49.55%, 성분2는 30.61%, 성분3은 16.68%를 설명하고 있 으며, 이들 3개의 성분이 약97%를 설명하고 있음.

(38)

<스크리도표>

스크리 도표

성분 번호

6 5

4 3

2 1

고유값

3.5

3.0

2.5

2.0

1.5

1.0

.5 0.0

(39)

<성분행렬>

성분행렬 ^a

.954 .214 -2.03E-02

.967 .187 -4.89E-02

.971 .181 1.806E-02

-.314 .924 -2.13E-02

-.292 .932 -3.71E-03

4.142E-02 3.341E-02 .999 소형차는 내구성이 있

도록 설계해야 한다 소형차의 연료효율은 최소한 갤론당 30마일 은 되어야 한다

소형차는 소유자가 보 수 및 수리하기가 쉬 워야 한다

1 2 3

성분

추출된 3 성분 a.

유지관리

편리성

안전성

(40)

<회전성분행렬>

회전된 성분행렬 ^a

.977 -3.39E-02 8.959E-03

.984 -6.23E-02 -2.00E-02

.984 -7.04E-02 4.694E-02

-7.02E-02 .974 -6.41E-03

-4.76E-02 .975 1.192E-02

1.797E-02 4.374E-03 1.000 소형차는 내구성이 있

도록 설계해야 한다 소형차의 연료효율은 최소한 갤론당 30마일 은 되어야 한다 소형차는 소유자가 보 수 및 수리하기가 쉬 워야 한다

1 2 3

성분

4 반복계산에서 요인회전이 수렴되었습니다.

a.

(41)

<인자계수행렬>

성분점수 계수행렬

.340 .032 -.009

.342 .017 -.038

.340 .013 .029

.025 .514 -.012

.033 .516 .006

-.012 -.003 .998

소형차는 내구성이 있 도록 설계해야 한다 소형차의 연료효율은 최소한 갤론당 30마일 은 되어야 한다 소형차는 소유자가 보 수 및 수리하기가 쉬 워야 한다

1 2 3

성분

요인 점수.

성분1에 대해 내구성, 연비효율,수리보수 변수가 하나의 공통적인 특성을 가지는 것으로

(42)

<성분점수의 공분산 행렬>

성분점수 공분산행렬

1.000 .000 .000

.000 1.000 .000 .000 .000 1.000 성분

1 2 3

공분산 행렬로 부터 각각의 성분들간의 공분산이 존재하지 않음 을 알 수 있다.

이는 베리맥스 회전으로 부터 직각회전을 수행하여 각 성분들 간 의 공분산을 제거했기 때문이다.

(43)

<성분도표>

회전 공간의 성분 도표

소형차는 소유자가 보소형차의 브레이크는 소형차는 내구성이 있

소형차의 연료효율은

성분 2

1.0 1.0

-.5 0.0

.5 .5

.5 1.0

성분 3 성분 1

0.0 0.0 -.5 -.5

각 변수와 성분을 3차원 공간에 표현한 도표로서 앞의 요인추출결과를 나타냄.

(44)

<인자를 이용한 회귀분석>

요인점수-변수로 저장-방법:회귀분석

(45)

<요인점수의 변수로 저장>

저장된 fac1_1, fac2_1, fac3_1 을 설명변수로 하고, X 변수들 중 하나를 종속변수로 하여 회귀분석을 수행할 수 있다.

(46)

<회귀분석>

X1변수를 종속변수로, 요인1,요인2,요인3을 설명변수 로 하여 회귀분석을 수행해 보자.

즉, 유지관리,편리성, 안정성 요인이 내구성에 미치는 영 향력을 분석해보자.

(47)

<출력결과>

모형 요약

.977^a .955 .954 .27

모형 1

R R 제곱

수정된 R 제곱

추정값의 표준오차 예측값: (상수), REGR factor score 3 for

analysis 1 , REGR factor score 2 for analysis 1 , REGR factor score 1 for analysis 1

a.

분산분석^b

154.250 3 51.417 686.551 .000^a 7.190 96 7.489E-02

161.440 99 선형회귀분석

잔차 합계 모형

1

제곱합 자유도 평균제곱 F 유의확률

예측값: (상수), REGR factor score 3 for analysis 1 , REGR factor score 2 for analysis 1 , REGR factor score 1 for analysis 1

a.

종속변수: 소형차는 내구성이 있도록 설계해야 한다 b.

결정계수=0.96

분산분석 결과 설정된 회귀모형은 매우 유의함.(유의확률<0.01)

(48)

<추정된 회귀계수>

계수^a

3.160 .027 115.470 .000

1.247 .028 .977 45.354 .000

-4.32E-02 .028 -.034 -1.572 .119

1.144E-02 .028 .009 .416 .678

(상수)

REGR factor score 1 for analysis 1 REGR factor score 2 for analysis 1 REGR factor score 3 for analysis 1 모형

1

B 표준오차

비표준화 계수

베타 표준화 계

수

t 유의확률

종속변수: 소형차는 내구성이 있도록 설계해야 한다 a.

추정된 회귀계수에 대한 유의성 검정결과 요인1의 계수만 유의하고 나 머지 요인들의 계수는 유의하지 않은 것으로 나타남.

인자분석(Factor Analysis)