Bayesian analysis of quantile principal component regression model^†

2021, 32

4)

739–755

분위수 주성분 회귀모형의 베이지안 분석 ^†

겨 ᆼ민정

¹

1덕성여자대학교 통계학과

ᄌ ᅥ

ᆸᄉ ᅮ 2021ᄂ ᅧ ᆫ 4ᄋ ᅯ ᆯ 5ᄋ ᅵ ᆯ, ᄉ ᅮᄌ ᅥ ᆼ 2021ᄂ ᅧ ᆫ 6ᄋ ᅯ ᆯ 2ᄋ ᅵ ᆯ, ᄀ ᅦᄌ ᅢ ᄒ ᅪ ᆨᄌ ᅥ ᆼ 2021ᄂ ᅧ ᆫ 6ᄋ ᅯ ᆯ 2ᄋ ᅵ ᆯ

요 약

ᄇ

ᅮ ᆫ ᄋ ᅱᄉ ᅮ ᄒ ᅬᄀ ᅱᄆ ᅩᄒ ᅧ ᆼᄋ ᅳ ᆫ ᄇ ᅡ ᆫᄋ ᅳ ᆼᄇ ᅧ ᆫᄉ ᅮᄋ ᅴ ᄇ ᅮ ᆫ ᄋ ᅱᄉ ᅮᄋ ᅦ ᄃ ᅢᄒ ᅡᄋ ᅧ ᄉ ᅥ ᆫᄒ ᅧ ᆼᄆ ᅩᄒ ᅧ ᆼᄋ ᅳ ᆯ ᄀ ᅡᄌ ᅥ ᆼᄒ ᅡᄂ ᅳ ᆫ ᄆ ᅩᄒ ᅧ ᆼᄋ ᅳᄅ ᅩ ᄇ ᅡ ᆫᄋ ᅳ ᆼᄇ ᅧ ᆫᄉ ᅮᄀ ᅡ ᄌ ᅥ ᆼᄀ ᅲ ᄉ ᅥ

ᆼᄀ ᅪ ᄃ ᅳ ᆼᄇ ᅮ ᆫ ᄉ ᅡ ᆫᄉ ᅥ ᆼᄋ ᅳ ᆯ ᄆ ᅡ ᆫᄌ ᅩ ᆨ ᄒ ᅡᄌ ᅵ ᄋ ᅡ ᆭᄂ ᅳ ᆫ ᄀ ᅧ ᆼᄋ ᅮᄋ ᅦᄃ ᅩ ᄌ ᅥ ᆨᄋ ᅭ ᆼ ᄒ ᅡ ᆯ ᄉ ᅮ ᄋ ᅵ ᆻᄂ ᅳ ᆫ ᄒ ᅬᄀ ᅱᄆ ᅩᄒ ᅧ ᆼᄋ ᅵᄃ ᅡ. ᄎ ᅡᄋ ᅯ ᆫ ᄎ ᅮ ᆨ ᄉ ᅩᄅ ᅳ ᆯ ᄋ ᅱᄒ ᅡ ᆫ ᄃ ᅩᄀ ᅮᄅ ᅩ ᄉ ᅡ ᄋ

ᅭ

ᆼ ᄒ ᅡᄂ ᅳ ᆫ ᄌ ᅮᄉ ᅥ ᆼᄇ ᅮ ᆫ ᄇ ᅮ ᆫᄉ ᅥ ᆨᄋ ᅳ ᆯ ᄐ ᅳ ᆨ ᄋ ᅵᄀ ᅡ ᆹᄇ ᅮ ᆫ ᄒ ᅢᄅ ᅳ ᆯ ᄐ ᅩ ᆼ ᄒ ᅢ ᄉ ᅥ ᆯᄆ ᅧ ᆼᄇ ᅧ ᆫᄉ ᅮᄋ ᅦ ᄀ ᅮᄒ ᅧ ᆫᄒ ᅡᄂ ᅳ ᆫ ᄇ ᅡ ᆼᄇ ᅥ ᆸᄋ ᅳ ᆫ ᄉ ᅥ ᆯᄆ ᅧ ᆼᄇ ᅧ ᆫᄉ ᅮ ᄌ ᅮ ᆼ ᄃ ᅡᄌ ᅮ ᆼᄀ ᅩ ᆼᄉ ᅥ ᆫᄉ ᅥ ᆼ ᄆ ᅮ ᆫ ᄌ ᅦ ᄀ

ᅡ ᄌ ᅩ ᆫ ᄌ ᅢᄒ ᅡ ᆯ ᄄ ᅢ ᄋ ᅲᄋ ᅭ ᆼ ᄒ ᅡ ᆫ ᄃ ᅩᄀ ᅮᄋ ᅵᄃ ᅡ. ᄋ ᅵ ᄋ ᅧ ᆫᄀ ᅮᄋ ᅦᄉ ᅥ ᄇ ᅮ ᆫ ᄉ ᅡ ᆫᄋ ᅵ ᄏ ᅳ ᆫ ᄌ ᅵ ᆨᄀ ᅭᄉ ᅥ ᆼᄋ ᅳ ᆯ ᄀ ᅡ ᆽᄂ ᅳ ᆫ ᄌ ᅮᄉ ᅥ ᆼᄇ ᅮ ᆫ ᄋ ᅴ ᄇ ᅮᄇ ᅮ ᆫᄌ ᅵ ᆸᄒ ᅡ ᆸᄋ ᅳ ᆯ ᄉ ᅥ ᆫᄐ ᅢ ᆨᄒ ᅡᄋ ᅧ ᄇ

ᅮ ᆫ ᄋ ᅱᄉ ᅮ ᄒ ᅬᄀ ᅱᄆ ᅩᄒ ᅧ ᆼᄋ ᅦ ᄌ ᅥ ᆨᄋ ᅭ ᆼ ᄒ ᅡᄂ ᅳ ᆫ ᄇ ᅮ ᆫ ᄋ ᅱᄉ ᅮ ᄌ ᅮᄉ ᅥ ᆼᄇ ᅮ ᆫ ᄒ ᅬᄀ ᅱᄆ ᅩᄒ ᅧ ᆼᄋ ᅦ ᄃ ᅢᄒ ᅡ ᆫ ᄇ ᅦᄋ ᅵᄌ ᅵᄋ ᅡ ᆫ ᄎ ᅮᄅ ᅩ ᆫᄋ ᅳ ᆯ ᄉ ᅩᄀ ᅢᄒ ᅡ ᆫᄃ ᅡ. ᄌ ᅩ ᆼᄉ ᅩ ᆨᄇ ᅧ ᆫᄉ ᅮᄋ ᅴ ᄇ

ᅮ ᆫ ᄋ ᅱᄉ ᅮᄋ ᅦ ᄃ ᅢᄒ ᅡ ᆫ ᄉ ᅥ ᆫᄒ ᅧ ᆼᄀ ᅪ ᆫ ᄀ ᅨᄅ ᅳ ᆯ ᄀ ᅩᄅ ᅧᄒ ᅡᄂ ᅳ ᆫ ᄇ ᅦᄋ ᅵᄌ ᅵᄋ ᅡ ᆫ ᄌ ᅥ ᆼᄇ ᅩ ᄀ ᅵᄌ ᅮ ᆫ ᄋ ᅦ ᄀ ᅳ ᆫ ᄀ ᅥᄒ ᅡᄋ ᅧ ᄌ ᅮᄋ ᅭ ᄌ ᅮᄉ ᅥ ᆼᄇ ᅮ ᆫ ᄋ ᅴ ᄀ ᅢᄉ ᅮᄅ ᅳ ᆯ ᄉ ᅥ ᆫᄐ ᅢ ᆨᄒ ᅡᄀ ᅩ, ᄎ

ᅮ

ᆨ ᄉ ᅩ ᄉ ᅡᄌ ᅥ ᆫᄇ ᅮ ᆫ ᄑ ᅩᄅ ᅳ ᆯ ᄀ ᅩᄅ ᅧᄒ ᅡᄋ ᅧ ᄎ ᅮᄌ ᅥ ᆼᄒ ᅡ ᆫ ᄌ ᅮᄉ ᅥ ᆼᄇ ᅮ ᆫ ᄒ ᅬᄀ ᅱᄆ ᅩᄒ ᅧ ᆼᄋ ᅴ ᄆ ᅩᄉ ᅮᄅ ᅳ ᆯ ᄋ ᅧ ᆨᄇ ᅧ ᆫᄒ ᅪ ᆫ ᄒ ᅡᄋ ᅧ ᄋ ᅵ ᆯᄇ ᅡ ᆫᄌ ᅥ ᆨᄋ ᅵ ᆫ ᄇ ᅮ ᆫ ᄋ ᅱᄉ ᅮ ᄒ ᅬᄀ ᅱᄆ ᅩᄒ ᅧ ᆼᄋ ᅴ ᄆ

ᅩᄉ ᅮᄅ ᅳ ᆯ ᄎ ᅮᄌ ᅥ ᆼᄒ ᅡ ᆫᄃ ᅡ. ᄋ ᅵ ᆯᄇ ᅡ ᆫᄌ ᅥ ᆨᄋ ᅵ ᆫ ᄇ ᅮ ᆫ ᄋ ᅱᄉ ᅮ ᄒ ᅬᄀ ᅱᄆ ᅩᄒ ᅧ ᆼᄀ ᅪ LASSOᄅ ᅳ ᆯ ᄌ ᅥ ᆨᄋ ᅭ ᆼ ᄒ ᅡ ᆫ ᄇ ᅮ ᆫ ᄋ ᅱᄉ ᅮ ᄒ ᅬᄀ ᅱᄆ ᅩᄒ ᅧ ᆼ ᄉ ᅵ ᆯᄌ ᅦ ᄌ ᅡᄅ ᅭᄃ ᅳ ᆯ ᄋ ᅦ ᄌ ᅥ ᆨ ᄋ

ᅭ

ᆼ ᄒ ᅡᄋ ᅧ ᄌ ᅦᄋ ᅡ ᆫᄒ ᅡ ᆫ ᄇ ᅦᄋ ᅵᄌ ᅵᄋ ᅡ ᆫ ᄇ ᅮ ᆫ ᄋ ᅱᄉ ᅮ ᄒ ᅬᄀ ᅱᄆ ᅩᄒ ᅧ ᆼᄀ ᅪ ᄇ ᅵᄀ ᅭᄒ ᅡ ᆫᄃ ᅡ.

ᄌ

ᅮᄋ ᅭᄋ ᅭ ᆼ ᄋ ᅥ: ᄇ ᅦᄋ ᅵᄌ ᅳᄎ ᅮᄅ ᅩ ᆫ, ᄇ ᅦᄋ ᅵᄌ ᅳ ᄌ ᅥ ᆼᄇ ᅩᄀ ᅵᄌ ᅮ ᆫ, ᄇ ᅮ ᆫ ᄋ ᅱᄉ ᅮ ᄒ ᅬᄀ ᅱᄆ ᅩᄒ ᅧ ᆼ, ᄌ ᅮᄉ ᅥ ᆼᄇ ᅮ ᆫ ᄒ ᅬᄀ ᅱ, ᄐ ᅳ ᆨ ᄋ ᅵᄀ ᅡ ᆹᄇ ᅮ ᆫ ᄒ ᅢ.

1. 서론 ᄇ

ᅮᆫ위수 회귀모형 (quantile regression model; Koenker와 Bassett, 1978)은반응변수가 정규성과 등 부

ᆫ산성을만족하지 않는경우에도 적용할 수 있는회귀모형으로, 평균에 비하여 때때로 반응변수에 대한 ᄃ

ᅥ 많은정보를제공하는 분위수를사용하여 반응변수의 분위수에 회귀모형을가정한다. 일반적으로 반 ᄋ

ᅳᆼ변수 yi와 1 × m차원 설명변수 벡터 xi에 대하여, qp(yi|xi)을 xi가 주어졌을때 반응변수 yi에 대한 p (0 < p < 1) 분위수라 하면 회귀모형으로 다음과 같이 표현할 수 있다.

yi= xiβp+ ϵi, (i = 1, · · · , n), (1.1) ᄋ

ᅧ기에서 β^p는 m × 1차원 p 분위수 회귀모수이고, ϵⁱ는 분포함수 f^p(·)를 따르는 오차항으로, 이 오 ᄎ

ᅡ항의 분포는 p 분위수의 값이 0으로 제한된다, R0

−∞fp(ϵi) dϵi = p. 일반적으로 p 분위수 회귀모수 βp는다음의 손실함수를최소화하는방법을 통해 구할 수 있다.

minβ n

X

i=1

ρp(yi− xiβp) . (1.2) 소

ᆫ실함수 ρ^p(u) = u {p − I (u < 0)}로 I(·)은표시함수이다. 이 손실함수는 u = 0에서 미분가능하지 ᄋ

ᅡ

ᆭ으므로 분위수 회귀모수의 명시적 추정량을구할 수 없어서 선형계획법 (linear programming meth- ods)을 통해서 추정치를구하는방법을적용한다.

†

ᄋ ᅵ ᄂ ᅩ ᆫᄆ ᅮ ᆫᄋ ᅳ ᆫ ᄃ ᅥ ᆨᄉ ᅥ ᆼᄋ ᅧᄌ ᅡᄃ ᅢᄒ ᅡ ᆨᄀ ᅭ ᄀ ᅭᄂ ᅢᄋ ᅧ ᆫᄀ ᅮᄇ ᅵ 3000005247 ᄌ ᅵᄋ ᅯ ᆫᄋ ᅳ ᆯ ᄇ ᅡ ᆮᄋ ᅡ ᄉ ᅮᄒ ᅢ ᆼᄃ ᅬᄋ ᅥ ᆻᄋ ᅳ ᆷ.

1

(01369) ᄉ ᅥᄋ ᅮ ᆯ ᄉ ᅵ ᄃ ᅩᄇ ᅩ ᆼ ᄀ ᅮ ᄉ ᅡ ᆷᄋ ᅣ ᆼᄅ ᅩ 144ᄀ ᅵ ᆯ 33, ᄃ ᅥ ᆨᄉ ᅥ ᆼᄋ ᅧᄌ ᅡᄃ ᅢᄒ ᅡ ᆨᄀ ᅭ ᄌ ᅥ ᆼᄇ ᅩᄐ ᅩ ᆼ ᄀ ᅨᄒ ᅡ ᆨᄀ ᅪ, ᄇ ᅮᄀ ᅭᄉ ᅮ.

E-mail: [email protected]

ᄇ

ᅦ이지안 추론의관점에서 Yu와 Moyeed (2001)는 식 (1.2)에 있는 손실함수를최소화하는 것은 비 ᄃ

ᅢ칭 라플라스 오차항 분포 (asymmetric Laplace error distribution)를가정한 우도함수를최대화하는 거

ᆺ과 같다는것을 증명하였다. 비대칭 라플라스 오차항 분포를가정한 우도함수는 다음과 같이 표현할 ᄉ

ᅮ 있다.

Lp(y|β) = pⁿ(1 − p)ⁿexp {−ρp(yi− xiβp)} (1.3) ᄋ

ᅵ고 ρp(u)는 식 (1.2)의 손실함수이다. Yu와 Moyeed (2001)는 복잡한 우도함수로 인하여 p 분위수 ᄒ

ᅬ귀모수의 사후분포가 분석적으로 다루기 쉬운 분포형태가 아니어서, 정규분포를제안분포 (proposal distirbution)로 가정한 확률보행 메트로폴리스 알고리즘 (random walk Metropolis algorithm)을 사 ᄋ

ᅭ

ᆼ하였다. 반면, Kozumi와 Kobayashi (2011)는표준지수분포와 표준정규분포를 따르는 변수들을 활 ᄋ

ᅭ

ᆼ한 정규분포의 위치-척도 혼합법 (location-scale mixture of normals)을사용하여 비대칭 라플라스 부

ᆫ포를따르는오차항을표현하여 깁스 표집법 (Gibbs sampling)에 의한 추론이 가능함을 증명하였다.

Kozumi와 Kobayashi의 방법을 적용한 p 분위수 회귀모수의 사후분포와 실제 자료에 적용한 예제는 Oh (2017)에 있다.

서

ᆯ명변수의 개수가관측개수보다 많은자료 (m > n)와 두 개 이상의 설명변수들사이에 존재하는다 주

ᆼ공선성 (multicollinearity) 문제는모수의 추론 및 모형의 적합성에 문제가된다. 직교성을만족하는 서

ᆯ명변수들의 선형조합인 주성분의 선형결합으로 반응변수를설명하는주성분회귀모형을 일반 선형 회 ᄀ

ᅱ모형 대신 고려하면, 서로 직교가 되는 분산이 큰 부분집합 (subset) 주성분을회귀변수로 사용하여 ᄇ

ᅧᆫ수 축소 (variable reduction)의 방법과 다중공선성 문제를해결하는장점이 있다. 그리고 회귀모형에 ᄉ

ᅡ용되는적절한 주성분을선택함으로 추정된모형을 바탕으로 반응값에 대한 효과적인 예측이 가능하 ᄃ

ᅡ. 그러나 부분집합을선택하는과정에서 반응변수와의관계가 아닌 단순히 설명변수들의 주성분들 중 ᄇ

ᅮᆫ산이큰성분만을고려한다는점에서, 반응변수와의관계를고려하지 않은주성분의 사용이 주성분회 ᄀ

ᅱ모형의 예측력을떨어뜨릴 수 있다는 문제가 제기된다. Bair 등 (2006)은이 문제를고려하여 지도주 서

ᆼ분 (supervised principal component) 회귀모형을제안하였다. 지도주성분회귀모형은반응변수와의 ᄉ

ᅡᆼ관성이 분계점 (thresholder) 보다 높은설명변수만을 독립변수로 사용하고, 선택된 변수들만 사용한 ᄇ

ᅮᆫ산이큰주성분만으로 반응변수에 대한 선형모형을가정한다. 분계점은로그가능도 검정통계량의 교 ᄎ

ᅡ타당성 (cross-validation)을 통해 선택하고, 최소제곱법 (least squares method)으로 선형모형의 모 ᄉ

ᅮ를 추정한다. Bair 등 (2006)이 제시한 방법과는 달리 특이값분해를 통해 주성분을구성하고 West (2003)이 제시한 축소 사전분포를 고려하며 베이즈 정보기준 (BIC)을바탕으로 주성분의 개수를주성 ᄇ

ᅮᆫ회귀모형을 통해 결정하는베이지안 분석법을 Kyung (2019)이 제시하였고, 제시한 방법을 실제자료 ᄋ

ᅦ 적용하였다.

이

ᆯ반적으로 주성분 분석에서 적절한 주성분의 개수인 K를 선택하는 방법에 대해 Jolliffe (1982)는 ᄃ

ᅡ음과 같은 세 방법으로 분류하였다. 첫째는 주관적인 방법으로 스크리 그래프 (scree plot), 전 ᄎ

ᅦ 변이에의 공헌도 (percentage of total variance) 등이 대표적인 예이다. 둘째는 분포기반 검정 버

ᆸ (distribution-based test tool)로 Bartlett의 검정법이 대표적인 예이다. 마지막으로, 교차타당성 (cross-validation)과 같은 분석적 과정을이용하는방법이다. 각 방법들은장단점이 존재하여, 어떤 한 ᄇ

ᅡᆼ법이 가장 좋다고 할 수는 없다. 또 다른 방법으로 모형선택에 사용되는 정보기준을 고려할 수 있 ᄃ

ᅡ. 그중 베이즈 정보기준 (Bayesian information criterion: BIC)은 빈도론자 (Frequentist)들이 모 혀

ᆼ선택에 많이 사용하는정보기준 중 하나이다. 그러나 베이즈 인자 (Bayes factor; Kass와 Raftery, 1995)는내포된모형 (nested model)이 아닌 모형들도 직접 비교할 수 있는베이지안 모형선택 방법으 ᄅ

ᅩ, Raftery (1995)는가설 검정, 모형 선택 및 모형 불확실성 계산을위한 베이즈 인자에 대하여 BIC가 ᄀ

ᅡᆫ단하면서도 정확한근사치를구한다는것을 증명하였다. 그러므로 BIC는 빈도론적관점뿐아니라 베

ᄋ

ᅵ지안 모델 선택에도 적합하다고 할 수 있다. 그리고 베이지안 추론에서 모수 사후분포의 깁스 표본으 ᄅ

ᅩ부터 쉽게 계산할 수 있는사후평균, 사후중위수, 사후최빈값을사용하여 BIC를계산할 수 있다는장 ᄌ

ᅥᆷ이 있다.

BIC = −2 × ln (bπ) + m ln(n) ᄋ

ᅳ로 bπ는 베이지안 사후 중위수 (Bayesian posterior median)이고 m는 모수의 개수이다. BIC를 ᄉ

ᅡ용하여 부분집합 주성분을 선택하는 방법을 적용한 주성분 회귀모형의 베이지안 분석법은 Kyung (2019)에 자세히 설명하고 있다.

ᄋ

ᅮ리는 이 논문에서 Kyung (2019)이 제시한 특이값 분해 (singluar value decomposition)를 활용 ᄒ

ᅡᆫ 주성분 분석법을설명변수에 적용하여 주성분을 생성한 후 반응변수의 p 분위수를주성분의 선형결 ᄒ

ᅡᆸ으로 설명하는 분위수 주성분 회귀모형에 대하여 베이지안 분석법을 적용하는 방법을 고려한다. 주 서

ᆼ분의 개수를결정하는방법으로 반응변수와의 설명력이 높은부분집합 주성분을 선택하기 위하여 모 혀

ᆼ선택 기준인 베이즈 정보기준 (BIC)을 사용한다. 분위수 선형모형의 모수 추정을 위해 Kozumi와 Kobayashi (2011)가 제시한 혼합법에 의하여 p 분위수 회귀모형의 오차 분포를조건부 정규분포로 표 ᄒ

ᅧᆫ하고, 주성분회귀모형의 모수를추정하기 위하여 West (2003)가 제시한 사전분포를고려하여 사후 부

ᆫ포를계산한다.

ᄇ

ᅩᆫ 논문의 구성은다음과 같다. 2절에서는 분위수 주성분회귀모형의 구성에관해서 설명하고, 3절에 ᄉ

ᅥ는 모수의 사전분포에 대한 가정과 사후분포의 계산과정에 대하여 설명한다. 그리고 4절에서는 실제 ᄌ

ᅡ료에 적용한 결과에 대해 살펴보고, 5절에서는요약과 결론으로 끝을맺는다.

2. 분위수 주성분 회귀모형 ᄒ

ᅬ귀모형에 대하여 m개의 설명변수들과 반응변수 모두 표준화 (standardization)한 값을 사용한다.

ᄇ

ᅮᆫ위수 주성분 회귀모형에서 적용할 회귀변수에 대하여 설명변수 행렬의 특이값분해를 통한 직교성을 마

ᆫ족하는회귀변수를찾는다.

2.1. 주성분 회귀모형 이

ᆯ반적으로 주성분 분석은 여러 개의 변수로 얻어진 다변량 자료에 대해, 공분산 구조를 변수들 ᄋ

ᅴ 선형결합식인 주성분으로 설명하고자 하는 접근방법으로 공분산행렬의 스펙트럼분해 (spectral de- composition)를 통하여 얻는다. 표준화된 설명변수 행렬 X의 공분산행렬 (covariance matrix)은

1

n−1X^TX와 같이 계산되고, 이 공분산행렬은양반정치 (positive semidefinite)로 대칭 (symmetric)성 으

ᆯ만족한다. 일반적으로 n × m 설명변수 행렬 X에 대한 특이값분해(SVD)는다음과 같이 정의된다.

X = U ΣV^T, ᄋ

ᅧ기에서 U 는 XX^T를고유값분해에서 얻어진 n × m 직교정규행렬 (orthonormal matrix)로 U 의 열 베

ᆨ터들을 X의왼쪽비정칙행렬 (left singular vector)이라 부른다. 또한 V 는 X^TX를고유값분해에서 ᄋ

ᅥᆮ어진 m × m 직교정규행렬로서 V 의 열벡터들을 X의 오른쪽비정칙행렬 (right singular vector)이 ᄅ

ᅡ 부른다. 그리고 Σ는 XX^T, X^TX를고유값분해에서 나오는고유값들의 제곱근 (square root) 대 ᄀ

ᅡ

ᆨ원소로 하는 n × m 직사각 대각행렬로 그 대각원소들을 X 특이값(singular value)이라 부른다. 또 XX^T와 X^TX의 고유값들은비음 (nonnegative)이며 0이 아닌 고유값들은서로 동일하다. 특이값분

ᄒ

ᅢ를 통해 구한 X^TX와 주성분분석과의 일치성에 의하여 K개의 주성분만을사용하여 설명변수 행렬 X를표현하면,

X = ULΣLV_L^T ≡ F A ᄋ

ᅪ 같고, F = ULΣL는 n × K 인자행렬 (factor matrix)이고 A = VL^T는 K × m 특이값분해 적재값 행 려

ᆯ이된다. 이때 K < min (n, m)이고 AA^T = I, F^TF = Σ²_L으로 Σ^LΣ에서 양의 특이값을갖는 원 ᄉ

ᅩ들을큰값에서 작은값으로 순서화하여 대각원소로 하는 K × K 행렬이다. 즉, Σ²은 Γ에서 양의 고 ᄋ

ᅲ값을갖는 원소들을큰값에서 작은값으로 순서화하여 대각원소로 하는 K × K 행렬이 되는것이다.

ᄋ

ᅵ는차원축소와 연결되는 문제이며, 설명변수들사이에 존재하는다중공선성 문제를서로 직교가 되는 ᄌ

ᅮ성분을회귀변수로 사용하여 해결한 방법이다.

ᄀ

ᅵᆯ이 n인 반응벡터 y에 대한 일반적 선형모형에서

y = Xβ + ϵ = F θ + ϵ ᄋ

ᅵ며, θ = Aβ는 인자변수들의 길이 K 회귀모수이며, m개의 모수를 K개로 줄인 효과를설명하는 벡 ᄐ

ᅥ이다. 즉,주성분회귀모형은오차항 ϵ에 정규성 M V Nn 0, σ²I
을가정한

y = F θ + ϵ (2.1)

으

ᆯ사용한다. 원회귀모수 (original regression parameter) β에 대한 추론은주성분회귀모형에서 θ을 ᄎ

ᅮ정한 후 일반적인 최소노름역변환(least-norm inverse)을고려한 β = A^Tθ를활용할 수 있다. 자세 ᄒ

ᅡᆫ 내용은 Kyung (2019)에서확인할 수 있다.

서

ᆯ명변수 행렬의 공분산행렬이 양반정치성을 만족하지 않는 경우 일반적으로 인자 회귀모형 (factor regression)을고려할 수 있다. 인자 회귀모형은차원 축소 (dimension reduction)와 변수들간에 내재 ᄃ

ᅬ어 있는 공통의 구조인 인자 해석을 동시에 할 수 있는방법으로 주성분회귀모형은 인자 회귀모형의 ᄐ

ᅳ

ᆨ수한 경우라고 할 수 있다. 내재된인자 회귀모형의 베이지안 분석법은 Kyung (2020)에서확인할 수 이

ᆻ으며, 내재된인자 회귀모형을 분위수 회귀모형을확장하여 베이지안 분석법을적용하는연구는 진행 되

ᆯ예정이다.

2.2. 분위수 주성분 회귀모형

2.1절에서 서술한 주성분회귀모형에서 식(2.1)을고려하여 반응변수 yi에 대한 p (0 < p < 1) 분위수 ᄒ

ᅬ귀모형을적용하면 다음과 같다.

yi= Fiθp+ ϵi, (i = 1, · · · , n), (2.2) ᄋ

ᅧ기서 Fi는 i번째 관측치의 1 × K 인자 벡터이고 θp는 K × 1차원 주성분 p 분위수 회귀모수이다.

ᄋ

ᅧ기에서 ϵi는 분포함수 fp(·)를 따르는 오차항으로, 이 오차항의 분포는 p 분위수의 값이 0으로 제한 되

ᆫ다, R0

−∞fp(ϵi) dϵi = p. 일반적인 주성분회귀모형에서 모수 추정을 위하여 식 (1.2)의 손실함수를 yi− Fiθp에 대하여 적용하고 이 손실함수를 θ에 대하여 최소화하는방법을고려할 수 있다.

ᄇ

ᅦ이지안 분석법을적용하기 위하여 Yu와 Moyeed (2001)의 비대칭 라플라스 우도함수를사용한확 ᄅ

ᅲᆯ보행 메트로폴리스 알고리즘 (random walk Metropolis algorithm)을 고려할 수 있으나 1절에서 서 ᄉ

ᅮ

ᆯ한 바와 같이 사후분포로의 수렴속도가 빠른 깁스 표집법을 사용할 수 있는 Kozumi와 Kobayashi (2011)가 제시한 정규분포의 위치-척도 혼합법 (location-scale mixture of normals)을 고려한다.

Kozumi와 Kobayashi (2011)가 제시한 방법은 식 (2.2)의 오차항 ϵi에 대하여 다음과 같은 분포를 ᄀ

ᅡ정한다.

ϵi= αWi+ τ√ σWiSi,

α = _p(1−p)^1−2p , τ² = _p(1−p)² 이며, Wi는평균 σ인 지수분포 Wi∼ Exp(σ)이고 Si는표준정규 분포 Si∼ N (0, 1)로 Wⁱ와 Sⁱ는서로 독립 (mutually independent)이다. 그러므로 Wⁱ= wi가 주어졌을때 yⁱ의 ᄌ

ᅩ건부 분포는 평균이 Fⁱθp+ αwi이고 분산이 τ²σwi인 정규분포이다. p 분위수에 대한 원회귀모수 (original regression parameter) βp에 대한 추론은 2.1절에서 서술한 일반적인 최소노름역변환(least- norm inverse)을고려한 βp= A^Tθp를활용할 수 있다. 조건부 정규성과 모수에 대한 사전분포를활용 ᄒ

ᅡ여 사후분포를계산할 수 있고, 이를활용한 베이지안 추정법에 대한 자세한 과정은다음장에 서술한 ᄃ

ᅡ.

3. 베이지안 추정법

3.1. 축소 사전분포 ᄇ

ᅮᆫ위수 주성분 회귀모형을 추정하기 위하여 베이지안 방법으로 West (2003)가 제시한 사전분포를 ᄉ

ᅡ용한다. 주성분의 개수 K가 고정되었을 때, 주성분 p 분위수 회귀모형에서의 모수는 인자 회귀모 ᄉ

ᅮ (factor regression parameter) θp와 오차 분산에서의 σ이다. θp에 대한 사전분포에 대하여 West (2003)가 제시한 사전분포는 일반적인 축소 사전분포 (generalized shrinkage prior)로 각각의 K개의 ᄆ

ᅩ수에 t-분포를 가정한다. t-분포는 정규분포와 분산에 대한 감마분포의 혼합으로 표현할 수 있는데, ᄋ

ᅵ를활용한 축소 사전분포는다음과 같다.

θpk∼ N

 0, cpk

ϕpk



ϕpk∼ Gamma r 2, r

2



(k = 1, · · · , K), (3.1) ᄋ

ᅧ기에서 r은조율모수 (tuning parameter)로 임의 정밀도 (random precision) ϕ^pk에 대한 적분으로 ᄀ

ᅮ해진 θpk의 주변분포 t-분포의 자유도 모수이다. 여기에서 cpk는주성분의 분산이큰 수록 주성분 p ᄇ

ᅮᆫ위수 회귀모형에서의 설명력이 작아지도록조절하는상수로 이 연구에서는 cpk = ρpk⁻²으로 사용하 ᄀ

ᅩ ρ^p를추정한다. 식 (3.1)의 θ^p에 대한 사전분포로부터 일반적인 분위수 회귀모형의 모수 β^p의 사전 부

ᆫ포를표현하면

βp∼ M V Nm



0, A^TGpA ᄅ

ᅩ 생각할 수 있다. 여기서 G^p= diag (cpk/ϕpk)_k=1,...,K이다. 그리고 오차 분산에서의 모수 σ에 대한 ᄉ

ᅡ전분포는다음과 같이 역감마 분포 (inverse Gamma; IG)를가정한다.

σ ∼ IG a 2, b

2

 . ᄉ

ᅡ전분포들에 대한 초모수들 (hyper-parameters)의 사전분포는다음과 같다.

ρp∼ π (ρp) ∝ 1 r ∼ U (0, 10) .

σ에 대한 사전분포의 사전모수 a와 b에 대하여 초사전분포 (hyper-prior distribution)를 고려하는 방 버

ᆸ도 있으나, 이 연구에서는 공액사전분포 (conjugate prior distribution)의 형태를사용하며 무정보성

(noninformativeness)을만족하는 a = b = 0.01을사용한다. 그러므로 사후분포는역감마 분포를따르 ᄀ

ᅩ 사전분포의 영향력은크지 않게된다.

3.2. 사후표본 추출과정 시

ᆨ(2.2)으로 부터 구한 우도함수와 3.1절에서 제시한 식 (3.1)의 축소 사전분포와 다른모수의 사전분 ᄑ

ᅩ로부터 주성분의 개수 K가 고정되었을때 얻은결합사후분포는다음과 같다.

π (θp, ϕp, r, ρp, σ, V |X, y)

∝ σ^2
−n/2

n

Y

i=1

V_i^−1/2

! exp

(

− 1 2τ²σ

n

X

i=1

1 Vi

(yi− Fiθp− αVi)² )

σ⁻ⁿexp −1 σ

n

X

i=1

Vi

!

×ρ^−K/2p K

Y

k=1

ϕ^1/2_pk exp − 1 2ρp

K

X

k=1

k²ϕpkθ²pk

!

(σ)^−(a/2+1)exp



−b σ



×

r 2

^r₂K

Γ ^r₂
K K

Y

k=1

(ϕpk)^r2−1exp −r 2

K

X

k=1

ϕpk

!

, (3.2)

ᄋ

ᅧ기서 θ^p= (θp1, · · · , θpK)^′, ϕp = (ϕp1, · · · , ϕpK)^′, V = (V1, · · · , Vn)^′이다. 식 (3.2)로부터의 마르 ᄏ

ᅩ프 체인 몬테 카를로 과정은다음과 같다.

P1. θ의 조건부 사후분포로 부터 표본을발생시킨다.

θp|ϕp, r, ρp, σ, V , X, y ∼ M V NK

1 τ²σ

n

X

i=1

1 Vi

Fi^′Fi+1 ρG^∗p

−1

!−1

1 τ²σ

n

X

i=1

1 Vi

Fi^′(yi− αVi)

! ,

1 τ²σ

n

X

i=1

1 Vi

F_i^′Fi+1 ρG^∗_p⁻¹

!−1! ,

ᄋ

ᅧ기에서 G^∗p= diag _ρ

p k²ϕ_pk



k=1,...,K이다.

P2. ϕp의 조건부 사후분포로 부터 표본을발생시킨다. k = 1, . . . , K에 대하여,

ϕpk|θp, r, ρp, σ, V , X, y ∼ Gamma  1 2+r

2, 1 2ρp

k²θ_pk² +r 2

 .

P3. r에 대하여 조건부 사후분포로 부터 표본발생을위해 메트로폴리스-해스팅스 알고리즘 (Metroplis- Hastings algorithm)을사용한다. r의 조건부 사후분포는다음과 같다.

π (r|θp, ϕp, ρp, σ, V , X, y) ∝

r 2

^r₂K

Γ ^r₂
K exp (

−r PK

k=1ϕpk

2 −1 2

K

X

k=1

ln ϕpk

!) . ᄋ

ᅱ의 조건부 사후분포로 부터 표본 발생을 위한 후보분포 (candidate distribution)는 모수가

P_K k=1ϕ_pk

2 −¹₂PK

k=1ln ϕpk인 지수분포로

g^∗(r) = exponential r|

PK k=1ϕpk

2 −1 2

K

X

k=1

ln ϕpk

!

ᄋ

ᅵ다. 후보분포를이용한 메트로폴리스-해스팅스 과정은

– 후보분포로 부터 r^′을발생시킨다: r^′∼ g^∗(r) – u ∼ U (0, 1)

– 만약 u ≤ A (r, r^t)이면, 첫 단계에서 발생시킨 r^′을새로운 r의 값으로 사용한다, r^t+1 = r^′. 여기서 채택 비율 (acceptance ration) A (r, rt)는다음과 같다.

A (r, rt) = min



1, π (r^′|θp, ϕp, ρp, σ, V , X, y) g^∗(rt) π (rt|θp, ϕp, ρp, σ, V , X, y) g^∗(r^′)

 .

P4. ρp의 조건부 사후분포로 부터 표본을발생시킨다.

ρp|θp, ϕp, r, σ, V , X, y ∼ IG K 2 − 1, 1

2

K

X

k=1

k²ϕpkθ²_pk

! .

P5. V의 조건부 사후분포로 부터 표본을발생시킨다. i = 1, . . . , n에 대하여,

Vi|V−i, θp, ϕp, ρp, r, σ, X, y ∼ GIG 1

2, (yi− Fiθp)² τ²σ , 2

σ + α² τ²σ

 , ᄋ

ᅵ고 GIG(·)는세 모수를갖는 일반화된 역 가우시안 (generalized inverse Gaussian) 분포이다.

P6. σ의 조건부 사후분포로 부터 표본을발생시킨다.

σ|θp, ϕp, ρp, r, V , X, y ∼ IG 3n 2 +a

2,

n

X

i=1

Vi+ 1 2τ²

n

X

i=1

1 Vi

(yi− Fiθp− αVi)²+b 2

! .

4. 자료분석 시

ᆯ제 자료에 대하여 3장에서 설명한 MCMC 과정을 K = 2, . . . , min(n, m)의 범위에 모두 적용한 후 ᄀ

ᅡ

ᆨ각의 K값에 대한 BIC를구하여 BIC값이 가장 작은 K를최종모형의 주성분의 개수 즉 서로 직교 ᄋ

ᅵᆫ 회귀변수의 개수로 결정하여 모수를추정하고, 다시 각 설명변수의 모수로 역변환한다. 표본과정은 ᄀ

ᅡ

ᆨ각의 K값에 대하여 30, 000번 반복하여 15, 000은 burn-in으로 제거한 후 나머지 15, 000개의 표본 중 ᄆ

ᅢ 5번째 표본만을선택하여 최종 3, 000개의 표본을사후추론에 사용한다.

4.1. 보스톤 주택 가격 자료 ᄇ

ᅩ스톤주택가격 자료는 Harrison과 Rubinfeld (1978)이 대기오염이 주택가격에 미치는영향을연구 ᄒ

ᅡ기 위해 수집한 자료이다. 분석에 사용된자료는몇 가지 사소한 오류를수정하고 위도와 경도를보강 ᄒ

ᅡᆫ Li 등 (2010)의 자료로 R의 “spdep” 패키지 (R Development Core Team, 2005)에서 사용할 수 있 ᄃ

ᅡ. Li 등 (2010)의 자료는 20개의 변수에 대한 506개의관측치로 구성된다. Li 등 (2010)은이 자료에 LASSO (Tibshirani, 1996) 사전분포를사용한 베이지안 정칙 분위수 회귀모형 (Bayesian regularized quantile regression)을적용하여 베이지안 정칙 분위수 회귀모형과 일반적인 LASSO 분위수 회귀모형 으

ᆯ비교하였다. 반응변수는소유자가 점유한 주택의 로그변환수정 중앙값 (LCMEDV)로 단위는 USD 1000이다. 분석에 사용한 설명변수는 다음과 같다: 경도 (LON), 위도 (LAT), 자치시 별 1인당 범죄 ᄋ

ᅲᆯ (CRIM), 25,000제곱피트를초과하는거주지역 비율 (ZN),비소매 상업지역이 점유하고 있는토지 ᄋ

ᅴ 비율 (INDUS), 찰스강에 대한 더미변수 (CHAS - 강의 경계에 위치한 경우 1, 아니면 0), 10ppm

0 20 40 60 80

1.5 2.0 2.5 3.0 3.5 4.0

logcmedv

count

Histogram of log corrected Median Value (logcmedv)

−1

−0.8

−0.6

−0.4

−0.2 0 0.2 0.4 0.6 0.8

lon lat crim zn indus chas nox rm age dis rad tax ptratio b lstat logcmedv 1

lon lat

crim zn indus

chas nox

rm age

dis rad

tax ptratio

b lstat logcmedv

Figure 4.1 Histogram of the response variable, the log-transformed corrected median value of owner-occupied housing in USD 1000 (LCMEDV), and the correlation matrix of explanatory variables

ᄃ

ᅡᆼ 농축 일산화질소 (NOX), 주택 1가구당 평균방의 개수 (RM), 1940년 이전에 건축된소유주택의 비 ᄋ

ᅲᆯ (AGE), 5개의 보스턴 직업센터까지의 접근성 지수 (DIS), 방사형 도로까지의 접근성 지수 (RAD), 10,000 달러 당 재산세율 (TAX), 자치시 별 학생/교사 비율 (PTRATIO), 변환된아프리카계 미국인 ᄋ

ᅴ 인구비율 (B),모집단의 하위계층의 비율 (LSTAT -단위 :%).

Figure 4.1은 반응변수의 히스토그램과 변수들간의 상관계수 행렬 그림이다. 반응변수의 히스토그 래

ᆷ을 살펴보면 로그변환을적용하였어도 대칭성을만족하는 것이 아닌 것을확인할 수 있었다. 그리고 ᄇ

ᅧᆫ수들 간의 상관계수를 살펴보면 선형적 연관성이 강한 관계를 보이는 변수들을 확인할 수 있다. 예 르

ᆯ 들어 비소매 상업지역이 점유하고 있는 토지의 비율 (INDUS)은 10,000 달러당 재산세율 (TAX), 10ppm당 농축 일산화질소 (NOX)와 강한 양의 상관관계를보이고, 5개의 보스턴 직업센터까지의 접근 서

ᆼ 지수 (DIS)와는강한 음의 상관관계를 보인다. 그러므로 다중공선성의 문제가 존재할 수 있다는것 으

ᆯ확인할 수 있다. Figure 4.2는각 설명변수와 반응변수의 산점도로 단순회귀모형을적용하여 표현하 ᄋ

ᅧᆻ다. 모집단의 하위계층의 비율 (LSTAT )과 자치시 별 학생/교사 비율 (PTRATIO) 등의 변수는반 ᄋ

ᅳᆼ변수를선형적으로 잘 설명한다. 그러나 경도 (LON), 위도 (LAT), 일산화질소 (NOX), 주택 1가구 ᄃ

ᅡᆼ 평균방의 개수 (RM)의 산점도를살펴보면 반응변수와의관계를단순한 선형성으로 설명할 수 없다.

서

ᆯ명변수들의 주성분 분석의 결과는 Figure 4.3에 있다. 반응변수를고려하지 않은설명변수들의 주 서

ᆼ분 분석 스크리 그래프로 Jolliffe (1982)가 제시한 방법 중 하나이다. 고유값이 1 이 넘는주성분의 ᄀ

ᅢ수는 5개인 것을 확인할 수 있었다. 표는 본문에서 생략하였지만 전체변이의 공헌도가 85%가 넘는 거

ᆺ은 주성분의 개수가 7개로확인할 수 있었다. 그러나 이 방법은반응변수와의관계를 고려하지 않은 서

ᆯ명변수만의 주성분 분석 결과이므로 주어진 자료에 대해서는 반응변수와의 관계를 고려한 베이지안 부

ᆫ석법과 식 (1.2)의 손실함수를 최소화하는 방법으로 모수를추정하는 분위수 회귀모형과 교차타당성 ᄋ

ᅳ로 LASSO 벌점 (penalty)을결정한 LASSO 분위수 회귀모형 자료에 적합하여 비교한다.

Belsley 등 (1980)과 Li 등 (2010)은모든설명변수의 일차식만 고려한 분위수 회귀모형을적합하였 ᄃ

ᅡ. Pace와 Gilley (1997)는 Belsley 등 (1980)의 모형에 일산화질소 (NOX), 주택 1가구당 평균 방 ᄋ

ᅴ 개수 (RM) 대신 이차항 NOX²와 RM², 그리고 경도 (LON), 위도 (LAT)의 교호작용까지 포함한 2차항을더하여 선형모형을적용하였고, 경도 (LON)와 위도 (LAT) 정보를활용한 동시적 자기회귀모 혀

ᆼ (simultaneous autoregressive model)로확장하였다. 우리는이 연구에서 Li 등(2010)이 제시한 선 혀

ᆼ모형 중경도 (LON), 위도 (LAT)의 교호작용만을제외한 모형을고려하여 분위수 주성분회귀모형 ᄋ

ᅴ 베이지안 추정법을적용한다. 모든설명변수는평균 0과 분산 1로 표준화하였고, 반응변수는평균만

rm tax zn

lstat nox ptratio rad

dis indus lat lon

age b chas crim

4 5 6 7 8 9 200 300 400 500 600 700 0 25 50 75 100

0 10 20 30 0.4 0.5 0.6 0.7 0.8 12.5 15.0 17.5 20.0 0 5 10 15 20 25 2.5 5.0 7.5 10.0 12.5 0 10 20 42.1 42.2 42.3 −71.3 −71.2 −71.1 −71.0 −70.9 −70.8 0 25 50 75 100 0 100 200 300 400 0.00 0.25 0.50 0.75 1.00 0 25 50 75

1 2 3 4

1.5 2.0 2.5 3.0 3.5 4.0

1.5 2.0 2.5 3.0 3.5 4.0 1.5

2.0 2.5 3.0 3.5 4.0

1.5 2.0 2.5 3.0 3.5 4.0

1.5 2.0 2.5 3.0 3.5 4.0

1.5 2.0 2.5 3.0 3.5 4.0 1.5

2.0 2.5 3.0 3.5 4.0

1.5 2.0 2.5 3.0 3.5 4.0

1.5 2.0 2.5 3.0 3.5 4.0

1.5 2.0 2.5 3.0 3.5 4.0 1.5

2.0 2.5 3.0 3.5 4.0

1.5 2.0 2.5 3.0 3.5 4.0

1.5 2.0 2.5 3.0 3.5 4.0

1.5 2.0 2.5 3.0 3.5 4.0

val

logcmed v

Scatter plot of dependent variables vs log corrected Median Value (logcmedv)

Figure 4.2 Scatter plots of explanatory variables vs. response variable with fitted simple linear regression line

V ar iances

1 2 3 4 5 6 7 8 9 10

Figure 4.3 Scree plot of explanatory variables of Boston housing data

0으로 하는 중심 표준화를시행하여 분석에 사용하였다.

ᄌ

ᅮ어진 자료에 적용한 분위수 주성분 회귀모형에서 주성분의 개수를 결정하기 위해 BIC값을 계산 ᄒ

ᅡ였다. 분위수로는 p = 0.10, p = 0.50 (중위수)와 p = 0.90을 고려하였고, 각 분위수에 대한 분 ᄋ

ᅱ수 주성분회귀모형으로부터의 BIC 그림이 Figure 4.1이다. 이 그림을보면 BIC 최소값은 분위수

p = 0.10에 대하여 K = 4, 분위수 p = 0.50에 대하여 K = 4, 그리고 분위수 p = 0.90에 대하여 K = 5인 것을확인할 수 있었다. 분위수 p = 0.90의 경우 K = 4일 때와 K = 5의 BIC에큰차이는없 ᄋ

ᅳ나 최소값은근사한 차이로 K = 5일 때임을확인할 수 있다. K = 4일 때 설명변수 행렬을이용한 주 서

ᆼ분 분석에서의 누적 분산은전체분산의 70%가 되고, K = 5일 때 누적분산은전체분산의 77%가 된 ᄃ

ᅡ.

ᄌ

ᅦ시한 방법을비교하기 위하여 식 (1.1)의 분위수 회귀모형에 대하여 식 (1.2)의 손실함수를최소화 ᄒ

ᅡ는 방법으로 모수를추정하는 분위수 회귀모형 (model 1)과 식 (1.1)의 분위수 회귀모형에 변수 선 태

ᆨ과 모수 추정을 동시에 실행하는 LASSO 벌점 (penalty)을사용한 LASSO 분위수 회귀모형 (model 2)을고려한다. 식 (1.2)의 손실함수를최소화하는방법의 분위수 회귀모형 (model 1)은 R의 quantreg ᄑ

ᅢ키지에 있는 rq 함수를사용하여 모수를추정할 수 있다. LASSO 벌점 모수를결정하기 위하여 각 분 ᄋ

ᅱ수별 모형에 대한 교차타당성 (cross-validation) 방법을고려하였다. 벌점 모수에 대한 교차타당성은 R의 rqPen 패키지에 있는 cv.rq.pen 함수를사용하여 구할 수 있으며, 벌점 모수를 결정한 후 LASSO ᄇ

ᅮᆫ위수 회귀모형 (model 2)에 대한 모수 추정은 rqPen패키지에 있는 rq.lasso.fit 함수를 통해 구할 수 이

ᆻ다. 각 분위수별 LASSO 벌점에 대하여 계산된교차타당성 값의 그림이 Figure 4.2에 있다. Figure 4.2의 (a)를보면 분위수 p = 0.1에 대하여 LASSO 벌점 모수 분위수 회귀모형의 교차타당성 값은벌점 ᄆ

ᅩ수 λ = 0일 때 최소값을나타낸다. 그러나 분위수 p = 0.1에 대하여 λ = 0.05일 때까지의 교차타당 서

ᆼ 값이큰변화가 없어서 변수 선택의 목적을고려하여 약간의 벌점 모수의 값이큰 λ = 0.05를사용하 ᄋ

ᅧᆻ다. Figure 4.2의 (b)는 분위수 p = 0.5에 대하여 벌점 모수 λ에 대한 LASSO 벌점 모수 분위수 회귀 ᄆ

ᅩ형의 교차타당성 값을보여주는그림으로 λ = 0.1일 때까지의 교차타당성 값이큰차이가 없어서 변 ᄉ

ᅮ 선택의 목적을고려하여 약간의 벌점 모수의 값이큰 λ = 0.1를사용하여 모수를추정한다. Figure 4.2의 (c)는 분위수 p = 0.9에 대한 LASSO 벌점 모수 분위수 회귀모형의 교차타당성 값을보여주는그 리

ᆷ으로 λ = 0.0016일 때 최소값을갖는것을확인할 수 있다. 그러므로 모수 추정을위해서 벌점 모수 ᄋ

ᅴ 값 λ = 0.0016을사용하며, 작은벌점 모수의 값을사용하는 분위수 p = 0.9의 LASSO 벌점 모수 분 ᄋ

ᅱ수 회귀모형은다른 분위수보다는많은변수들이 선택될 것이라 예상할 수 있다.

부

ᆫ위수 p = 0.1에 대하여 K = 4개의 주성분을회귀변수로 적용한 베이지안 분위수 주성분회귀모형 ᄋ

ᅴ 모수 θ의 추정값을사용하여 원래의 설명변수의 모수 β로 역변환한 β = A^Tθ의 추정값과 일반적 ᄋ

ᅵᆫ 분위수 회귀모형의 회귀모수 추정값, 교차타당성 방법을 통해 선택한 벌점 모수 λ = 0.05의 LASSO 버

ᆯ점 분위수 회귀모수의 추정값이 Table 4.3에 있다. LASSO 벌점 분위수 회귀모수의 신뢰구간을 구 ᄒ

ᅡ기 위해서는 부트스트랩 방법을 사용하여야 하지만 이 연구의 목적은추정값의 비교이므로 그 과정 ᄋ

ᅳ

ᆫ고려하지 않는다. 분위수 회귀모형의 회귀모수 점추정값과 구간추정값을살펴보면 반응변수는소유 ᄌ

ᅡ가 점유한 주택의 로그변환 수정 중앙값 (LCMEDV)에 대하여 선형적으로 유의한 설명변수는 자치 ᄉ

ᅵ 별 1인당 범죄율 (CRIM), 주택 1가구당 평균 방의 개수 (RM), 1940년 이전에 건축된 소유주택 ᄋ

ᅴ 비율 (AGE), 방사형 도로까지의 접근성 지수 (RAD), 10,000 달러당 재산세율 (TAX), 자치시 별 ᄒ

ᅡᆨ생/교사 비율 (PTRATIO), 변환된 아프리카계 미국인의 인구비율 (B), 모집단의 하위계층의 비율 (LSTAT), 그리고 RM²인 것을 확인할 수 있었다. 유의한 설명변수들의 방향은 RAD, B, RM²를 제 ᄋ

ᅬ하고 모두 음의 방향으로 반응변수를설명하고 있다. LASSO 벌점 분위수 회귀모수의 추정값의 경우 겨

ᆼ도 (LON), 자치시 별 1인당 범죄율 (CRIM), 10,000달러당 재산세율 (TAX),모집단의 하위계층의 ᄇ

ᅵ율 (LSTAT)은 음의 방향으로 반응변수를유의하게 설명하고, RM²는양의 방향으로 반응변수를 설 며

ᆼ하고 있다. 베이지안 분위수 주성분회귀모형의 결과를보면 자치시 별 1인당 범죄율 (CRIM), 비소 ᄆ

ᅢ 상업지역이 점유하고 있는토지의 비율 (INDUS),주택 1가구당 평균방의 개수 (RM), 10,000 달러 ᄃ

ᅡᆼ 재산세율 (TAX), 자치시 별 학생/교사 비율 (PTRATIO), 모집단의 하위계층의 비율 (LSTAT)은 ᄋ

ᅳ

ᆷ의 방향으로 반응변수를유의하게 설명하고, RM²는양의 방향으로 반응변수를설명하고 있다. 전반

Table 4.1 BIC values of each number of principal components (K) based on 10%, 50% and 90% quantile PCA regression models

8650 8700 8750 8800

5 10 15

K

BIC

(a)BIC for 10% quantile PCA regression models

8250 8300 8350 8400 8450

5 10 15

K

BIC

(b)BIC for 50% quantile PCA regression models

9250 9300 9350 9400

5 10 15

K

BIC

(c)BIC for 90% quantile PCA regression models

Table 4.2 Cross-validation (CV) values for penalty λ based on LASSO penalized 10%, 50% and 90% quantile PCA regression models

0.00 0.05 0.10 0.15

0.03 0.04 0.05 0.06 0.07 0.08

λ

CV

(a)CV vs. λ for 10% quantile PCA regression models

0.00 0.05 0.10 0.15 0.20 0.25 0.30 0.35

0.06 0.08 0.10 0.12 0.14

λ

CV

(b)CV vs. λ for 50% quantile PCA regression models

0.00 0.05 0.10 0.15

0.03 0.04 0.05 0.06 0.07

λ

CV

(c)CV vs. λ for 90% quantile PCA regression models