1.단순회귀모형 및 가정 2.회귀계수의 추정
3.OLS 추정량의 특성
4.교란항 및 회귀계수의 분산 추정 5.결정계수
6.가설검정 7.예측
8.회귀모형의 응용 9.최우추정법
10.최소절대편차추정법
2
1.단순회귀모형 및 가정 (1)단순회귀모형
(참고) 확률적 교란항의 의미
-교란항은 생략되거나 배제된 모든 변수를 대신한다
-아무리 노력해도 설명할 수 없는 고유의 임의성(인간행동의 임의성) -측정오차(measurement error)(예:Freidman의 항상소득가설)
-간결한 모형(parsimonious of model)
(2)가정
① 독립변수 X는 확률변수가 아닌 확정변수이다
-표본을 반복해서 잡아볼 때 X는 고정된 것으로 해 놓고 Y와 u의 값은 표본에 따라 다름
-X는 오차없이 측정됨
② 교란항의 평균은 0이다
4
③ 교란항은 모든 X에 대한 동일한 분산을 갖는다(동분산)
(참고)추정을 위해서는 분포에 대한 가정이 반드시 필요하지 않지만, 가설검정을 위해서는 필요함
④ 모든 u값은 서로 독립이다(비자기상관)
⑤ u와 X는 서로 독립이다(직교조건)
(참고)직교조건의 의미
-경제적 의미 : 관계 있는 모든 설명변수들이 제대로 모형화되어 X가 Y에
미치는 영향과 u가 Y에 미치는 영향이 서로 분리되어 있다는 것을 의미한다.
-통계적 의미 :
ⅰ)관계 있는 변수를 모형에 포함시키지 않으면→OLS추정량=편의 추정량
ⅱ)관계 없는 변수를 모형에 포함시키면→OLS추정량=비효율적 추정량
6
2.회귀계수의 추정
(1)보통최소자승법(Ordinary Least Squares : OLS
-잔차(=실제치-예측치)의 합계가 최소가 되도록 하는 것이 바람직한데
잔차의 합이 0이 되는 식은 유일하지가 않으므로 잔차의 제곱의 합이 최소가 되게 하는 회귀식을 구하는 추정방법
8
10
(2)추정된 회귀선의 특징
① 최소자승법으로 구한 회귀선은 항상 X, Y의 표본평균점을 지난다
12
14
16
2 3 4 5
4 6 10
6 X
Y
18
3.OLS 추정량의 특징 (1)선형추정량
(2)불편추정량
(3)최소분산추정량
20
4.교란항 및 회귀계수의 분산 추정 (1)교란항의 분산
(2)회귀계수의 분산
∴
22
5.결정계수(coefficient of determination)
-표본으로부터 추정한 회귀선이 변수의 표본관측에 얼마나 적합한 지를 측정하는 계수로 설명력(explanatory power)이라고도 함
-결정계수는 표본관측이 추정된 회귀식에 가까운 정도를 계수로 나타낸 것으로 종속변수의 전변동과 회귀변동의 비율로 측정
-결정계수의 값은 0과 1 사이로, 큰 값일수록 적합도 또는 설명력이 높다는 것을 의미하고 작은 값일수록 적합도 또는 설명력이 낮다는 것을 의미함
24
6.가설검정
-경제적 유의성(economical significance) : 이론적으로 독립변수가 종속변수에 영향을 주는 것
-통계적 유의성(statistical significance) : 실증분석 결과 독립변수가 종속변수에 영향을 주는 것
26
7.예측
-모형설정→모형추정→가설검정→예측이라는 단순회귀분석의 절차에 따라 주어진 독립변수의 값에 대한 종속변수의 값을 구하는 예측(forecasting, prediction)이라고 함
-모집단회귀선 위의 한 점을 예측하는 평균예측(mean prediction, slide 3 그 림 참조)과 독립변수의 값에 대응하는 개별 Y의 값을 예측하는 개별예측 (individual prediction)이 있음
-예측에는 주어진 X에 대해 하나의 Y 값을 구하는 점예측(point forecasting) 과 점예측에 대한 신뢰구간을 구하는 구간예측(interval forecasting)이 있음 -구간예측을 위해서는 실제치와 예측치의 차이인 예측오차의 분산을
알아야 함
-일반적으로 개별예측에서 점예측치 및 예측구간대를 구함
-𝑌𝑖 = 𝛽0 + 𝛽1𝑋𝑖 + 𝑢𝑖에서 독립변수 𝑋𝑖 = 𝑋0일 때 평균예측과 개별예측은 각각 다음과 같음
(평균예측) 𝐸(𝑌0|𝑋0) = 𝛽0 + 𝛽1𝑋0 (개별예측) 𝑌0 = 𝛽0 + 𝛽1𝑋0 + 𝑢0
-평균예측과 개별예측의 점 예측치(이는 추정량이 됨)는 모두 동일하며 다음 과 같음
(점예측치) 𝑌0 = 𝛽0 + 𝛽1𝑋0
-예측오차는 평균예측(또는 개별예측)과 점 예측치(추정량)의 차이 이므로 각각 다음과 같음
(평균예측오차) 𝐸(𝑌0 𝑋0 − 𝑌0 = 𝛽0 + 𝛽1𝑋0-( 𝛽0 + 𝛽1𝑋0) = ( 𝛽0 − 𝛽0) + (𝛽1 − 𝛽1)𝑋0 (개별예측오차) 𝑌0 − 𝑌0 = 𝛽0 + 𝛽1𝑋0 + 𝑢0-( 𝛽0 + 𝛽1𝑋0) = ( 𝛽0 − 𝛽0) + (𝛽1 − 𝛽1)𝑋0+𝑢0
-따라서 예측오차의 분산은 각각 다음과 같음
(평균예측오차분산) var((𝐸(𝑌0 𝑋0 − 𝑌0) (개별예측오차) var(𝑌0 − 𝑌0)
28
(예측오차 분산에 대한 해석)
①표본의 크기(n)가 커질수록 예측오차의 분산이 작아진다. 즉, 관측자료가 많을수록 좋은 예측을 할 수 있다
②교란항의 분산이 커질수록 예측오차의 분산이 커진다. 즉, 원래 회귀모형 에서 불확실성이 커서 교란항의 분산이 크면 예측이 어려울 수밖에 없다
③독립변수의 표본평균으로부터 멀어질수록 예측오차도 커진다. 즉, 예측에 주어진 독립변수의 값이 평균으로부터 멀어질수록 표본회귀함수의
예측력은 크게 감소한다
30
𝛽0 𝛽1
32
8.회귀모형의 응용
(1)회귀함수 형태의 선택기준
①경제이론에 근거한 함수형태를 선택
-생산함수의 경우 →경제이론에 근거하여 Cobb-Douglas 생산함수를 선택
②가능한 한 간단한 함수형태를 선택
-모형의 설명력에 큰 차이가 없다면 경제학의 효율성 원칙에 따라 간단한
함수형태를 선택하는데 이를 간결성원칙(parsimonious principle)이라고 함
③예측력이 좋은 함수형태를 선택
-간결한 모형이 좋기는 하지만 모형의 현실 설명력 즉 예측력이 떨어진다면 모형의 유용성이 크게 떨어질 수밖에 없음
34
(2)회귀모형의 응용
①선형(linear)함수 모형
②전대수(double log)함수 모형
③쌍곡선(reciprocal)함수 모형
𝑑(𝑙𝑛𝑦)
𝑑(𝑙𝑛𝑥) = 𝑑𝑦 𝑑𝑥
𝑥
𝑦 = 𝜀𝑦 𝑥 = 𝛽1(경제수학입문(비봉출판사,1985) p.350, pp.362-363 참조)
36
④반로그(semi-log)함수 모형
38
9.최우추정법
40
10.최소절대편차추정법
42
(참고) 추정량 비교(OLS vs. LAD vs. MLE)
OLS
LAD
MLE
