결정계수는 전변동에 대한 회귀변동의 비율이라는 정의에 따라 다음과 같이 나타 낼 수 있다.
전변동
회귀변동
앞의 (예제 2-1)에서 결정계수를 구해 보면,
이 된다.
5. 가설검정
가설검정이란 모수에 대한 특정한 가설을 세워 놓고 표본에서 계산된 통계량을 기초로 하여 이 가설의 채택여부를 판단하는 것을 말한다. 가설은 경제이론 또는 경험적으로 도출될 수 있으며 귀무가설과 대립가설이 있다. 귀무가설()은 모집단 의 모수가 어느 주어진 값과 같다는 가설이고 대립가설()은 귀무가설에 대한 대 안이다.
회귀분석에서 회귀계수에 대한 추정도 중요하지만 추정된 회귀계수에 대한 유의 성 검정도 매우 중요하다. 회귀모형의 설정에서 어떤 변수를 독립변수로 할 것인 지에 대한 고민은 경제이론에서 출발한다. 이론적으로 종속변수에 영향을 주는 변수 를 독립변수로 선정해야 하는데 이를 독립변수의 경제적 유의성(economical significance)이라고 한다. 예를 들어 소비를 설명하는 단순회귀모형을 만든다고 할 때 여러 가지 변수들이 소비에 영향을 줄 수 있지만 소비이론에 따라 소득이 소비 에 영향을 주는 가장 중요한 변수로 선정한다.
그러나 경제이론에 따라 선정된 즉, 경제적 유의성을 가진 독립변수가 현실 경제
에 있어서도 종속변수에 반드시 영향을 주는 것은 아니다. 실증분석 결과 실제로도 독립변수가 종속변수에 영향을 주는 것을 독립변수의 통계적 유의성(statistical significance)이라고 한다. 즉, 이론과 현실이 일치할 때는 종속변수를 설명함에 있 어 독립변수가 경제적으로 그리고 통계적으로 유의한(의미 있는) 변수가 되지만 이 론과 현실이 일치하지 않을 때는 종속변수를 설명함에 있어 독립변수가 경제적으로 는 유의한 변수가 되지만 통계적으로는 유의한 변수가 되지 못한다. 예를 들어 소 비이론에 따를 경우 소비에 가장 중요한 변수는 소득이지만 현실에서는 소득이 소 비에 영향을 주는 변수가 되지 못할 수도 있다.
따라서 독립변수의 통계적 유의성을 살펴보는 것은 매우 중요하고 의미 있는 작 업인데 회귀계수가 독립변수와 종속변수의 관계를 나타내므로 회귀계수에 대한 검 정을 통해 이 문제를 해결할 수 있다.
회귀계수에 대한 가설검정은 주어진 회귀모형으로부터 회귀계수에 대한 귀무가설 을 설정한 후 유의성 검정을 한다. 귀무가설은 다양하게 설정할 수 있지만 일반적 으로 회귀계수의 값이 0이라는 귀무가설을 설정하는데 이는 독립변수가 종속변수에 영향을 주지 못한다는 것이다.
(회귀모형)
(가설) ≠ ≠
앞에서 회귀계수 및 회귀계수의 분산에 대한 추정을 통해 회귀계수가 각각 다음 의 분포에 따름을 알 수 있었다.
～
～
따라서 회귀계수에 대한 다음의 t-통계량은 (n-2)의 자유도를 갖는 t-분포를 따 른다.
먼저 홍보비 지출액이 연간매출액에 영향을 주지 않는다는 가설을 검정하기 위하 여 다음과 같은 귀무가설 및 대립가설을 설정한다.
≠
t-통계량을 계산해 보면 다음과 같이 3.655가 계산이 된다.
다음으로 5% 유의수준( )에서 자유도가 3일 때 임계값은 3.182 즉,
이다. 위에서 계산한 t-통계량의 값 3.655는 임계값 3.182보다 크므
로 5% 유의수준 하에서 귀무가설을 기각한다. 따라서 홍보비 지출액은 연간매출액 에 영향을 준다고 해석하고 는 통계적으로 유의하다(statistically significant)라고 한다.
한편, 에 대한 95% 신뢰구간은 다음과 같이 계산된다.
±
±
이와 같이 계산된 신뢰구간의 의미는 여러 표본을 이용하여 에 대한 추정을 계 속하여 반복하면 의 추정치 즉, 들 중 95%가 0.181과 2.618 사이에 놓이게 된 다는 것이다. 이라는 귀무가설의 값이 에 대한 95% 신뢰구간에 포함되지 않으므로 5% 유의수준에서 귀무가설을 기각한다.
6. 예측
모형설정→모형추정→가설검정→예측이라는 단순회귀분석의 절차에 따라 주어진 독립변수의 값에 대한 종속변수의 값을 구하는 예측(forecasting, prediction)을 살 펴보기로 하자. 일반적으로 예측에는 주어진 X에 대해 하나의 Y 값을 구하는 점예 측(point forecasting)과 점예측에 대한 신뢰구간을 구하는 구간예측(interval forecasting)이 있다.
회귀분석의 예측에는 독립변수의 값이 주어졌을 때 모집단회귀선 위의 한 점 ( ∣)을 예측하는 평균예측(mean prediction)과 주어진 독립변수의 값에 대 응하는 개별 Y의 값()을 예측하는 개별예측(individual prediction)이 있다. 따라 서 평균예측과 개별예측에서 각각의 점예측치 및 예측구간을 구할 수 있다.