7.6 Cramer-Rao 부등식
아래의 [정리 6]은 임의의 불편추정량이 가질 수 있는 분산의 하한(lower bound) 을 제공한다. 이 정리는 모수에 대한 완비충분통계량()이 존재하지 않는 경우 최소분산불편추정량(UMVUE)을 찾는 도구로도 이용된다.
보조정리 1 ～ 일 때
ln
이다.증명
ln
정리 6 Cramer-Rao 부등식
⋯을 로부터의 확률표본이라 하자. 에 대한 임의의 불편추 정량을
⋯
라 할 때, 적절한 조건하에서≥
′
이 성립한다. 여기서 는 Fisher의 정보량(Information Number)으로 불리며
ln
으로 정의된다. 이때, ′
을 Cramer-Rao 하한(C-R lower bound)이 라 한다.특히 인 경우에는
≥
이다.주의 가 에 의존하는 경우에는 [정리 6]이 성립되지 않는다.
증명 위 부등식은
≤ ⇔ ≤
의 관계로부터 증명된다.
즉, 통계량 를
ln
ln
이라 하면
ln
ln
⋯
⋯
′
이다. 따라서
′ ≤
ln
ln
가 이므로
이므로 위 부등식이 성립한다.
보조정리 2 Fisher의 정보량은 다음과 같은 성질을 가진다.
(i) ～ 일 때
ln
ln
ln
이다.
(ii) ⋯이 로부터의 확률표본일 때, 결합확률밀도함수에 기초한 Fisher의 정보량은
ln
이고,
의 관계가 성립한다.
증명 (i) 마지막 등호에 대한 증명은 다음과 같다.
먼저
의 양변을 에 대해 미분하면
ln
이 되고, 이를 다시 에 대해 미분하면
ln
ln
이므로
ln
가 성립한다.(ii)
ln
ln
ln
가 이므로
Remark
C-R(Cramer-Rao) 하한은 불편추정량이 가질 수 있는 분산의 최소값이므 로, C-R 하한을 분산으로 가지는 불편추정량이 있으면 그 추정량은 최소분산불편추 정량(UMVUE)이 된다.정의 11 불편추정량의 효율
⋯이 로부터의 확률표본이라 하자.
⋯
을 에 대한 불편추정량이라 할 때, 의 성능(performance)을 나타내는 효 율(efficiency)을 다음과 같이 정의한다.
여기서 ≤ 이다. 위 식의 분자는 C-R 하한을 나타낸다.
또한
lim
→ ∞
를 불편추정량 의 점근효율(asymptotic efficiency)이라 한다.
정의 12 유효추정량
모수 에 대한 불편추정량 의 분산이 C-R 하한의 값을 가질 때, 그 추정 량을 유효추정량(efficient estimator)이라 한다. 즉, 불편추정량 에 대해
(효율=1)을 만족하는 추정량을 유효추정량(efficient estimator)이 라 한다.
만약
lim
→ ∞ (점근효율=1)을 만족할 때, 를 에 대한 점근유효추 정량(asymptotically efficient estimator)이라 한다.
예제 1 ⋯이 (: 알려져 있음)으로부터의 확률표본일 때, 의 불편추정량의 분산에 대한 Cramer-Rao 하한을 구하여라.
exp
x
ln
ln
ln
으로부터
ln
이다. 따라서 C-R 하한은
이다. ■
예제 2 ⋯이 다음 분포로부터의 확률표본일 때
의 불편추정량의 분산에 대한 Cramer-Rao 하한을 구하여라.
ln ln ln
ln
ln
ln
으로부터
ln
이다. 따라서 C-R 하한은
이다. ■
예제 3 ⋯이 로부터의 확률표본일 때
의 불편추정량의 분산에 대한 Cramer-Rao 하한을 구하여라.
ln ln ln
ln
ln
으로부터
이다. 따라서 C-R 하한은
′
이다. ■
예제 4 위의 (예제3)에서 에 대한 UMVUE
의 효율과 점근효율을 구하여라.
다음 식
∞
∞
으로부터 의 효율은
이다. 따라서 점근효율은
lim
→ ∞
lim
→ ∞
이다. ■
7.6
연습문제
1
⋯을 로부터의 확률표본이라 할 때
≥
에 대한 C-R 하한이
으로 주어짐을 보여라.
2
⋯이 ℰ로부터의 확률표본일 때
에 대한 C-R 하한을 구하여라.
