정보이론
2장
랜덤 변수
(The Random Variable)
개요
랜덤변수의 개념
분포 함수 (Distribution Function)
밀도 함수 (Density Function)
가우시안 랜덤변수 (The Gaussian Random Variable)
다른 분포와 밀도의 예
Chapter 2. The Random Variable 3
2.1 랜덤변수의 개념
원소 s를 갖는 표본 공간 S 로 정의된 실험이 주어질 때, 어떠한 규칙에 따
라 모든 s에 실수값
(real number)
를 지정한다
X: 표본 공간의 모든 원소를 실선 상의 어떤 점들 또는 어떤 부분의 점들로 사상 (mapping)하는 함수 이러한X 를 랜덤 변수로 정의함( ),
x
X s
x
x
( )
x
x
( ( ))
( )
XP
X s
P s
2.1 랜덤변수의 개념
예제 2.1-1
: 주사위 던지기와 동전 던지기
표본 공간: S={(T, 1), (T, 2), (T, 3), (T, 4), (T, 5), (T, 6), (H, 1), (H, 2), (H, 3), (H, 4), (H, 5), (H, 6)} 다음을 만족하는 함수X를 랜덤 변수로 정의 동전 앞면 (H) 결과 주사위에서 나오는 수의 양수값 동전 뒷면 (T) 결과 주사위에서 나오는 수의 2배에 해당하는 음수값 : { 12, 10, 8, 6, 4, 2, 1, 2, 3, 4, 5, 6} X S Chapter 2. The Random Variable 5
예제 2.1-2
: 회전판에서 바늘이 회전하는 실험
가능한 결과는 회전판에 표시된 0부터 12까지의 숫자 표본 공간: S= {0 < s 12} 랜덤 변수를 함수 로 정의 S에 있는 점들은 집합{0 < x 144}에 해당하는 실선에 대응된다 2 ) (s s X X 2.1 랜덤변수의 개념
랜덤변수가 되기 위한 함수의 조건
S의 모든 점들은 반드시 랜덤 변수가 가질 수 있는 값 중단 하나 (only one) 의 값에만 대응되어야 한다 임의의 실수x 에 대해 집합{Xx}는 하나의사건이 되어야 한다 이 사건의 확률P{Xx}는 {Xx}에 대응되는 모든 기본 사건들(elementary events )의 확률의 합과 같다 사건 {X=} 와 {X=-}의 확률은 0이어야 한다: 이산 및 연속 랜덤변수 이산 랜덤변수 (discrete random variable): 이산적인 값만 가짐
예제 2.1-1: 이산 표본 공간에서 정의된 이산 랜덤변수 예제 2.1-2: 0<s6일 때X(s) = –1; 6<s12일 때X(s) = 1라면, X는 연속 표본 공 간에서 정의된 이산 랜덤변수 연속 랜덤변수 (continuous r.v.): 연속적인 값의 범위를 가짐 예제 2.1-2: 연속 표본 공간에서 정의된 연속 랜덤변수 혼합 랜덤변수 (mixed r.v.): 일부의 값들은 이산적이고, 또 다른 값들은 연속적인 것 { } { } 0 P X P X
2.1 랜덤변수의 개념
Chapter 2. The Random Variable 7
2.2 분포 함수
누적 확률 분포 함수 (Cumulative Probability Distribution Function)
사건 {Xx}의 확률
x 의 함수
X 의 Cumulative Distribution Function (CDF) 또는 분포 함수 (Distribution
function) 성질
( )
{
},
XF
x
P X
x
x
1 2 1 2 1 2 2 1 (1) ( ) 0 (2) ( ) 1 (3) 0 ( ) 1 (4) ( ) ( ), if : non-decreasing (5) { } ( ) ( )(6) ( ) ( ) : continuous from the right side X X X X X X X X X F F F x F x F x x x P x X x F x F x F x F x
이산 랜덤변수의 분포 함수
X가 이산 랜덤변수일 때, FX(x)는계단형 (stair-step) 계단의 높이: 계단이 생기는X값의 발생 확률 X값을xi라고 하면u(·)은 단위 계단 함수 (unit step function)
로 정의하면
N i i i X x PX x ux x F 1 ) ( } { ) ( ( ) 1 if 0; 0 if 0 u x x x } { ) (xi PX xi P 1 1 ( ) { } ( ) ( ) ( ) N X i i i N i i i F x P X x u x x P x u x x
2.2 분포 함수
Chapter 2. The Random Variable 9
예제 2.2-1
: 이산 랜덤변수의 분포 함수
X: 집합 {-1, -0.5, 0.7, 1.5, 3}에 있는 값을 갖는 이산 랜덤변수 해당 확률은 {0.1, 0.2, 0.1, 0.4, 0.2} X의 분포 함수와 밀도 함수의 그래프2.2 분포 함수
예제 2.2-2
: 균일한 회전판 돌리기
2.2 분포 함수
2 ( ) X s s 2 ( ) ( ) ( ) , 0 144 12 ( ) X P X x P s x P s x x F x x 144Chapter 2. The Random Variable 11
2.3 밀도 함수
랜덤변수 X 의
확률 밀도 함수 (Probability density function)
존재성
FX(x)가 미분 가능하면, fX(x)가 존재한다. FX(x)가 미분 가능하지 않다면 연속 랜덤변수의 경우 FX(x)가 모서리(corner)를 가짐 경사가 급격히 변하는 점들 fX(x)는 계단형 불연속점을 갖는 함수가 된다 이산 랜덤변수의 경우 FX(x)가 계단형임: 단위 임펄스 함수 (unit-impulse function) (t)을 사용한다dx
x
dF
x
f
X(
)
X(
)
1 ( ) ( ) ( ) ( ) where ( ) N X i i i du t f x P x x x t dt
1 ( ) ( ) ( ) N X i i i F x P x u x x
2.3 밀도 함수
단위 임펄스 함수 (t)
적분 성질로부터 정의 (x)를 임의의 연속 함수라고 하면, x= x0인 점에서(x0)는 다음과 같이 나타낼 수 있다 (t)는 진폭(amplitude)이 무한대이고, 폭이 0이며, 면적이 1인 함수로 해 석될 수 있다 단위 임펄수 함수와 단위 계단 함수의 관계 일반적으로 점x = x0 에서 그 임펄스 함수가 미분값 이 되는 계단 함수의 진폭과 같은 크기를 갖는 수직 화살표로 표시
x x x dx x ) ( ) ( ) ( 0 0 ( ) ( )x du x or x ( )d u x( ) dx
Chapter 2. The Random Variable 13
2.3 밀도 함수
밀도 함수의 성질
성질 (1)과 (2)는 특정 함수가 유효한 밀도 함수인지 아닌지를 확인하는
시험에 이용된다
2 1 1 2 2 1 (1) ( ) 0 ( ( ) ): (2) ( ) ( ) 1: (3) ( ) ( ) (4) { } ( ) ( ) ( ) X X X X x X X x X X x X x f x F x f x dx F F x f d P x X x F x F x f x dx
모든 에 대해 는 감소하지 않음 음이 아닌 수 단위 면적2.3 밀도 함수
예제 2.3-1
: 함수 g
X(
x)가 유효한 밀도 함수인지에 대한 시험
성질 (1): 음이 아닌 수 성질 (2): 단위 면적 분포 함수GX(x) 0 0 0 0 0 2 0 0 0 2 0, or 1 ( ) ( ), 1 1 ( ), X x x x x g x x x x x x x x x x x 0 0 0 2 0 0 0 2 2 0 2 0 0 0 0 0, 1 ( ) ( ) , 2 ( ) 1 1 1 1 ( ) ( ) ( ) , 2 2 2 1, x X x X x X x x x g d x x x x x G x g d x x x x x x x x x
1 Chapter 2. The Random Variable 15
2.3 밀도 함수
예제 2.3-2
예제 2.3-1에서, x0 = 8, = 5이고a = 1/= 1/5라면 X가 4.5보다 크면서 6.7보다 작거나 같은 값을 가질 확률은 예제 분포 함수가 일 때의 랜덤변수의 밀도 함수 6.7 2 6.7 4.5 4.5 3 1 {4.5 6.7} 3 0.2288 25 25 2 x x P X dx x
2 ( ) ( ) 1 xb , 0 X F x u xe b 2 2 2 2 2 ( ) ( ) ( ) 1 ( ) 1 2 2 1 ( ) ( ) ( ) x x X b b X x x x b b b dF x du x d f x e u x e dx dx dx x x e x u x e u x e b b 0 0 0 0 0 2 0 0 0 2 0, or 0, 3 or 13 1 ( 3) ( ) ( ), , 3 8 25 1 1 ( 8) ( ), 0.2 , 8 13 25 X x x x x x x x f x x x x x x x x x x x x x x 2.4 가우시안 랜덤변수
가우시안 랜덤변수의 밀도 함수와 분포 함수
2 2 2 2 ( ) 2 2 ( ) 2 21
( )
2
1
( )
2
where
and
0
x X x X x a X X a x X X X Xf
x
e
F
x
e
d
a
No closed-form solution 정확한 정적분의 해를 갖지 않음Chapter 2. The Random Variable 17
2.4 가우시안 랜덤변수
가우시안 랜덤변수에 대한 수치적 혹은 근사적 방법
표 를 매개변수로 하는 표 정규화된 에 대한 하나의 표 인 경우 F(x)는x 0에 대해서 부록 B에 표로 만들어져 있다 음이 아닌 수x에 대해서는 의 관계식을 이용한다 FX(x)에서 를 정의하면, X X,a X X,a 0 , 1 X X a 2 2 ( ) 2 2 1 ( ) 2 x X a x X X F x e d
) ( 1 ) ( x F x F 2 2 1 2 2 1 1 ( ) 2 2 X X X X a x a u x X X F x e d e du
2 2 1 ( ) 2 x F x e d
. X X a u ( ) X X X x a F x F 2.4 가우시안 랜덤변수
예제 2.4-1
aX= 3이고X= 2인 가우시안 랜덤변수에 대해, 사건 {X 5.5}의 확률을 구 한다 예제 2.4-2
어느 위치에서 구름의 높이는aX= 1830m이고X= 460m인 가우시안 랜덤 변수라고 가정 구름의 높이가 2750m보다 높을 확률을 구한다 { 5.5} (5.5) ( ) 5.5 3 { 5.5} (5.5) (1.25) 0.8944 1.25 2 X X X X X X X P X F x a F x F a P X F F u { 2750} 1 { 2750} 1 (2750) 2750 1830 1 1 (2.0) 460 1.0 0.9772 0.0228 X P X P X F F F Chapter 2. The Random Variable 19
2.4 가우시안 랜덤변수
함수 F(x)의 근사식
예제 2.4-3
aX= 7이고X= 0.5인 가우시안 랜덤변수에 대해, 사건 {X 7.3}의 확률을 구한다 2 2 1 ( ) 1 ( ) ( ) 2 x F x Q x Q x e d 여기서
2 2 2 2 2 1 ( ) 2 1 , 0 2 (1 ) x x Q x e d e x a x a x b
2 (0.6) / 2 2 7.3 7 { 7.3} (7.3) 0.5 (0.6) 1 (0.6) 1 1 2 0.661(0.6) 0.339 (0.6) 5.51 0.7257 X P X F F F Q e 2 2 1 ( ) 2 x F x e d
2.5 다른 분포와 밀도의 예
이항 (Binomial) 분포
밀도 함수 및 분포 함수 베르누이 시행 실험에 적용됨 N = 6이고p = 0.25일 때
N k k N k X p p x k k N x f 0 ) ( ) 1 ( ) (
N k k N k X p p ux k k N x F 0 ) ( ) 1 ( ) ( 0p1 and N1, 2,
! ! ! N N k k N k : 이항 계수Chapter 2. The Random Variable 21
포아송 (Poisson) 분포
밀도 함수 및 분포 함수 이항 랜덤변수와 매우 유사함 이항 랜덤변수에서N 이고p 0이면서Np = b (상수)이면 포아송 분포임 응용 생산라인에서 취한 표본에서 결함이 있는 제품의 수 일정한 주기 동안 발생한 전화 통화 수 주어진 시간 동안에 캐소드 (cathode)의 일부분에서 방출된 전자의 수 관찰 시간 구간이T이고, 세고자 하는 사건이 평균적으로 발생하는 비율이이 면서 포아송 분포를 가지면, b = T 0 ( , real constant) b 상수
0 0 ) ( ! ) ( ) ( ! ) ( k k b X k k b X k x u k b e x F k x k b e x f2.5 다른 분포와 밀도의 예
2.5 다른 분포와 밀도의 예
포아송 (Poisson) 분포
Chapter 2. The Random Variable 23
예제 2.5-1
자동차가 주유소에 도착하는 것이 포아송 분포를 따른다고 가정 평균 도착률= 50/hour; 단 하나의 주유기만 있음 주유에 필요한 시간 = 1 minute 주유기에 줄을 서서 기다릴 확률은? 임의의 1분 간격 내에 두 대 이상의 차가 도착한다면 줄을 서야 함 = 50/(60 min) T= 1 min b= T= 5/6 Pr{waiting} = 1-Pr{1분 구간 내에 한 대만 도착하거나 한 대도 도착하지 않는 사건}
5 6 1 (1) 1 (0) (1) 5 1 1 0.2032 6 X X X F f f e 2.5 다른 분포와 밀도의 예
2.5 다른 분포와 밀도의 예
예
전화 교환기에 전화 연결 요구가 들어오는 평균 비율은 1초당번이다. 임의 의 주기 동안 전화 연결 요구는 포아송 분포를 따른다. t초 동안 단 한번의 전화 연결 요구도 없을 확률 t초 동안 n번 이상의 전화 연결 요구가 있을 확률 0 ( ) { 0} 0! t t t P N e e 1 0 ( ) { } 1 { } 1 ! k n t k t P N n P N n e k
Chapter 2. The Random Variable 25
균일 (Uniform) 분포
밀도 함수 및 분포 함수 응용 디지털 통신 시스템에서 부호화하기 전에 신호의 샘플을 양자화하는 경우 양자화 오류: 실제 샘플값을 일정한 큰 수의 이산적 양자 레벨에 가까운 값으로 반올림하면서 발생하는 오차 다른 랜덤변수를 유도하는 근원 1 ( ) ( ) and 0 0 ( ) 1 X X a x b b a f x a b a x a x a F x a x b b a b x 그 외의 경우2.5 다른 분포와 밀도의 예
레일리히 (Rayleigh) 분포
밀도 함수와 분포 함수 응용 기지국 (base station)의 무선 통신 신호가 이동국 (mobile station)에 도달할 때의 크기 변화 (amplitude) Rayleigh fading2 2 ( ) ( ) 2 ( ) ( ) and 0 1 ( ) 0 x a b X x a b X x a e x a f x b a b a x a e x a F x x a
2.5 다른 분포와 밀도의 예
Chapter 2. The Random Variable 27
지수 (Exponential) 분포
밀도 함수 및 분포 함수 응용 많은 수의 폭풍우 측정을 할 때 빗방울 크기 항공기로부터 레이더에 수신되는 신호 세기의 변동 기지국에서 이동국으로 수신되는 신호 세기의 변동 ( ) ( ) 1 ( ) and 0 1 1 ( ) 0 x a b X x a b X e x a f x b a b a x a e x a F x b x a 2.5 다른 분포와 밀도의 예
예제 2.5-2
복잡한 모양의 항공기로부터 반사되어 레이더에 수신되는 전력P가 평균 수 진 전력이P0인 지수 분포를 따를 때 어느 주어진 시간에P 는 평균값P0 와 다른 값을 가질 수 있다 수신 전력이 평균 수신 전력P0보다 클 확률은? 0 ( ) 0 1 1 0 ( ) ( ) 0 0 0 p x a P b X P e p e x a f x b f p P x a p 368 . 0 ) 1 ( 1 ) ( 1 } { 1 } { 1 0 0 0 0 0 e e P F P P P P P P P P P2.5 다른 분포와 밀도의 예
1 10 0 0 1 { 10} P( 10) 1 0.0952 P P P F P e Chapter 2. The Random Variable 29
2.6 조건 분포 함수 및 조건 밀도 함수
조건 확률의 개념
P(B) 0인 두 사건A와B에 대해, B가 주어졌을 때A의 조건 확률은 조건 분포 함수
A: 랜덤변수X에 대한 사건 {X x}로 정의 X 의 조건 분포 함수 = 결합 사건 이 결합 사건은 가 되는 모든 결과s로 이루어진다 조건 분포는 이산, 연속 또는 혼합 랜덤변수에 적용된다 ) ( ) ( ) | ( B P B A P B A P ) | ( ) ( } { } | { F x B B P B x X P B x X P X } {XxB {X }x B ( ) and X s x sB2.6 조건 분포 함수 및 조건 밀도 함수
조건 분포 함수의 성질
1 2 1 2 1 2 2 1 (1) ( | ) 0 (2) ( | ) 1 (3) 0 ( | ) 1 (4) ( | ) ( | ) (5) { | } ( | ) ( | ) (6) ( | ) ( | ) X X X X X X X X X F B F B F x B F x B F x B if x x P x X x B F x B F x B F x B F x B Chapter 2. The Random Variable 31
2.6 조건 분포 함수 및 조건 밀도 함수
조건 밀도 함수
랜덤변수X의 조건 밀도 함수 조건 분포 함수의 미분 FX(x|B)가 계단 불연속점들을 포함하고 있다면, 그 불연속점에서의 미분을 나타내 기 위해 임펄스 함수가fX(x|B)에 존재한다 조건 밀도 함수의 성질 dx B x dF B x f X X ) | ( ) | ( 2 1 1 2 (1) 0 ( | ) for all (2) ( | ) 1 (3) ( | ) ( | ) (4) { | } ( | ) X X x X X x X x f x B x f x B dx F x B f B d P x X x B f x B dx
2.6 조건 분포 함수 및 조건 밀도 함수
예제 2.6-1
두 상자 속에 빨간색, 초록색, 파란색의 공이 들어 있다 실험: 우선 상자 하나를 선택하고, 그 다음 선택된 상자에서 공을 꺼내는 것 정의 및 가정 사건B2: 더 큰 상자 (box 2)를 선택하는 것, P(B2) = 8/10 사건B1: 더 작은 상자 (box 1)를 선택하는 것, P(B1) = 2/10 이산 랜덤변수X는 빨간공, 초록공, 파란공이 선택될 때 각각x1= 1, x2= 2, x3= 3의 값을 갖는다 Boxxi Ball color 1 2 Totals
1 Red 5 80 85
2 Green 35 60 95
3 Blue 60 10 70
Chapter 2. The Random Variable 33
2.6 조건 분포 함수 및 조건 밀도 함수
예제 2.6-1 (계속)
조건 확률
B1에 대한 조건 밀도 함수
전체 확률 이론 (total probability theory)를 통한P(X=1), P(X=2), P(X=3)의
계산 1 2 1 2 1 5 80 100 150 35 60 100 150 60 10 100 2 150 ( 1| ) ( 1| ) ( 2 | ) ( 2 | ) ( 3 | ) ( 3 | ) P X B B P X B B P X B B P X B B P X B B P X B B 5 35 60 100 100 100 5 35 60 100 10 100 1 1 0 ( 1) ( 2 ( | ) ( | ) ( 3) ( 1) ( 2) ( 3) ) X X f x B F x x x u u u u u x B u 1 1 2 2 5 2 80 8 100 10 150 10 1 1 2 2 35 2 60 8 100 10 150 10 1 1 2 2 60 2 10 8 100 10 150 10 ( 1| ) ( ) ( 1| ) ( ) 0.437 ( 2 | ) ( ) ( 2 | ) ( 1) ( 2) ( 3 ( ) 0.390 ( 3 | ) ( ) ( 3 | ) ( ) 0. 73 ) 1 P X B P B P X B P B P X B P B P X B P B P X B P X P X P X P B P X B P B
2.6 조건 분포 함수 및 조건 밀도 함수
예제 2.6-1 (계속)
X의 밀도 함수 및 분포 함수 FX(x|B1), fX(x|B1), FX(x) 와fX(x)의 그래프 0.437 ( 1) 0.390 ( 2) 0.173 ( 3) 0.437 ( 1) 0.390 ( 2) 0.173 ( 3 ( ) ( ) ) X X f x F x x x u x u x u x x Chapter 2. The Random Variable 35
연습문제
연습문제 1
: 라플라스 분포
음성 파형의 크기에 대한 샘플의 밀도 함수가 의 비율을 가지고 지수적으로 감소하기 때문에, 다음의 밀도 함수가 사용된다 상수c의 계산 확률P{|X|<v}의 계산 | | ( ) x, X f x ce x | | 0 2 1 2 2 x x c ce dx ce dx c
| | 0 {| | } 2 2 2 1 v x v x v v P X v e dx e dx e
연습문제
연습문제 2
: 이항 분포와 포아송 분포
통신 시스템에서의 비트 오류 확률은 10-3이다. 1000개의 비트 중에 5개 이상 의 오류가 발생할 확률을 구하라 각 비트의 전송은 베르누이 시행을 따른다 1000개의 비트 전송에서k개의 오류가 발생할 확률: N = 1000이고p= 10-3 인 이항 분포 이항 분포에 대한 포아송 근사: b= Np= 100010-3 = 1 0 4 1 1 0 [ 5] 1 [ 5] 1 (4) 1 (4 ) ! 1 1 1 1 1 1 1 ! 1! 2! 3! 4! k b X k k k b P X P X F e u k k b e e k
0 1000 999 2 998 3 997 4 996 [ 5] 1 [ 5] 1 (4) 1 (1 ) (4 ) 1000 1000 1000 1000 1000 1 (1 ) (1 ) (1 ) (1 ) (1 ) 0 1 2 3 4 N k N k X k N P X P X F p p u k k p p p p p p p p p Chapter 2. The Random Variable 37