• 검색 결과가 없습니다.

[정보이론]02 랜덤변수

N/A
N/A
Protected

Academic year: 2021

Share "[정보이론]02 랜덤변수"

Copied!
19
0
0

로드 중.... (전체 텍스트 보기)

전체 글

(1)

정보이론

2장

랜덤 변수

(The Random Variable)

개요

랜덤변수의 개념

분포 함수 (Distribution Function)

밀도 함수 (Density Function)

가우시안 랜덤변수 (The Gaussian Random Variable)

다른 분포와 밀도의 예

(2)

Chapter 2. The Random Variable 3

2.1 랜덤변수의 개념

원소 s를 갖는 표본 공간 S 로 정의된 실험이 주어질 때, 어떠한 규칙에 따

라 모든 s에 실수값

(real number)

를 지정한다

X: 표본 공간의 모든 원소를 실선 상의 어떤 점들 또는 어떤 부분의 점들로 사상 (mapping)하는 함수  이러한X 를 랜덤 변수로 정의함

( ),

x

X s

x

 

x

( )

x

x

( ( ))

( )

X

P

X s

P s

2.1 랜덤변수의 개념

예제 2.1-1

: 주사위 던지기와 동전 던지기

 표본 공간: S={(T, 1), (T, 2), (T, 3), (T, 4), (T, 5), (T, 6), (H, 1), (H, 2), (H, 3), (H, 4), (H, 5), (H, 6)}  다음을 만족하는 함수X를 랜덤 변수로 정의  동전 앞면 (H) 결과  주사위에서 나오는 수의 양수값  동전 뒷면 (T) 결과  주사위에서 나오는 수의 2배에 해당하는 음수값 : { 12, 10, 8, 6, 4, 2, 1, 2, 3, 4, 5, 6} X S       

(3)

Chapter 2. The Random Variable 5 

예제 2.1-2

: 회전판에서 바늘이 회전하는 실험

 가능한 결과는 회전판에 표시된 0부터 12까지의 숫자  표본 공간: S= {0 < s 12}  랜덤 변수를 함수 로 정의  S에 있는 점들은 집합{0 < x 144}에 해당하는 실선에 대응된다 2 ) (s s X X  

2.1 랜덤변수의 개념

랜덤변수가 되기 위한 함수의 조건

S의 모든 점들은 반드시 랜덤 변수가 가질 수 있는 값 중단 하나 (only one) 의 값에만 대응되어야 한다  임의의 실수x 에 대해 집합{Xx}는 하나의사건이 되어야 한다  이 사건의 확률P{Xx}는 {Xx}에 대응되는 모든 기본 사건들(elementary events )의 확률의 합과 같다  사건 {X=} 와 {X=-}의 확률은 0이어야 한다:  이산 및 연속 랜덤변수

 이산 랜덤변수 (discrete random variable): 이산적인 값만 가짐

 예제 2.1-1: 이산 표본 공간에서 정의된 이산 랜덤변수  예제 2.1-2: 0<s6일 때X(s) = –1; 6<s12일 때X(s) = 1라면, X는 연속 표본 공 간에서 정의된 이산 랜덤변수  연속 랜덤변수 (continuous r.v.): 연속적인 값의 범위를 가짐  예제 2.1-2: 연속 표본 공간에서 정의된 연속 랜덤변수  혼합 랜덤변수 (mixed r.v.): 일부의 값들은 이산적이고, 또 다른 값들은 연속적인 것 { } { } 0 P X  P X  

2.1 랜덤변수의 개념

(4)

Chapter 2. The Random Variable 7

2.2 분포 함수

누적 확률 분포 함수 (Cumulative Probability Distribution Function)

 사건 {Xx}의 확률

x 의 함수

X 의 Cumulative Distribution Function (CDF) 또는 분포 함수 (Distribution

function)  성질

( )

{

},

X

F

x

P X

x

x

 

1 2 1 2 1 2 2 1 (1) ( ) 0 (2) ( ) 1 (3) 0 ( ) 1 (4) ( ) ( ), if : non-decreasing (5) { } ( ) ( )

(6) ( ) ( ) : continuous from the right side X X X X X X X X X F F F x F x F x x x P x X x F x F x F xF x              

이산 랜덤변수의 분포 함수

X가 이산 랜덤변수일 때, FX(x)는계단형 (stair-step)  계단의 높이: 계단이 생기는X값의 발생 확률  X값을xi라고 하면

u(·)은 단위 계단 함수 (unit step function)

 로 정의하면

    N i i i X x PX x ux x F 1 ) ( } { ) ( ( ) 1 if 0; 0 if 0 u xxx } { ) (xi PX xi P   1 1 ( ) { } ( ) ( ) ( ) N X i i i N i i i F x P X x u x x P x u x x       

2.2 분포 함수

(5)

Chapter 2. The Random Variable 9 

예제 2.2-1

: 이산 랜덤변수의 분포 함수

X: 집합 {-1, -0.5, 0.7, 1.5, 3}에 있는 값을 갖는 이산 랜덤변수  해당 확률은 {0.1, 0.2, 0.1, 0.4, 0.2}  X의 분포 함수와 밀도 함수의 그래프

2.2 분포 함수

예제 2.2-2

: 균일한 회전판 돌리기

2.2 분포 함수

2 ( ) X ss 2 ( ) ( ) ( ) , 0 144 12 ( ) X P X x P s x P s x x F x x          144

(6)

Chapter 2. The Random Variable 11

2.3 밀도 함수

랜덤변수 X 의

확률 밀도 함수 (Probability density function)

존재성

FX(x)가 미분 가능하면, fX(x)가 존재한다.  FX(x)가 미분 가능하지 않다면  연속 랜덤변수의 경우  FX(x)가 모서리(corner)를 가짐  경사가 급격히 변하는 점들fX(x)는 계단형 불연속점을 갖는 함수가 된다  이산 랜덤변수의 경우  FX(x)가 계단형임: 단위 임펄스 함수 (unit-impulse function) (t)을 사용한다

dx

x

dF

x

f

X

(

)

X

(

)

1 ( ) ( ) ( ) ( ) where ( ) N X i i i du t f x P x x x t dt  

 1 ( ) ( ) ( ) N X i i i F x P x u x x  

2.3 밀도 함수

단위 임펄스 함수 (t)

 적분 성질로부터 정의  (x)를 임의의 연속 함수라고 하면, x= x0인 점에서(x0)는 다음과 같이 나타낼 수 있다  (t)는 진폭(amplitude)이 무한대이고, 폭이 0이며, 면적이 1인 함수로 해 석될 수 있다  단위 임펄수 함수와 단위 계단 함수의 관계  일반적으로 점x = x0 에서 그 임펄스 함수가 미분값 이 되는 계단 함수의 진폭과 같은 크기를 갖는 수직 화살표로 표시

   x x x dx x ) ( ) ( ) ( 0 0 ( ) ( )x du x or x ( )d u x( ) dx    

(7)

Chapter 2. The Random Variable 13

2.3 밀도 함수

밀도 함수의 성질

성질 (1)과 (2)는 특정 함수가 유효한 밀도 함수인지 아닌지를 확인하는

시험에 이용된다

2 1 1 2 2 1 (1) ( ) 0 ( ( ) ): (2) ( ) ( ) 1: (3) ( ) ( ) (4) { } ( ) ( ) ( ) X X X X x X X x X X x X x f x F x f x dx F F x f d P x X x F x F x f x dx             

 모든 에 대해 는 감소하지 않음 음이 아닌 수 단위 면적

2.3 밀도 함수

예제 2.3-1

: 함수 g

X

(

x)가 유효한 밀도 함수인지에 대한 시험

 성질 (1): 음이 아닌 수  성질 (2): 단위 면적  분포 함수GX(x) 0 0 0 0 0 2 0 0 0 2 0, or 1 ( ) ( ), 1 1 ( ), X x x x x g x x x x x x x x x x x                        0 0 0 2 0 0 0 2 2 0 2 0 0 0 0 0, 1 ( ) ( ) , 2 ( ) 1 1 1 1 ( ) ( ) ( ) , 2 2 2 1, x X x X x X x x x g d x x x x x G x g d x x x x x x x x x                           

1

(8)

Chapter 2. The Random Variable 15

2.3 밀도 함수

예제 2.3-2

 예제 2.3-1에서, x0 = 8, = 5이고a = 1/= 1/5라면  X가 4.5보다 크면서 6.7보다 작거나 같은 값을 가질 확률은  예제  분포 함수가 일 때의 랜덤변수의 밀도 함수 6.7 2 6.7 4.5 4.5 3 1 {4.5 6.7} 3 0.2288 25 25 2 x x PX   dx x   

2 ( ) ( ) 1 xb , 0 X F xu xe  b   2 2 2 2 2 ( ) ( ) ( ) 1 ( ) 1 2 2 1 ( ) ( ) ( ) x x X b b X x x x b b b dF x du x d f x e u x e dx dx dx x x e x u x e u x e b b                                 0 0 0 0 0 2 0 0 0 2 0, or 0, 3 or 13 1 ( 3) ( ) ( ), , 3 8 25 1 1 ( 8) ( ), 0.2 , 8 13 25 X x x x x x x x f x x x x x x x x x x x x x x                                         

2.4 가우시안 랜덤변수

가우시안 랜덤변수의 밀도 함수와 분포 함수

2 2 2 2 ( ) 2 2 ( ) 2 2

1

( )

2

1

( )

2

where

and

0

x X x X x a X X a x X X X X

f

x

e

F

x

e

d

a





    

  

 

No closed-form solution 정확한 정적분의 해를 갖지 않음

(9)

Chapter 2. The Random Variable 17

2.4 가우시안 랜덤변수

가우시안 랜덤변수에 대한 수치적 혹은 근사적 방법

 표  를 매개변수로 하는 표  정규화된 에 대한 하나의 표  인 경우  F(x)는x 0에 대해서 부록 B에 표로 만들어져 있다  음이 아닌 수x에 대해서는 의 관계식을 이용한다  FX(x)에서 를 정의하면, X X,a X X,a 0 , 1   X X a 2 2 ( ) 2 2 1 ( ) 2 x X a x X X F x e d     

 ) ( 1 ) ( x F x F   2 2 1 2 2 1 1 ( ) 2 2 X X X X a x a u x X X F x e d e du             

2 2 1 ( ) 2 x F x e d   

. X X a u   ( ) X X X x a F x F      

2.4 가우시안 랜덤변수

예제 2.4-1

aX= 3이고X= 2인 가우시안 랜덤변수에 대해, 사건 {X  5.5}의 확률을 구 한다 

예제 2.4-2

 어느 위치에서 구름의 높이는aX= 1830m이고X= 460m인 가우시안 랜덤 변수라고 가정  구름의 높이가 2750m보다 높을 확률을 구한다 { 5.5} (5.5) ( ) 5.5 3 { 5.5} (5.5) (1.25) 0.8944 1.25 2 X X X X X X X P X F x a F x F a P X F F u                     { 2750} 1 { 2750} 1 (2750) 2750 1830 1 1 (2.0) 460 1.0 0.9772 0.0228 X P X P X F F F                  

(10)

Chapter 2. The Random Variable 19

2.4 가우시안 랜덤변수

함수 F(x)의 근사식

예제 2.4-3

aX= 7이고X= 0.5인 가우시안 랜덤변수에 대해, 사건 {X  7.3}의 확률을 구한다 2 2 1 ( ) 1 ( ) ( ) 2 x F x Q x Q x e d     여기서

2 2 2 2 2 1 ( ) 2 1 , 0 2 (1 ) x x Q x e d e x a x a x b                

2 (0.6) / 2 2 7.3 7 { 7.3} (7.3) 0.5 (0.6) 1 (0.6) 1 1 2 0.661(0.6) 0.339 (0.6) 5.51 0.7257 X P X F F F Q e                        2 2 1 ( ) 2 x F x e d   

2.5 다른 분포와 밀도의 예

이항 (Binomial) 분포

 밀도 함수 및 분포 함수  베르누이 시행 실험에 적용됨  N = 6이고p = 0.25일 때

          N k k N k X p p x k k N x f 0 ) ( ) 1 ( ) (

           N k k N k X p p ux k k N x F 0 ) ( ) 1 ( ) ( 0p1 and N1, 2,

! ! ! N N k k N k       : 이항 계수

(11)

Chapter 2. The Random Variable 21 

포아송 (Poisson) 분포

 밀도 함수 및 분포 함수  이항 랜덤변수와 매우 유사함  이항 랜덤변수에서N  이고p  0이면서Np = b (상수)이면 포아송 분포임  응용  생산라인에서 취한 표본에서 결함이 있는 제품의 수  일정한 주기 동안 발생한 전화 통화 수  주어진 시간 동안에 캐소드 (cathode)의 일부분에서 방출된 전자의 수  관찰 시간 구간이T이고, 세고자 하는 사건이 평균적으로 발생하는 비율이이 면서 포아송 분포를 가지면, b = T 0 ( , real constant) b  상수

           0 0 ) ( ! ) ( ) ( ! ) ( k k b X k k b X k x u k b e x F k x k b e x f

2.5 다른 분포와 밀도의 예

2.5 다른 분포와 밀도의 예

포아송 (Poisson) 분포

(12)

Chapter 2. The Random Variable 23 

예제 2.5-1

 자동차가 주유소에 도착하는 것이 포아송 분포를 따른다고 가정  평균 도착률= 50/hour; 단 하나의 주유기만 있음  주유에 필요한 시간 = 1 minute  주유기에 줄을 서서 기다릴 확률은?  임의의 1분 간격 내에 두 대 이상의 차가 도착한다면 줄을 서야 함  = 50/(60 min)  T= 1 min  b= T= 5/6  Pr{waiting} = 1-Pr{1분 구간 내에 한 대만 도착하거나 한 대도 도착하지 않는 사건}

5 6 1 (1) 1 (0) (1) 5 1 1 0.2032 6 X X X F f f e            

2.5 다른 분포와 밀도의 예

2.5 다른 분포와 밀도의 예

 전화 교환기에 전화 연결 요구가 들어오는 평균 비율은 1초당번이다. 임의 의 주기 동안 전화 연결 요구는 포아송 분포를 따른다.  t초 동안 단 한번의 전화 연결 요구도 없을 확률  t초 동안 n번 이상의 전화 연결 요구가 있을 확률 0 ( ) { 0} 0! t t t P N e e    1 0 ( ) { } 1 { } 1 ! k n t k t P N n P N n e k         

(13)

Chapter 2. The Random Variable 25 

균일 (Uniform) 분포

 밀도 함수 및 분포 함수  응용  디지털 통신 시스템에서 부호화하기 전에 신호의 샘플을 양자화하는 경우  양자화 오류: 실제 샘플값을 일정한 큰 수의 이산적 양자 레벨에 가까운 값으로 반올림하면서 발생하는 오차  다른 랜덤변수를 유도하는 근원 1 ( ) ( ) and 0 0 ( ) 1 X X a x b b a f x a b a x a x a F x a x b b a b x                      그 외의 경우

2.5 다른 분포와 밀도의 예

레일리히 (Rayleigh) 분포

 밀도 함수와 분포 함수  응용  기지국 (base station)의 무선 통신 신호가 이동국 (mobile station)에 도달할 때의 크기 변화 (amplitude)  Rayleigh fading

2 2 ( ) ( ) 2 ( ) ( ) and 0 1 ( ) 0 x a b X x a b X x a e x a f x b a b a x a e x a F x x a                          

2.5 다른 분포와 밀도의 예

(14)

Chapter 2. The Random Variable 27 

지수 (Exponential) 분포

 밀도 함수 및 분포 함수  응용  많은 수의 폭풍우 측정을 할 때 빗방울 크기  항공기로부터 레이더에 수신되는 신호 세기의 변동  기지국에서 이동국으로 수신되는 신호 세기의 변동 ( ) ( ) 1 ( ) and 0 1 1 ( ) 0 x a b X x a b X e x a f x b a b a x a e x a F x b x a                       

2.5 다른 분포와 밀도의 예

예제 2.5-2

 복잡한 모양의 항공기로부터 반사되어 레이더에 수신되는 전력P가 평균 수 진 전력이P0인 지수 분포를 따를 때  어느 주어진 시간에P 는 평균값P0 와 다른 값을 가질 수 있다  수신 전력이 평균 수신 전력P0보다 클 확률은? 0 ( ) 0 1 1 0 ( ) ( ) 0 0 0 p x a P b X P e p e x a f x b f p P x a p                368 . 0 ) 1 ( 1 ) ( 1 } { 1 } { 1 0 0 0 0 0              e e P F P P P P P P P P P

2.5 다른 분포와 밀도의 예

1 10 0 0 1 { 10} P( 10) 1 0.0952 P P P F P e      

(15)

Chapter 2. The Random Variable 29

2.6 조건 분포 함수 및 조건 밀도 함수

조건 확률의 개념

P(B)  0인 두 사건AB에 대해, B가 주어졌을 때A의 조건 확률은 

조건 분포 함수

A: 랜덤변수X에 대한 사건 {X x}로 정의  X 의 조건 분포 함수  = 결합 사건  이 결합 사건은 가 되는 모든 결과s로 이루어진다  조건 분포는 이산, 연속 또는 혼합 랜덤변수에 적용된다 ) ( ) ( ) | ( B P B A P B A P   ) | ( ) ( } { } | { F x B B P B x X P B x X PX     } {XxB {X }xB ( ) and X sx sB

2.6 조건 분포 함수 및 조건 밀도 함수

조건 분포 함수의 성질

1 2 1 2 1 2 2 1 (1) ( | ) 0 (2) ( | ) 1 (3) 0 ( | ) 1 (4) ( | ) ( | ) (5) { | } ( | ) ( | ) (6) ( | ) ( | ) X X X X X X X X X F B F B F x B F x B F x B if x x P x X x B F x B F x B F xB F x B             

(16)

Chapter 2. The Random Variable 31

2.6 조건 분포 함수 및 조건 밀도 함수

조건 밀도 함수

 랜덤변수X의 조건 밀도 함수  조건 분포 함수의 미분  FX(x|B)가 계단 불연속점들을 포함하고 있다면, 그 불연속점에서의 미분을 나타내 기 위해 임펄스 함수가fX(x|B)에 존재한다  조건 밀도 함수의 성질 dx B x dF B x f X X ) | ( ) | (  2 1 1 2 (1) 0 ( | ) for all (2) ( | ) 1 (3) ( | ) ( | ) (4) { | } ( | ) X X x X X x X x f x B x f x B dx F x B f B d P x X x B f x B dx         

2.6 조건 분포 함수 및 조건 밀도 함수

예제 2.6-1

 두 상자 속에 빨간색, 초록색, 파란색의 공이 들어 있다  실험: 우선 상자 하나를 선택하고, 그 다음 선택된 상자에서 공을 꺼내는 것  정의 및 가정  사건B2: 더 큰 상자 (box 2)를 선택하는 것, P(B2) = 8/10  사건B1: 더 작은 상자 (box 1)를 선택하는 것, P(B1) = 2/10  이산 랜덤변수X는 빨간공, 초록공, 파란공이 선택될 때 각각x1= 1, x2= 2, x3= 3의 값을 갖는다 Box

xi Ball color 1 2 Totals

1 Red 5 80 85

2 Green 35 60 95

3 Blue 60 10 70

(17)

Chapter 2. The Random Variable 33

2.6 조건 분포 함수 및 조건 밀도 함수

예제 2.6-1 (계속)

 조건 확률

B1에 대한 조건 밀도 함수

 전체 확률 이론 (total probability theory)를 통한P(X=1), P(X=2), P(X=3)의

계산 1 2 1 2 1 5 80 100 150 35 60 100 150 60 10 100 2 150 ( 1| ) ( 1| ) ( 2 | ) ( 2 | ) ( 3 | ) ( 3 | ) P X B B P X B B P X B B P X B B P X B B P X B B                   5 35 60 100 100 100 5 35 60 100 10 100 1 1 0 ( 1) ( 2 ( | ) ( | ) ( 3) ( 1) ( 2) ( 3) ) X X f x B F x x x u u u u u x B u             1 1 2 2 5 2 80 8 100 10 150 10 1 1 2 2 35 2 60 8 100 10 150 10 1 1 2 2 60 2 10 8 100 10 150 10 ( 1| ) ( ) ( 1| ) ( ) 0.437 ( 2 | ) ( ) ( 2 | ) ( 1) ( 2) ( 3 ( ) 0.390 ( 3 | ) ( ) ( 3 | ) ( ) 0. 73 ) 1 P X B P B P X B P B P X B P B P X B P B P X B P X P X P X P B P X B P B                        

2.6 조건 분포 함수 및 조건 밀도 함수

예제 2.6-1 (계속)

X의 밀도 함수 및 분포 함수  FX(x|B1), fX(x|B1), FX(x) 와fX(x)의 그래프 0.437 ( 1) 0.390 ( 2) 0.173 ( 3) 0.437 ( 1) 0.390 ( 2) 0.173 ( 3 ( ) ( ) ) X X f x F x x x u x u x u x x            

(18)

Chapter 2. The Random Variable 35

연습문제

연습문제 1

: 라플라스 분포

 음성 파형의 크기에 대한 샘플의 밀도 함수가 의 비율을 가지고 지수적으로 감소하기 때문에, 다음의 밀도 함수가 사용된다  상수c의 계산  확률P{|X|<v}의 계산 | | ( ) x, X f x ce x       | | 0 2 1 2 2 x x c ce dx ce dx c  

   | | 0 {| | } 2 2 2 1 v x v x v v P X v e dx e dx e        

연습문제

연습문제 2

: 이항 분포와 포아송 분포

 통신 시스템에서의 비트 오류 확률은 10-3이다. 1000개의 비트 중에 5개 이상 의 오류가 발생할 확률을 구하라  각 비트의 전송은 베르누이 시행을 따른다  1000개의 비트 전송에서k개의 오류가 발생할 확률: N = 1000이고p= 10-3 인 이항 분포  이항 분포에 대한 포아송 근사: b= Np= 100010-3 = 1 0 4 1 1 0 [ 5] 1 [ 5] 1 (4) 1 (4 ) ! 1 1 1 1 1 1 1 ! 1! 2! 3! 4! k b X k k k b P X P X F e u k k b e e k                            

0 1000 999 2 998 3 997 4 996 [ 5] 1 [ 5] 1 (4) 1 (1 ) (4 ) 1000 1000 1000 1000 1000 1 (1 ) (1 ) (1 ) (1 ) (1 ) 0 1 2 3 4 N k N k X k N P X P X F p p u k k p p p p p p p p p                                                    

(19)

Chapter 2. The Random Variable 37

연습문제

연습문제 3

: 가우시안 랜덤변수

V의 전압 (V> 0)을 입력으로 받아서, 출력 전압이Y= V + N이 되는 통신 시스템을 가정한다. 여기서 = 10-2 이고Nm= 0이고= 2인 가우시안 랜덤변수 이다.  P{Y<0} = 10-2가 되는V 의 값을 구하라 2 [ 0] [ 0] [ ] 1 10 1 0.01 0.99 , 2.33 2.33 P Y P V N P N V V m V F F V F V F V V                                        표B-1로부터

HW

Due: 20121022

연습문제: 2.1-9, 2.2-2, 2.3-2, 2.4-11, 2.5-3

참조

관련 문서

[r]

전화, 전기시계, 통신설비, 엘리베이터의 전원 등에

결정 신호는 신호의 크기가 수식이나 규칙 또는 테이블 등으로 결정되는 신호로서, 신호의 미래 값을 과거값들로부터 계산할 수 있다. 불규칙 신호는 신호의 미래 값을

임의 과제를 통해 이러한 성과

• 최대의 수축 중에도 모든 미오신 머리가 연결 교를 형성하는 것이 아니고, 일부 미오신 머리가 연결교를 형성하여 A띠 중앙부로 회전하는 동안 다른 미오신 머리를

 식품에서 대장균 군이 검출되었다는 것은 그 식품이 분변에 오염되어 있을 가능성이 큼.  가열처리식품에서 대장균 군이 검출되면

Section 02 CMOS 인버터의

고객센터에서의 전화 정보를 이용한 고객별 맞춤 서비스. 응급 상황시 전화 발신