랜덤 변수와 랜덤 신호
호남대학교
소방행정학과
최 성 률
1. 확률
•
랜덤 신호 :
확률적 방법으로 만이 특정될 수 있
는 시간 파형 (
즉 원하는 파형이 될 수도 있다 .)
–
라디오 방송에서 나오는 쉬 소리 ( 잡음 )
-
전파 천문용 수신기의 잡음은 외부 공간으로 부터 희망 신호를
방해한다 .
-
해중 탐색 시스템에서는 불규칙하게 발생하는 파의 음이 ech
o
를 방해한다 .
-
풍차의 발전기 전압은 바람속도가 불규칙 하므로 불규칙하다 .
-
태양전지 전압은 구름 ,
기상상태 등으로 불규칙하다 .
1. 확률 - 집합
• a
가 A
의 한 원소 : (
소문자는 원소 ,
대문자는 집합 )
•
집합의 표현 : { 원소 , …}
원소나열법 : {a,b,….}
조건제시법 : {5
와 10
사이의 정수 }
- countable :
집합의 원소들을 자연수와 대응이 가능할 경우
uncountable : countable
하지 않은 경우
- null
집합 =
공집합 :
원소가 하나도 없는 집합 :
-
유한집합 :
원소의 개수가 유한한 경우
(=countable)
A
a
1. 확률 - 집합
•
집합 A
의 원소가 집합 B
의 원소에 모두 포함된
경우 : A
는 B
의 <
부분 집합 >
이라 한다 .:
•
이중 A
에는 포함되지 않고 B
에만 포함된 원소
가 있는 경우 : A
는 B
의 <
진부분 집합 >
이라
한다 .:
• A
와 B
가 공통 원소가 없다면 : A
와 B
는 < 상
호 배반집합 (disjoint or mutually exclusive)>
•
논의 된 대상 전체를 포함한 집합 :
전체 집합
(universal set:S)
B
A
B
A
1. 확률 -
집합의 연산 -
밴 다이아그램
1)
밴 다이아그램 (Vann Diagram): 그림으
로 상태를 표시함
A C B SB
A
인 상태 ,A 나 B 는 C 와 서로 배타적 (exclusive or) 이다 .1. 확률 -
집합의 연산 -
밴 다이아그램
A A=(1)+(2) (3) (2) (1) A B=(2)+(3) ) 3 ( ) 2 ( ) 1 ( B A ) 2 ( B A ) 1 ( B A확률 -
집합의 연산 -
드 모르간 법칙
•
교환법칙 :
•
분배법칙 :
•
드 모르간 법칙
A B B A A B B A ) ( ) ( ) ( ) ( ) ( ) ( C A B A C B A C A B A C B A __ __ ________ __ __ ________ A B B A A B B A 확률 -
집합에 의한 확률
• 확률 -
실험 (
실험하는 것 :
시행 (trial))
결과 : outcome
표본공간 :
실험하는 공간 (sample space) : S
이산공간 ( 유한집합 )
과 연속공간 ( 무한집합 )
사상 :
표본공간의 부분집합 (
예를 들어 N 개의
원소는
개의 사상을 가질 수 있다 .
-52
개 카드 중 space
선택하는 사상 ,
혹은
space A
선택하는 사상은 다른 것이다 .
N
2
확률 - 정의 , 공리
• 확률 (probability): 1
개의 함수
–
P(.)
• N
개의 사상 에 대해
이면
따라서
•
실험의 수학적 모델 : sample space
를 정의
1)
표본공간 선정 2)
관심대상인 사상 정의
3)
공리를 만족하는 사상에 대한 확률 결정
0
)
(
1
)
(
0
(.)
1
P
S
P
P
nA
m
n
A
nA
m
N n n n N nA
P
A
U
P
1 1)
(
)
(
확률 -
결합 확률
• N
개의 사상 에 대해
이나
인 경우임
•
결합확률 (joint probability):
•
인 경우에는
nA
m
n
A
nA
m
B
A
)
(
)
(
)
(
)
(
A
B
P
A
P
B
P
A
B
P
)
(
)
(
)
(
)
(
)
(
)
(
A
B
P
A
P
B
P
A
B
P
A
P
B
P
B
A
0
)
(
)
(
A
B
P
P
확률 -
조건부 확률 1
•
조건부 확률 (conditional probability)
: B
사상의 조건하에 A
사상일 확률
•
만일 사상 A
와 B
가 상호배타적이면 즉
• A
가 S 이면
•
)
(
)
(
)
/
(
B
P
B
A
P
B
A
P
B
A
P
(
A
/
B
)
P
(
P
A
(
B
)
B
)
0
1
)
(
)
(
)
/
(
B
P
B
S
P
B
S
P
A 와 C 가 exclusive or 이면 ) / ( ) / ( ) ( ) ( ) ( ) ( ) ( ] ) [( ) / ( P A B P C B B P B C P B P B A P B P B C A P B C A P 확률 -
전 확률
<< 전체 확률 (Total Probability)>>
확률 -bayes
정리
2. 랜덤변수 -1
• 랜덤 변수 (RV: random variable) 의 개념은 확률의 공리적 정의와 관찰된 실수의 랜 덤 숫자를 서로 연결 짓는 것 - 각 실험 s 마다 X(s) 가 random variable 이다 . • 랜덤 변수는 랜덤 실험을 기본 • 실험 결과 모두를 집합 Ω 로 표기하고 , 랜덤 실험의 특정 결과를 ω 로 표기 예 1: 동전과 주사위를 던져 나오는 사상 (T,1),(T,2)….(H,5),(H,6) 의 12 가지 실험 결과에 -12,-10,-8,-6,-4,-2,1,2,3,4,5,6 을 배정하면 (T,1),(T,2)….(H,5),(H,6) 는 실험결과이고 -12,-10,-8,-6,-4,-2,1,2,3,4,5,6 는 random variable 이 된다 . 예 2: 뺑뺑이를 회전하여 화살로 맞추어진 부분에 임의의 점수를 부여하여 이에 대응함수 X(s)=2s 등을 정의하면 그 결과가 random variable 이 된다 . RV 는 실수로 mapping 된다 .2. 랜덤변수 -2
정의 1) s 에 대한 각 X(s) 는 하나이어야 한 다 정의 2) 랜덤 실험의 결과로 관찰된 실수는 그 랜덤 변수의 표본 (sample) 을 나타낸다 • 확률 공간은 (Ω, F, p) • 실수인 랜덤 변수 X(ω) 는 Ω 로 부터 실수로 대응 랜덤 변수의 종류 • 이산 랜덤 변수 : 가질 수 있는 값은 유한하거나 가산 무한 (countably infinite) • 연속 랜덤 변수 : 0 이 아닌 길이를 갖는 실수선 한 구간에 있는 값들 • 혼합 랜덤 변수 : 이산 랜덤 변수와 연속 랜덤 변수의 볼록 조합 (convex combination) 의미가 명확할 때는 기호를 간단하게 하기 위해 X 는 랜덤 변수 X(ω) 를 나타냄 x =X(ω) 는 랜덤 변수의 특정 값 랜덤 변수와 연관된 함수
• 누적 분포 함수 (CDF: cumulative distribution function) • 확률 밀도 함수 (PDF: probability density function)
• 랜덤 변수는 CDF 혹은 PDF 중 하나로 완전히 특성을 기술 정의 3) 랜덤 변수 X(ω) 에 대해 CDF 는 다음과 같이 정의되는 함 수 FX(x)=P(X≤x), 이산 랜덤 변수는 계단 모양 연속 랜덤 변수는 연속 혼합 랜덤 변수의 CDF 는 0 이 아닌 미분값을 갖는 연속인 구간과 점프가 발생하는 점들을 모두 포함 < 랜덤변수 >
• 연속 랜덤 변수는 CDF 가 연속이므로 어떤 특정 값의 확률은 0 • 이산 랜덤 변수와 혼합 랜덤 변수는 CDF에 점프가 있으므로 0 이 아닌 확 률을 가질 수 있음 단위 계단 함수 점프의 위치 CDF에 존재하는 점프의 수
< 누적 분포 함수 (CDF: cumulative distribution function)>
정의 4) 연속 랜덤 변수 X(ω) 에 대해 PDF, fX(x) 미분을 다시 표현 • PDF는 X =x 근처의 아주 작은 구간에서의 확률“밀도 (density)” • 이산 랜덤 변수는 한 구간에 퍼져있는 확률“밀도”가 아니라 한 점에 집중된 확률“질량 (mass)”을 가짐 • 이산 랜덤 변수에 대한 밀도 함수의 개념이 아니라 이산 랜덤 변수의 경우 연속 랜덤 변수의 PDF 에 해당하는 양으로는 확률 질량 함수 (PMF: probability mass func-tion)
확률 질량 함수
< 확률 밀도 함수 (PDF: probability density function)>
이산 랜덤 변수의 경우 pdf 라는 표현은 안어울림
•
의미가 명확한 경우 랜덤 변수 X
의 PDF
는 f(x)
로 표기
•
랜덤 변수가 연속인지 이산인지도 명확하다면 p(x)
로 표
기
•
PDF(
혹은 동일하게 CDF)
를 알면 랜덤 변수의 어떠한 랜
덤 사건도 완전히 기술 가능
랜덤 변수의 함수를 통계적으로 대표하는 값 (statistical average) 을 구해야 하는 경 우 랜덤 변수 X 에 대해 어떤 함수 g(X) 의 대표값 (average value) 혹은 기대값 (expected value) • 대표 (혹은 기대 ) 값은 랜덤 변수에 대한 정보를 일부 제공하는 숫 자 • 대표값은 PDF 나 CDF처럼 랜덤 변수를 완전히 기술하지는 못 하지만 랜덤 변수의 특성을 나타내는 하나의 숫자 • 랜덤 변수의 특성을 나타내는 데 자주 사용되는 통계적 대표값 (statistical average)의 좋은 예로 평균값 (mean value)
평균값 (mean value) • 평균 (mean) 은 랜덤 변수의 대표 (average) 값 랜덤 변수의 n 차 모멘트는 평균을 일반화시킨 것 • 평균 제곱값 E(X2) 은 통신시스템을 분석하는 데 (예를 들어 평균 전력을 계산할 때 ) 자주 사용 < 랜덤변수의 평균 , 모멘트 1>
n 차 중심 모멘트 • 랜덤 변수의 중심 모멘트 (central moment: 평균값을 중심으로 하는 모멘트 ) • 가장 자주 사용되는 2 차 중심 모멘트는 분산 (variance) σX, n • 랜덤 변수가 평균에서 얼마나 퍼져있는 지를 측정 분산의 약칭 분산과 평균 제곱값과의 관계 기대값 연산자 기대값 연산자는 선형 < 랜덤변수의 평균 , 모멘트 2>
• 통신시스템을 분석하는 데 있어 가장 자주 이용되는 랜덤 변수는 가우시안 랜덤 변수 (Gaussian RandomVariable) RV는 전자통신에서 일어나는 많은 물리적 현상들 ( 예를 들어 도체의 전자들이 열운 동으로 인해 발생하는 잡음 전압 ) 을 아주 훌륭하게 근사 가우시안 RV 를 자주 사용하는 이유는 중심 극한 정리 가우시안 RV 를 사용하면 좀 더 쉽게 분석할 수 있는 경우가 많음 • 평균 (mean) 이 mX이고 , 분산이 σX2 인 가우시안 랜덤 변수 ( 정규 (normal) 랜덤 변수 ) X 를 N(mX ,σX2 )로 표기 • 가우시안 RV 는 전체 실수값을 취하는 연속 랜덤변수 PDF • 가우시안 랜덤 변수는 자신의 평균과 분산에 의해 완전히 특성이 결정 • 가우시안 PDF 는 종 모양 (bell-shaped) 의 곡선 그림 3-3(a) 에 나타낸 것처럼 이와 같은 종 모양 곡선의 중심은 평균값에 해당 • 분산은 랜덤 변수가 취하는 값들이 얼마나 퍼져 있는지를 측정 분산이 크다는 것은 랜덤 변수가 평균에서 멀리 떨어진 값들을 취하는 경향이 있다는 것이고 , 분산이 작다는 것은 랜덤 변수의 대부분의 값들이 평균 근처에 있음을 의미 < 랜덤변수의 예 : gaussian 랜덤변수 1>- 연속 랜덤 변수의 예
( ) X F x ( ) X f x ( ) X F x ( ) X f x Pdf 와 cdf 의 예 ( ) X F x ( ) X f x X X a aXaX X 2 1 2X 2 0.607 2X 0.841 1 0.5 0.159 Gaussian r.v. 2 2 2 2 ( ) /2 2 ( ) /2 2
1
( )
2
1
( )
2
X X X X x m X X x m X Xf x
e
F x
e
d
CDF 가우시안 랜덤 변수의 CDF 를 닫힌 형태 (closed-form)로 표현할 수는 없음 CDF 를 erf 함수로 표현 < 랜덤변수의 예 : gaussian 랜덤변수 2>- 연속 랜덤 변수의 예 2 2 ( ) /2 2
1
( )
2
X X x m X XF x
e
d
가우시안 RV 의 CDF
Q(●) 함수 가우시안 RV 의 CDF 를 Q(●) 함수를 이용하여 표현 가우시안 RV 의 평균과 분산이 주어지면 , CDF의 값을 구할 수 있음 Z≥3일 경우 함수의 근사식 < 랜덤변수의 예 : gaussian 랜덤변수 4>- 연속 랜덤 변수의 예
< 랜덤변수의 기대값 > [ ] X ( ) E X X xf x dx
만일 X 가 N 개의 가능한 값 로 확률 에 따라 발생하면 즉 이산랜덤 변수인 경우 ix
( )
iP x
1 ( ) n ( ) ( ) X i i i f x P x x x
이고 이를 대입하면 1[ ]
n i( )
i iE X
x P x
예 1: 주사위 1-6 이 나올 확률이 각각 1/6 이므로 주사위를 던질 때 기대값은 1 1 1 1 1 1 1 21 [ ] ( ) 1 2 3 4 5 6 3.5 6 6 6 6 6 6 6 n i i i E X x P x
예 2: ( ) 1 (x a b)/ X f x e b 0x a
x a
이면 ( )/ / ( )/ [ ] x a b a a b x a b a x E X e dx b e xe dx a b b
< 랜덤변수 함수의 기대값 > [ ( )] ( ) X ( ) E g X X g x f x dx
1[ ]
( ) ( )
n i i iE X
g x P x
예 1: 주사위의 각 값에 을 주면주사위 1-6 이 나올 확률이 각각 1/6 이므로 주사위를 던질 때 기대값은 2 2 2 2 2 2 2 1 1 1 1 1 1 1 91 [ ] ( ) 1 2 3 4 5 6 6 6 6 6 6 6 6 n i i i E X x P x
2 ( ) g X X 예 2: 어떠한 불규칙한 전압이 a=0, b=5 인 Rayleigh 랜덤 변수 V 로 나타난다면 전력은 g V( )V이므로 기대 전력은2 / R 3 3 2 /5 0 1 2 5 [ / ] [ ] 5 v v E V R e dv W R R
< 조건부 기대값 > [ / ] X ( / ) E X B xf x B dx
여기서 ( / ) ( ) ( ) X X b X f x f x X b f x dx
0x b
x b
이므로 ( ) [ / ] ( ) b X b X x f x E X X b f x dx
즉 X 의 평균값은 X 가x b
인 범위에서만 계산해주면 된다 .< 모멘트 > 원점 모멘트는 g X( ) Xn일 때 [ n] n ( ) n X m E X X x f x dx
중심 모멘트는g X( ) ( X X )일 때n [( ) ]n ( )n ( ) n E X X X x X f x dxX
분산 2 2 2 2 E X[( X) ] X (x X) f x dxX ( ) X
2 2 2 2 2 2 2 2 2 2 1 [( ) ] [ 2 ] [ ] 2 [ ] [ ] X E X X E X X X X E X E X X X E X X m m
스큐 E X[( X ) ]3 평균에 대해 대칭을 측정 : 0 이면 대칭 01
m
f x
X( )
의 면적 1m
X
f x
X( )
의 기대값 01
f x
X( )
의 면적 10
< 랜덤 변수의 변환 -1> Y=T(X) 로 랜덤변수를 변환하는 경우 즉 ( ) F ( ) X X f x 와 x 를 알 때 f yY ( ) F ( )와 Y y 를 구하는 문제 여러 형태가 있으나 고려 부분 1. X 가 연속적이고 Y 도 연속적이며 단조증가 , 혹은 단조감소인 경우 2. X 가 연속적이고 Y 도 연속적이나 단조성이 없는 경우 3. X 가 이산적이고 Y 가 연속적인 경우 1. X 가 연속적이고 Y 도 연속적이며 단조증가 , 혹은 단조감소인 경우 ( ) ( ) | | Y X dx f y f x dy 예제 1 Y=T(X)=aX+b 라면 이다 . 따라서 1( ) ( ) / , / 1/ X T Y Y b a dx dy a 1 ( ) ( ) | | ( ) | | Y X X dx y b f y f x f dy a a 2 2 2 2 2 [( )/ ] /2 [ ( )] /2 2 2 2
1
1
1
( )
2
2
X X X X y b a a y aa b a Y X Xf y
e
e
a
a
< 랜덤 변수의 변환 -2> 2. X 가 연속적이고 Y 도 연속적이나 단조성이 없는 경우 - 이 경우에는 x 에 대응하는 y 가 여러 개 있을 수 있다 . 0 0 0 0 0 ( / 0 ( / 0 ( ) { } { / } ( ) ( ) ( ) ( ) ( ) | | n Y x Y y X X n Y x Y y X n x x F y P Y y P x Y y f x dx f x d f y f x dx dT x dy dx
두 번째 식의 n 은 y0 에 대응하는 x 의 값이다 . 예 : Y T X ( ) cX2 인 경우 사상 {Y y}는 / /(
/ )
(
/ )
( )
( )
(
/ )
(
/ )
(
/ )
(
/ )
2
/
y c Y y c X X X X Xd
y c
d
y c
d
f y
f x dx
f
y c
f
y c
dy
dy
dy
f
y c
f
y c
y c
< 랜덤 변수의 변환 -3> 3. X 가 이산적이고 Y 가 연속적인 경우 : 이 경우에는 단순하다 . ( ) ( ) ( ) ( ) ( ) ( ) X n n n X n n n f x P x x x F x P x u x x
T 가 단조성이면 ( ) ( ) ( ) ( ) ( ) ( ) Y n n n Y n n n f y P y y y F y P y u y y
으로 x y 로 바꿔 쓰면 된다 . T 가 단조성이 아니면 ( )n P y 는 yn T x( )n 에 대한 여러 Xn 의 확률을 합한 것이다 .2
S
1S
( ( ), ( ))X s Y s1 2x
y
함수 Y 함수 Y 함수 X 오른쪽 처럼 r.v 를 2 차원으로 확대 < 다중 랜덤 변수 > , ( , ) X Y F x yx
y
x
y
0.3 1 0.2 0.5 0.5 0.5 , ( , ) X Y f x y 0.2 1 1 1 2 3 2 2 2 3 3 3x
x
( ) Y F y ( ) X F x 0.2 0.5 0.3 0.5 0.5 3 2 1 1 1 1 2 3 , ( , ) (1,1) ( 1) ( 1) (2,1) ( 2) ( 1) (3,3) ( 3) ( 3) X Y F x y P u x u y P u x u y P u x u y , ( , ) X Y F x yx
y
x
y
0.3 1 0.2 0.5 0.5 0.5 , ( , ) X Y f x y 0.2 1 1 1 2 3 2 2 2 3 3 3정의 ) 두 랜덤 변수의 결합 CDF <<결합 CDF 의 성질 >> • 통신시스템의 성능은 하나 이상의 랜덤 변수에 의해 결정되는 경우가 많음 • 성능을 수식으로 분석하기 위해서는 랜덤 변수들을 결합하여 표현할 필요 • 하나의 랜덤 변수에 대한 모든 표현들 (PDF, CDF, 모멘트 등 ) 이 다중 랜덤 변수에도 확 장하여 적용 가능 • 랜덤 변수들은 결합 CDF 또는 결합 PDF 로 완전히 특성을 나타낼 수 있음 < 다중 랜덤 변수 1>
정의 ) 두 연속 랜덤 변수 X 와 Y 에 대한 결합 PDF f XY(x, y) 정의 ) X 와 Y 를 확률 공간 (Ω, F, p) 에서 정의된 랜덤 변수 X = x 로 주어졌을 때 Y 의 조건 혹은 사후 PDF X가 x값을 취하는 것을 관찰한 후의 랜덤 변수 Y 의 PDF
결합 이산 랜덤 변수는 결합 PMF p
XY(x, y)
를 갖게 되는데
,
결합 PMF
와 결합 PDF
는 비슷한 특성을 보이므로 둘 다
p
XY(x, y)
로 나타내기도 함
< 다중 랜덤 변수 2>정의 ) 두 랜덤 변수의 독립 조건 PDF 가 비조건 PDF 와 다르지 않다는 면에서 랜덤 변수 X 에 Y 의 어떤 정보도 없으므로 Y 는 X 와 독립 << 전체 확률 (Total Probability)>> << 베이즈의 정리 >> < 다중 랜덤 변수 3>
두 랜덤 변수 X, Y 의 함수 g(X, Y) 의 통계적 평균
두 랜덤 변수 X 와 Y 의 상관 (correlation)
두 랜덤 변수 X 와 Y 의 공분산 (covariance)
흔히 사용되는 결합 중심 모멘트 중의 하나
X, Y 두 개의 결합 가우시안 랜덤 변수의 결합 밀도 함수 Var(X) Var(Y) E(X) E(Y) 상관계수 밀도 함수는 평균과 분산 그리고 상관 계수에 의해 결정되는 3차원의 종 모양 (bell-shaped) 곡선 두 랜덤 변수가 상관이 없으므로 밀도 함수가 원 대칭 (circular symme-try) 두 가우시안 랜덤 변수가 상관이 없다는 것은 두 랜덤 변수가 독립임을 의미 < 다중 랜덤 변수 5>
• 결합 가우시안 밀도 함수에서 평균을 변화시키면 종 모양 (bell-shaped) 곡선의 중심이 바 뀜 • 그림 3-5(a) 는 변수 (bivariate) 가우시안 밀도 함수 • 그림 3-4 와의 유일한 차이점은 종 모양 곡선이 새로운 평균값 (1, 1) 로 이동되었다는 것 • 결합 가우시안 랜덤 변수의 분산을 변화시키면 그림 3-3(b) 에 나타낸 것처럼 결합 밀도 함 수의 모양이 상대적으로 변함 < 다중 랜덤 변수 6>
예 : W=X+Y 의 밀도를 구한다 . 단
1
( )
[ ( )
(
)]
xf x
u x
u x a
a
f y
y( )
1
[ ( )
u y
u y b
(
)]
b
라 한다 .y
x
( ) Y f y ( ) X f x b 1/a a 1/b 관련공식f w
W( )
f y f w y dy
Y( ) (
x)
1 ( ) [ ( ) ( )][ ( ) ( )] W f w u y u y b u w y u w y a dy ab
0 0 0 0 0 1 [1 ( )][ ( ) ( )] 1 [ ( ) ( )] ( ) ( ) ( ) ( ) u y b u w y u w y a dy ab u w y dy u w y a dy u y b u w y dy ab u y b u w y a dy
< 결합밀도의 예 > 계산결과 ( ) W w f w ab 1 0 b a b w ab 0 w a a w b b w a b w a b y
( ) W f w b 1/b a a+b b가우시안 밀도 함수에서 상관 계수 그림 3.5(b) 에서 얻은 한계 밀도 그림 3-4에서 구한 것과 같을 것 조건 밀도는 틀림 < 다중 랜덤 변수 7> 만약 두 랜덤 변수의 상관 계수가 0 보다 크다면 두 랜덤 변수는 그들의 평균값과 같은 쪽의 값을 확률적 으로 취하는 경향 (만약 랜덤 변수들의 평균값이 0 이라면 , 서로 같은 부호를 갖는 경향성을 나타냄 또한 이 두 랜덤 변수의 상관 계수가 1 에 가깝다면 확률적으로 매우 비슷한 행태를 보일 것이다 . 그 림 3-5(b) 는 이와 같은 특성의 좋은 예
n 개 랜덤 변수의 단일 함수 변환 N개의 랜덤 변수 단계 1: 랜덤 변수 X1 ... Xn 에 대한 적분의 합으로 Y 의 CDF 를 구함 X1 . . . Xn g(X1, . . . , Xn) <y를 만족하는 n차원의 체적 단계 2: 라이프니츠 규칙 (Leibniz rule) 을 사용하여 단계 1 에서 얻은 CDF 를 미분하 여 PDF 를 구함 < 다중 랜덤 변수의 변환 1>
일대일 변환
역 함수가 존재
Y 의 PDF원래의 X 좌표 시스템과 Y 좌표 시스템 모두에서 극소 체적의 확률 질량은 같아야 하므로
야코비언 (Jacobian) 행렬식
• 중심 극한 정리 (CLT: central limit theorem) 가 의미하는 바는 임의로 분포된 랜덤 변 수들의 합은 그 수가 많아질수록 가우시안 랜덤 변수가 되는 경향 • 통신시스템에서 일어나는 많은 물리적 현상들은 여러 사건들이 상호 작용하여 발생하 는 것 ( 예를 들어 도체내 전자의 랜덤 운동 혹은 무선 통신에서 전파가 무수히 산란하 는 것 ) • 가우시안 랜덤 변수가 통신시스템의 분석에 널리 사용되는지에 대한 중요한 이유 중 하 나 < 다중 가우시안 랜덤 변수 >- 중심극한 정리
가장 흔한 상황은 잡음이 가우시안 랜덤 변수의 표본이라는 것 닫힌 형태로 결합 PDF 를 간단히 표현 L*1 벡터 벡터 N 의 평균 벡터 벡터 N 의 L*L 공분산행렬 정의 3.15) 두 실수 랜덤 벡터 사이의 교차 공분산 (cross-covariance) 정의 3.16) < 다차원 랜덤 가우시안 정리 >
• 가산성 잡음 (additive noise) 현상은 대부분의 모든 통신시스템에서 나타나는 특징 수신기를 구성하는 도체 내부 전자들의 무질서한 랜덤 운동 때문에 발생되는 열 잡음 (thermal noise) 으로 인해 가산성 잡음 현상이 발생 통신시스템 성능에 가장 큰 영향을 주는 열잡음은 첫 번째 증폭단의 전 (before) 단계와 증폭 과정에서 발생 첫 번째 증폭단으로 입력되는 원하는 신호의 전력 레벨은 가장 낮기 때문에 , 이 부근에서 발생하는 열잡음이 시스템 성능에 가장 큰 영향을 끼침 수신기 내부에서 발생한 열 잡음 W(t)는 수신기 내부에서 발생한 열잡음을 나타내며 , 수신기 내부의 필터를 거치면서 처리되는데 , 이러한 처리 과정에 관련된 전달 함수 (transfer function) 는 HR( f ) 로 표시 특정 시각 ts에서 잡음 표본 N(ts) 를 구하고 , 이 값을 사용하여 평균 신호대 잡음비 (SNR: signal-to-noise ratio) 등과 같은 관심의 대상이 되는 파라미터 값을 얻는 방식이 가장 단순한 해석 방법 N(t1) 이나 N(t2) 등과 같이 추가적으로 2 개 이상의 잡음 표본들을 필터 출력으로부터 선택 가능
3
장 random Process :
랜덤 과정
랜덤 과정의 개념 1
랜덤 변수는 s 라는 공간에 시간적 개념이 연결된다 . 즉 시간 축에서도 random 하게 나타난다는 의미 1 t t2 t3 t4 1( ) x t 2( ) x t 1( ) n x t ( ) n x t … … ( , ) X t s ( ) s x t t랜덤 과정의 개념 2
랜덤신호의 종류 : 1.X(t) 가 연속값을 취하는 경우 ( 연속 랜덤 과정 ) 2. 이산적 랜덤 과정 : 랜덤변수 X 는 이산적이지만 t 는 연속적인 경우 ( 이산적 랜덤 과정 ) 3.X 는 연속적이나 t 는 이산적인 경우 ( 연속적 랜덤 수열 ) 4. 랜덤변수 및 시간이 모두 이산적인 경우 ( 이산적 랜덤 수열 ) 신호의 종류 deterministic 신호 : 함수로 정해진 신호 :X(t)=10cos100(t+30) non deterministic 신호 : 정해지지 않아 미래값을 예측 불가능한 경우 0 ( ) cos( ) X t A t 에서 A, 0, 등은 랜덤이지만 예측 가능하므로 Deterministic 신호 랜덤과정을 어느 한 시각에 고정시키면 랜덤 변수가 된다 . 랜덤과정은 통계적 성질이 변하지 않으면 stationary( 정상 ), 변하면 nonstatioary ( 비정상 )랜덤 과정의 개념 3
용어 1. 분포함수와 밀도함수 1 1 1 1 ( ; ) { ( ) } X F x t P X t x 1 2 1 2 1 1 2 2 ( , ; , ) { ( ) , ( ) } X F x x t t P X t x X t x . . . 1 1 1 1 1 ( ; ) ( ; )] X X f x t dF x t dx 2 1 2 1 2 1 2 1 2 1 21 ( , ; , ) ( , ; , ) / X X f x x t t F x x t t x x . . .랜덤 과정의 개념 4
2. 통계적 독립성 : X(t), Y(t) 가 임의의 시각 에 대해 이 서로 독립이면 두 랜덤과정은 통계적 독립이다 독립의 요건은 1, ...,2 N t t t 과 ' ' ' 1, ...,2 N t t t 1 2 ( ), ( )..., ( N X t X t X t )과 ' ' ' 1 2 ( ), ( )..., ( N Y t Y t Y t ) ' ' ' , ( , ,.... , , ,....1 2 1 2 ; , ,.... , , ,....1 2 1 2 ) X Y N M N M f x x x y y y t t t t t t ' ' ' 1 2 1 2 1 2 1 2 ( , ,.... ; , ,.... ) ( , ,.... ; , ,.... ) X N N y M M f x x x t t t f y y y t t t 으로 인수분해 되어야 한다 .랜덤 과정의 개념 4
3. 1 차 정상과정 : 1 차 밀도 함수가 시간을 이동해도 변하지 않을 때 1 1 1 1 ( ; ) ( ; ) X X f x t f x t : 모든t
1,
에 대해 이는 시간과 무관하며 , 모든 process 의 평균이 일정하다는 의미 . 즉 [ ( )] E X t X 일정 4. 2 차 및 광의의 정상성 : : 모든t t
1, ,
2
에 대해 다음 식을 만족하는 경우 1 2 1 2 1 2 1 2 1 2 1 2 1 2 ( , ; , ) ( , ; , ) ( , ) [ ( , )] (| |) X X XX XX f x x t t f x x t t R t t E X t t R t t 2 차 정상과정은 1 차 정상과정을 포함한다 .랜덤 과정의 개념 5
상관관계 1. 자기상관관계 (auto correlation) ( ) [ ( ) ( )] XX R
E X t X t
성질 2 1.| ( ) | (0) 2.| ( ) | | ( ) | 3.| (0) | [ ( )] XX XX XX XX XX R R R R R E X t
4. 이면 는 와 같은 상수항을 가진다 . 5. 가 주기적이면 도 같은 주기를 가진다 . 6. 가 ergodic 하면 평균은 0 이고 , 주기적 성분이 없으면 이다 . 7. 는 임의의 형태를 가질 수 없다 . [ ( )] 0 E X t X RXX( ) X2 ( ) X t RXX( ) ( ) X t | |limRXX( ) 0 ( ) XX R 랜덤 과정의 개념 5
2. 상호 상관관계 (cross correlation) ( ) [ ( ) ( )] XY R
E X t Y t
성질 1. | ( ) | | ( ) || ( ) | (0) 2. | ( ) | | ( ) ( ) 1 3. ( ) | [ ( ) ( )] 2 XY XY XX XX XY XX YY XY XX YY R R R R R R R R R R
만일 이 값이 0 이면 X 와 Y 는 직교 관계라 한다 3. 공분산함수 (covariance ) 자기 공분산함수 (autocovariance ) 상호 공분산함수 (cross covariance ) ( , ) [{ ( ) [ ( )]}{ ( ) [ ( )]] XX C t t
E X t E X t X t
E X t
( , ) [{ ( ) [ ( )]}{ ( ) [ ( )]] XY C t t
E X t E X t Y t
E Y t
광의의 정상에서는 ( ) ( ) 2 XX XX C
R
X 광의의 정상에서는 ( ) ( ) XY XX C
R
X Y ( , ) 0 XY C t t
X 와 Y 는 서로 무상관 2 (0) 2 X RXX X 랜덤 과정의 개념 5
< 상관함수의 측정 > 지연 T 지연 T-곱하기( )
x t
( )
y t
1 1 21
(.)
2
t T tdt
T
0(
12 )
R t
T
Autocorrelation 의 경우에는 입력에 같은 신호를 넣으면 된다 .랜덤 과정의 개념 : 예
0 ( ) cos( ) X t A t 가 랜덤 과정이며 A,0 는 상수이고 는 (0- ) 2 구간에 균일하게 분포되었다면 이 신호는 광의의 정상상태임을 보이겠다 . 2 0 0 1 [ ( )] cos( ) 0 2 E X t A t d
0 0 0 ( , ) [ cos( ) cos( )] XX R t t
E A
t A
t
2 0 0 0 2 0 0 0 2 2 0 0 0 2 0 [cos( ) cos( )] 2 [cos( ) cos(2 2 )] 2 cos( ) [cos(2 2 )] 2 2 cos( ) ( ) 2 A E t t A E t A A E t A g t
따라서 두 경우 모두 t 와 관계가 없으므로 1 차 ,2 차 광의의 정상과정이다 .랜덤 과정의 개념 5
5. N 차 및 협의의 정상성 : 시간에 따른 N 개의 랜덤 변수에 대해 1 2 1 2 1 2 1 2 ( , ,.... ; , ,.... ) ( , ,.... ; , ,.... ) X N N X N N f x x x t t t f x x x t t t 이 모두 불변이면 협의의 정상이라 부른다 . 6. 시간 평균과 에르고딕 (ergodic ) 성 : 통계적 평균 , 상관이 시간적 평균 , 상관과 같을 때 시간평균 : 시간 상관함수 : 1 [ ( )] lim ( ) 2 1 ( ) [ ( ) ( )] lim ( ) ( ) 2 T T T T xx T T x A x t x t dt T A x t x t x t x t dt T
[ ]
[
xx( )]
xx( )
E x
X
E
R
시간평균 = 통계 평균 시간 상관함수 = 통계적 상관함수 일반적으로 문제를 간단하게 하기 위해 ergodic 이라고 가정한다 . Ergodic 으로 가정하면 r.p 도 기존의 r.v 에 적용되는 식을 그대로 적용 가능하다 .3.
가우시안 랜덤 과정
정의 ) 가우시안 랜덤 프로세스는 랜덤 프로세스로부터 얻어지는 어떠한 표본들의 집 합도 결합적으로 가우시안 랜덤 변수들이 되는 랜덤 프로세스다 통신시스템 해석에 사용되는 대부분의 중요한 랜덤 프로세스들은 가우시안 랜덤 프로세스로 모델링 가우시안 랜덤 변수들의 1 차 및 2 차 모멘트를 가지고 가우시안 랜덤 변수들의 특징 ( 결합 PDF) 들 을 간단하면서도 완벽하게 설명할 수 있는 중요하게 사용되는 랜덤 프로세스 성질 ) N(ts)의 평균값과 분산이 계산될 수 있다면 , 가우시안 랜덤 프로세스의 하나의 표본에 대한 완벽한 특성을 알 수 있음 랜덤 양들에 대한 앙상블 평균들이 랜덤 양들의 특성을 어떻게 설명하는가에 대한 첫 번째 예 가우시안 랜덤 변수는 단지 2개의 앙상블 평균들로 랜덤 특성을 완벽하게 설명하기 때문에 매우 많 이 사용3.
가우시안 랜덤 과정 1
성질 ) 열에 의해 발생된 잡음들은 통신시스템에서 오류를 발생시키며 , 대부분의 열잡음의 평균은 0 이 된다 도체 내부의 전압 또는 전류의 평균이 0 이 아니라면 도체 내부를 오가는 전자들의 평균들이 존재하 는 것이며 , 전압이나 전류의 평균이 나타나는 것은 전압이나 전류를 발생시키는 외부의 힘이 존재하는 것이다 . 앞으로 이 장의 나머지 부분에서는 모든 랜덤 프로세스들의 평균이 0 인 것으로 가정한다 . 성질 ) 2개의 가우시안 랜덤 변수들의 결합 PDF 는 2 개 표본 사이의 상관 계수와 각각의 표본에 대한 분산 으로 표시 랜덤한 양들을 앙상블 평균 (분산과 상관 ) 에 의해 계산하는 방법에 대한 두 번째 예가 주어짐 상관 계수는 2개의 랜덤 변수 사이의 유사성을 표시 이 경우 , 주어지는 2개의 랜덤 변수들은 동일한 랜덤 프로세스로부터 얻어지는 표본들3.
가우시안 랜덤 과정 2
성질 )3.
가우시안 랜덤 과정 - 기초이론
정상 랜덤 프로세스 : 랜덤 프로세스의 통계적 특성이 시간에 관계없이 일정 비정상 랜덤 프로세스의 예 ) - 오하이오주 콜럼버스 지역의 온도 , 다우존스 산업 평균 지수 비정상 랜덤 프로세스에서 표본화된 랜덤 변수들의 통계적 특성은 표본화되는 시간에 따라 크게 달라짐 비정상 랜덤 프로세스는 정상 랜덤 프로세스보다 특성을 설명하기가 매우 어려움 다행히 , 통신시스템에서 나타나는 열잡음 현상은 시스템 성능이 관심의 대상이 되 는 시간 동안에 정상 랜덤 프로세스 본 교재의 나머지 부분에서 다루는 모든 잡음은 정상 상태 (stationary) 라고 가정 정의 ) • 정상 랜덤 프로세스를 표본화하여 얻은 랜덤 변수는 표본이 얻어지는 시간에 관계없이 통계적으로 동일 • 정상 랜덤 프로세스로부터 얻는 2개의 표본들은 표본을 선택한 시간 차이에 대한 함수 관계가 있는 통 계 특성을 갖게 되며 , 표본화된 절대 시간에는 좌우되지 않음3.
가우시안 랜덤 과정
결정론적인 신호 x(t) 에 대한 상관 함수
랜덤과정의 스펙트럼 특성 : 기초
Deterministic 신호의 스펙트럼 : 전압1
( )
( )
( )
( )
2
j t j tX
x t e
dt
x t
X
e d
랜덤 신호에서는 이와 같이 신호가 정해져 있지 않으므로 전력에 대해 표현한다 . 2 2 1 1 lim [ ( )] [| ( ) ] 2 2 T XX T T T P E X t dt E X d T
: 2 차 모멘트의 시간적 평균 2 2 { [ ( )] A E X t X 혹은 1 ( ) 2 XX XX P S d
여기서 1 lim [| ( ) | ]2로 정의한다 . 2 XX T T S E X T 랜덤과정의 스펙트럼 특성 : 예
0 ( ) cos( ) X t A t 가 랜덤 과정이며 A,0 는 상수이고 는 (0- ) 2 구간에 균일하게 분포되었다면 X(t) 의 평균 전력을 구하자 2 2 2 2 2 0 0 [ ( )] [ cos ( )] [ cos(2 2 )] 2 2 A A E X t E A t E t 2 2 /2 2 2 0 0 0 2 cos(2 2 ) sin(2 ) 2 2 2 A A A A t d t
2 2 2 2 0 1 { [ ( )] lim [ sin 2 ] 2 2 2 T XX T T A A A A E X t t dt P T
예 1전력 스펙트럼의 성질 1
. . 2 2 1. ( ) 0 2. ( ) ( ) 3. ( ) 1 4. ( ) { [ ( )]} 2 5. ( ) ( ) 1 6. ( ) [ ( , )] 2 ( ) [ ( , ) XX XX XX XX XX XX X X j t XX XX j t XX XX S S S S S A E X t S S S e A R t t S A R t t e
는 d d d 성질 실함수 (real function) 광의의 정상상태에서는1
( )
( )
2
( )
( )
j XX XX j XX XXR
S
e
S
R
e
d
d
푸리에 변환쌍전력 스펙트럼의 성질 1- 대역폭
1. 를 저역 통과 필터라고 가정하면 에 스펙트럼 성분이 집중된다 . 2.S
XX( )
는 확률밀도함수와 비슷한 성질을 가진다 .( )
XXS
0
2 2 ( ) ( ) XX rms XX S d W S d
rms W : 실효 대역폭 예 : 2 210
( )
[1 ( /10) ]
XXS
으로 주어진 경우 실효 대역폭은 2 2 2 2 2 2 2 2 10 [1 ( /10) ] 100 10 [1 ( /10) ] rms d W d
10( / ) rms W rad s상호전력 스펙트럼
( )
( )
( )
W t
X t
Y t
인 경우( ,
)
[ ( ) (
)]
{[ ( )
( )][ (
)
(
)]
WWR
t t
E W t W t
E X t
Y t
X t
Y t
( ,
)
( ,
)
( ,
)
( ,
)
XX YY XY YXR
t t
R t t
R
t t
R
t t
양변에 평균을 취하여 푸리에 변환하면( )
( )
( )
{ [
( ,
)]}
{ [
( ,
)]}
WW XX YY XY YXS
S
S
F A R
t t
F A R
t t
여기서 다음과 같이 정의할 수 있다 . *[
( ) ( )]
( ) lim
2
1
( )
( )
2
T T XY x XY XYE X
Y
S
T
P
S
d
전력스펙트럼과 비교해 볼 것상호전력 스펙트럼 : 성질
1. ( ) ( ) 2.Re[ ( )], Re[ ( )] 3.Im[ ( )], Im[ ( )] 4. ( ), ( ) = ( ) ( ) 0 5. 6. [ ( , )] ( ) [ ( , )] ( ) XY YX XY YX XY YX XY YX XY XY YX YX S S S S S S X t Y t A R t t S A R t t S 는 는 직교=>S S 성질 우함수 (even function) 광의의 정상상태에서는1
( )
( )
2
( )
( )
1
( )
( )
2
( )
( )
j XY XY j XY XY j YX YX j YX YXR
S
e
S
R
e
R
S
e
S
R
e
d
d
d
d
기함수 (odd function) X(t),Y(t) 가 상관관계가 없다면S
XY( )
S
YX( ) 2
X Y
( )
잡음 1
잡음을 다루는데 가장 적합한 분야 : 전력밀도 스펙트럼으로 구현 : multiplier, 입력 신호가 불규칙 신호인 경우 , 잡음 등
1. 백색잡음 (white noise) 과 유색잡음 (colored noise)
백색잡음 : 전력 스펙트럼이 전 주파수대에서 일정한 신호 0 0
