확률및통계:

(1)

확률및통계 _:

#24 – #26. 확률 변수의 쌍 (3)

Inkyu Bang

Hanbat National University

KOCW (Korea Open Course Ware)

(2)

v강의시간에 다룬 교재 내용

1장. 확률모델: 1.1절, 1.2절, 1.3절

2장. 확률론의 기본: 2.1절, 2.2절, 2.4절, 2.5절, 2.6절 3장. 이산 확률 변수: 3.1절, 3.2절, 3.3절, 3.4절, 3.5절 4장. 확률 변수: 4.1절, 4.2절, 4.3절, 4.4절, 4.5절

---> 중간고사 범위

5장. 확률 변수의 쌍: 5.1절 – 5.5절, (TODAY) 5.6 절, 5.9절

(3)

3

§ 복습

§ 두 확률 변수의 결합 모멘트

§ 결합 가우스 확률 변수

§ 요약

(4)

§ 우리의 관심: 확률 변수 𝑋 의 특성 → 확률 변수의 쌍 (𝑋, 𝑌)의 특성

하나의 확률 변수: 𝑋 두 개의 확률 변수: 확률 변수의 쌍 (𝑋, 𝑌)

이산 확률 변수

PMF(확률 질량 함수) 𝑝_! 𝑥 = 𝑃[𝑋 = 𝑥]

𝑋, 𝑌모두 이산 확률 변수

joint PMF(결합 확률 질량 함수): 𝑝_!,# 𝑥, 𝑦 = 𝑃[𝑋 = 𝑥, 𝑌 = 𝑦]

확률 변수

CDF(누적 분포 함수) 𝐹_! 𝑥 = 𝑃[𝑋 ≤ 𝑥]

PDF(확률 밀도 함수) 𝑓_! 𝑥 = _$%^$ 𝐹_!(𝑥)

𝑋, 𝑌확률 변수

joint CDF(결합 누적 분포 함수): 𝐹_!,# 𝑥, 𝑦 = 𝑃[𝑋 ≤ 𝑥, 𝑌 ≤ 𝑦]

joint PDF(결합 확률 밀도 함수): 𝑓_!,# 𝑥, 𝑦 = ^&^!

&%&'𝐹_!,#(𝑥, 𝑦) 기대값: 𝐸 𝑋 , 𝑌 = 𝑔 𝑋 , 𝐸 𝑌 = 𝐸[𝑔 𝑋 ]

분산: 𝑉𝑎𝑟 𝑋 , 𝑌 = 𝑔 𝑋 , 𝑉𝑎𝑟 𝑌 = 𝑉𝑎𝑟[𝑔 𝑋 ]

두 확률 변수의 독립 조건

공분산: 𝑐𝑜𝑣 𝑋, 𝑌 = 𝐸 𝑋𝑌 − 𝐸 𝑋 𝐸[𝑌]

상관 계수: 𝝆𝑿,𝒀 = 𝑐𝑜𝑣 𝑋, 𝑌 ÷ 𝜎_!𝜎_#

(5)

5

ü marginal CDF을 구하는 방법: 𝐹 _&,' 𝑥, ∞ = 𝐹 _& (𝑥)

②joint PDF와 marginal PDF의 의미

ü marginal PDF을 구하는 방법: ∫ ₍₎ ⁾ 𝑓 _&,' 𝑥, 𝑦 𝑑𝑦 = 𝑓 _& (𝑥)

③두 확률 변수의 독립 조건

ü𝐹 _!,# 𝑥, 𝑦 = 𝐹 _! (𝑥)×𝐹 _# (𝑦) 또는 𝑓 _!,# 𝑥, 𝑦 = 𝑓 _! (𝑥)×𝑓 _# (𝑦)

(6)

• T/F 확인 문제

(1) 𝐹

_<,=

(𝑥, 𝑦) 가 두 확률 변수 𝑋, 𝑌의 결합 누적 분포 함수(joint CDF)일 때, 𝑋의 한계 확률 밀도 함 수(marginal PDF)는 𝑓

_>

𝑥 =

_?>^?

lim

@→B

𝐹

_<,=

(𝑥, 𝑦) 이다.

(2) 𝐹

_<,=

𝑥, 𝑦 는 두 확률 변수 𝑋, 𝑌의 결합 누적 분포 함수(joint CDF)이고, 상수 𝑥

_C

, 𝑥

_D

, 𝑦

_C

, 𝑦

_D

는

𝑥

_C

< 𝑥

_D

, 𝑦

_C

< 𝑦

_D

을 만족할 때, 𝑃 𝑥

_C

< 𝑋 ≤ 𝑥

_D

, 𝑦

_C

< 𝑌 ≤ 𝑦

_D

= 𝐹

_<,=

𝑥

_D

, 𝑦

_D

− 𝐹

_<,=

𝑥

_C

, 𝑦

_C

이다.

(7)

7

§ (복습) 모멘트(moment)

ü 확률 변수 𝑋의 특성을 나타내는 여러 지표(평균, 분산 등)와 관련된 정보 𝐸 𝑋 ^# = (

∀%

𝑥 _% ^# 𝑝 _" (𝑥 _% ) 𝑜𝑟 𝐸 𝑋 ^# = -

&' ('

𝑥 ^# 𝑓 _" 𝑥 𝑑𝑥

ü 우리는 기대값과 분산을 구하기 위한 용도로 학습(𝑛 = 1,2): 𝐸 𝑋 ⁾ , 𝐸 𝑋 ^*

ü두 확률 변수를 생각할 때, 모멘트? 결합 모멘트(joint moment)

(8)

§ 두 확률 변수의 결합 모멘트를 공부하기에 앞서…

ü𝑌 = 𝑔(𝑋)일 때, 𝑌의 기대값? (확률 변수 함수의 기대값) 𝐸 𝑔(𝑋) = -

&' ('

𝑔(𝑥)𝑓 _" 𝑥 𝑑𝑥

ü𝑔 𝑋 = 𝑋 ^# 의 형태인 경우가 확률 변수의 모멘트

① “두 확률 변수 함수”의 기대값: 𝑍 = 𝑔(𝑋, 𝑌)

② 두 확률 변수의 결합 모멘트

(9)

9

§ “두 확률 변수 함수”의 기대값 𝐸 𝑔(𝑋, 𝑌) = -

&' ('

-

&' ('

𝑔(𝑥, 𝑦)𝑓 _",! 𝑥, 𝑦 𝑑𝑥 𝑑𝑦

ü단일 확률 변수에서 확률 변수 함수의 기대값 개념을 확장

(10)

• 예제 5-15(교재 예제 5-24): 두 확률 변수 𝑋, 𝑌의 결합 확률 밀도 함수(joint PDF)가 𝑓

_<,=

(𝑥, 𝑦)일 때, 𝑍 = 𝑋 + 𝑌의 기대값을 구하여라.

*우리가 알고 있는 𝐸 𝑋 + 𝑌 = 𝐸 𝑋 + 𝐸[𝑌]가 나오는 지 확인

(11)

11

§ 두 확률 변수의 결합 모멘트(joint moment) 𝐸 𝑋 ^# 𝑌 ^, = -

&' ('

-

&' ('

𝑥 ^# 𝑦 ^, 𝑓 _",! 𝑥, 𝑦 𝑑𝑥 𝑑𝑦

ü두 확률 변수 𝑋, 𝑌의 결합성에 관한 정보

ü예를 들어 𝑛 = 𝑚 = 1, 𝐸 𝑋𝑌 는 𝑋, 𝑌의 선형(linear) 관련성에 관한 척도

ü단일 확률 변수와 비슷하게 단순한 절대 수치보다 상대적 수치가 필요

(12)

§ 공분산(covariance)

𝑐𝑜𝑣 𝑋, 𝑌 = 𝐸 𝑋 − 𝑚 _" 𝑌 − 𝑚 _! = 𝐸 𝑋𝑌 − 𝐸 𝑋 𝐸[𝑌]

§ 상관 계수(correlation coefficient) 𝜌 _",! = 𝑐𝑜𝑣 𝑋, 𝑌

𝜎 _" 𝜎 _! = 𝐸 𝑋𝑌 − 𝐸 𝑋 𝐸 𝑌

𝜎 _" 𝜎 _!

(13)

13

§ 상관 계수(correlation coefficient) 예시

*출처:https://en.wikipedia.org/wiki/Pearson_correlation_coefficient

비상관(uncorrelated), 𝜌

_!,#

= 0

(14)

(15)

15

• 예제 5-16(교재 예제 5-26): 두 확률 변수 𝑋, 𝑌가 독립일 때 𝑐𝑜𝑣(𝑋, 𝑌)을 구하여라.

(16)

• 예제 5-17: 두 확률 변수 𝑋, 𝑌가 결합 확률 밀도 함수(joint PDF)가 다음과 같을 때, 독립, 비상관(uncorrelated) 여부를 판단하여라.

𝑓

_<,=

𝑥, 𝑦 = :1 0 ≤ 𝑥 ≤ 1, 𝑥 + 𝑦 ≤ 1, 𝑥 − 𝑦 ≤ 1

0 otherwise

(17)

17

§ 두 확률 변수 𝑋, 𝑌의 결합성 관련 척도 요약

ü𝐸 𝑋𝑌 는 𝑋, 𝑌의 선형(linear) 관련성에 관한 척도(절대적 수치) ü𝐸 𝑋𝑌 = 0이면 𝑋와 𝑌는 직교(orthogonal)

ü비상관(uncorrelated) ^𝜌 _",! ^{= 0} 와 독립의 관계

( ^✓ ) 두 확률 변수 𝑋, 𝑌가 독립(independent) ⟹ 𝜌 _!,# = 𝐸 𝑋𝑌 − 𝐸 𝑋 𝐸 𝑌 = 0

( ^✗ ) ^𝜌 !,# = 𝐸 𝑋𝑌 − 𝐸 𝑋 𝐸 𝑌 = 0 ⇏ 두 확률 변수 𝑋, 𝑌가 독립(independent)

(18)

• 예제 5-18(교재 연습 5-57 변형): 확률 변의 쌍 (𝑋, 𝑌)가 다음과 같은 결합 확률 질량 함수를 갖 을 때, 상관 계수(correlation coefficient)를 구하고 독립, 직교, 비상관 여부를 판단하여라.

𝑌

𝑋

-1 0 1

-1 1/6 0 1/6

0 0 1/3 0

1 1/6 0 1/6

𝑌

𝑋

-1 0 1

-1 1/9 1/9 1/9 0 1/9 1/9 1/9 1 1/9 1/9 1/9

(a) (b)

(19)

(20)

§ (복습) 가우스(정규) 확률 변수(Gaussian 또는 normal random variable)

ü𝑆 _! = (−∞, ∞)

ü𝑓 _! 𝑥 = 𝜑 _$,%

^!

𝑥 = ^&

'(%

^!

𝑒 ⁾

^{"#$ !}^!%!

, −∞ < 𝑥 < ∞, 𝜎 > 0 ü𝐸 𝑋 = 𝜇 (PDF 그래프 좌/우 이동)

ü𝑉𝑎𝑟 𝑋 = 𝜎 ^' (PDF 그래프의 폭) ü𝑓 𝑥 는 𝑥 = 𝜇에서 좌우대칭

출처:https://en.wikipedia.org/wiki/Normal_distribution

(21)

21

§ (복습) 가우스(정규) 확률 변수의 CDF(확률 변수: 𝑋, 평균: 𝜇, 분산: 𝜎 ^* ) 𝐹 _" 𝑥 = -

&' 0

𝑓 _" 𝑡 𝑑𝑡 → Φ _1,2

^E

𝑥 = -

&' 0

𝜑 _1,2

^E

𝑡 𝑑𝑡 = -

&'

0 1

2𝜋𝜎 ^* 𝑒 ^& ^3&1

E

*2

^E

𝑑𝑡

§ 다양한 평균(𝜇)/분산(𝜎 ^* ) 조건 → 표준 정규 분포 𝑍 변환해서 생각 ü𝑋에서 변환: 𝑍 = "&1

2 ü CDF: 𝐹 ₄ 𝑧 = Φ 𝑧 = ∫ _&' ⁵ _*6 ⁾ 𝑒 ^&

^FE^E

𝑑𝑡

출처:https://www.probabilitycourse.com/chapter4/4_2_3_normal.php

(22)

§ 결합 가우스 확률 변수(Jointly Gaussian random variables) ü𝑋~𝑁(𝜇 ₀ , 𝜎 ₀ ^* ), 𝑌~𝑁(𝜇 ₇ , 𝜎 ₇ ^* )가 각각 가우스 확률 변수

ü𝜌 _0,7 : 두 확률 변수의 상관 계수

ü(𝑋, 𝑌)의 결합 확률 밀도 함수(joint PDF)

𝑓

_<,=

𝑥, 𝑦 =

exp −1 2 1 − 𝜌

_>,@^D

𝑥 − 𝜇

_>

𝜎

_>

D

− 2𝜌

_>,@

𝑥 − 𝜇

_>

𝜎

_>

𝑦 − 𝜇

_@

𝜎

_@

+ 𝑦 − 𝜇

_@

𝜎

_@

D

2𝜋𝜎

_>

𝜎

_@

1 − 𝜌

_>,@^D

(23)

23

§ 결합 가우스 확률 밀도 함수 그래프 1

출처:https://en.wikipedia.org/wiki/Multivariate_normal_distribution

joint PDF 함수의 등고선

등고선의 형태를 보고 상관 계수의 범위를 어느 정도 추측 가능

타원 형태 à (타원의 방향에 따라서) 𝜌

_$,%

> 0 또는 𝜌

_$,%

< 0

완전한 원형 à 𝜌

_$,%

= 0

(24)

24

§ 결합 가우스 확률 밀도 함수 그래프 2

ü Joint PDF의 등고선의 장축( major axis)이 𝑥축과 이루는 각도(𝜃)

ü 𝜃 값의 범위에 따라 𝜎

_C

(𝑋의 표준편차), 𝜎

_D

(𝑌의 표준편차)의 대소 관계 비교 가능

280 Chapter 5 Pairs of Random Variables

The marginal pdf of X is found by integrating over all y. The integra- tion is carried out by completing the square in the exponent as was done in Example 5.18. The result is that the marginal pdf of X is

(5.63) that is, X is a Gaussian random variable with mean and variance Similarly, the marginal pdf for Y is found to be Gaussian with pdf mean and variance

The conditional pdf’s and give us information about the inter- relation between X and Y. The conditional pdf of X given is

f 1x, y2

Y = y f_Y1y ƒ x2

f_X1x ƒ y2 m₂ s₂².

s₁². m₁

f_X1x2 = e^-1x-m¹²²^/2s¹² 22ps1

,

f_X,Y1x, y2

y

x θ

(m¹ , m²

)

y

x (m¹, m²

)

σ₁!σ₂

σ₁"σ₂

σ₁!σ₂ π

0 " θ " 4

π 2 π

4 " θ "

π θ ! 4 π

4

y (a)

(c)

(b) (m¹, m²)

FIGURE 5.26

Orientation of contours of equal value of joint Gaussian pdf for r_X,Y 7 0.

280 Chapter 5 Pairs of Random Variables

expb ^-1

211 - rX,Y2 2s12B^x - rX,Y

s₁

s₂1y - m22 - m1R²r f_X1x ƒ y2 = f_X,Y1x, y2

f_Y1y2

Y = y f_Y1y ƒ x2

f_X1x ƒ y2

s₂². m₂

s₁². m₁

f_X1x2 = e^-1x-m¹²²^/2s¹² 22ps1

,

f_X,Y1x, y2

y

x θ

(m¹ , m²

) y

x (m¹, m²)

σ₁!σ₂

σ₁"σ₂

σ₁!σ₂ π

0 " θ " 4

π 2 π

4 " θ "

π θ ! 4 π

4

y (a)

(c)

(b) (m¹, m²)

FIGURE 5.26

(5.64)

=

expb₂ ^-1

11 - rX,Y2 2s12 B^x - rX,Y

s₁

s₂1y - m22 - m1R²r 22ps1211 - rX,Y2 2 . f_X1x ƒ y2 = f_X,Y1x, y2

f_Y1y2

Y = y f_Y1y ƒ x2

f_X1x ƒ y2

s₂². m₂

s₁². m₁

f_X1x2 = e^-1x-m¹²²^/2s¹² 22ps1

,

f_X,Y1x, y2

x

x θ

(m¹ , m²

) σ₁!σ₂ x

σ₁"σ₂

σ₁!σ₂ π

0 " θ " 4

π 2 π

4 " θ "

π θ ! 4 π

4

y (a)

(c)

(b)

FIGURE 5.26

(25)

25

• 예제 5-19: 두 확률 변수 𝑋~𝑁(𝜇

_>

, 𝜎

_>^D

), 𝑌~𝑁(𝜇

_@

, 𝜎

_@^D

) 는 각각 가우스 확률 변수이다. 𝑋, 𝑌는 독

립일 때, (𝑋, 𝑌)의 결합 확률 밀도 함수(joint PDF)를 구하여라.

(26)

• 예제 5-20(교재 예제 5-47 변형): (잡음에서의 신호 추정) 확률 변수 𝑋와 𝑊은 어떤 통신 시스

템의 송신 신호와 수신 잡음을 나타내는 서로 독립인 가우스 확률 변수이다. 즉, 𝑋~𝑁(0, 𝜎

_>^D

) ,

𝑊~𝑁(0, 𝜎

_G^D

) 이다. 이 통신 시스템의 수신 신호 𝑌 = 𝑋 + 𝑊일 때, 𝑌의 평균, 분산 𝑋, 𝑌의 공분

산을 구하시오.

(27)

27

ü 두 확률 변수 𝑋, 𝑌을 연관성을 파악하기 위한 척도 ü공분산, 상관 계수의 정의와 의미

②결합 가우스 확률 변수

ü결정 요소: 두 확률 변수의 각 평균,분산 및 상관계수

ü 그래프의 형태

(28)

§ 고학석 외, 확률 및 랜덤 프로세스, 자유아카데미, 2008

§ 사진: https://pixabay.com/ko/ 혹은 별도 표기

§ https://en.wikipedia.org/wiki/Probability_theory

(29)

E-mail: ikbang at hanbat.ac.kr

29

확률및통계: