정보이론
1장
확률 (Probability)
개요
집합의 정의
집합 연산
집합과 상대 빈도를 적용한 확률
결합 확률과 조건 확률
독립 사건
혼합 실험
베르누이 시행
요약
1.1 집합의 정의
집합 (Set)
: 어떤 대상이나 객체들의 모임 (A 로 표시)
원소 (Element)
: 집합 내의 대상이나 객체 (a 로 표시)
a는 집합A의 원소이다: a는 집합A의 원소가 아니다: 집합의 내용을 지정하는 방법: 열거법, 규칙법
집합의 분류
셀 수 있다 (Countable), 셀 수 없다 (uncountable) 유한 집합 (finite set), 무한 집합 (infinite set)
공집합 (null set 또는 empty set)
또는 {}로 표시, 모든 다른 집합에 대한 부분 집합
부분 집합 (Subset)
집합A의 모든 원소가 다른 집합B의 원소이면, A는B에 포함된다 또는A는B의 부분집합 (subset): A가B의 부분 집합이고, B가A에 없는 원소를 적어도 하나를 가지면, A는B의 진부분 집합 (proper subset): A와B가 서로 같은 원소를 갖지 않으면,A와B는 배반(disjoint) 또는 상호 배타적 (mutually exclusive):
Chapter 1. Probability 3
a
A
a
A
AB AB AB1.1 집합의 정의
예제 1.1-1
: 기본 용어 정의
분류 D는 공집합인가? NO A는B, C와F의 부분 집합이다. F의 (진)부분 집합은C와D; B의 (진)부분 집합은E “A와 (D 또는E),” “D와E” 는 상호 배타적이다. {1, 3, 5, 7} {1, 2, 3, } {0.5 8.5} A B C c } 0 . 12 0 . 5 { } 14 , 12 , 10 , 8 , 6 , 4 , 2 { } 0 . 0 { f F E D 기준 분류 해당 집합 어떻게 내용을 지정할 것인가 열거법 A, B, D, E 규칙법 C, F 셀 수 있는가 셀 수 있다 A, B, D, E 셀 수 없다 C, F 유한한가 유한하다 A, D, E 무한하다 B, C, F 셀 수 있으며 유한하다: A, D, E 셀 수 있으며 무한하다: B 셀 수 없으며 유한하다: 셀 수 없으며 무한하다: C, F1.1 집합의 정의
전체 집합 (universal set)
: S
주어진 상황에서 모든 대상들을 모두 포함하는 가장 큰 집합 예제 1.1-2
: 주사위 던지기
S = {1,2,3,4,5,6} 홀수가 나오면 이김: A={1,3,5} 4 이하의 숫자가 나오면 이김: B= {1,2,3,4} A와B는S의 부분 집합 와S 자체도S의 부분 집합 N개의 원소를 갖는 전체 집합에 대해, S의 모든 가능한 부분 집합의 수는 2
N 예제 1.1-2에서S의 부분 집합의 수: 26= 64 이기는 것을 64가지 방법으로 정의할 수 있음 Chapter 1. Probability 51.2 집합 연산
벤 다이어그램 (Venn Diagram)
: 집합의 기하학적 표현
C는A와B모두에 대하여 배반 B는A의 부분 집합 등가 집합 (Equal sets)
: A = B
A의 모든 원소가B에 있고, 또한B의 모든 원소가A에 있다면 (즉, AB이 고BA), 두 집합은 등가이다. 차 (Difference)
: A B
두 집합A와B의 차는B에 속하지 않은 모든A의 원소를 포함하는 집합이다. 예: A= {0.6 < a 1.6}, B= {1.0 b 2.5} A B= {0.6 < c < 1.0} B A= {1.6 < d 2.5}S
A
B
C
1.2 집합 연산
합집합
(
Union
또는 sum): C = A B
두 집합A와B 의 합집합C A또는B 혹은 둘 다에 있는 모든 원소들의 집합 교집합
(
Intersection
또는 product): D = A B
두 집합A와B의 교집합D A와B에 공통으로 있는 모든 원소들의 집합 상호 배타적인 두 집합A와B의 경우A B= N개의 집합 A
n, n = 1,2,…,N의 합집합과 교집합:
여집합
(
Complement
):
집합A의 여집합은A에 속하지 않는 모든 원소의 집합 Chapter 1. Probability 7 , 1 2 1
N n n N A A A A C
N n n N A A A A D 1 2 1 or
cA
A
A S A ,S ,A , and S A S A A 1.2 집합 연산
예제 1.2-1
: 집합 연산
합집합과 교집합 여집합 {1 12} {1, 3, 5,12} {2, 6, 7,8,9,10,11} {1, 3, 4, 6, 7,8} S A B C 정수 {1, 2, 3, 5, 6, 7,8, 9,10,11,12} {1,3, 4, 5, 6, 7, 8,12} {1, 2,3, 4, 6, 7,8, 9,10,11} A B A C B C {1,3} {6, 7,8} A B A C BC {2, 4, 6, 7, 8, 9,10,11} {1, 3, 4, 5,12} {2, 5, 9,10,11,12} A B C B
2,9,10,11 6,7,8 5,12A
1,3 4C
S
1.2 집합 연산
집합 대수
교환 법칙(Commutative law)
분배 법칙(Distributive law) 결합 법칙(Associative law)
드 모르간의 법칙 (De Morgan’s law)
두 집합A와B의 합집합 (교집합)의 여집합은 두 여집합 와 의 교집합 (합집합)과 같다. Chapter 1. Probability 9 A B B A A B B A ) ( ) ( ) ( ) ( ) ( ) ( C A B A C B A C A B A C B A ( ) ( ) ( ) ( ) A B C A B C A B C A B C A B C A B C B A B A B A B A ) ( ) ( A B
1.2 집합 연산
예제 1.2-2
: 드 모르간 법칙의 증명
예제 1.2-3
: 분배 법칙의 증명
{2 24} {2 16}, {5 22} S s A a B b {16 24}, {2 5, 22 24} {2 5, 16 24} A S A a B S B a a A B c c (A B) A B } 4 3 { } 10 , 8 , 6 , 2 { } 6 , 4 , 2 , 1 { c C B A } 6 , 4 , 2 { ) ( ) ( } 6 , 4 , 2 { ) ( C A B A C B A {2, 3 4, 6,8,10} {2, 6} {4} B C c A B A C ( ) ( ) ( ) A B C A B A C {5 16} {2 5, 16 24} A B c A B c c
확률을 정의하는 두 가지 방법
집합 이론과 기본 공리에 기반한 방법: 수학적으로 더 정확함
상대 빈도 (relative frequency): 공학적 또는 과학적 관찰에 근거함
실험 (Experiment)
확률적 결과를 초래하는 일련의 행위
실험의 시행 (trial) 가능성 (likelihood)을 갖는 결과 (outcome)
예: 주사위 던지기 6개의 숫자 (1~6)는 각각 1/6의 가능성을 가짐 (equally likely) 가능한 모든 결과들의 집합 표본 공간 (sample space)를 형성함
실험에 대한 수학적 모델의 세 가지 요소
표본 공간 (sample space) 사건 (events) 확률 (probability) Chapter 1. Probability 111.3 집합과 상대 빈도를 적용한 확률
1.3 집합과 상대 빈도를 적용한 확률
표본 공간
어떤 실험에서 얻을 수 있는모든 가능한 결과들의 집합(S로 표시) 주어진 실험에 대한전체 집합(Universal set) 이산적(discrete)/연속적(continuous); 유한(finite)/무한(infinite) 사건 우리는 주로 실험에서 나오는 결과 자체가 아니라, 실험 결과의 어떤 특성 (characteristics) 에 관심을 갖는다 정의: 표본 공간의 부분 집합 집합에 적용되는 모든 정의와 연산이 사건에도 적용됨 (예: 두 가지 사건이 공통으로 가지는 결과가 없는 경우, 두 사건은 상호 배타적이다) 예: 52장의 카드에서 한 장을 뽑는 실험 스페이드를 뽑는 사건: 52개의 가능한 결과들 중 13가지 사건의 총 가지 수 = 2N(N: 표본 공간의 원소의 수, 이 예에서는 52) 각 사건의 분류: 연속적/이산적, 유한적/무한적, 셀 수 있는/셀 수 없는 사건의 형태에 대한 예 표본 공간 S = {1, 2, 3, …}, 사건 A = {1, 3, 5, …}: 이산적이며 셀 수 있는 무한한 사건 표본 공간 S = {1, 3, 5, …}, 사건 A = {1,3,5,7}:이산적이며 셀 수 있는 유한한 사건 표본 공간 S = {6 s 13}, 사건 A = {7.4 < a < 7.6}: 연속적이며 셀 수 없는 사건 표본 공간 S = {6 s 13}, 사건 A = {6.1392}: 이산적이며 셀 수 있는 유한한 사건
확률의 정의 및 공리
표본 공간S에 정의된 각 사건에 할당된 음의 아닌 수 확률 확률은 사건들에 대한 함수이다. P(A): 사건A의 확률 할당된 확률들은 다음의 세 가지 공리 (axioms)를 만족시켜야 함 P(A) 0 P(S) = 1 (S는 전사건(certain event)인 반면, 은 불가능 사건 (impossible event))
for allm n = 1, 2, …,N (N은 무한대일 수도 있음) Chapter 1. Probability 13
1.3 집합과 상대 빈도를 적용한 확률
1 1 ( ) if N N n n m n n n P A P A A A
임의의 수의 상호 배타적인 사건들의 합집합 사건의 확률은 각 사건의 확률 들의 합과 같다
1 P S 예제 1.3-1
: 0부터 100까지의 점들이 표시된 “흠 없는(fair)” 회전판을 돌려
어떤 수 x를 구하는 실험
표본 공간S= {0 < x 100} 어떤 두 수x2x1사이에 떨어질 확률: (x2x1)/100 사건A= {x1< xx2} 공리 1: P(A) 0 공리 2: x2=100이고x1= 0이면, A= S이고P(S) = 1 공리 3: 회전판을N개의 연속된 조각들An으로 나눈다면 An= {xn-1< xxn}, where xn= 100n/N,n = 1,2,…,N 이때, 어떤n에 대해서도P(An) = 1/N이고 만약
xnxn-1이 0으로 수렴한다면,
P(An) → P(xn) = 1/N 이 상황에서N→ 이므로, P(An) → 0 연속적 표본 공간에서 정의된 이산적 사건의 확률은 0이다 확률이 0이라도 사건은 일어날 수 있다(불가능 사건과는 다름) 만약 표본 공간이 이산적이라면, 이런 상황은 발생하지 않는다 ) ( 1 1 ) ( 1 1 1 S P N A P A P N n N n n N n n
U
1.3 집합과 상대 빈도를 적용한 확률
3가지 공리에 기반한 실험의 수학적 모델
표본 공간 물리적인 결과들을 수학적으로 표현하는 표본 공간을 정의함 사건 실제 실험에서 나타나는 결과들 자체가 아닌 결과들의 특성에 관심을 가짐; 사건은 이러한 특성들을 수학적으로 표현하기 위해 정의됨 확률 실험의 랜덤한 성질을 수학적으로 표현하기 위해 정의된 사건들에 확률을 할당함 3가지 공리를 만족해야 함 Chapter 1. Probability 151.3 집합과 상대 빈도를 적용한 확률
예제 1.3-2
: 두 개의 주사위를 던져서 나오는 수의 합을 관찰하는 실험
실험: 두 개의 주사위를 던짐 표본 공간: 62 = 36개의 점 각 가능한 결과는 두 주사위 눈의 합인 2부터 12까지의 수에 대응됨 다음의 세 가지 사건에 관심이 있다고 가정함 A= {합 = 7}, B= {8 < 합 11}, C= {합 > 10} 위의 세 사건에 확률 할당 36개의 기본 사건Aij, i= 1, 2, …, 6 (행), j= 1, 2, …, 6 (열)을 정의함 Aij= {결과 (i, j)의 합i + j} P(Aij) = 1/36 (주사위에 흠이 없다면) 각 사건Aij는 상호 배타적인 사건임 사건A, B와C는 단순히 어떤 기본 사건들의 합집합임 6 6 ,7 ,7 1 1 1 1 1 1 1 1 ( ) ( ) 6 , ( ) 9 , ( ) 3 36 6 36 4 36 12 i i i i i i P A P A P A P B P C
18 5 36 1 10 ) ( , 18 1 36 1 2 ) ( C PB C B P U1.3 집합과 상대 빈도를 적용한 확률
상대 빈도로서의 확률
예: 동전 던지기 n번 동전을 던져서nH번 앞면 (head)이 나왔다면 상대 빈도: nH/n “앞면”이 나올 확률 통계적 규칙성 (Statistical regularity): 시행의 수 (n)가 커질 수록, 상대 빈도는 어떤 고정된 값 (확률)으로 수렴한다 예제 1.3-3
: 박스 안에 들어 있는 80개의 저항 (10-18개, 22-12개,
27-33개, 47-17개)들이 똑같은 가능성 (equally likely)로 뽑힐 때
80개의 저항 중 하나를 뽑는 실험 22 저항을 하나 뽑아서 다시 넣지 않는다면, 이제 네 가지 종류의 저항을 뽑 을 확률은? Chapter 1. Probability 17 ( ) lim H n n P H n (draw 10 ) 18 / 80 (draw 22 ) 12 / 80 (draw 27 ) 33 / 80 (draw 47 ) 17 / 80 P P P P (draw 10 | 22 ) 18 / 79 (draw 22 | 22 ) 11/ 79 (draw 27 | 22 ) 33 / 79 (draw 47 | 22 ) 17 / 79 P P P P 1.3 집합과 상대 빈도를 적용한 확률
1.4 결합 확률과 조건 확률
결합 확률 (joint probability) 표본 공간에서 두 사건A와B의 교집합에 대한 확률P(AB) 조건 확률 (conditional probability) 0이 아닌 확률을 갖는 사건B가 주어졌을 때, 사건A의 조건 확률은 P(A|B)가 정말 확률일까? 공리 1: P(A B) 0, P(B) > 0 P(A|B) 0 공리 2: 공리 3: A와 C가 상호 배타적이면, A와B가 상호 배타적이면, ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 0 P A B P A P B P A B P A B P A P B P A B P A P B P A B P A P B P A B ( ) ( | ) ( ) P A B P A B P B ( | ) 0 ABP A B 1 ) ( ) ( ) ( ) ( ) | ( B P B P B P B S P B S P [( ) ] [( ) ( )] ( ) ( ) ( ) [( ) | ] ( | ) ( | ) ( ) ( ) ( ) ( ) ( ) P A C B P A B C B P A B P C B P A B C P A C B P A B P C B P B P B P B P B P B 1.4 결합 확률과 조건 확률
예제 1.4-1
: 결합 확률과 조건 확률
다음의 세 가지 사건을 정의 A: 47 저항을 뽑는 것 B: 5% 오차의 저항을 뽑는 것 C: 100 저항을 뽑는 것 결합 확률 조건 확률 Chapter 1. Probability 19 저항 오차 5% 10% 총계 22 10 14 24 47 28 16 44 100 24 8 32 총계 62 38 100 ( ) (47 5%) ( ) (47 100 ) 28 100 0 2 ( ) (5% 100 ) 4 100 P A B P P A C P P B C P ( ) (47 ) ( ) (5% 44 100 62 10 ) ( ) (10 0 32 100 0 ) P A P P B P P C P 28 100 62 100 32 100 24 100 32 100 ( ) ( | ) ( ) ( ) ( 28 62 0 | ) ( ) ( ) ( | ) 0 24 2 ( ) 3 P A B P A B P B P A C P A C P C P B C P B C P C 1.4 결합 확률과 조건 확률
전체 확률 (Total Probability)
표본 공간S에서 정의된 사건A의 확률P(A)는 조건 확률들로 표현될 수 있다 N개의 상호 배타적인 사건Bn, n = 1, 2,…, N가 있고, 이들의 합집합이S 라면 사건A의 전체 확률: 증명: A= AS이므로 S B N n m B B N n n n m
1 , , , 2 , 1
N n n n PB B A P A P 1 ) ( ) | ( ) ( 1 1 1 1 1 ( ) ( ) ( ) ( ) = ( ) ( ) ( 3) ( ) ( ) N N n n n n N n n N n n N n n n A S A B A B P A P A S P A B P A B P A B P B
분배 법칙 공리1.4 결합 확률과 조건 확률
베이즈 정리 (Bayes’ theorem)
Bn을 앞에서 소개한 전체 확률에서 정의된 사건이라고 하면, 베이즈 정리의 유도 조건 확률들로부터, 따라서, A의 전체 확률을 이용하여 다시 쓰면 Chapter 1. Probability 21 ( ) ( | ) if ( ) 0 ( ) ( | ) ( ) ( ) ( ) ( | ) if ( ) 0 ( ) ( | ) ( ) ( ) n n n n n n n n n n n P B A P B A P A P B A P B A P A P A P A B P A B P B P A B P A B P B P B ( | ) ( ) ( | ) ( ) n n n P A B P B P B A P A 1 ( ) ( | ) ( ) N k k k P A P A B P B
1 ( | ) ( ) ( | ) ( | ) ( ) n n n N k k k P A B P B P B A P A B P B
S B N n m B B N n n n m
1 , , , 2 , 11.4 결합 확률과 조건 확률
예제 1.4-2
: 이진 (0 또는 1) 대칭 통신 시스템
사후 확률 바르게 심볼을 전송할 확률 시스템 오류 확률 1 1 1 1 1 2 2 2 2 1 1 2 2 2 ( ) ( | ) ( ) ( | ) ( ) 0.9(0.6) 0.1(0.4) 0.58 ( ) ( | ) ( ) ( | ) ( ) 0.1(0.6) 0.9(0.4) 0.42 P A P A B P B P A B P B P A P A B P B P A B P B 1 1 2 2 1 1 1 1 2 2 2 2 ( | ) ( ) 0.9(0.6) 0.931 ( ) 0.58 ( | ) ( ) 0.9(0.4) 0 ( | ) ( | .857 ( 0 ) ) .42 P B A P P A B A B P B P A P A B P B P A 1 2 ( ) 0.6 ( ) 0.4 P B P B • 표본 공간= {0, 1} • 주어진 확률 사전 확률 전이 확률 1 1 2 1 1 2 2 2 ( | ) 0.9 ( | ) 0.1 ( | ) 0.1 ( | ) 0.9 P A B P A B P A B P A B 1 2 2 1 2 1 1 2 1 2 2 1 ( | ) ( ) 0.1(0.6) 0.143 ( ) 0.42 ( | ) ( ) 0.1(0.4) 0 ( | ) ( | .069 ( 0 ) ) .58 P B A P P A B A B P B P A P A B P B P A 1.5 독립 사건
두 사건
0이 아닌 확률을 갖는 두 사건A와B (P(A) 0, P(B) 0) 한 사건의 발생 확률이 다른 사건의 발생에 의해 영향을 받지 않는다면, 두 사건 은 통계적으로 독립 (statistically independent)이다 통계적 독립인 두 사건에 대해 상호 배타적인 두 사건은P(AB) = 0 두 사건이 독립이 되려면, 두 사건은 반드시AB 여러 사건들
세 사건A1, A2, A3가 통계적으로 독립이 되려면 다음의 4가지 조건을 만족해야 한다: N개의 사건A1, A2, …, AN, 1i < j < k<… N, 이 통계적으로 독립이 되려면 다음의 2NN 1개의 조건을 만족해야 한다: Chapter 1. Probability 23 ( ) ( | ) ( ) or ( | ) ( | ) ( ) ( ) P A B P A B P A P A B P B A P B P B ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( 3 2 1 3 2 1 3 2 3 2 3 1 3 1 2 1 2 1 A P A P A P A A A P A P A P A A P A P A P A A P A P A P A A P 1 2 1 2 ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) i j i j i j k i j k N N P A A P A P A P A A A P A P A P A P A A A P A P A P A ( ) ( ) ( ) P AB P A P B1.5 독립 사건
예제 1.5-2
: 52장의 카드에서 4장을 뽑는 실험
사건A1, A2, A3, A4를 각각 Ace를 첫 번째, 두 번째, 세 번째, 네 번째로 뽑을 사건으로 정의 다음의 두 가지 시나리오에 대한 결합 확률P(A1
A2
A3
A4) 시나리오 1: 카드를 뽑은 후에 다시 그 카드를 집어 넣는 경우 A1, A2, A3, A4가 독립인가? YES 시나리오 2: 다시 넣지 않고 계속 뽑는 경우 A1, A2, A3, A4가 독립인가? NO 4 5 1 2 3 1 2 4 4 3 4 ( ) ( ) ( ) ( ) 3.5 10 2 ( ) 5 P A P A P A P A A A P A A 1 2 3 4 1 1 2 1 3 4 1 2 1 2 1 3 1 2 4 1 2 3 1 2 3 4 6 ( ) ( | ) ( ) ( | ) ( | ) ( ) ( | ) ( | ) ( | ) 4 3 2 1 3.69 10 52 51 50 4 ) 9 ( P A P A A A A P A P A A P A A A A P P A A A A P A A A P A A A P A A A A 1.5 독립 사건
독립 사건의 성질
만약N개의 사건들A1, A2,…, AN이 서로 독립이면, 임의의 한 사건은 나머지 사건들로 만들 수 있는 모든 합집합, 교집합, 여집합으로 이루어지는 사건에 대하여 역시 독립이다 예 1: 두 독립 사건A1와A2에 대해 A1는 와 독립 는A2와 독립 는 와 독립 예 2: 세 독립 사건A1, A2, A3에 대해 한 사건은 다른 두 사건의 결합 사건에 독립이다 임의의 한 사건은 나머지 두 사건의 합집합과 독립이다 Chapter 1. Probability 25 2 A 1 A
A1 A2 A3
P(A1)P(A2)P(A3) P(A1)PA2 A3 P
A1 A2 A3
P(A1)PA2 A3 P 1 A A21.6 혼합 실험
혼합 실험 (combined experiment) 개개의 실험들을 적당히 혼합하여 하나의 실험을 만드는 것 혼합 표본 공간 두 개의 부분 실험 (subexperiment)을 고려 S1과S2를 두 부분 실험의 표본 공간으로 정의 s1과s2를 각각S1과S2의 원소로 가정 새로운 공간S로부터 혼합 표본 공간 정의 이 공간의 원소들은 모두 순서쌍 (ordered pairs) (s1, s2)로 표현 S1: M 개의 원소 S2: N 개의 원소 S: MN 개의 원소 혼합 표본 공간: 예제 1.6-1: 동전 던지기와 주사위 던지기 S1: 동전 던지기 S2: 주사위 던지기 예제 1.6-2: 두 번의 동전 던지기 N개의 표본 공간Sn, n = 1,2,…N, 에 대한 혼합 표본 공간은 1 2 {( ,1 2) 1 1,2 2} S SS s s sS sS } , { 1 H T S } 6 , 5 , 4 , 3 , 2 , 1 { 2 S {( ,1), ( , 2), ( ,3), ( , 4), ( , 5), ( , 6), ( ,1), ( , 2), ( , 3), ( , 4), ( , 5), ( , 6)} S H H H H H H T T T T T T )} , ( ), , ( ), , ( ), , {( } , { } , { 2 1 T T H T T H H H S T H S T H S 1 2 N {( ,1 2, , N) 1 1,2 2, , N N} SSS S s s s sS s S s S1.6 혼합 실험
혼합 공간의 사건들
표본 공간S1과S2로 정의되는 두 부분 실험 A: S1에서 정의되는 어떤 사건; B: S2에서 정의되는 어떤 사건 S에서 정의되는 사건C는 모든 쌍 (s1, s2)로 구성 ( 와 ) A의 원소= S 에서 정의되는 사건AS2의 원소 B의 원소= S 에서 정의되는 사건BS1의 원소 Chapter 1. Probability 27 1 2 1 2 {( , ) and } CA B s s sA s B ) ( ) (A S2 B S1 B A 예제 1.6-3: 혼합 표본 공간: 두 사건 이때 1 {0 100}, 2 {0 50} S x S y {( , ) 0 100, 0 50} S x y x y 1 2 1 2 { } { } Ax x x 와B y y y 50 0 , 100 0x1x2 y1y2 1 2 1 2 {x x x} {y y y} A B 1 { 1} (horizontal line) Syy은 하나의수평선 1 s A s2B1.6 혼합 실험
혼합 사건의 확률
N개의 실험An Sn, n= 1, 2,…, N 이 를 만족하면, 이들은 독립 실험 (independent experiments)이 된다 여기서는 위의 경우만 고려함 유한 표본 공간에서 n개의 원소를 갖는 다중 실행
순열 (permutations) n개의 원소에서순서를 고려하여r개 원소를 나열하는 가지 수 조합 (combinations) n개의 원소에서r개를 뽑는 가지 수 이항 계수 (Binomial coefficients) ) ( ) ( ) ( ) (A1 A2 AN P A1 P A2 PAN P ! ( 1)( 2) ( 1) , 1, 2 , ( )! n r n P n n n n r r n n r ! , 0! 1, 1, 1 0 ( )! ! n r r r P n n n n r P n r r n 0 ( ) n n r n r r n x y x y r
1.7 베르누이 시행
어떤 시행이건 그 결과가 두 가지만 있는 모든 실험 (A 또는
)
예: 동전 던지기 (앞면과 뒷면), 이진 데이터 전송 (0과 1) 베르누이 시행
기본 실험을N번 반복함 사건A가N번 시행 중k번 관측될 확률을 결정함 기본 사건들이 각 시행에서 통계적 독립이라면
N번의 시행 후, 그 결과들 중 하나의 특별한 (particular) 수열은A가k번 일어나고 가 occurring N-k번 일어나는 것이다 이 시퀀스가 일어날 확률 이와 같은 상황과 관련된 시퀀스의 수: Chapter 1. Probability 29 A ( ) , ( ) 1 P A p P A p A tim es tim es ( ) ( ) ( ) ( ) ( ) ( ) k(1 )N k k N k P A P A P A P A P A P A p p { occurs exactly times} N k(1 )N k
P A k p p k N k
1.7 베르누이 시행
예제 1.7-1
: 항공모함을 격침시키려는 잠수함
조건 잠수함은 세 발의 어뢰를 발사할 수 있다 적어도 2개의 어뢰가 명중될 경우 항공모함은 침몰한다 각 어뢰가 명중될 확률 = 0.4 문제: 항공모함이 침몰할 확률은? 사건A= {어뢰가 명중함} P(A) = 0.4, N = 3 베르누이 시행P{ A k } N pk(1 p)N k k 사건 가 정확히 번 발생함 0 3 1 2 2 1 3 0 3 0.4 (1 0.4) 0.216 0 3 0.4 (1 0.4 { } { } { ) 0.432 1 3 0.4 (1 0.4) 0.288 2 3 0.4 (1 0.4) 0.064 3 { } } { } { } P P P P P P 명중하지 못함 정확히 한 번 명중함 정확히 두 번 명중함 정확히 세 번 명중함 항공모함이 침몰함 두 번 이상 명중함 { } { } 0.352 P P 정확히 두 번 명중함 정확히 세 번 명중함1.7 베르누이 시행
스털링의 공식 (Stirling’s formula)
큰 수의 계승 (factorial)에 대한 근사값 계산
드모아브르-라플라스 근사식 (De Moivre-Laplace approximation)
N, k와 (N-k) 값이 크고, k값이Np와N(1-p)에 비해 작은 크기의 오차 범위 내 에서 거의Np와 비슷해야 함
N이 매우 크고 p가 아주 작을 경우 포아송 근사식 (Poisson approximation)
Chapter 1. Probability 31 large for ) 2 ( ! m1/2m e m m m m 2 1 ( ) (1 ) exp 2 (1 ) 2 (1 ) k N k k Np N p p k Np p Np p ( ) (1 ) , ! k Np k N k Np e N p p N p k k 은 큰 정수 는 작은 확률값1.7 베르누이 시행
예제 1.7-3
: 기관총
조건 분당 2400발의 비율로 3초 간 사격 총알이 과녁에 맞을 확률 = 0.4 문제: 정확히 50발의 총알이 과녁에 맞을 확률 N= 3(2400/60) = 120, k= 50, p=0.4 Np= 120(0.4) = 48 N(1-p) = 120(0.6) = 72 N = 120, k = 50, N-k= 70은 모두 큰 수 |k-Np| = 50-48 =2 << Np (= 48), N(1-p) (= 72) 2 2 { } (1 ) 1 ( ) exp 2 (1 ) 2 (1 ) 1 (50 48) exp 0.0693 2(48)(0.6) 2 (48)(0.6) k N k N P A k p p k k Np Np p Np p 사건 가 정확히 번 발생함HW
연습문제
