Week 7.2 Probability Theorems - Bayesian Network

1. Law of Total probability (전체 확률의 법칙)

 

위의 식을 좀더 풀어쓰면 

P(A)=P(A,B1)+P(A,B2)+…+P(A,Bn) 이다.

조건 : 각각의 확률 Bn 은 random variable 이다.

의미 :  확률 A를 각각의 확률 Bn과의 교집합의 합으로 나타낼수 있다. (아래 그림 참조)

예시) 확률 a, b 가 binary event 라 가정.

∑P(a,b) = P(a, b=True) + P(a , b = False) = P(a) 

 

Parameter 를 좀더 확장해서 생각해보자.

P(a,b,c,d) 의 joint distribution 이 있다고 가정하고 P(b)에 대해 summing out 하면 아래와 같이 나타낼수 있다.

 

또한 특정 Conditonal probability를 알수도 있다.

 

여기서 P( a,b,c,d ) = P( a,c,d | b ) X P(b) 이기때문에 아래와 같이 정리할수 있다.

 

1/P(b) 는 normallization constant 로 간주한다.

 

즉 Joint Probability를 알면 1) 개별 확률을 알수 있고 2) 조건부 확률을 알수 있다.

 

2. Chain Rule ( or Factorization )

Joint Probability 정의에 의해 아래와 같이 정리된다.

P(a,b,c,d) = P(a|b,c,d) X P(b,c,d) 

그러면 오른쪽 항의 P(b,c,d)를 다시 정리하면 P(b|c,d) X P(c,d) 로 나타내고 , 계속 반복해서 진행하면

P(a,b,c,d) = P(a|b,c,d) X P(b|c,d) X P(c|d) X P(d) 로 정리 할수 있다. 

 

3. Independence 

확률 A , B가 서로 독립 이면 서로 아무런 영향을 끼치지 않는다. 그러면 Conditional Probability ( 조건부 확률)은 

P(A|B)=P(A) 이다. 즉 P(A,B) = P(A) X P(B) 이다.