Week 3.2. Conditional Independence

여러 random x variable 이 들어왔을때 어떻게 Joint 하는지 알아보자.

위의 표에서 여러개의 x가 있다. ( Sky, Temp, Humid, Wind, Water , Forecast) 이것을 x random variable이 있다.

Enjoy sport 를 y라고 하자.

위의 식에서 

이부분을 구하는것이 어렵다. 몇개의 parameter가 필요한지 알아보자.

P(X=x|Y=y) 는 (2^d -1)*k 개의 parameter가 필요하다. Input feature가 많을수록 필요한 parameter의 수는 급격히 증가한다. 그렇게 되면 각각의 부분에 대한 Joint 가 힘들어진다. 

즉  P(X=x|Y=y)  부분에 대해서 해결해야 할것이다. 

d(데이터)를 줄이지 않고 P(X=x|Y=y) 을 Control 할수 있는것이 무었이 있을까?

 

그래서 Conditional Independence 를 도입해보자.

given y에서 개별 input feature x 간에 서로 독립이라고 가정하고, 아래와 같이 표현할수 있다.

(개별 x 간에 correleation은 없다는 의미다.)

파라미터 수를 계산하는 (2^d -1) 부분이 위의 가정을 통해 줄어들게 된다.

즉 억지로 개별 input feature x 간에 서로 독립이라고 가정하여 parameter의 수를 줄였다. 

그래서 NAÏVE BAYES CLASSIFIER 라 부른다. ( 여기서 NAÏVE는 억지로 라는 뜻이다. )

 

Conditional Independence 는 아래와 같이 정의 할 수 있다.

Conditional Independence 와 Marginal Independence 간의 차이를 알아보자.

Commander : Y , OfficerA : X1, OfficerB : X2 라 하고

OfficerA는 Commander 가 Go 라고 명령을 내렸는지 모른다고생각해보자. 그래서 OfficerA 가 Go 할지 말지 고민하고 있는데 , 옆의 OfficerB가 GO 하고 있어서 나도 GO를 했다고 해보자.

이렇게 되면 OfficerB의 행동(정보) 가 OffierA의 행동에 영향을 준것이다. 즉 두사람의 관계가 독립적이지 않다.

 

이번에는 OfficerA는 Commander 가 Go 라고 명령을 내린것을 들었다고 한다면 (조건) , 옆의 Officer B가 GO 하던 말던 옆사람의 정보(행동)에 관계없이 OfficerA 는 Go 하게 된다.

 

즉 Y(Latent variable)가 Given 이면(관측이 되었다면) X1, X2 사이에 Conditional independent 를 가정할수 있다.

 

Marginal independence 는 X1, X2 사이의 관계가 정의되지 않았다.

Conditional independence 는 Latent variable의 정보만이 X1의 행동에 영향을 준다. X1, X2 사이의 관계를 서로 독립이라 정의하였다.