Week 4.7. Naive Bayes to Logistic Regression

 Naive Bayes 와 Logistic Regression 의 차이(관계)에 대해 알아보자.

 

 둘의 관계를 알기 위해서는 Naive Bayes를  Continous features 를 활용하는 방식으로 수정을 해야한다.

어떻게 해야하냐?

Prior 정보를 주고, Conditional independance를 억지로 가정하여 아래와 같은 식을 만들었다.

기존은 input feature가 들어가는 부분이 Categolical 성격을 띄었다면 이것을 numerical continous value로 변환해야 Logistic regression 과 비교할수 있다.

 

 

 

Gaussian distribution을 활용하여 continous value로 변환 시켜보자.

P(Y=y) 인 Prior part는 여전히 categorical value로 남아 있다.

likelihood 부분은 가우시안의 형태로 나타낸다. 이런형태를 Gaussian Naive Bayes 모델이라 하고, 이것을 Logistic regression 과 비교해 보자.

 

어떻게 비교를 해볼까? 한번 Gaussian Naive Bayes 모델을 Logistic regression 형태로 변환해보자라는 가정으로 시작해보자.

 

위의 𝑃(𝑋|𝑌=𝑦)𝑃(𝑌=𝑦) / P(X) 에서 분모는 Constant term으로 생각할수 있다. 그래서 𝑃(𝑌=𝑦|𝑋) 

와 𝑃(𝑋|𝑌=𝑦)𝑃(𝑌=𝑦)는 비례 관계이다. 

𝑃(𝑋|𝑌=𝑦) : Likelihood , 𝑃(𝑌=𝑦) 를 Prior로 생각하고 , Likelihood를 estimation 해서 classification 모델을 만들어가는것이 NB의 형태라 할수 있다.

Logistic Regression을 Bayes theory을 이용해 Prior와 Likelihood의 형태로만들어줘서 Posterior를 Estimation하는게 아니라 , Prior와 Likelihood를 개별적으로 Learning을 하거나 Parameter를 넣으려고 한다. 

 

P(X)는 Y속에 있을떄의 확률과 Y 밖에 있을때의 확률의 합으로 바꿀수 있다. 아래와 같이 표현할수 있다.

𝑃(𝑋|𝑌=𝑦)𝑃(𝑌=𝑦)+𝑃(𝑋|𝑌=𝑛)𝑃(𝑌=𝑛)

 

이제 Naive assumption을 적용해보자. 

X의 input feature가 여러개이면 parameter가  exponential하게 증가한다. 그래서 Naive assumption을 이용해 개별feature들의 곱으로 표현할수 있다. 

즉 아래식의 부분이

 

아래의 형태로 변경된다.

이제 P(Y=y)의 Prior (어떤 Class에 어떤 확률로 속할것인가의 정보)를 π1 이라하고 ,뒤의 개별 P(X|Y=y)의 부분은 Gaussian distribution 을 따른다.

위에서 σ1 은 Y=y 인 부분이고 , σ2는 Y=n 인 부분을 나타낸다.

 

이제 σ1 , σ2 이 같다는 가정을 한번 넣어보자. 

위에서 개별 Feature의 곱을 exp 안으로 넣어 합의 형태로 변경하였다.

 

즉 마지막 식에서 Xi 의 형태가 XΘ 의 Linear ,term 형태로 변경되었다.

 

즉 Naive Bayes 를 아래의 3가지 가정의 전제하여서 Logistic Regression 의 형태로 변경할수 있다.

 

1) Gaussian Assumption

2) Naive Assumption

3) 분산이 동일하다는 Assumption