Week 4.3. Logistic Regression Parameter Approximation 1

Finding the Parameter, θ

θ를 알아보는 과정에 대해 생각해보자. θ 는 MLE / MAP 배울때 나왔던 parameter이다.

이번에는 X라는 input feature 와 Y라는 Class variable을 고려하지 않고 Dataset만 고려하여 θ를 찾았는데 , 이제는 이것을 고려하여 θ를 찾아보겠다. 이것을 Maximum Conditional Likelihood Estimation (MCLE) 라 한다.

위에서 X는 Conditon 이 되고 ,N은 데이터셋의 갯수이다. ( Instance의 갯수)

Instance의 만큼 확률을 곱하고 이것을 Max의 형태로 만들겠다는 의미이다. 

 

위의 식에서 P를 베르누이의 형태로 모델링해보자.

위의 식을 정리하는 작업을 하는 이유는 θ라른 Target variable을 최적화해서 Function approximation 이 잘되어 Hypotheiss(Logistic funtion 이라는 Frame)가 강해지고 Classifeir 가 강해진다. 

 

이제 미분을 통해 Optimization 을 해보자. 개별 θj 에 대해서만 미분을 해보자.

여기서 아래의 식은 더이상 Simple 하게 θ는 뭐다 라고 정리하기가 어렵다.

즉 Approximation 으로 귀결해야하는 Open form solution 의 형태로 나타내게된다.

θ에 Fitting 된 값이 Approximation 을 잘할수 있는지를 배워야 Logistic regression 을 만들어 Training 할수 있다. 이것은 다음 강좌 정리에서 알아보도록 하겠다.