Week 3.1. Optimal Classification

우리는 이미 Decision tree , rule based learning 등의 Classifier 를 배웠다.

이번에는 Optiaml Classifier에 대해 알아보겠다.

 

f(X) = Y hat 이다. 위에 정의된 Bayes classifier 는 y hat 과 Y가 같지 않을 확률을 최소화(argmin)하는 f를 찾는것이다.

이것을 f star라 부른다.

 

위의 그래프는 2개의 class를 가지고 있다. ( y가 녹색 or 빨간색 )

X1이 주어졌을때 녹색y가 나오고 X2가 주어졌을때 빨간색y가 나오도록 확률분포함수를 조정해주고 f star를 만들어주자.

 

이전에 배운 MLE , MAP에 대해 다시 알아보자.

MLE / MAP 를 어떻게 Naïve Bayes Classifier 에 적용시킬수 있는지 배우는것이 이번 주 차의 학습 목표이다.

 

위의 그래프의 빨간색 / 녹색선이 만나는 점의 확률은 누가 높은지 알수 없다.

위의 점선의 Classifier 와 실선의 Classifier 중 어느것의 성능이 더 좋을까?

위의 그래프에 Xn이라는 값이 있다고 생각해보자. 그리고 각각 Classifier 에 해당하는 확률이 있을텐데 , 실선이 높은 확률 차이로 구분을 더 잘할수 있다. (녹색 / 빨간색의 구별이 쉽다는 말이다.)

 

데이터로 주어진 y와 우리가 판별에서 나오는 y가 최대한 같도록 확률을 만들도록 function approximation 한다.

 

여러 Variable 간에 interaction 이 있고 , x의 변수가 많아진다하면 이것을 combination 해야한다.

여기서 각각의 variable 간의 interaction 에 대해 무시하는것이 Naïve Bayes Classifier 이다.