Week 4.2. Introduction to Logistic Regression

Logistic function 을 통해 S- Curve (Sigmoid function) 를 만드는 방법을 알아보자.

Sigmoid function 은 무엇인가?

Logistic function 도 S-Curve 의 한 형태이고 , 이것의 역함수는 Logit funciton 이라 부른다.

Logistic function 은 사회학의 인구성장과 같은 모델에 많이 쓰인다. 미분하기 쉬워 극점을 구하기가 편리하다.

 

Logistic Function Fitting

아래 왼쪽의 그림은 Logit function 의 형태의 그래프이고 오른쪽 그림은 Logistic funciton 의 Fitting에 대한 그림이다.

Logit function 의 x의 범위는 0에서 1사이이다. 즉 이것은 likelihood 모델 p값에 대해 fitting 할수 있다.

그러면 y는 input feature로 모델링을 하면된다.

이것을 ax+b의 형태로 변경할수 있고 여기서 a의 의미는 S-Curve의 폭을 늘리고나 줄이는 형태의 인자로 사용되고 ,

b는 그래프의 shift 를 하는 형태의 인자로 사용된다.  이제 ax+b를 Θ의 벡터형태로 표현하여 XΘ라고 할수 있다.

(여기서 X의 첫번째 variable은 dummy 로 가정하여 XΘ 의 matrix로 표현이 가능하다.)

즉 최종적으로 아래의 식 형태로 표현된다.

Linear regression 과 아주 유사하게 닮았다. 그래서 Linear regression 의 형태로 Fitting 을 해보자.

P(Y|X)의 형태로 Fitting 을 해보고 싶은데 어떻게 정의할수 있을까?

Logistic 형태의모양을 활용하여 Logistic regression 을 아래와 같이 정의할수 있다.

 

Binomial 형태인 Bernoulli experiment를 Logistic regression 으로 모델링 해보자.

x가 주어진 상황에서 y값이 들어왔다고 하면 , 위의식에서 Θ값만 모른다. 즉 Θ를 알아내는 작업이 Logistic function 을 learning  하는것이다.