전체 글 검색 결과

해당 글 71건

Week 4.4. Gradient Method

Logistic function의 Θ를 최적화 하는 과정에서 CLosed form 형태가 나오지 않아 Θ를 Approximation 을 해야하는 과정이 필요하다. 그 중 한 방법인 gradient method 를 알아보자. Taylor Expansion 위의 식을 ploating 해보면 빨간색은 원래 식 e^x이고 파란색이 n=2 , n=4일때의 ploating 이다. n이 무한대로 갈수록 원식에 가까워 진다는 것을 알수 있다. 그러면 Tayler expansion 을 통해 Graident Method 알고리즘을 정의해 보자. x를 이동시키는데 방향과 얼마만큼의 속력으로 이동하는지 알아야하는데 이것을 알아내는것이 gradient method 의 핵심이다. 여기서 방향을 알아내는것이 중요하다. 속력은 op..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 6. 30. 08:31

Week 4.3. Logistic Regression Parameter Approximation 1

Finding the Parameter, θ θ를 알아보는 과정에 대해 생각해보자. θ 는 MLE / MAP 배울때 나왔던 parameter이다. 이번에는 X라는 input feature 와 Y라는 Class variable을 고려하지 않고 Dataset만 고려하여 θ를 찾았는데 , 이제는 이것을 고려하여 θ를 찾아보겠다. 이것을 Maximum Conditional Likelihood Estimation (MCLE) 라 한다. 위에서 X는 Conditon 이 되고 ,N은 데이터셋의 갯수이다. ( Instance의 갯수) Instance의 만큼 확률을 곱하고 이것을 Max의 형태로 만들겠다는 의미이다. 위의 식에서 P를 베르누이의 형태로 모델링해보자. 위의 식을 정리하는 작업을 하는 이유는 θ라른 Targ..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 6. 30. 07:40

Week 4.2. Introduction to Logistic Regression

Logistic function 을 통해 S- Curve (Sigmoid function) 를 만드는 방법을 알아보자. Sigmoid function 은 무엇인가? Logistic function 도 S-Curve 의 한 형태이고 , 이것의 역함수는 Logit funciton 이라 부른다. Logistic function 은 사회학의 인구성장과 같은 모델에 많이 쓰인다. 미분하기 쉬워 극점을 구하기가 편리하다. Logistic Function Fitting 아래 왼쪽의 그림은 Logit function 의 형태의 그래프이고 오른쪽 그림은 Logistic funciton 의 Fitting에 대한 그림이다. Logit function 의 x의 범위는 0에서 1사이이다. 즉 이것은 likelihood 모델 p..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 6. 30. 06:59

Week 4.1 Decision Boundary

위의 그래프에서 실선이나 점선을 사용하더라고 Risk는 항상 존재한다.(Risk는 실선이 더 작다.) 그래프 가운데의 Xm가 있는 점을 Decision Boundary 라고 하고 , 그 근처에서 급격하게 Likelihood 가 바뀐다. Xm 근처에서 급격하게 Likelihood 가 바뀔수록 Risk가 줄어든다. 이런 형태의 Curve를 S - Curve 혹은 Sigmoid Curve라 부른다. A15 : Continous variable Class C : Discrete (0 혹은 1 의 값만 존재 - Y=0 은 Credit을 못받은 사람을 의미한다.) 왼쪽의 X 그래프를 Log를 씌우면 급격한 변화를 누그러뜨리게 볼수 있고 그 그래프는 오른쪽 그래프처럼 보여진다. 오른쪽의 그래프가 Credit을 받은사..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 6. 26. 22:47

Week 3.3. Naive Bayes Classifier

이전 강의에서 배운 Conditional Independence 에서 P(X=x|Y=y) 부분은 복잡한 Joint part의 부분으로 되어있다. 이것의 필요한 parameter수도 아주 많다. 그 수는 아래와 같다. 여기서 Conditional independent assumption 을 정의해보자. 모든 X부분에 대해 적용을해보면 아래와 같이 Prior part(P(Y=y)는 변함이 없고, P(X=x|Y=y) 부분이 개별 Feature들의 곱셈으로 바뀐다. 그러면 필요한 개별 parameter의 수는 어떻게 변하게 될까? k : Prior part의 수 d : 데이터의 수 dk 수만큼 Parmeter의 수가 필요하다. 위의식에서 (2-1)은 우리가 저번시간에 배운 예제의 개별 Feature들은 2가지의..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 6. 24. 23:18

Week 3.2. Conditional Independence

여러 random x variable 이 들어왔을때 어떻게 Joint 하는지 알아보자. 위의 표에서 여러개의 x가 있다. ( Sky, Temp, Humid, Wind, Water , Forecast) 이것을 x random variable이 있다. Enjoy sport 를 y라고 하자. 위의 식에서 이부분을 구하는것이 어렵다. 몇개의 parameter가 필요한지 알아보자. P(X=x|Y=y) 는 (2^d -1)*k 개의 parameter가 필요하다. Input feature가 많을수록 필요한 parameter의 수는 급격히 증가한다. 그렇게 되면 각각의 부분에 대한 Joint 가 힘들어진다. 즉 P(X=x|Y=y) 부분에 대해서 해결해야 할것이다. d(데이터)를 줄이지 않고 P(X=x|Y=y) 을 Con..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 6. 19. 23:15

Week 3.1. Optimal Classification

우리는 이미 Decision tree , rule based learning 등의 Classifier 를 배웠다. 이번에는 Optiaml Classifier에 대해 알아보겠다. f(X) = Y hat 이다. 위에 정의된 Bayes classifier 는 y hat 과 Y가 같지 않을 확률을 최소화(argmin)하는 f를 찾는것이다. 이것을 f star라 부른다. 위의 그래프는 2개의 class를 가지고 있다. ( y가 녹색 or 빨간색 ) X1이 주어졌을때 녹색y가 나오고 X2가 주어졌을때 빨간색y가 나오도록 확률분포함수를 조정해주고 f star를 만들어주자. 이전에 배운 MLE , MAP에 대해 다시 알아보자. MLE / MAP 를 어떻게 Naïve Bayes Classifier 에 적용시킬수 있는지 ..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 6. 17. 22:30

Week 2.5. How to create a decision tree given a training dataset

Linear Regression http://archive.ics.uci.edu/ml/datasets/Housing 의 Housing dataset 의 예시를 이용해보자. Housing dataset 은 아래와 같은 특징이 있다. - 13개의 Attribute (Independant variable) - 1개의 Class variable (Dependant variable) Function Approximation 을 Linear 한 형태로 하는것을 Linear regression 이라 한다. Hypothesis 를 function 의 형태로 정의해 보자. Function 이 잘 작동하려면 Θ를 잘 정해야 한다. n은 attribute 의 갯수이다. Θ0 = X0 * Θ0 이고 보통 X0은 1 이라 Θ0..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 6. 16. 20:20