머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 검색 결과

해당 글 63건

Week 5.5. Soft Margin with SVM

DB를 넘는 점들은 Slack variable 의 값이 1이 넘는다. Hard margin 의 경우에는 위의 그림의 Case에서는 DB를 생성할수 없지만 , Soft margin의 경우는 Slack variable을 통해 DB를 생성할수 있다. Soft margin의 C 를 어떻게 결정하냐에 따라 모델의 performance 가 달라 질수 있다. 위의 6개의 그래프는 C 값을 변화시키면서 DB를 생성해보았다. C=0.1은 DB가 생성되지 않았다. DB를 넘어도 패널티가 없기 때문에 , DB가 있으나 마나 하기 때문이다. C가 특정값이상이 되니깐 DB가 고정이 되는 순간이 발생한다. C=10 이나 10000 이나 DB가 동일해 보인다. C를 무조건 크게 하면 좋을까? 이미 주어진 데이터에 대해서는 C를 크..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 7. 19. 10:12

Week 5.4. Error Handling in SVM : 서포트벡터 머신에서의 오류처리

Hard margin 은 일체의 에러를 허용하지 않고 , Decision Boundary (DB)를 칼같이 나누는 경우를 말한다. Soft margin은 반대로 어느정도 Error를 허용하고 DB를 나누는 경우이다. Hard margin의 경우 Error를 대처 못할수 있다. 이것을 어떻게 처리할지에 대해 알아보자. 우선 Soft margin 에 대해 알아보자. 위의 그림에서 DB를 나누어 보는 방법은 아래의 3가지로 나눌수 있다. 1) 위의 보라색선 처럼 Non-linear 하게 나눌수 있거나, 2) 그래프 아래쪽의 파란색 점을 버리거나 3) DB에서 멀리 떨어진 거리만큼 패털티를 주고, 패널티 점수가 최소화 할수 있도록 하는 경우가 있다. 이번시간은 3)번의 경우에 대해 배워본다. 에러를 처리하는 2..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 7. 19. 09:45

Week 5.2. Maximizing the Margin

Margin distance 점이 DB 위에 있으면 wx+b =0 이다. 특정 point x 에서 DB로 수선의 발을 내려 만나는 점을 xp 라고 하자. xp는 DB 위에 있는점이 된다. 즉 x는 xp에서 w 벡터 방향으로 r만큼 진행한 거리가 될수 있다. Margin distance 는 Optimize 해주는 방향으로 가면 구할수 있다. Margin distance 는 Positive / Negative 두가지 방향이 있다. 위의 식에서 j는 learning instance 이다. (Dataset의 각각의 instance , training set 이라고 할수 있다.) 위에서 a는 constane term으로 생각해서 1로 두어도 무관하다. 그리고 max 값을 구하는 문제를 역수로 두어 min 값을 구..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 7. 18. 09:05

Week 5.1. Decision Boundary with Margin

이번 주차에서는 Support Vector machine 에 대해 배워본다. 예전 강의에서 배웠던 Decision Boundary에 대하여 다시 한번 살펴보자. Logistic Regeression 에서 S- Curve / Sigmoid 함수를 쓰는이유가 Decision boundary 근처에서 급격한 Posterior 분포의 변화를 관측할수 있기때문이다. Decision Boundary가 어떻게 구성되냐에 따라 Learning 의 성능이 결정될수 있다. 평면상에 점들을 흩어 넣고 Decision Boundary를 정해보라고 하면 어떻게 할수 있을까? 위의 그림을 보았을때는 빨간색 점들과 파란색 점들 사이에 선을 긋게되면 잘 분류되었다고 할수 있다. 그러면 그 중에서도 가장 나은 선택을 해야하는데 어떤 ..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 7. 17. 12:53

Week 4.8 Naive Bayes vs Logistic Regression

Naive Bayes classifier 와 Logistic Regression 의 차이는 무엇일까요? 각각의 공식을 얻기위한 Assumption 이 다르고 , Estimation해야 할 Parameter의 수가 다르다. Naive Bayes classifier가 좀더 복잡해 보인다. 그러면 어느쪽이 더 나은 모델이라고 할수 있을까? 위 슬라이드만 봐서는 Logistic Regression 이 간단해서 좋아보인다. 정확도 수준에서는 보통 Logistic Regression이 좀더 좋은 성능을 보인다고 한다. 하지만 , Naive Bayes classifier는 Prior 정보를 추가 할수 있다. (MAP 방식 : 파라미터 추정하는 과정에서 Prior 정보를 넣을수 있다.) 즉 주어진 정보와 상황에 따라 ..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 7. 17. 10:22

Week 4.7. Naive Bayes to Logistic Regression

Naive Bayes 와 Logistic Regression 의 차이(관계)에 대해 알아보자. 둘의 관계를 알기 위해서는 Naive Bayes를 Continous features 를 활용하는 방식으로 수정을 해야한다. 어떻게 해야하냐? Prior 정보를 주고, Conditional independance를 억지로 가정하여 아래와 같은 식을 만들었다. 기존은 input feature가 들어가는 부분이 Categolical 성격을 띄었다면 이것을 numerical continous value로 변환해야 Logistic regression 과 비교할수 있다. Gaussian distribution을 활용하여 continous value로 변환 시켜보자. P(Y=y) 인 Prior part는 여전히 catego..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 7. 8. 23:47

Week 4.6. Logistic Regression Parameter Approximation 2

Finding θ with Gradient Ascent f (θ)는 p에 대한 값이고 likelihood 를 최대한 올려줘야하기 떄문에 argmax를 구하는것이다. gradient method를 적용하기위해서 필요한것은 derivative의 방향이 필요하다.(unit vector를 만들어야한다. ). 방향을 알면 θ를 반복하면서 계속 update 할수 있다. 개별 θ에 대해서 편미분을 한면 아래와 같이 정리된다. 위의 Logistic regression 을 통해 정리된 편미분 값을 gradient method에 적용해보자. 위의 식에서 C는 unit vector 의 형태를 만들기 위해서 사용되는 normalizing constant 이다. 어차피 h값을 작게 할것이기 때문에 크게 신경쓰지 않아도 되는 값..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 7. 2. 22:59

Week 4.4. Gradient Method

Logistic function의 Θ를 최적화 하는 과정에서 CLosed form 형태가 나오지 않아 Θ를 Approximation 을 해야하는 과정이 필요하다. 그 중 한 방법인 gradient method 를 알아보자. Taylor Expansion 위의 식을 ploating 해보면 빨간색은 원래 식 e^x이고 파란색이 n=2 , n=4일때의 ploating 이다. n이 무한대로 갈수록 원식에 가까워 진다는 것을 알수 있다. 그러면 Tayler expansion 을 통해 Graident Method 알고리즘을 정의해 보자. x를 이동시키는데 방향과 얼마만큼의 속력으로 이동하는지 알아야하는데 이것을 알아내는것이 gradient method 의 핵심이다. 여기서 방향을 알아내는것이 중요하다. 속력은 op..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 6. 30. 08:31