머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 검색 결과

해당 글 63건

Week 6.3 Occam's Razor

위의 Sine 함수가 있고 , 현실에서 일어날수 있는 True function 이라 해보자. [가정] True function을 모르는 상태에서 true function 을 approximation 하는것인데 , 에러에 대해 분석을 해야하기 때문에 실제 true function 이 " sine 함수 이다." 라고 가정을하고 진행을 해보자. true function 중에서 우리가 관측할수 있는것은 몇개의 point 밖에 없다. 위의 그래프에서 2개의 보라색 점이 관측되었다고 해보자. (빨간색 원) 그러면 아래와 추정 할수 있다. 1) 검은색 선에서 에러가 있으면서 관측된점이다. 2) 회색선 (1차함수)에서 발생한것이다. ( 에러가 없다.) 하지만 위의 2가지 모두 틀리다는것은 우리는 알수 있다. 우리가 S..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 8. 17. 21:46

Week 6.2. Bias and Variance

Machine learning 의 error는 2가지 source 가 있다. - 열심히 하려했는데 , 설명이 잘 안된것. 즉 Approimation 이 망한것. - 앞으로 올 데이터셋(testing)에 대한 오차. f : true function g : Maching learning Model ( Approximation) g(D) : 주어진 데이터를 이용해 learning 된 function 들. Parameter inference 까지 된 Machine learing model. D : 데이터셋 g(hat) : 현실의 모든데이터에 대해서 일부를 관측해서 ML을 만드는 과정을 반복한다고 할때, 계속 sampling 될때마다 거기에 맞는 g(D) 를 만들수 있다. 이것을 무한개를 만들어 평균을 내는것이다..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 8. 10. 00:57

Week 6.1. Over-fitting and Under-fitting

Training and Testing 머신러닝의 아킬레스건 : 주어진 데이터셋의 분포가 변하지 않는다고 가정한다. 분포가 변하면 새롭게 training 해야한다. 우리가 가진 전체 dataset을 일부는 parameter inference 하는 Training에 쓰고 나머지는 testing 에 쓰인다. 얼마만큼 잘 작동하는지 확인하기위해.. DB가 만약 distortion 되어 있으면, testing 했을때 좋은 결과가 안나올수도 있다. underfitting : 밥이 설익었다라 표현할수 있다. overfitting : 밥이 너무 질었다라고 표현할수 있다. fitting 노력을 너무 많이 했고, 앞으로 올 데이터에 대해서 에러가 더 클수 있다. underfitting / overfitting 을 어떻게 ..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 8. 9. 23:49

Week 5.9. SVM with Kernel

Dual SVM with Kernel Trick 이전시간에 배운 w를 바로 직접적으로 계산한것이 Primal Problem 이고 Dual problem 으로 바꾸면서 w를 α로 Learning 하는것으로 바뀌었다. Dual problem 에서의 xi, xj 가 φ를 넣어가지고 다른차원으로 넘겨서 내적을 하겠다는것으로 변경할수 있다. (아래 식 참고) φ를 정의를해서 x를 넘겨버린 차원으로 SVM을 돌리자는것이 아니라 내적을 하는 형태이기때문에 φ부분만 Kernel로 대체하자는 것이다. Kernel로 대체를 하면 K(xi,xj)의 Kernel값(K)만 앞에다가 계산하는 형태가 된다. xi , xj는 이미 우리가 알고있는 input값이라 K도 구할수 있고 Constant term이 되버린다. 식을 정리해 보..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 8. 7. 11:23

Week 5.8. Kernel

Mapping Functions 위의 (a) 그림은 a,d 는 false , b,c 는 true 라 하고 Linearly separable 하지 않다. 2차로 뻥튀기 시키고 (Mapping) 원래 a,b,c,d,의 값을 대입해보면 (b)와 같이 그려지게 된다. (3차원) 그리고 특정 DB를 만들수 있게 된다. Feature space에서 interaction 을 많이 만들어서 linearly separable 하지 않는 case를 linearly separable 하게 만들어서 linear claasifier를 적용해서 이게 마치 Non-linear classifier인것처럼 행동하게 끔 만들어주는 방법이 있다. 하지만 interaction을 더하는것은 좋은방법이 아니다. 왜냐면 feature space..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 8. 6. 09:48

Week 5.7. Primal and Dual with KKT Condition

Primal and Dual problem Dual function 의 solution 과 Primal funciton의 solution이 같은해를 가진다는 strong duality를 만족을 해야하는데 , 그것은 KKT 라는 조건을 만족해야 한다. KKT Condition 은 아래의 슬라이드를 참조하면 된다. SVM을 Dual 문제로 넘기기 위해서는 아래의 Hard margin SVM으로 정의 된 부분을 변형시켜야 한다. Constrained 부분을 (wxj+b)y-1 의 형태로 변경하고 이분에 Lagrange multiplier α 를 붙여 만들어 준다. j는 모든 데이터셋에 대해 도입되기 때문에 아래와 같이 시그마 (합) 이 도입된다. (아래 식 참조) 이제 위식은 아래와 같이 min / max 부..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 7. 20. 11:45

Week 5.6. Rethinking of SVM

Kernel Trick Non-linear 한 형태의 DB가 필요한 경우가 있다. 에러가 있다는것을 인정하고 모델을 만들었는데 , 이번시간은 모델을 좀더 Complex 하게 만드는 방법을 배워보겠다. 이것은 데이터가 Complex 하기때문에 모델을 Complex 하게 만드는것이지 일부러 모델을 Complex 하게 만드는것은 아니다. Linear regression 에서 각각 term간에 interaction을 만들어 데이터를 복잡하게 만들어 차원을 높여 Linear regression 을 생성한것을 배운적이 있다. SVM도 term간에 interaction을 통해 차원을 높여 SVM 을 돌릴수 있다. 그러면 Non linear DB가 나오게 할수 있다. 그 결과가 위 슬라이드의 아래 오른쪽 그림이 된다...
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 7. 20. 11:05