전체 글 검색 결과

해당 글 71건

Week 8.5 Gaussian Mixture Model

GMM 은 여러개(k개)의 가우시안 분포가 있다. 그중에 아무거나 하나를 선택해서 모델링하는것이다. 1. Mixing Coefficient z 는 Mixing coefficient 이고 P(x|z) 는 weight를 통해 soft 하게 선택된 특정 mixture component의 확률이다. N은 K번째의 Mixture component이다. zk는 어떠한 특정 cluster를 선택할것인지를 나타낸다. 선택자체는 1 / 0 으로 표현한다. K- Means algorithm에 사용된 rnk 는 0 혹은 1 그대로 썻다 . 그래서 hard clustering 이다. 하지만 zk는 hard한 selection이 확률적으로 일어난다는 것이다. 즉 특정 component가 selection 되는것이 확률의 형태로..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 10. 7. 21:43

Week 8.4 Multivariate Gaussian Distribution

Week 8.3 강의를 통해 Lagrange Method를 통해 Multinomial distribution에서 MLE estimator를 찾아보았습니다. 이번시간에는 Multivariate Gaussian Distribution 를 배워보겠습니다. MLE estimator를 찾기 위해 Log likelihood를 취하고 Optimize 해보면 된다. (미분해서 0이되는 값 찾는것) 위의 그림의 왼쪽 위부터 하나씩 설명해 보자. 1) Variance : 1 , covariance : 1 2) 변화가 없으니 한포인트에 몰려있다. 3) 1로 선택된 한 dimension에 대해서만 분산이 존재하는 형태 4) 각 dimension 별로 variance 가 존재 , covariance 부분에서 분산이 없다는것 (..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 10. 3. 21:08

Week 8.3 Multinomial Distribution

K-Means 알고리즘은 Euclidean distance 의 문제점과 hard clustering 의 문제점이 있다. 이것을 극복가능한 Gaussian Mixture Model에 대해 배워보겠다. Multinomial Distribution binomial distribution 에서 bi 를 multi 로 바꾼것이다. 즉 2개의 선택지에서 여러개의 선택지로 바꾸겠다는 의미이다. 6개의 선택지에서 하나만 선택하는것이고 선택된 것을 1로 표현 선택되지 않은것을 0으로 표현한다. 확률의 관점에서는 선택된 것만 생각하면 된다. μk 는 특정한 선택지를 선택할 확률이다. 예를 들어 첫번째를 선택할 확률은 μ1 두번째를 선택할 확률은 μ2 이다. 하나만 선택하는것이기 때문에 Σk xk = 1 이다. x는 0 혹..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 10. 3. 20:40

Week 8.2 K-Means Algorithm 2

EM 알고리즘 Latent variable에 대해서 iteratively optimization 해서 목적함수를 최소화 시키는것을 EM 알고리즘이라 한다. Expectation // Maximization 의 step을 반복수행하는것. 1. Expecation - rnk를 Optimization 해주는 과정. 2. Maximization - Parameter ( rnk, centroid)를 maximization 해주는 과정. 즉 centroid를 optimize 해주는 과정. 처음에는 μk가 랜던값으로 세팅되어 있는데 , 이 랜덤한 μk에 대응하여 rnk , centroid 셋팅을해보는것이다. 이렇게 엉터리 μk에 대해 optimize 된상태의 rnk, centroid를 이용하여 또다시 μk를 업데이트..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 10. 1. 22:05

Week 8.1 K-Means Algorithm 1

Unsupervised learning 인 K - Means 알고리즘에 대해 알아보겠습니다. 먼저 Supervised learning 과 Unsupervised learning 에 대해 알아보자. Supervised leaning은 training case를 제공받아 분석을 해서 미래에 올 testing case 대해 가장 likely한 hypothesis를 찾아 내는 training 된 결과물이다. (Supervision을 준다 혹은 가이드를 준다는 의미이다.) Unsupervised learning 은 tag가 없는것이다. True value를 모르는 상황에서 , 패턴을 찾아보는 것이다. 스팸과 스팸 아닌 이메일 이 있다고한다면 스펨메일의 그룹 , 스펨이 아닌 메일의 그룹 , 두 군집을 찾고 스팸인지..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 9. 30. 22:27

Week 7.9 Simple Example of Belief Propagation

1. Potential funtion을 initializing 해보자 - Joint Probability는 모르는데 Conditional Probability는 알수 있다. 이것을 통해 Potential function을 초기화해보자. 예제1 ) P(B) 에 대해 한번 알아보자. Φ(B)를 지난 강의시간의 Absorption rule을 활용해 알아보자. a에대해 marginalization out하면 모든 a에 대해 summation때문에 1이다. 그럼 Φ(B)(그림.1의 2)가 업데이트되었기때문에 Ψ(B,C)(그림.1의 3)를 업데이트 한번해보자. 그러면 P(b,c)에서 c에 대해서 marginalization out 하게되며 Φ*(B)가 나와야하는데, 안나온다. 왜냐면 우측(그림.1의 3)은 P(b,..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 9. 26. 22:21

Week 6.7. Application of Regularization

Ridge Regression , Lasso Regression 의 예제를 살펴보자. 먼저 Ridge Regression 을 이용한 Linear regression 을 해보자. Linear 이기 때문에 Xw 로 두고 w에 대해 편미분을 해보자. λ(람다)는 우리가 결정하는 값이다. Linear Regression 과 다른점은 λI 의 term이 추가되었다. 그러면 Regularization 을 했을 때 와 안했을 때를 살펴 보자. 왼쪽 그래프가 Regularization 을 안한 경우이다. 오른쪽의 Regularizaiton 을 한경우는 동일한 데이터셋에 대해서 Variance가 줄어드는것을 알수 있다. 좀 덜 민감하게 반응한다. 하지만 모델의 complexity는 바뀌지 않았다. Bias는 살짝 증가했..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 8. 21. 22:03

Week 6.6 Definition of Regularization

Cross validation 은 ML 모델들이 현실에서 쓰였으면 어떻게 Test 될것인지 simulation 하는 과정이 었다. 성능은 측정할수 있는데 , 성능을 높이는 방법은 무엇이 있을까? 그런 차원에서 Regularization 을 배워본다. sampling 을 어떻게 하냐에 따라 모델이 달라질수도 있고 , 그에 따라 앞으로 올 데이터에 대한 testing 을 하였을때 에러가 커질지 , 작아질지가 정해지게 된다. 최악의 sampling 을 하게 될경우 variance가 커지게 된다. Regularization 은 Perfect fit을 포기한다. 대신 다른쪽으로 optimizaiton 을 해보자는 Concept 이다. 그러면 training accuracy가 떨어지게 된다. 하지만 앞으로 올 te..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 8. 19. 22:08