10.7 Gibbs Sampling Gibbs samplling 은 M-H 알고리즘의 special case 이다. M-H 알고리즘에서 특징적인 부분은 Proposal distribution 이 있었다는 점이다. Proposal distribution 에 대해서 우리가 어떠한 특징을 가지고 있느지 알수 없기 때문에 그래서 ratio를 만들어서 accept probability 를 정의하였다. 그러면 Probosal distribution을 어떻게 잡아볼까? 그런데 Gibbs가 왜 새로운 probosal distribution을 잡으려해? 기존의 잘 정의 된 p를 이용하면 되지않을까라는 아이디어를 제안하였다. 한번 sampling을 할때마다 개별 zk 에 대해서만 update만 *로 업데이트하고 나머지는 Keep 해보자. Gibbs가 제안한.. 머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 5년 전
Week 8.5 Gaussian Mixture Model GMM 은 여러개(k개)의 가우시안 분포가 있다. 그중에 아무거나 하나를 선택해서 모델링하는것이다. 1. Mixing Coefficient z 는 Mixing coefficient 이고 P(x|z) 는 weight를 통해 soft 하게 선택된 특정 mixture component의 확률이다. N은 K번째의 Mixture component이다. zk는 어떠한 특정 cluster를 선택할것인지를 나타낸다. 선택자체는 1 / 0 으로 표현한다. K- Means algorithm에 사용된 rnk 는 0 혹은 1 그대로 썻다 . 그래서 hard clustering 이다. 하지만 zk는 hard한 selection이 확률적으로 일어난다는 것이다. 즉 특정 component가 selection 되는것이 확률의 형태로.. 머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 6년 전
