기대값최대화알고리즘 검색 결과

해당 글 2건

Week 8.9 Derivation of EM Algorithm

앞에 생성된 ln𝑃(𝑋|𝜃)와 밑에 정의된 , L(𝜃, q) 와의 관계를 보면 위의 식을 빼주는것의 관계이다. 이 식은 inequality 를 만들게되는 근원이었다. 근원(factor 로 작용)을 없애 버리면 lower bounnd 가 타이트하게 붙어지면서 equility 되 버린다. 그러면 이 근원을 어떻게 없앨수 있을까? 이 근원은 KL divergence 와 매우 유사한 형태이다. 두확률분포의 유사도를 측정하는 것이다. q(z) ,P(Z|X,𝜃) 2개 모두 확률분포이다. 2개의 확률분포가 동일해질때 위의 근원이 사라지게된다. Non - symmetric 하다는 의미는 P관점에서 Q를 보았을때 얼마나 다르냐와 Q관점에서 P를 보았을때 얼마나 다르냐가 다를수 있다는 의미이다. KL Divergence ..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 10. 11. 23:09

Week 8.6 EM step for Gaussian Mixture Model

EM을 통해 확률을 optimize 하는것을 해보겠다. K-means 와 GMM 은 유사하다. - rnk 는 mixing coeeficient 로 대응 - centroid 위치 는 𝜇,Σ 로 표현되는 multivariate Gaussian parameter 대응. 1. Expectation step GMM은 soft 하게 assign 한다. ( K-means 는 hard 하게 assign 하였다. ( 1 혹은 0 으로만.) 즉 assignment probability를 계산할수 있다. 여기서 assignment probability는 𝛾(𝑧𝑛𝑘)이다. 𝑥,𝜋,𝜇,Σ 가 given 인 상황에서 계산할수 있다. 2. Maximization of GMM - 𝛾(𝑧𝑛𝑘) 를 활용해 𝜋,𝜇,Σ 를 update 하..
카테고리 없음 2019. 10. 9. 21:41