emalgorithm 검색 결과

해당 글 2건

Week 8.9 Derivation of EM Algorithm

앞에 생성된 ln𝑃(𝑋|𝜃)와 밑에 정의된 , L(𝜃, q) 와의 관계를 보면 위의 식을 빼주는것의 관계이다. 이 식은 inequality 를 만들게되는 근원이었다. 근원(factor 로 작용)을 없애 버리면 lower bounnd 가 타이트하게 붙어지면서 equility 되 버린다. 그러면 이 근원을 어떻게 없앨수 있을까? 이 근원은 KL divergence 와 매우 유사한 형태이다. 두확률분포의 유사도를 측정하는 것이다. q(z) ,P(Z|X,𝜃) 2개 모두 확률분포이다. 2개의 확률분포가 동일해질때 위의 근원이 사라지게된다. Non - symmetric 하다는 의미는 P관점에서 Q를 보았을때 얼마나 다르냐와 Q관점에서 P를 보았을때 얼마나 다르냐가 다를수 있다는 의미이다. KL Divergence ..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 10. 11. 23:09

Week 8.8 Fundamentals of the EM Algorithm

EM 이 어떻게 돌아가는지 알아보자. Latent variable 의 유무가 classification 과 clustering 의 차이를 나타낸다. classification 은 Z라는것이 없고 X, Θ 와의 관계만 있고, X는 아는것이고 Θ는 모르는것이었기 때문에, X를 이용해 Θ를 구하면 된다. [Θ= X를이용한어떠한수식]을 만들어 주면 충분히 문제가 풀렸다. Clustering은 Z 라는 hidden variable 이 들어왔다. [Θ = X,Z 를 이용한 어떠한 수식] 을 만들어 진다해도 모르는 Z가 들어왔다. 그러면 Z를 어떻게 하면 좋을까라는 고민을 하는것이 Unspervised leraning ( Clustering )에서는 필요하다. classification 에서는 Z 가 없기 때문에 ,..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 10. 10. 20:51