Week 9.5 Baum-Welch Algorithm

이번 강의는 learning question 에 대해서 알아본다.

X 만 주어지고 , π , a,b 에 대해서는 모른다. Training 을 위한 dataset 도 없다. X만 잔뜩 모아져 있다. 이럴때는 어떻게 해야하나 ?? Clustering 문제로 접근해 보겠다.

 

Decoding question 은 supervised learning 에 가까웠다. Traiing case를 통해 parameter(π , a,b)를 다 알고 있다. 

 

BAUM - WELCH Algorithm

현실에서 가장 많이 발생하는 문제는 X만 아는 경우이다. 그래서

1)X를 통해 estimate 된  π_hat , a_hat,b_hat 를 찾아야한다. 

2) 가장 probable 한 z를 찾는다. 

 

이것을 알기위해서는 EM 알고리즘이 필요하다.

EM 알고리즘은 maximum likelihood solution을 찾는것인데, latent variables 이 있을때 찾아내는것이다.

supervised learing 인 경우 z 없이 optimize가 가능하나, unspervised learning에서는 z가 필요하다.

로그안의 Σ(시그마) 꼴이기 때문에 , EM algorithm을 이용한다.

 

π는 multinomial distribution 을 사용하였기 때문에 summation 은 1이라는 제약조건이 있다. 그래서 Lagrange method를 사용한다.