Week 10.4 Markov Chain

특정 time t 의 한 state 에서 그 다음 state t+1 로는 Matrix를 통해 transition 된다고 해보자.

(i 에서 j번째로 transition 될 확률의 Matrix T 로 구성 )

 

Accesiible : communicate 된다는 양방향으로 갈수 있다는 의미이다.

Reducibility : i 와 j 가 communicate 되고, i에 있는것이 모두 state의 일부이고, j에 있는 것이 모두 state의 일부일때 더이상 reduciible 할수 없는 markcov chanin 상태가 된다.

Transience : transient 는 다시 일어나지 않는다는 의미 

어떤 state를 recurrnet 하다는 것은 특정 time 0에서 j라는 시스템이 있다고 두고, 나중에 많은 시간이 지난후에 j라는 것에 방문할 확률이 분명이 존재한다 ( 1이다. )는 의미이다.

Eragodicity : 특정 state를 재방문하고 , 언제 일어날지 잘모르겠다는 의미

 

Return time : 특정 time 0에서 i번 째 state 방문했다. 그다음번 i번째를 다시 방문하는 time을 return time 이라한다.

π : 모든 state 마다 정의되는값. 특정 state에 system이 있을 확률 분포.

markov chain 의 node에 정해진 stationary distribution 와 다른점이 무엇일까?

이번 stationary distribution 에서 다음번 state로 transition 해도 똑같이 stationary distribution 이 된다.

즉 π * T = π가 된다.

 

Reversible 한 MC 는 state i 에서 state j 로 transition 을 하고 반대로 state j 에서 state i 로 transtion 하는 확률이 동일한것.