전체 글 검색 결과

해당 글 71건

10.7 Gibbs Sampling

Gibbs samplling 은 M-H 알고리즘의 special case 이다. M-H 알고리즘에서 특징적인 부분은 Proposal distribution 이 있었다는 점이다. Proposal distribution 에 대해서 우리가 어떠한 특징을 가지고 있느지 알수 없기 때문에 그래서 ratio를 만들어서 accept probability 를 정의하였다. 그러면 Probosal distribution을 어떻게 잡아볼까? 그런데 Gibbs가 왜 새로운 probosal distribution을 잡으려해? 기존의 잘 정의 된 p를 이용하면 되지않을까라는 아이디어를 제안하였다. 한번 sampling을 할때마다 개별 zk 에 대해서만 update만 *로 업데이트하고 나머지는 Keep 해보자. Gibbs가 제안한..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2020. 1. 1. 20:26

10.6 Metropolis-Hastings Algorithm

MH 알고리즘은 현재 zt라고 assignment 되어있는것을 다음 transient 를 통해 어떠한 assignment로 바뀔지 candidate하는 것이다. 기존의 정보를 활용(zt)에서 제안하는것이 MCMC의 근간에서 온것이다. 이것을 Proposal distriburion 이라 한다. 그다음 α 에 따라 coin toss를 해서 accept가 일어나면 z*를 받아 들이고 accept 되지 않으면 기존의 zt를 가져가는것이 MH 알고리즘이의 핵심이라 할수 있다. q는 우리가 정하는것이다. p는 우리가 evaluate 할수 있는것이다. Reversible Markov chain의 condition을 만족하면 되겠다는것이 MH 알고리즘에서 accept probaibliy를 정하는 핵심이 된다. 만약 위..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 12. 11. 21:40

Week 10.5 Markov Chain for Sampling

기존 샘플링의 문제점은 옛날 레코드는 사용하지 않는다는것. Rejection sampling은 조건이 맞지 않으면 버렸다. Important sampling은 개별 sample들이 다 독립이었다. Inference 문제에서는 Z를 Assign 하는것이 핵심이다. 그러면 sampling을 통해 z를 assign 해보자. E가 latent variable이면 sampling기반으로 optimize 해보자. Random variable에 대해 assign을 하려하는데 process 형태로 해보자. z1에서 assignment가 있었다고 해보자. 기존 정보를 활용해 다음번 정보에 활용하겠다는것이다. 이것이 Markob chain을 활용한 latent variable에대한 assignment 방식이다. MCMC는..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 12. 10. 20:20

Week 10.4 Markov Chain

특정 time t 의 한 state 에서 그 다음 state t+1 로는 Matrix를 통해 transition 된다고 해보자. (i 에서 j번째로 transition 될 확률의 Matrix T 로 구성 ) Accesiible : communicate 된다는 양방향으로 갈수 있다는 의미이다. Reducibility : i 와 j 가 communicate 되고, i에 있는것이 모두 state의 일부이고, j에 있는 것이 모두 state의 일부일때 더이상 reduciible 할수 없는 markcov chanin 상태가 된다. Transience : transient 는 다시 일어나지 않는다는 의미 어떤 state를 recurrnet 하다는 것은 특정 time 0에서 j라는 시스템이 있다고 두고, 나중에 많은..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 12. 2. 21:16

Week 10.3 Importance Sampling

Rejection sampling을 보완하기 위해 만든것이 Importance sampling 이다. Sampling을 왜하냐? Expectation 을 계산하거나 , 확률값을 계산하기 위해 Sampling을 한다. 즉 , 위의 2가지만 잘할수 있으면 sampling을 무식하게 여러번하지 않아도된다. 그래서 도입된것인 Importance sampling 이다. 특정 함수에 대한 E(f)를 구해보자. f에 들어가는 random variable (z)이 있고, random variable을 generate 하는 확률분포 p(z)가 있을수 있다. 위의 식의 제일 우항은 non equal 이다. 왜냐면 제일 우항을 제외하고는 무한대에 대한 확률을 다 계산하는것으로 나타내지만 현실은 불가능하다. 현실은 개별 In..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 11. 28. 22:24

Week 10.2 Rejection Sampling

약간의 조건을 가지고 샘플링하는것. 샘플링을 여러번 해야한다. (iteration 을 여러번 해야한다.) 우선 rejection sampling을 discrete 관점에서 알아보자. Forwad sampling과 유사한 방식으로 유사하게 흘러간다. 위에서 P(E=T|MC=T, A=F)를 구하는 과정에서 Alarm|B=F,E=T 라는 샘플링은 A=F 라는 given 에 맞지 않다. 그러면 Alarm|B=F,E=T 이 sample은 쓸수 없게 된다. 즉 이 sample은 reject 하겠다. 그래서 reject sampling 이라한다. Rejection sampling을 수치적 관점에서 알아보자. 아래그림에서 p(x)는 우리가 sampling하고 싶은 확률분포이다. 우리가 잘 알고 있는 특정 distrib..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 11. 27. 21:04

Week 10.1 Forward Sampling

지금 까지 EM을 통해 Parameter를 Inference 하는것을 배웠다. 이번 주차는 다른 방법인 Sampling based inference를 통해 parameter를 inference 해보겠다. 기본적인 Sampling methods 에 대해 알아보자 1. Forward Sampling topological order 에 따라 sample을 generate 할 수 있다. sample을 많이 만들고 , 알고 싶은 특정 확률값을 count를 한다. 이 방법의 문제점은 무엇일까? 1) Random case이기때문에 오차가 발생한다. 2) 많은 시행을 반복할 수록 시간이 많이 걸린다. 그래서 위의 방법은 현실에서 사용하기 어렵다. sampling based inference를 통해 즉정값을 찾아낸다. ..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 11. 13. 20:54

Week 9.5 Baum-Welch Algorithm

이번 강의는 learning question 에 대해서 알아본다. X 만 주어지고 , π , a,b 에 대해서는 모른다. Training 을 위한 dataset 도 없다. X만 잔뜩 모아져 있다. 이럴때는 어떻게 해야하나 ?? Clustering 문제로 접근해 보겠다. Decoding question 은 supervised learning 에 가까웠다. Traiing case를 통해 parameter(π , a,b)를 다 알고 있다. BAUM - WELCH Algorithm 현실에서 가장 많이 발생하는 문제는 X만 아는 경우이다. 그래서 1)X를 통해 estimate 된 π_hat , a_hat,b_hat 를 찾아야한다. 2) 가장 probable 한 z를 찾는다. 이것을 알기위해서는 EM 알고리즘이 필..
머신러닝/문일철 교수님 강의 정리 (인공지능및기계학습개론) 2019. 11. 5. 22:50