Gibbs采样

前言

M-H采样已经可以很好的解决蒙特卡罗方法需要的任意概率分布的样本集的问题。但是M-H采样有两个缺点：一是需要计算接受率，在高维时计算量大。并且由于接受率的原因导致算法收敛时间变长。二是有些高维数据，特征的条件概率分布好求，但是特征的联合分布不好求。因此需要一个好的方法来改进M-H采样，这就是我们下面讲到的Gibbs采样。

重新寻找合适的细致平稳条件

之前在 MCMC 采样及 M-H 采样的时候提到一个细致平稳条件,其表述如下:

如果非周期马尔科夫链的状态转移矩阵$P$和概率分布$π(x)$对于所有的$i,j$满足：

$$\pi(i)P(i,j) = \pi(j)P(j,i)$$

则称概率分布$π(x)$是状态转移矩阵$P$的平稳分布。上式被称为细致平稳条件(detailed balance condition)。

现在我们换一个思路。

从二维的数据分布开始，假设$π(x_1,x_2)$是一个二维联合数据分布，观察第一个特征维度相同的两个点A$A(x_1^{(1)},x_2^{(1)})$和B$A(x_1^{(1)},x_2^{(2)})$，容易发现下面两式成立：

$$\pi(x_1^{(1)},x_2^{(1)}) \pi(x_2^{(2)} | x_1^{(1)}) = \pi(x_1^{(1)})\pi(x_2^{(1)}|x_1^{(1)}) \pi(x_2^{(2)} | x_1^{(1)}) \\ \pi(x_1^{(1)},x_2^{(2)}) \pi(x_2^{(1)} | x_1^{(1)}) = \pi(x_1^{(1)}) \pi(x_2^{(2)} | x_1^{(1)})\pi(x_2^{(1)}|x_1^{(1)})$$

由于两式的右边相等，因此我们有：

$$\pi(x_1^{(1)},x_2^{(1)}) \pi(x_2^{(2)} | x_1^{(1)}) = \pi(x_1^{(1)},x_2^{(2)}) \pi(x_2^{(1)} | x_1^{(1)})$$

也就是：

$$\pi(A) \pi(x_2^{(2)} | x_1^{(1)}) = \pi(B) \pi(x_2^{(1)} | x_1^{(1)})$$

观察上式再观察细致平稳条件的公式，我们发现在$x_1=x^{(1)}_1$这条直线上，如果用条件概率分布$π(x_2|x^{(1)}_1)$作为马尔科夫链的状态转移概率，则任意两个点之间的转移满足细致平稳条件！同样的道理，在$x_2=x^{(1)}_2$这条直线上，如果用条件概率分布$π(x_1|x^{(1)}_2)$作为马尔科夫链的状态转移概率，则任意两个点之间的转移也满足细致平稳条件。那是因为假如有一点C$(x^{(2)}_1,x^{(1)}_2)$,我们可以得到：

$$\pi(A) \pi(x_1^{(2)} | x_2^{(1)}) = \pi(C) \pi(x_1^{(1)} | x_2^{(1)})$$

基于上面的发现，我们可以这样构造分布$π(x_1,x_2)$的马尔可夫链对应的状态转移矩阵P：

$$P(A \to B) = \pi(x_2^{(B)}|x_1^{(1)})\;\; if\; x_1^{(A)} = x_1^{(B)} =x_1^{(1)} \\ P(A \to C) = \pi(x_1^{(C)}|x_2^{(1)})\;\; if\; x_2^{(A)} = x_2^{(C)} =x_2^{(1)} \\ P(A \to D) = 0\;\; else$$

有了上面这个状态转移矩阵，我们很容易验证平面上的任意两点E,F，满足细致平稳条件：

$$\pi(E)P(E \to F) = \pi(F)P(F \to E)$$

二维Gibbs采样

利用上一节找到的状态转移矩阵，我们就得到了二维Gibbs采样，这个采样需要两个维度之间的条件概率。

多维Gibbs采样

Gibbs采样小结

由于Gibbs采样在高维特征时的优势，目前我们通常意义上的MCMC采样都是用的Gibbs采样。当然Gibbs采样是从M-H采样的基础上的进化而来的，同时Gibbs采样要求数据至少有两个维度，一维概率分布的采样是没法用Gibbs采样的,这时M-H采样仍然成立。