三、MCMC 采样

2025-12-22 22:46:14

来源:华校专

扫码

2020-06-07 18:09:50

给定连续随机变量的概率密度函数，则在区间中的概率可以计算为：

如果函数，则可以计算的期望：。

如果不是一个单变量，而是一个高维的多元变量，且服从一个非常复杂的分布，则对于上式的求积分非常困难。为此，MCMC先构造出服从分布的独立同分布随机变量，再得到的无偏估计：

如果概率密度函数也很复杂，则构造服从分布的独立同分布随机变量也很困难。MCMC 方法就是通过构造平稳分布为的马尔可夫链来产生样本。

MCMC 算法的基本思想是：先设法构造一条马尔可夫链，使其收敛到平稳分布恰好为。然后通过这条马尔可夫链来产生符合分布的样本。最后通过这些样本来进行估计。

这里马尔可夫链的构造至关重要，不同的构造方法将产生不同的算法。Metropolis-Hastings:MH算法是MCMC的重要代表。

假设已经提供了一条马尔可夫链，其转移矩阵为。目标是另一个马尔科夫链，使转移矩阵为、平稳分布是。

通常，即并不满足细致平稳条件不成立。但是可以改造已有的马尔可夫链，使得细致平稳条件成立。

引入一个函数，使其满足：。如：取，则有：

令：，则有。其中构成了转移矩阵。而恰好满足细致平稳条件，因此它对应的马尔可夫链的平稳分布就是。

在改造的过程中引入的称作接受率。其物理意义为：在原来的马尔可夫链上，从状态以的概率跳转到状态的时候，以的概率接受这个转移。

如果接受率太小，则改造马尔可夫链过程中非常容易原地踏步，拒绝大量的跳转。这样使得马尔可夫链遍历所有的状态空间需要花费太长的时间，收敛到平稳分布的速度太慢。

根据推导，如果将系数从 1 提高到，则有：

将同比例放大，取：。

当时：，此时满足细致平稳条件。当时：，此时满足细致平稳条件。

MH 算法：

输入：

先验转移概率矩阵目标分布

输出：采样出的一个状态序列

算法：

初始化

对执行迭代。迭代步骤如下：

根据采样出候选样本，其中为转移概率函数。

计算：

根据均匀分布从内采样出阈值，如果，则接受，即。否则拒绝，即。

返回采样得到的序列

3.2 Gibbs 算法

算法不仅可以应用于一维空间的采样，也适合高维空间的采样。

对于高维的情况，由于接受率的存在（通常），MH算法的效率通常不够高，此时一般使用 Gibbs 采样算法。

Gibbs 算法：

输入：目标分布，其中

输出：采样出的一个状态序列

算法步骤：

初始化：随机初始化。

执行迭代，迭代步骤如下：

随机或者以一定次序遍历索引。遍历过程为（设当前索引为）：

将保持不变，计算条件概率：。

该条件概率就是状态转移概率

根据条件概率对分量进行采样，假设采样结果为，则获得新样本。

令，继续遍历。

当前内容版权归华校专或其关联方所有，如需对内容或内容相关联开源项目进行关注与资助，请访问华校专 .