本文共 2112 字，大约阅读时间需要 7 分钟。
**MCMC（Markov Chain Monte Carlo）**是一种强大的统计方法，用于通过构造马尔可夫链从复杂的概率分布中采样。这种方法广泛应用于贝叶斯统计、计算物理、机器学习等领域，特别是在直接计算复杂分布的期望或概率困难时。
1. 核心思想
MCMC 的目标是从复杂的目标分布 ( p(x) ) 中采样。它通过构造一个马尔可夫链，使得该链的稳态分布即为目标分布 ( p(x) )。通过对链上的样本进行统计，可以近似计算目标分布的期望、边缘分布等。
关键点
- 马尔可夫性质：当前状态 ( x_t ) 仅依赖于前一状态 ( x_{t-1} )，与更早的状态无关。
- 蒙特卡洛方法：利用随机样本逼近复杂分布的特性。
2. 工作原理
-
定义目标分布：
假设目标分布 ( p(x) ) 是已知的，但其形式复杂，直接采样或计算归一化常数 ( Z = \int p(x) dx ) 很困难。 -
构造马尔可夫链：
构造一个马尔可夫链，使其具有目标分布 ( p(x) ) 作为稳态分布。 -
采样：
从马尔可夫链中生成样本，通过这些样本近似目标分布。 -
统计计算：
根据样本计算所需的统计量，例如期望值： [ \mathbb{E}[f(x)] \approx \frac{1}{N} \sum_{i=1}^N f(x_i) ]
3. 常见的 MCMC 算法
3.1 Metropolis-Hastings 算法
Metropolis-Hastings 是最基本的 MCMC 算法。
步骤
- 初始点：选择一个初始点 ( x_0 )。
- 候选生成：从一个提议分布 ( q(x’|x_t) ) 中生成候选点 ( x’ )。
- 接受概率： 计算接受概率 ( \alpha )： [ \alpha = \min\left(1, \frac{p(x’) q(x_t | x’)}{p(x_t) q(x’ | x_t)}\right) ]
- 接受或拒绝：
- 以概率 ( \alpha ) 接受 ( x’ ) 并设 ( x_{t+1} = x’ )。
- 否则，拒绝 ( x’ ) 并设 ( x_{t+1} = x_t )。
- 迭代：重复上述步骤。
优点
缺点
- 选择提议分布 ( q(x’|x) ) 较困难。
- 高维问题中效率较低。
3.2 Gibbs Sampling
Gibbs 采样是 Metropolis-Hastings 算法的一种特例，适用于高维分布。
思想
逐维采样，即对每一维度的变量 ( x_i )，在固定其他变量时从条件分布 ( p(x_i | x_{-i}) ) 中采样。
步骤
- 初始点 ( x_0 )。
- 依次更新每一维 ( x_i )： [ x_i^{(t+1)} \sim p(x_i | x_1^{(t+1)}, \ldots, x_{i-1}^{(t+1)}, x_{i+1}^{(t)}, \ldots, x_d^{(t)}) ]
- 迭代直到收敛。
优点
缺点
- 需要条件分布的明确表达式。
- 维度间强相关时收敛较慢。
3.3 Hamiltonian Monte Carlo (HMC)
HMC 使用哈密顿力学的思想，通过引入辅助变量（如动量）来高效探索参数空间。
关键点
- 模拟粒子在潜在能量函数（目标分布）上的运动。
- 减少随机性，增加移动距离。
优点
缺点
4. 收敛性和采样效率
4.1 燃烧期（Burn-in Period）
- 初始的样本可能未达到稳态分布。
- 丢弃初始的 ( M ) 个样本，避免初始偏差。
4.2 自相关
- 马尔可夫链中的样本通常相关性较高，降低了独立样本的数量。
- 有效样本量（ESS）：表示独立样本的等效数量。
4.3 收敛诊断
- 图形检查：观察链的轨迹图是否稳定。
- Gelman-Rubin 诊断：通过多条链的方差比检查收敛性。
5. 应用场景
-
贝叶斯推断：
- 计算后验分布的期望或边缘分布。
- 复杂模型中的参数估计。
-
生成模型：
- 用于构建生成模型，例如潜在狄利克雷分布（LDA）。
-
物理和工程：
-
计算机视觉和机器学习：
6. 优缺点
优点
- 通用性：适用于各种复杂分布。
- 高维支持：在高维参数空间中表现较好。
- 无须归一化常数：直接对未归一化的概率密度进行采样。
缺点
- 计算开销：每次迭代可能需要大量计算。
- 收敛性检查困难：需要额外方法判断马尔可夫链是否收敛。
- 参数调节复杂：提议分布的选择、步长等参数会影响效率。
7. 总结
MCMC 是解决复杂概率分布采样问题的强大工具，能够在计算成本和灵活性之间实现良好的平衡。尽管其存在一些效率和收敛性方面的挑战，结合不同的 MCMC 算法（如 Metropolis-Hastings、Gibbs Sampling 和 HMC）可以广泛应用于贝叶斯推断、生成模型和高维问题求解中。
如果应用场景需要高效的采样，同时允许复杂分布和约束条件，MCMC 是不可或缺的选择。
转载地址：http://elyfk.baihongyu.com/