概率基础------Metropolis-Hastings算法
Metropolis-Hastings算法是一种马尔科夫链蒙特卡洛（MCMC）方法，用于从复杂分布中抽样。它能够生成服从目标分布的样本序列，从而解决了在概率建模和贝叶斯推断等领域中遇到的抽样问题。本篇博客将介绍Metropolis-Hastings算法的理论基础以及Python实现，并通过例子解释其在实际问题中的应用。
Metropolis-Hastings算法的理论基础
Metropolis-Hastings算法是基于马尔可夫链的一种采样方法。它通过构建一个满足平稳分布的马尔可夫链，并使用接受-拒绝策略来生成服从目标分布的样本。该算法的关键在于设计一个转移核函数，使得转移后的样本能够以一定的概率接受，从而保证了马尔可夫链的收敛性。
Metropolis-Hastings算法的公式推导
假设我们要从目标分布 π ( x ) \pi(x) π(x)中抽样，我们构建一个马尔可夫链，状态空间为 S S S，转移核函数为 Q ( x ′ ∣ x ) Q(x'|x) Q(x′∣x)。我们的目标是设计一个接受概率 α ( x , x ′ ) \alpha(x, x') α(x,x′)，使得转移后的样本能够以一定的概率接受。
Metropolis-Hastings算法的转移规则：
- 从当前状态 x t x_t xt开始，根据转移核函数 Q ( x ′ ∣ x t ) Q(x'|x_t) Q(x′∣xt)抽取一个候选状态 x ′ x' x′。
- 计算接受概率 α ( x t , x ′ ) \alpha(x_t, x') α(xt,x′)：
α ( x t , x ′ ) = min ( 1 , π ( x ′ ) Q ( x t ∣ x ′ ) π ( x t ) Q ( x ′ ∣ x t ) ) \alpha(x_t, x') = \min\left(1, \frac{\pi(x') Q(x_t|x')}{\pi(x_t) Q(x'|x_t)}\right) α(xt,x′)=min(1,π(xt)Q(x′∣xt)π(x′)Q(xt∣x′)) - 以概率 α ( x t , x ′ ) \alpha(x_t, x') α(xt,x′)接受候选状态 x ′ x' x′，否则保持当前状态 x t x_t xt。
Metropolis-Hastings算法的应用案例
贝叶斯推断
在贝叶斯统计中，Metropolis-Hastings算法常用于从后验分布中抽样，从而进行参数估计、模型比较等任务。通过Metropolis-Hastings算法，我们可以得到后验分布的样本，进而进行贝叶斯推断。
Python实现
下面通过一个简单的例子，使用Python实现Metropolis-Hastings算法对一维高斯分布进行抽样，并绘制出样本分布图像。
python
import numpy as np
import matplotlib.pyplot as plt
import scipy.stats as stats
# 目标分布：一维高斯分布
def target_distribution(x):
return stats.norm.pdf(x, loc=5, scale=1)
# 转移核函数：对称随机游走
def transition_kernel(x):
return stats.norm.rvs(loc=x, scale=1)
# Metropolis-Hastings算法
def metropolis_hastings(target_dist, trans_kernel, n_samples):
samples = []
current_state = 0 # 初始状态
for _ in range(n_samples):
candidate_state = trans_kernel(current_state) # 从转移核函数中抽取候选状态
acceptance_prob = min(1, target_dist(candidate_state) / target_dist(current_state)) # 计算接受概率
if np.random.rand() < acceptance_prob: # 接受候选状态
current_state = candidate_state
samples.append(current_state)
return samples
# 抽样
samples = metropolis_hastings(target_distribution, transition_kernel, n_samples=10000)
# 绘制样本分布图像
plt.figure(figsize=(10, 6))
x = np.linspace(0, 10, 1000)
plt.plot(x, target_distribution(x), label='Target Distribution', color='blue')
plt.hist(samples, bins=50, density=True, label='Sample Distribution', color='skyblue', alpha=0.7)
plt.title('Metropolis-Hastings Sampling: Gaussian Distribution')
plt.xlabel('x')
plt.ylabel('Density')
plt.legend()
plt.show()
上述代码实现了一个简单的Metropolis-Hastings算法，并绘制了样本分布图像。我们定义了目标分布为一维高斯分布，转移核函数为对称随机游走。然后，通过Metropolis-Hastings算法进行抽样，并绘制出样本分布图像。
结论
Metropolis-Hastings算法作为一种重要的抽样方法，在概率建模和贝叶斯推断等领域有着广泛的应用。通过本文的介绍，了解了Metropolis-Hastings算法的理论基础以及Python实现。希望本文对您理解Metropolis-Hastings算法有所帮助。