数学建模------马尔科夫链(Markov Chain Model)
- 一、马尔可夫链的定义
- 二、马尔科夫链的关键性质(平稳性与遍历性)
-
-
- [2.1 平稳分布(极限分布)](#2.1 平稳分布(极限分布))
- [2.2 遍历性](#2.2 遍历性)
-
- 三、马尔科夫链模型的建模步骤(附实例)
- 四、马尔科夫链的常见应用场景
- 五、建模注意事项
- 六、常见扩展模型
- 七:代码
马尔科夫链(Markov Chain)是一种经典的随机过程模型,因俄国数学家安德烈・马尔科夫(Andrey Markov)而得名。它的核心特点是 "无后效性 "------ 未来状态的概率仅取决于当前状态,与过去的状态无关。这种特性使其在预测、决策、随机模拟等领域具有广泛应用,是数学建模中解决 "动态随机问题" 的重要工具。
马尔科夫链广泛应用于诸如人口迁移、用户行为预测、气象模拟、文本生成、设备寿命分析等离散状态建模场景中,尤其适用于状态数量有限、状态转移具有统计规律的建模问题。
一、马尔可夫链的定义
要理解马尔科夫链,需先明确三个核心概念:状态空间 、转移概率 和无后效性,这三者共同构成了模型的理论基石。
1. 状态与状态空间
状态:系统在某一时刻的 "处境" 或 "特征",用离散的符号表示。例如:
天气模型中,状态可定义为 "晴(S₁)、阴(S₂)、雨(S₃)";
股票走势中,状态可定义为 "上涨(S₁)、持平(S₂)、下跌(S₃)"。
状态空间(记为 I):所有可能状态的集合,通常是有限离散集合,即 I = S 1 , S 2 , . . . , S n I={S_1,S_2,...,S_n} I=S1,S2,...,Sn(n 为状态总数)。
2. 无后效性(马尔科夫性)
这是马尔科夫链的核心性质,用概率语言可严格表述为:
这是马尔科夫链的核心性质,用概率语言可严格表述为:
对于任意时刻 t 1 < t 2 < . . . < t k < t t_1 < t_2 < ... < t_k < t t1<t2<...<tk<t,以及任意状态,有:
P ( X t = S m ∣ X t k = S j , X t k − 1 = S i k − 1 , . . . , X t 1 = S i 1 ) = P ( X t = S m ∣ X t k = S j ) P(X_t = S_m \mid X_{t_k} = S_j, X_{t_{k-1}} = S_{i_{k-1}}, ..., X_{t_1} = S_{i_1}) = P(X_t = S_m \mid X_{t_k} = S_j) P(Xt=Sm∣Xtk=Sj,Xtk−1=Sik−1,...,Xt1=Si1)=P(Xt=Sm∣Xtk=Sj)
通俗理解:只要知道系统 "现在" 的状态,就能预测 "未来",无需关心 "过去" 是如何到达当前状态的。例如,预测明天的天气,只需知道今天的天气,无需知道昨天或上周的天气。
3. 转移概率与转移概率矩阵
(1)一步转移概率
设系统在时刻 t 处于状态 S i S_i Si,在时刻 t+1 转移到状态 S j S_j Sj的概率,称为一步转移概率,记为:
p i j = P ( X t + 1 = S j ∣ X t = S i ) ( i , j = 1 , 2 , . . . , n ) p_{ij} = P(X_{t+1} = S_j \mid X_t = S_i) \quad (i, j = 1, 2, ..., n) pij=P(Xt+1=Sj∣Xt=Si)(i,j=1,2,...,n)
其满足两个基本性质:
- 非负性: p i j ≥ 0 p_{ij} \geq 0 pij≥0(概率不可能为负);
- 行和为 1: ∑ j = 1 n p i j = 1 \sum_{j=1}^n p_{ij} = 1 ∑j=1npij=1(从状态 S i S_i Si 出发,必然转移到某个状态)。
假设连续记录 10 天天气,状态序列如下(数字对应状态):
第 1 天:1(晴)、第 2 天:1(晴)、第 3 天:2(阴)、第 4 天:2(阴)、第 5 天:1(晴)、第 6 天:1(晴)、第 7 天:1(晴)、第 8 天:2(阴)、第 9 天:1(晴)、第 10 天:1(晴)
一步转移描述 "当日状态→次日状态",10 天数据对应9 个转移对(从第 1→2 天到第 9→10 天),手动列出所有转移对:
第 1→2 天:1→1(晴→晴)
第 2→3 天:1→2(晴→阴)
第 3→4 天:2→2(阴→阴)
第 4→5 天:2→1(阴→晴)
第 5→6 天:1→1(晴→晴)
第 6→7 天:1→1(晴→晴)
第 7→8 天:1→2(晴→阴)
第 8→9 天:2→1(阴→晴)
第 9→10 天:1→1(晴→晴)
按 "初始状态(当日)" 分类,统计转移到 "目标状态(次日)" 的次数(记为 i i i= 初始状态, j j j= 目标状态),手动计数即可:
- 初始状态为 S 1 S_1 S1(晴天)的转移次数
先筛选 "初始状态 = 1" 的转移对:共 6 个(第 1、2、5、6、7、9 对),再统计目标状态:
- 1→1(晴→晴):第 1、5、6、9 对 → 4 次
- 1→2(晴→阴):第 2、7 对 → 2 次
从 S 1 S_1 S1出发的总转移次数:4+2=6 次(与筛选出的转移对数量一致,计数正确)
- 初始状态为 S 2 S_2 S2(阴天)的转移次数
初始状态为 S 2 S_2 S2筛选 "初始状态 = 2" 的转移对:共 3 个(第 3、4、8 对),统计目标状态:
- 2→1(阴→晴):第 4、8 对 → 2 次
- 2→2(阴→阴):第 3 对 → 1 次
从 S 2 S_2 S2出发的总转移次数:2+1=3 次(与筛选出的转移对数量一致,计数正确)
整理转移次数表
初始状态 \ 目标状态 | S 1 S_1 S1(晴) | S 2 S_2 S2(晴) |
---|---|---|
S 1 S_1 S1(晴) | 4 | 2 |
S 2 S_2 S2(晴) | 2 | 1 |
验证总转移次数:6+3=9 次(与 10 天数据对应 9 个转移对完全匹配,无计数错误)。
根据定义,一步转移概率 p i j = 从 S i 到 S j 的转移次数 从 S i 出发的总转移次数 p_{ij} = \frac{\text{从}S_i\text{到}S_j\text{的转移次数}}{\text{从}S_i\text{出发的总转移次数}} pij=从Si出发的总转移次数从Si到Sj的转移次数,
p 11 p_{11} p11(晴→晴): 4 6 ≈ 0.667 \frac{4}{6} ≈ 0.667 64≈0.667
p 12 p_{12} p12(晴→阴): 2 6 ≈ 0.333 \frac{2}{6} ≈ 0.333 62≈0.333
p 21 p_{21} p21(阴→晴): 2 3 ≈ 0.667 \frac{2}{3} ≈ 0.667 32≈0.667
p 22 p_{22} p22(阴→阴): 1 3 ≈ 0.333 \frac{1}{3} ≈ 0.333 31≈0.333
验证概率性质
非负性:所有 p i j p_ij pij(0.667、0.333、0.667、0.333)均≥0,符合要求;
行和为 1:
第 1 行(晴):0.667+0.333=1
第 2 行(阴):0.667+0.333=1
(2)转移概率矩阵
将所有一步转移概率按行(当前状态)和列(下一状态)排列,得到一步转移概率矩阵,记为
P = ( p 11 p 12 . . . p 1 n p 21 p 22 . . . p 2 n ⋮ ⋮ ⋱ ⋮ p n 1 p n 2 . . . p n n ) P = \begin{pmatrix} p_{11} & p_{12} & ... & p_{1n} \\ p_{21} & p_{22} & ... & p_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ p_{n1} & p_{n2} & ... & p_{nn} \end{pmatrix} P= p11p21⋮pn1p12p22⋮pn2......⋱...p1np2n⋮pnn
例如,天气模型(3 个状态:晴 S₁、阴 S₂)的转移矩阵可能为:
P = ( p 11 p 12 p 21 p 22 ) = ( 2 3 1 3 2 3 1 3 ) P = \begin{pmatrix} p_{11} & p_{12} \\ % 初始状态S1(晴)的转移概率 p_{21} & p_{22} % 初始状态S2(阴)的转移概率 \end{pmatrix} = \begin{pmatrix} \frac{2}{3} & \frac{1}{3} \\ % 或0.667 & 0.333 \frac{2}{3} & \frac{1}{3} % 或0.667 & 0.333 \end{pmatrix} P=(p11p21p12p22)=(32323131)
(3)k 步转移概率矩阵
若要预测 "k 步后" 的状态(如后天的天气,即 2 步转移),需用到k 步转移概率矩阵,记为 P ( k ) P^{(k)} P(k)
。根据 "Chapman-Kolmogorov 方程",k 步转移矩阵可由一步转移矩阵的 k 次幂得到: P ( k ) = P k P^{(k)} = P^k P(k)=Pk
例如,2 步转移矩阵 P ( 2 ) = P × P P^{(2)} = P \times P P(2)=P×P,其元素 p i j ( 2 ) p_{ij}^{(2)} pij(2) 表示 "从状态 S i S_i Si出发,经过 2 步转移到 S j S_j Sj 的概率"。
二、马尔科夫链的关键性质(平稳性与遍历性)
在数学建模中,我们常关注 "长期稳定状态",这需要通过马尔科夫链的平稳性 和遍历性来分析。
2.1 平稳分布(极限分布)
若存在一个概率向量 π = ( π 1 , π 2 , . . . , π n ) \pi = (\pi_1, \pi_2, ..., \pi_n) π=(π1,π2,...,πn) (满足 π j ≥ 0 \pi_j \geq 0 πj≥0且 ∑ j = 1 n π j = 1 \sum_{j=1}^n \pi_j = 1 ∑j=1nπj=1 ),使得: π = π P \pi = \pi P π=πP
则称 π \pi π 为马尔科夫链的平稳分布。
通俗理解:当系统达到平稳分布时,状态的概率分布不再随时间变化。例如,长期观察天气后发现,晴、阴、雨的概率稳定在(0.3, 0.4, 0.3),此时无论初始天气如何,最终都会趋近于这个分布。
2.2 遍历性
若马尔科夫链满足:
- 从任意初始状态出发,经过足够多步后,能到达所有状态(即 "不可约");
- 不存在 "周期性循环"(即 "非周期");
则称该马尔科夫链具有遍历性,且满足: lim k → ∞ P ( k ) = ( π 1 π 2 . . . π n π 1 π 2 . . . π n ⋮ ⋮ ⋱ ⋮ π 1 π 2 . . . π n ) \lim_{k \to \infty} P^{(k)} = \begin{pmatrix} \pi_1 & \pi_2 & ... & \pi_n \\ \pi_1 & \pi_2 & ... & \pi_n \\ \vdots & \vdots & \ddots & \vdots \\ \pi_1 & \pi_2 & ... & \pi_n \end{pmatrix} limk→∞P(k)= π1π1⋮π1π2π2⋮π2......⋱...πnπn⋮πn
即 k 步转移矩阵的所有行都趋近于平稳分布 π \pi π。这意味着:无论初始状态如何,长期后系统的状态分布都会收敛到平稳分布------ 这是马尔科夫链用于 "长期预测" 的核心依据。
三、马尔科夫链模型的建模步骤(附实例)
以 "预测某地区未来天气分布" 为例,完整建模流程如下:
步骤 1:确定状态空间
根据问题定义离散状态。此处定义:
状态 1(S₁):晴天;
状态 2(S₂):阴天;
状态 3(S₃):雨天;
状态空间 S 1 , S 2 , S 3 {S₁, S₂, S₃} S1,S2,S3
步骤 2:收集数据,估计转移概率矩阵
通过历史数据(如过去 30 天的天气记录)计算转移频率,近似作为转移概率。例如,
假设研究者连续记录 30 天天气,得到如下状态序列(数字 1 = 晴天、2 = 阴天、3 = 雨天):
第 1 天:1(晴)、第 2 天:1(晴)、第 3 天:1(晴)、第 4 天:2(阴)、第 5 天:2(阴)、
第 6 天:1(晴)、第 7 天:3(雨)、第 8 天:3(雨)、第 9 天:1(晴)、第 10 天:1(晴)、
第 11 天:1(晴)、第 12 天:1(晴)、第 13 天:1(晴)、第 14 天:1(晴)、第 15 天:2(阴)、
第 16 天:2(阴)、第 17 天:3(雨)、第 18 天:1(晴)、第 19 天:1(晴)、第 20 天:1(晴)、
第 21 天:2(阴)、第 22 天:1(晴)、第 23 天:3(雨)、第 24 天:3(雨)、第 25 天:3(雨)、
第 26 天:2(阴)、第 27 天:2(阴)、第 28 天:2(阴)、第 29 天:3(雨)、第 30 天:3(雨)
统计得:
- 晴天(S₁)后:18 次转晴天、9 次转阴天、3 次转雨天 → 频率(0.6, 0.3, 0.1)→ 转移概率 p 11 = 0.6 , p 12 = 0.3 , p 13 = 0.1 p_{11}=0.6, p_{12}=0.3, p_{13}=0.1 p11=0.6,p12=0.3,p13=0.1;
- 阴天(S₂)后:6 次转晴天、15 次转阴天、9 次转雨天 → 频率(0.2, 0.5, 0.3)→ 转移概率 p 21 = 0.2 , p 22 = 0.5 , p 23 = 0.3 p_{21}=0.2, p_{22}=0.5, p_{23}=0.3 p21=0.2,p22=0.5,p23=0.3 ;
- 雨天(S₃)后:3 次转晴天、12 次转阴天、15 次转雨天 → 频率(0.1, 0.4, 0.5)→ 转移概率 p 31 = 0.1 , p 32 = 0.4 , p 33 = 0.5 p_{31}=0.1, p_{32}=0.4, p_{33}=0.5 p31=0.1,p32=0.4,p33=0.5
最终得到转移矩阵 P = ( 0.6 0.3 0.1 0.2 0.5 0.3 0.1 0.4 0.5 ) P = \begin{pmatrix} 0.6 & 0.3 & 0.1 \\ % ä>>Šå¤©æ™´ï¼Œæ˜Žå¤©æ™´(0.6)ã€é˜´(0.3)ã€é›¨(0.1) 0.2 & 0.5 & 0.3 \\ % ä>>Šå¤©é˜´ï¼Œæ˜Žå¤©æ™´(0.2)ã€é˜´(0.5)ã€é›¨(0.3) 0.1 & 0.4 & 0.5 \\ % ä>>Šå¤©é›¨ï¼Œæ˜Žå¤©æ™´(0.1)ã€é˜´(0.4)ã€é›¨(0.5) \end{pmatrix} P= 0.60.20.10.30.50.40.10.30.5
步骤 3:分析模型的遍历性(验证长期预测可行性)
需验证两点:
不可约性:从任意状态出发能到达所有状态。例如,S₁→S₂→S₃→S₁,存在路径,故不可约;
非周期性:不存在正整数 d>1,使得所有转移步数都是 d 的倍数。例如,从 S₁出发,1 步可回 S₁(d 不整除 1),故非周期;
因此,该马尔科夫链具有遍历性,可求平稳分布。
步骤 4:求解平稳分布(长期预测)
根据平稳分布定义 π = π P \pi = \pi P π=πP,结合 π 1 + π 2 + π 3 = 1 \pi_1 + \pi_2 + \pi_3 = 1 π1+π2+π3=1,建立方程组:
{ π 1 = 0.6 π 1 + 0.2 π 2 + 0.1 π 3 π 2 = 0.3 π 1 + 0.5 π 2 + 0.4 π 3 π 3 = 0.1 π 1 + 0.3 π 2 + 0.5 π 3 π 1 + π 2 + π 3 = 1 \begin{cases} \pi_1 = 0.6\pi_1 + 0.2\pi_2 + 0.1\pi_3 \\ \pi_2 = 0.3\pi_1 + 0.5\pi_2 + 0.4\pi_3 \\ \pi_3 = 0.1\pi_1 + 0.3\pi_2 + 0.5\pi_3 \\ \pi_1 + \pi_2 + \pi_3 = 1 \end{cases} ⎩ ⎨ ⎧π1=0.6π1+0.2π2+0.1π3π2=0.3π1+0.5π2+0.4π3π3=0.1π1+0.3π2+0.5π3π1+π2+π3=1
解方程组得: π = ( 0.25 , 0.4 , 0.35 ) \pi = (0.25, 0.4, 0.35) π=(0.25,0.4,0.35)
步骤 5:短期预测(利用 k 步转移矩阵)
若今天是晴天(初始状态向量 π ( 0 ) = ( 1 , 0 , 0 ) \pi^{(0)} = (1, 0, 0) π(0)=(1,0,0),预测明天(1 步后)和后天(2 步后)的天气分布:
- 明天(1 步): π ( 1 ) = π ( 0 ) P = ( 1 A ~ --- 0.6 + 0 A ~ --- 0.2 + 0 A ~ --- 0.1 , . . . ) = ( 0.6 , 0.3 , 0.1 ) \pi^{(1)} = \pi^{(0)} P = (1Ã---0.6 + 0Ã---0.2 + 0Ã---0.1, ...) = (0.6, 0.3, 0.1) π(1)=π(0)P=(1A~---0.6+0A~---0.2+0A~---0.1,...)=(0.6,0.3,0.1)
- 后天(2 步): π ( 2 ) = π ( 1 ) P = ( 0.6 A ~ --- 0.6 + 0.3 A ~ --- 0.2 + 0.1 A ~ --- 0.1 , . . . ) = ( 0.43 , 0.35 , 0.22 ) \pi^{(2)} = \pi^{(1)} P = (0.6Ã---0.6 + 0.3Ã---0.2 + 0.1Ã---0.1, ...) = (0.43, 0.35, 0.22) π(2)=π(1)P=(0.6A~---0.6+0.3A~---0.2+0.1A~---0.1,...)=(0.43,0.35,0.22)
即后天晴天概率 43%,阴天 35%,雨天 22%。
四、马尔科夫链的常见应用场景
应用马尔可夫链的计算方法进行马尔可夫分析,主要目的是根据某些变量现在的情况及其变动趋向,来预测它在未来某特定区间可能产生的变动,作为提供某种决策的依据。
除天气预测外,马尔科夫链在数学建模中还有大量应用,核心是 "状态离散、无后效性" 的问题:
- 经济领域:股票走势预测(状态:涨 / 平 / 跌)、市场占有率预测(状态:各品牌);
- 生物领域:种群状态转移(状态:健康 / 患病 / 死亡)、DNA 序列分析;
- 工程领域:设备故障预测(状态:正常 / 维修 / 故障)、交通流量控制(状态:畅通 / 拥堵);
- 社会领域:人口迁移预测(状态:农村 / 城市)、用户行为分析(状态:活跃 / 沉睡)。
五、建模注意事项
- 状态定义需合理:状态需离散、互斥,且能完整描述系统(如天气若加 "多云",需补充为 4 状态);
- 转移概率需可靠:尽量用足够多的历史数据估计,避免主观赋值;若数据不足,可结合专家经验修正;
- 遍历性验证不可少:若模型不满足遍历性(如存在 "吸收态",如 "死亡" 状态无法转移),则无平稳分布,需调整模型(如定义 "吸收马尔科夫链")。
六、常见扩展模型
高阶马尔科夫链:引入更多历史状态影响
隐马尔科夫模型 HMM:用于观测数据不可直接看到状态的情形(如语音识别)
马尔科夫决策过程 MDP:引入"动作"和"奖励",用于强化学习建模
七:代码
python版
python
import numpy as np
import matplotlib.pyplot as plt
# 原始天气状态序列:1=晴(sunny),2=阴(cloudy),3=雨(rainy)
weather_seq = [1, 1, 1, 2, 2, 1, 3, 3, 1, 1, 1, 1, 1, 1,
2, 2, 3, 1, 1, 1, 2, 1, 3, 3, 3, 2, 2, 2, 3, 3]
n_states = 3 # 3种状态:sunny(1)、cloudy(2)、rainy(3)
count_matrix = np.zeros((n_states, n_states)) # 初始化转移计数矩阵
# 构建转移计数矩阵(统计从当前状态到下一状态的次数)
for i in range(len(weather_seq) - 1):
current = weather_seq[i] - 1 # 状态索引从0开始(对应原1/2/3)
next_ = weather_seq[i + 1] - 1
count_matrix[current, next_] += 1
# 归一化为转移概率矩阵 P(每行和为1,满足概率性质)
P = count_matrix / count_matrix.sum(axis=1, keepdims=True)
print("State Transition Probability Matrix P:\n", np.round(P, 3)) # 输出概率矩阵(保留3位小数)
# 初始状态(已知第1天是晴天:Day1 is sunny)
pi_0 = np.zeros(n_states)
pi_0[weather_seq[0] - 1] = 1 # 初始状态向量:晴天概率=1,其他为0
# 生成30天的状态分布(马尔科夫链演化:Markov Chain Evolution)
def simulate_markov(P, pi_0, steps=30):
history = [pi_0] # 存储每天的状态概率分布
pi = pi_0.copy() # 当前状态分布
for _ in range(steps):
pi = pi @ P # 矩阵乘法:计算下一天的状态分布
history.append(pi)
return np.array(history) # 返回31天的分布(初始+30天)
history = simulate_markov(P, pi_0, steps=30) # 执行模拟
# 输出前5天结果示意(Show first 5 days for demonstration)
print("\nFirst 5 Days' State Distribution:")
for i in range(5):
print(f"Day {i}: Sunny={history[i][0]:.3f}, Cloudy={history[i][1]:.3f}, Rainy={history[i][2]:.3f}")
# 可视化:天气状态分布演化(Visualization: Weather State Distribution Evolution)
plt.figure(figsize=(10, 5)) # 设置图大小
plt.plot(history[:, 0], label="Sunny") # 晴天概率曲线
plt.plot(history[:, 1], label="Cloudy") # 阴天概率曲线
plt.plot(history[:, 2], label="Rainy") # 雨天概率曲线
plt.title("Weather State Distribution Evolution (30 Days)") # 图标题
plt.xlabel("Day") # x轴标签(天数)
plt.ylabel("Probability") # y轴标签(概率)
plt.xticks(np.arange(0, 31, 5)) # x轴刻度:每5天显示1个
plt.grid(True, alpha=0.3) # 显示网格(透明度0.3,避免遮挡曲线)
plt.legend(loc="best") # 图例:自动放在最佳位置
plt.tight_layout() # 自动调整布局,避免标签被截断
plt.show() # 显示图像
输出结果:
python
State Transition Probability Matrix P:
[[0.643 0.214 0.143]
[0.25 0.5 0.25 ]
[0.286 0.143 0.571]]
First 5 Days' State Distribution:
Day 0: Sunny=1.000, Cloudy=0.000, Rainy=0.000
Day 1: Sunny=0.643, Cloudy=0.214, Rainy=0.143
Day 2: Sunny=0.508, Cloudy=0.265, Rainy=0.227
Day 3: Sunny=0.458, Cloudy=0.274, Rainy=0.269
Day 4: Sunny=0.439, Cloudy=0.273, Rainy=0.287

matlab版
python
% 原始天气序列(1=晴,2=阴,3=雨)
weather_seq = [1 1 1 2 2 1 3 3 1 1 1 1 1 1 ...
2 2 3 1 1 1 2 1 3 3 3 2 2 2 3 3];
n_states = 3;
count_matrix = zeros(n_states);
% 构建转移计数矩阵
for i = 1:(length(weather_seq) - 1)
current = weather_seq(i);
next = weather_seq(i+1);
count_matrix(current, next) = count_matrix(current, next) + 1;
end
% 转移概率矩阵 P
P = count_matrix ./ sum(count_matrix, 2);
disp('状态转移概率矩阵 P:');
disp(round(P, 3));
% 初始状态分布(Day 1 是"晴")
pi_0 = zeros(1, n_states);
pi_0(weather_seq(1)) = 1;
% 演化30天
steps = 30;
pi_t = zeros(steps+1, n_states);
pi_t(1, :) = pi_0;
for t = 2:(steps+1)
pi_t(t, :) = pi_t(t-1, :) * P;
end
disp('前5天状态分布:');
disp(round(pi_t(1:5, :), 3));
% 可视化(如需要)
figure;
plot(0:steps, pi_t(:, 1), '-o', 'DisplayName', '晴 (sunny)');
hold on;
plot(0:steps, pi_t(:, 2), '-o', 'DisplayName', '阴 (cloudy)');
plot(0:steps, pi_t(:, 3), '-o', 'DisplayName', '雨 (rainy)');
xlabel('天数');
ylabel('概率');
title('天气状态分布演化(30天)');
legend;
grid on;