概理论与数理统计学习教程，从入门到精通，马尔可夫链(25）

马尔可夫链

完整知识点总结与详细推导

---

§1 定义与例子

一、随机过程的基本概念回顾

设 (Ω,F,P)(\Omega, \mathcal{F}, P)(Ω,F,P) 为一概率空间，TTT 为一参数集（通常表示时间），若对每个 t∈Tt \in Tt∈T，X(t)X(t)X(t) 是定义在此概率空间上的随机变量，则称随机变量族 {X(t),t∈T}\{X(t), t \in T\}{X(t),t∈T} 为随机过程。

• 当 TTT 为可列集（如 T={0,1,2,...}T = \{0, 1, 2, \ldots\}T={0,1,2,...}）时，称为离散时间随机过程；
• 当 X(t)X(t)X(t) 的取值为可列集（如 S={0,1,2,...}S = \{0, 1, 2, \ldots\}S={0,1,2,...} 或有限集）时，称为离散状态随机过程。

马尔可夫链就是一类离散时间、离散状态的随机过程。

---

二、马尔可夫链的定义

定义1（马尔可夫性/无后效性）： 设 {Xn,n=0,1,2,...}\{X_n, n = 0, 1, 2, \ldots\}{Xn,n=0,1,2,...} 是一个离散时间的随机过程，状态空间 SSS 为有限或可列集。若对任意 n≥1n \geq 1n≥1 及任意状态 i0,i1,...,in−1,i,j∈Si_0, i_1, \ldots, i_{n-1}, i, j \in Si0,i1,...,in−1,i,j∈S，只要

P{X0=i0,X1=i1,...,Xn−1=in−1,Xn=i}>0P\{X_0 = i_0, X_1 = i_1, \ldots, X_{n-1} = i_{n-1}, X_n = i\} > 0P{X0=i0,X1=i1,...,Xn−1=in−1,Xn=i}>0

就有

P{Xn+1=j∣X0=i0,X1=i1,...,Xn−1=in−1,Xn=i}=P{Xn+1=j∣Xn=i}P\{X_{n+1} = j \mid X_0 = i_0, X_1 = i_1, \ldots, X_{n-1} = i_{n-1}, X_n = i\} = P\{X_{n+1} = j \mid X_n = i\}P{Xn+1=j∣X0=i0,X1=i1,...,Xn−1=in−1,Xn=i}=P{Xn+1=j∣Xn=i}

则称 {Xn,n=0,1,2,...}\{X_n, n = 0, 1, 2, \ldots\}{Xn,n=0,1,2,...} 具有马尔可夫性 （无后效性），并称其为马尔可夫链。

直观理解： 系统在未来时刻 n+1n+1n+1 处于状态 jjj 的概率，仅依赖于当前时刻 nnn 的状态 iii，而与系统如何到达状态 iii 的历史路径无关。这就是"过去和未来在给定现在条件下独立"的含义。

---

三、转移概率与转移概率矩阵

定义2（一步转移概率）： 马尔可夫链在时刻 nnn 处于状态 iii 的条件下，下一步转移到状态 jjj 的概率

pij(n)=P{Xn+1=j∣Xn=i}p_{ij}(n) = P\{X_{n+1} = j \mid X_n = i\}pij(n)=P{Xn+1=j∣Xn=i}

称为一步转移概率。

定义3（齐次/时齐马尔可夫链）： 若一步转移概率 pij(n)p_{ij}(n)pij(n) 与时刻 nnn 无关，即对所有 nnn，

P{Xn+1=j∣Xn=i}=pijP\{X_{n+1} = j \mid X_n = i\} = p_{ij}P{Xn+1=j∣Xn=i}=pij

则称该马尔可夫链为齐次（时齐）马尔可夫链。

本书后续讨论的马尔可夫链均默认为齐次马尔可夫链。

定义4（一步转移概率矩阵）： 由所有一步转移概率 pijp_{ij}pij 构成的矩阵

P=(p00p01p02⋯p10p11p12⋯p20p21p22⋯⋮⋮⋮⋱)\boldsymbol{P} = \begin{pmatrix} p_{00} & p_{01} & p_{02} & \cdots \\ p_{10} & p_{11} & p_{12} & \cdots \\ p_{20} & p_{21} & p_{22} & \cdots \\ \vdots & \vdots & \vdots & \ddots \end{pmatrix}P= p00p10p20⋮p01p11p21⋮p02p12p22⋮⋯⋯⋯⋱

称为一步转移概率矩阵。

转移概率矩阵的性质：

(1)pij≥0,∀ i,j∈S\text{(1)} \quad p_{ij} \geq 0, \quad \forall\, i, j \in S(1)pij≥0,∀i,j∈S

(2)∑j∈Spij=1,∀ i∈S\text{(2)} \quad \sum_{j \in S} p_{ij} = 1, \quad \forall\, i \in S(2)j∈S∑pij=1,∀i∈S

即每一行的元素之和等于1。满足这两个性质的矩阵称为随机矩阵（stochastic matrix）。

证明性质(2)： 由全概率公式：

∑j∈Spij=∑j∈SP{Xn+1=j∣Xn=i}=P{⋃j∈S(Xn+1=j)  |  Xn=i}=1\sum_{j \in S} p_{ij} = \sum_{j \in S} P\{X_{n+1} = j \mid X_n = i\} = P\left\{\bigcup_{j \in S}(X_{n+1} = j) \;\middle|\; X_n = i\right\} = 1j∈S∑pij=j∈S∑P{Xn+1=j∣Xn=i}=P⎩ ⎨ ⎧j∈S⋃(Xn+1=j) Xn=i⎭ ⎬ ⎫=1

因为 {Xn+1=j}j∈S\{X_{n+1} = j\}_{j \in S}{Xn+1=j}j∈S 构成样本空间的一个完备事件组。

---

四、初始分布

定义5（初始概率分布）： 设

pi(0)=P{X0=i},i∈Sp_i(0) = P\{X_0 = i\}, \quad i \in Spi(0)=P{X0=i},i∈S

称向量 p(0)=(p0(0),p1(0),p2(0),...)\boldsymbol{p}(0) = (p_0(0), p_1(0), p_2(0), \ldots)p(0)=(p0(0),p1(0),p2(0),...) 为马尔可夫链的初始分布。

显然满足：

pi(0)≥0,∑i∈Spi(0)=1p_i(0) \geq 0, \quad \sum_{i \in S} p_i(0) = 1pi(0)≥0,i∈S∑pi(0)=1

定理： 齐次马尔可夫链的有限维分布由初始分布和一步转移概率矩阵完全确定。

证明思路： 对任意 n≥1n \geq 1n≥1 及 i0,i1,...,in∈Si_0, i_1, \ldots, i_n \in Si0,i1,...,in∈S：

P{X0=i0,X1=i1,...,Xn=in}P\{X_0 = i_0, X_1 = i_1, \ldots, X_n = i_n\}P{X0=i0,X1=i1,...,Xn=in}

=P{X0=i0}⋅P{X1=i1∣X0=i0}⋅P{X2=i2∣X0=i0,X1=i1}⋯P{Xn=in∣X0=i0,...,Xn−1=in−1}= P\{X_0 = i_0\} \cdot P\{X_1 = i_1 \mid X_0 = i_0\} \cdot P\{X_2 = i_2 \mid X_0 = i_0, X_1 = i_1\} \cdots P\{X_n = i_n \mid X_0 = i_0, \ldots, X_{n-1} = i_{n-1}\}=P{X0=i0}⋅P{X1=i1∣X0=i0}⋅P{X2=i2∣X0=i0,X1=i1}⋯P{Xn=in∣X0=i0,...,Xn−1=in−1}

由马尔可夫性：

=P{X0=i0}⋅P{X1=i1∣X0=i0}⋅P{X2=i2∣X1=i1}⋯P{Xn=in∣Xn−1=in−1}= P\{X_0 = i_0\} \cdot P\{X_1 = i_1 \mid X_0 = i_0\} \cdot P\{X_2 = i_2 \mid X_1 = i_1\} \cdots P\{X_n = i_n \mid X_{n-1} = i_{n-1}\}=P{X0=i0}⋅P{X1=i1∣X0=i0}⋅P{X2=i2∣X1=i1}⋯P{Xn=in∣Xn−1=in−1}

=pi0(0)⋅pi0i1⋅pi1i2⋯pin−1in= p_{i_0}(0) \cdot p_{i_0 i_1} \cdot p_{i_1 i_2} \cdots p_{i_{n-1} i_n}=pi0(0)⋅pi0i1⋅pi1i2⋯pin−1in

---

五、典型例子

例1（天气模型）： 设每天的天气只有"晴"和"雨"两种状态，分别记为1和2。若今天晴，则明天晴的概率为0.8，雨的概率为0.2；若今天雨，则明天晴的概率为0.4，雨的概率为0.6。

则转移概率矩阵为：

P=(0.80.20.40.6)\boldsymbol{P} = \begin{pmatrix} 0.8 & 0.2 \\ 0.4 & 0.6 \end{pmatrix}P=(0.80.40.20.6)

例2（一维随机游动/醉汉游走）： 设一醉汉在整数点上随机游走，每步以概率 ppp 向右移1，以概率 q=1−pq = 1-pq=1−p 向左移1。状态空间 S={...,−1,0,1,2,...}S = \{\ldots, -1, 0, 1, 2, \ldots\}S={...,−1,0,1,2,...}。

转移概率为：

pi,i+1=p,pi,i−1=q,pij=0(j≠i+1,i−1)p_{i, i+1} = p, \quad p_{i, i-1} = q, \quad p_{ij} = 0 \quad (j \neq i+1, i-1)pi,i+1=p,pi,i−1=q,pij=0(j=i+1,i−1)

例3（带反射壁的随机游动）： 设醉汉在 {0,1,2,...,N}\{0, 1, 2, \ldots, N\}{0,1,2,...,N} 上游动，在 000 和 NNN 处分别有反射壁：

• 在 000 处：下一步必到 111（概率为1）；
• 在 NNN 处：下一步必到 N−1N-1N−1（概率为1）；
• 在 1,2,...,N−11, 2, \ldots, N-11,2,...,N−1 处：以概率 ppp 右移，qqq 左移。

转移概率矩阵为：

P=(010⋯00q0p⋯000q0⋯00⋮⋱⋱⋮000⋯01000⋯00)\boldsymbol{P} = \begin{pmatrix} 0 & 1 & 0 & \cdots & 0 & 0 \\ q & 0 & p & \cdots & 0 & 0 \\ 0 & q & 0 & \cdots & 0 & 0 \\ \vdots & & \ddots & \ddots & & \vdots \\ 0 & 0 & 0 & \cdots & 0 & 1 \\ 0 & 0 & 0 & \cdots & 0 & 0 \end{pmatrix}P= 0q0⋮0010q000p0⋱00⋯⋯⋯⋱⋯⋯00000000⋮10

（注：最后两行需根据具体规则调整，此处简写。）

例4（带吸收壁的随机游动）： 状态 000 和 NNN 为吸收态，即 p00=1p_{00} = 1p00=1，pNN=1p_{NN} = 1pNN=1。在 1≤i≤N−11 \leq i \leq N-11≤i≤N−1 处以概率 ppp 右移、qqq 左移。

P=(100⋯0q0p⋯00q0⋯0⋮⋱⋱⋮00⋯01)\boldsymbol{P} = \begin{pmatrix} 1 & 0 & 0 & \cdots & 0 \\ q & 0 & p & \cdots & 0 \\ 0 & q & 0 & \cdots & 0 \\ \vdots & & \ddots & \ddots & \vdots \\ 0 & 0 & \cdots & 0 & 1 \end{pmatrix}P= 1q0⋮000q00p0⋱⋯⋯⋯⋯⋱0000⋮1

---

§2 多步转移概率的确定

一、nnn 步转移概率的定义

定义6： 称

pij(n)=P{Xm+n=j∣Xm=i}p_{ij}^{(n)} = P\{X_{m+n} = j \mid X_m = i\}pij(n)=P{Xm+n=j∣Xm=i}

为马尔可夫链的 nnn 步转移概率 （齐次链中与 mmm 无关）。

相应的 nnn 步转移概率矩阵为：

P(n)=(pij(n))\boldsymbol{P}^{(n)} = \left(p_{ij}^{(n)}\right)P(n)=(pij(n))

约定：

pij(0)=δij={1,i=j0,i≠jp_{ij}^{(0)} = \delta_{ij} = \begin{cases} 1, & i = j \\ 0, & i \neq j \end{cases}pij(0)=δij={1,0,i=ji=j

即 P(0)=I\boldsymbol{P}^{(0)} = \boldsymbol{I}P(0)=I（单位矩阵）。

pij(1)=pij,P(1)=Pp_{ij}^{(1)} = p_{ij}, \quad \boldsymbol{P}^{(1)} = \boldsymbol{P}pij(1)=pij,P(1)=P

---

二、切普曼-柯尔莫哥洛夫方程（C-K方程）

定理（C-K方程）： 对任意非负整数 n,mn, mn,m，有

pij(n+m)=∑k∈Spik(n)⋅pkj(m)\boxed{p_{ij}^{(n+m)} = \sum_{k \in S} p_{ik}^{(n)} \cdot p_{kj}^{(m)}}pij(n+m)=k∈S∑pik(n)⋅pkj(m)

详细证明：

pij(n+m)=P{Xn+m=j∣X0=i}p_{ij}^{(n+m)} = P\{X_{n+m} = j \mid X_0 = i\}pij(n+m)=P{Xn+m=j∣X0=i}

由全概率公式，对时刻 nnn 的状态进行分解：

=∑k∈SP{Xn+m=j,Xn=k∣X0=i}= \sum_{k \in S} P\{X_{n+m} = j, X_n = k \mid X_0 = i\}=k∈S∑P{Xn+m=j,Xn=k∣X0=i}

=∑k∈SP{Xn=k∣X0=i}⋅P{Xn+m=j∣Xn=k,X0=i}= \sum_{k \in S} P\{X_n = k \mid X_0 = i\} \cdot P\{X_{n+m} = j \mid X_n = k, X_0 = i\}=k∈S∑P{Xn=k∣X0=i}⋅P{Xn+m=j∣Xn=k,X0=i}

由马尔可夫性：P{Xn+m=j∣Xn=k,X0=i}=P{Xn+m=j∣Xn=k}P\{X_{n+m} = j \mid X_n = k, X_0 = i\} = P\{X_{n+m} = j \mid X_n = k\}P{Xn+m=j∣Xn=k,X0=i}=P{Xn+m=j∣Xn=k}

因此：

pij(n+m)=∑k∈Spik(n)⋅pkj(m)p_{ij}^{(n+m)} = \sum_{k \in S} p_{ik}^{(n)} \cdot p_{kj}^{(m)}pij(n+m)=k∈S∑pik(n)⋅pkj(m)

矩阵形式：

P(n+m)=P(n)⋅P(m)\boxed{\boldsymbol{P}^{(n+m)} = \boldsymbol{P}^{(n)} \cdot \boldsymbol{P}^{(m)}}P(n+m)=P(n)⋅P(m)

特别地，取 m=1m = 1m=1：

P(n+1)=P(n)⋅P\boldsymbol{P}^{(n+1)} = \boldsymbol{P}^{(n)} \cdot \boldsymbol{P}P(n+1)=P(n)⋅P

递推可得：

P(n)=Pn\boxed{\boldsymbol{P}^{(n)} = \boldsymbol{P}^n}P(n)=Pn

即 nnn 步转移概率矩阵等于一步转移概率矩阵的 nnn 次幂。

---

三、绝对概率的计算

设初始分布为 p(0)=(p0(0),p1(0),...)\boldsymbol{p}(0) = (p_0(0), p_1(0), \ldots)p(0)=(p0(0),p1(0),...)，则时刻 nnn 的绝对概率分布为：

pj(n)=P{Xn=j}=∑i∈Spi(0)⋅pij(n)p_j(n) = P\{X_n = j\} = \sum_{i \in S} p_i(0) \cdot p_{ij}^{(n)}pj(n)=P{Xn=j}=i∈S∑pi(0)⋅pij(n)

向量形式：

p(n)=p(0)⋅Pn\boxed{\boldsymbol{p}(n) = \boldsymbol{p}(0) \cdot \boldsymbol{P}^n}p(n)=p(0)⋅Pn

证明： 由全概率公式：

pj(n)=P{Xn=j}=∑i∈SP{X0=i}⋅P{Xn=j∣X0=i}=∑i∈Spi(0)⋅pij(n)p_j(n) = P\{X_n = j\} = \sum_{i \in S} P\{X_0 = i\} \cdot P\{X_n = j \mid X_0 = i\} = \sum_{i \in S} p_i(0) \cdot p_{ij}^{(n)}pj(n)=P{Xn=j}=i∈S∑P{X0=i}⋅P{Xn=j∣X0=i}=i∈S∑pi(0)⋅pij(n)

---

四、nnn 步转移概率矩阵的计算方法

方法一：矩阵连乘法

直接计算 Pn=P⋅P⋯P⏟n 个\boldsymbol{P}^n = \underbrace{\boldsymbol{P} \cdot \boldsymbol{P} \cdots \boldsymbol{P}}_{n \text{ 个}}Pn=n 个 P⋅P⋯P。

方法二：数学归纳法/递推法

由 P(n+1)=P(n)⋅P\boldsymbol{P}^{(n+1)} = \boldsymbol{P}^{(n)} \cdot \boldsymbol{P}P(n+1)=P(n)⋅P 逐次递推。

方法三：对角化法（适用于有限状态）

若 P\boldsymbol{P}P 可对角化为 P=QΛQ−1\boldsymbol{P} = \boldsymbol{Q} \boldsymbol{\Lambda} \boldsymbol{Q}^{-1}P=QΛQ−1，则

Pn=QΛnQ−1\boldsymbol{P}^n = \boldsymbol{Q} \boldsymbol{\Lambda}^n \boldsymbol{Q}^{-1}Pn=QΛnQ−1

其中 Λn=diag(λ1n,λ2n,...,λsn)\boldsymbol{\Lambda}^n = \text{diag}(\lambda_1^n, \lambda_2^n, \ldots, \lambda_s^n)Λn=diag(λ1n,λ2n,...,λsn)。

方法四：母函数法（生成函数法）

定义母函数 Gij(z)=∑n=0∞pij(n)znG_{ij}(z) = \sum_{n=0}^{\infty} p_{ij}^{(n)} z^nGij(z)=∑n=0∞pij(n)zn，利用 C-K 方程建立方程组求解。

---

五、计算实例

例5： 设齐次马尔可夫链的状态空间 S={1,2,3}S = \{1, 2, 3\}S={1,2,3}，转移概率矩阵为

P=(0.50.500.500.500.50.5)\boldsymbol{P} = \begin{pmatrix} 0.5 & 0.5 & 0 \\ 0.5 & 0 & 0.5 \\ 0 & 0.5 & 0.5 \end{pmatrix}P= 0.50.500.500.500.50.5

求 P(2)\boldsymbol{P}^{(2)}P(2) 和 P(3)\boldsymbol{P}^{(3)}P(3)。

解：

P(2)=P2=(0.50.500.500.500.50.5)(0.50.500.500.500.50.5)\boldsymbol{P}^{(2)} = \boldsymbol{P}^2 = \begin{pmatrix} 0.5 & 0.5 & 0 \\ 0.5 & 0 & 0.5 \\ 0 & 0.5 & 0.5 \end{pmatrix} \begin{pmatrix} 0.5 & 0.5 & 0 \\ 0.5 & 0 & 0.5 \\ 0 & 0.5 & 0.5 \end{pmatrix}P(2)=P2= 0.50.500.500.500.50.5 0.50.500.500.500.50.5

计算各行：

• 第1行：(0.5×0.5+0.5×0.5+0,0.5×0.5+0.5×0+0×0.5,0.5×0+0.5×0.5+0×0.5)=(0.5,0.25,0.25)(0.5 \times 0.5 + 0.5 \times 0.5 + 0, \quad 0.5 \times 0.5 + 0.5 \times 0 + 0 \times 0.5, \quad 0.5 \times 0 + 0.5 \times 0.5 + 0 \times 0.5) = (0.5, 0.25, 0.25)(0.5×0.5+0.5×0.5+0,0.5×0.5+0.5×0+0×0.5,0.5×0+0.5×0.5+0×0.5)=(0.5,0.25,0.25)
• 第2行：(0.25,0.5,0.25)(0.25, 0.5, 0.25)(0.25,0.5,0.25)
• 第3行：(0.25,0.25,0.5)(0.25, 0.25, 0.5)(0.25,0.25,0.5)

P(2)=(0.50.250.250.250.50.250.250.250.5)\boldsymbol{P}^{(2)} = \begin{pmatrix} 0.5 & 0.25 & 0.25 \\ 0.25 & 0.5 & 0.25 \\ 0.25 & 0.25 & 0.5 \end{pmatrix}P(2)= 0.50.250.250.250.50.250.250.250.5

P(3)=P(2)⋅P=(0.3750.3750.250.3750.250.3750.250.3750.375)\boldsymbol{P}^{(3)} = \boldsymbol{P}^{(2)} \cdot \boldsymbol{P} = \begin{pmatrix} 0.375 & 0.375 & 0.25 \\ 0.375 & 0.25 & 0.375 \\ 0.25 & 0.375 & 0.375 \end{pmatrix}P(3)=P(2)⋅P= 0.3750.3750.250.3750.250.3750.250.3750.375

（各元素计算过程略，读者可自行验证。）

---

§3 遍历性

一、基本概念

定义7（首达概率）： 设 i,j∈Si, j \in Si,j∈S，称

fij(n)=P{Xn=j,Xk≠j,k=1,2,...,n−1∣X0=i}f_{ij}^{(n)} = P\{X_n = j, X_k \neq j, k = 1, 2, \ldots, n-1 \mid X_0 = i\}fij(n)=P{Xn=j,Xk=j,k=1,2,...,n−1∣X0=i}

为从状态 iii 出发，第 nnn 步首次到达 状态 jjj 的概率（首达概率）。

定义8（首达概率之和）：

fij=∑n=1∞fij(n)f_{ij} = \sum_{n=1}^{\infty} f_{ij}^{(n)}fij=n=1∑∞fij(n)

表示从状态 iii 出发，迟早到达 状态 jjj 的概率。

• 若 fii=1f_{ii} = 1fii=1，称状态 iii 为常返态（recurrent）；
• 若 fii<1f_{ii} < 1fii<1，称状态 iii 为非常返态/滑过态（transient）。

定义9（平均返回时间）： 对常返态 iii，定义

μi=∑n=1∞n⋅fii(n)\mu_i = \sum_{n=1}^{\infty} n \cdot f_{ii}^{(n)}μi=n=1∑∞n⋅fii(n)

为从 iii 出发首次返回 iii 的平均时间。

• 若 μi<∞\mu_i < \inftyμi<∞，称 iii 为正常返态（positive recurrent）；
• 若 μi=∞\mu_i = \inftyμi=∞，称 iii 为零常返态（null recurrent）。

定义10（周期性）： 设状态 iii 的周期为

di=gcd⁡{n≥1:pii(n)>0}d_i = \gcd\{n \geq 1 : p_{ii}^{(n)} > 0\}di=gcd{n≥1:pii(n)>0}

（其中 gcd⁡\gcdgcd 表示最大公约数）

• 若 di=1d_i = 1di=1，称 iii 为非周期态（aperiodic）；
• 若 di>1d_i > 1di>1，称 iii 为周期态。

定义11（遍历态/各态历经态）： 若状态 iii 既是正常返的又是非周期的，则称 iii 为遍历态（ergodic）。

---

二、状态分类的关键定理

定理： 设状态 iii 和 jjj 属于同一互通类 （即 i↔ji \leftrightarrow ji↔j，从 iii 可达 jjj 且从 jjj 可达 iii），则：

1. iii 和 jjj 同为常返态或同为非常返态；
2. 若为常返态，iii 和 jjj 同为正常返或同为零常返；
3. iii 和 jjj 有相同的周期。

因此，常返性、正常返/零常返、周期性都是类性质。

---

三、遍历性定理（马尔可夫链的基本极限定理）

定理（遍历性定理）： 设齐次马尔可夫链 {Xn}\{X_n\}{Xn} 的状态空间 SSS 有限（设 S={1,2,...,s}S = \{1, 2, \ldots, s\}S={1,2,...,s}），且其转移概率矩阵 P\boldsymbol{P}P 不可约 （所有状态互通）且非周期（各状态的周期均为1），则：

lim⁡n→∞pij(n)=πj,∀ i,j∈S\lim_{n \to \infty} p_{ij}^{(n)} = \pi_j, \quad \forall\, i, j \in Sn→∞limpij(n)=πj,∀i,j∈S

其中极限 πj\pi_jπj 与初始状态 iii 无关，且 (π1,π2,...,πs)(\pi_1, \pi_2, \ldots, \pi_s)(π1,π2,...,πs) 是方程组

πj=∑i=1sπi pij,j=1,2,...,s\boxed{\pi_j = \sum_{i=1}^{s} \pi_i \, p_{ij}, \quad j = 1, 2, \ldots, s}πj=i=1∑sπipij,j=1,2,...,s

即 π=πP\boldsymbol{\pi} = \boldsymbol{\pi} \boldsymbol{P}π=πP

满足条件

πj>0,∑j=1sπj=1\pi_j > 0, \quad \sum_{j=1}^{s} \pi_j = 1πj>0,j=1∑sπj=1

的唯一解。

此解 π=(π1,π2,...,πs)\boldsymbol{\pi} = (\pi_1, \pi_2, \ldots, \pi_s)π=(π1,π2,...,πs) 称为马尔可夫链的平稳分布（或极限分布）。

---

四、遍历性定理的详细证明

证明分三步：

第一步：平稳分布的存在与唯一性

π=πP\boldsymbol{\pi} = \boldsymbol{\pi}\boldsymbol{P}π=πP 等价于 π(P−I)=0\boldsymbol{\pi}(\boldsymbol{P} - \boldsymbol{I}) = \boldsymbol{0}π(P−I)=0，即求 PT\boldsymbol{P}^TPT 的特征值为1对应的左特征向量。

由于 P\boldsymbol{P}P 是随机矩阵，P\boldsymbol{P}P 的每行和为1，所以 P1=1\boldsymbol{P}\boldsymbol{1} = \boldsymbol{1}P1=1（其中 1=(1,1,...,1)T\boldsymbol{1} = (1,1,\ldots,1)^T1=(1,1,...,1)T），即 λ=1\lambda = 1λ=1 是 P\boldsymbol{P}P 的一个特征值。

对有限状态不可约链，由 Perron-Frobenius 定理：

• λ=1\lambda = 1λ=1 是 P\boldsymbol{P}P 的单重特征值；
• 存在唯一的正左特征向量 π\boldsymbol{\pi}π（归一化后 ∑πj=1\sum \pi_j = 1∑πj=1）。

第二步：极限的存在性

将 P\boldsymbol{P}P 分解。设 P\boldsymbol{P}P 的特征值为 λ1=1,λ2,...,λs\lambda_1 = 1, \lambda_2, \ldots, \lambda_sλ1=1,λ2,...,λs。

由非周期性：∣λk∣<1|\lambda_k| < 1∣λk∣<1（对 k=2,...,sk = 2, \ldots, sk=2,...,s）。

这是因为 λ1=1\lambda_1 = 1λ1=1 对应平稳分布，而不可约非周期链的其他特征值的模严格小于1（可由 Perron-Frobenius 定理保证）。

若 P\boldsymbol{P}P 可对角化：

P=Q(1λ2⋱λs)Q−1\boldsymbol{P} = \boldsymbol{Q} \begin{pmatrix} 1 & & & \\ & \lambda_2 & & \\ & & \ddots & \\ & & & \lambda_s \end{pmatrix} \boldsymbol{Q}^{-1}P=Q 1λ2⋱λs Q−1

则

Pn=Q(1λ2n⋱λsn)Q−1\boldsymbol{P}^n = \boldsymbol{Q} \begin{pmatrix} 1 & & & \\ & \lambda_2^n & & \\ & & \ddots & \\ & & & \lambda_s^n \end{pmatrix} \boldsymbol{Q}^{-1}Pn=Q 1λ2n⋱λsn Q−1

当 n→∞n \to \inftyn→∞ 时，λkn→0\lambda_k^n \to 0λkn→0（k≥2k \geq 2k≥2），因此 Pn\boldsymbol{P}^nPn 收敛到一个秩为1的矩阵，每一行都等于 π\boldsymbol{\pi}π。

第三步：极限满足方程

设 lim⁡n→∞pij(n)=πj\lim_{n \to \infty} p_{ij}^{(n)} = \pi_jlimn→∞pij(n)=πj（与 iii 无关），则在 C-K 方程

pij(n+1)=∑kpik(n)pkjp_{ij}^{(n+1)} = \sum_{k} p_{ik}^{(n)} p_{kj}pij(n+1)=k∑pik(n)pkj

两边取 n→∞n \to \inftyn→∞：

πj=∑kπkpkj\pi_j = \sum_{k} \pi_k p_{kj}πj=k∑πkpkj

即 π=πP\boldsymbol{\pi} = \boldsymbol{\pi}\boldsymbol{P}π=πP，且 ∑jπj=1\sum_j \pi_j = 1∑jπj=1。■\blacksquare■

---

五、平稳分布的求解方法

步骤：

1. 建立方程 π=πP\boldsymbol{\pi} = \boldsymbol{\pi}\boldsymbol{P}π=πP，即：

   πj=∑iπipij,j=1,2,...,s\pi_j = \sum_{i} \pi_i p_{ij}, \quad j = 1, 2, \ldots, sπj=i∑πipij,j=1,2,...,s

2. 加上归一化条件 ∑j=1sπj=1\sum_{j=1}^{s} \pi_j = 1∑j=1sπj=1；

3. 解方程组（共 s+1s+1s+1 个方程，sss 个未知数，其中一个方程是多余的）。

---

六、计算实例

例6： 求例5中马尔可夫链的平稳分布。

P=(0.50.500.500.500.50.5)\boldsymbol{P} = \begin{pmatrix} 0.5 & 0.5 & 0 \\ 0.5 & 0 & 0.5 \\ 0 & 0.5 & 0.5 \end{pmatrix}P= 0.50.500.500.500.50.5

解： 验证不可约性：所有状态两两互通（容易验证），故不可约。所有状态非周期（pii>0p_{ii} > 0pii>0 对 i=1,3i=1,3i=1,3，以及 p22(2)=0.5>0p_{22}^{(2)} = 0.5 > 0p22(2)=0.5>0 等），故非周期。

设平稳分布为 π=(π1,π2,π3)\boldsymbol{\pi} = (\pi_1, \pi_2, \pi_3)π=(π1,π2,π3)，由 π=πP\boldsymbol{\pi} = \boldsymbol{\pi}\boldsymbol{P}π=πP：

{π1=0.5π1+0.5π2+0⋅π3π2=0.5π1+0⋅π2+0.5π3π3=0⋅π1+0.5π2+0.5π3\begin{cases} \pi_1 = 0.5\pi_1 + 0.5\pi_2 + 0 \cdot \pi_3 \\ \pi_2 = 0.5\pi_1 + 0 \cdot \pi_2 + 0.5\pi_3 \\ \pi_3 = 0 \cdot \pi_1 + 0.5\pi_2 + 0.5\pi_3 \end{cases}⎩ ⎨ ⎧π1=0.5π1+0.5π2+0⋅π3π2=0.5π1+0⋅π2+0.5π3π3=0⋅π1+0.5π2+0.5π3

化简：

{π1=0.5π1+0.5π2(1)π2=0.5π1+0.5π3(2)π3=0.5π2+0.5π3(3)\begin{cases} \pi_1 = 0.5\pi_1 + 0.5\pi_2 & \quad (1) \\ \pi_2 = 0.5\pi_1 + 0.5\pi_3 & \quad (2) \\ \pi_3 = 0.5\pi_2 + 0.5\pi_3 & \quad (3) \end{cases}⎩ ⎨ ⎧π1=0.5π1+0.5π2π2=0.5π1+0.5π3π3=0.5π2+0.5π3(1)(2)(3)

由(1)：0.5π1=0.5π20.5\pi_1 = 0.5\pi_20.5π1=0.5π2，即 π1=π2\pi_1 = \pi_2π1=π2。

由(3)：0.5π3=0.5π20.5\pi_3 = 0.5\pi_20.5π3=0.5π2，即 π3=π2\pi_3 = \pi_2π3=π2。

因此 π1=π2=π3\pi_1 = \pi_2 = \pi_3π1=π2=π3。

由归一化条件 π1+π2+π3=1\pi_1 + \pi_2 + \pi_3 = 1π1+π2+π3=1，得

π1=π2=π3=13\pi_1 = \pi_2 = \pi_3 = \frac{1}{3}π1=π2=π3=31

π=(13,13,13)\boxed{\boldsymbol{\pi} = \left(\frac{1}{3}, \frac{1}{3}, \frac{1}{3}\right)}π=(31,31,31)

验证极限： 从例5的 P(3)\boldsymbol{P}^{(3)}P(3) 中已经可以观察到，各元素正在趋近于 1/31/31/3。

---

例7（两状态马尔可夫链）： 设 S={0,1}S = \{0, 1\}S={0,1}，转移概率矩阵为

P=(1−aab1−b),0<a<1,  0<b<1\boldsymbol{P} = \begin{pmatrix} 1-a & a \\ b & 1-b \end{pmatrix}, \quad 0 < a < 1,\; 0 < b < 1P=(1−aba1−b),0<a<1,0<b<1

求平稳分布及 lim⁡n→∞pij(n)\lim_{n \to \infty} p_{ij}^{(n)}limn→∞pij(n)。

解：

由 π=πP\boldsymbol{\pi} = \boldsymbol{\pi}\boldsymbol{P}π=πP：

{π0=(1−a)π0+bπ1π1=aπ0+(1−b)π1\begin{cases} \pi_0 = (1-a)\pi_0 + b\pi_1 \\ \pi_1 = a\pi_0 + (1-b)\pi_1 \end{cases}{π0=(1−a)π0+bπ1π1=aπ0+(1−b)π1

由第一个方程：π0−(1−a)π0=bπ1\pi_0 - (1-a)\pi_0 = b\pi_1π0−(1−a)π0=bπ1，即 aπ0=bπ1a\pi_0 = b\pi_1aπ0=bπ1，故 π0=baπ1\pi_0 = \dfrac{b}{a}\pi_1π0=abπ1。

归一化：π0+π1=1\pi_0 + \pi_1 = 1π0+π1=1：

baπ1+π1=1  ⟹  π1=aa+b,π0=ba+b\frac{b}{a}\pi_1 + \pi_1 = 1 \implies \pi_1 = \frac{a}{a+b}, \quad \pi_0 = \frac{b}{a+b}abπ1+π1=1⟹π1=a+ba,π0=a+bb

π=(ba+b,aa+b)\boxed{\boldsymbol{\pi} = \left(\frac{b}{a+b}, \frac{a}{a+b}\right)}π=(a+bb,a+ba)

利用对角化求 Pn\boldsymbol{P}^nPn 的精确表达式：

P\boldsymbol{P}P 的特征值满足：

det⁡(P−λI)=(1−a−λ)(1−b−λ)−ab=0\det(\boldsymbol{P} - \lambda\boldsymbol{I}) = (1-a-\lambda)(1-b-\lambda) - ab = 0det(P−λI)=(1−a−λ)(1−b−λ)−ab=0

λ2−(2−a−b)λ+(1−a−b)=0\lambda^2 - (2-a-b)\lambda + (1-a-b) = 0λ2−(2−a−b)λ+(1−a−b)=0

解之：

λ=(2−a−b)±(2−a−b)2−4(1−a−b)2\lambda = \frac{(2-a-b) \pm \sqrt{(2-a-b)^2 - 4(1-a-b)}}{2}λ=2(2−a−b)±(2−a−b)2−4(1−a−b)

注意到 (2−a−b)2−4(1−a−b)=4−4(a+b)+(a+b)2−4+4(a+b)=(a+b)2(2-a-b)^2 - 4(1-a-b) = 4 - 4(a+b) + (a+b)^2 - 4 + 4(a+b) = (a+b)^2(2−a−b)2−4(1−a−b)=4−4(a+b)+(a+b)2−4+4(a+b)=(a+b)2，因此：

λ1=(2−a−b)+(a+b)2=1,λ2=(2−a−b)−(a+b)2=1−a−b\lambda_1 = \frac{(2-a-b) + (a+b)}{2} = 1, \quad \lambda_2 = \frac{(2-a-b) - (a+b)}{2} = 1-a-bλ1=2(2−a−b)+(a+b)=1,λ2=2(2−a−b)−(a+b)=1−a−b

设 ρ=1−a−b\rho = 1 - a - bρ=1−a−b，则 ∣ρ∣<1|\rho| < 1∣ρ∣<1（因为 0<a<1,0<b<10 < a < 1, 0 < b < 10<a<1,0<b<1）。

由矩阵对角化的标准结果：

Pn=1a+b(baba)+ρna+b(a−a−bb)\boldsymbol{P}^n = \frac{1}{a+b}\begin{pmatrix} b & a \\ b & a \end{pmatrix} + \frac{\rho^n}{a+b}\begin{pmatrix} a & -a \\ -b & b \end{pmatrix}Pn=a+b1(bbaa)+a+bρn(a−b−ab)

因此：

p00(n)=ba+b+aa+b(1−a−b)n\boxed{p_{00}^{(n)} = \frac{b}{a+b} + \frac{a}{a+b}(1-a-b)^n}p00(n)=a+bb+a+ba(1−a−b)n

p01(n)=aa+b−aa+b(1−a−b)n\boxed{p_{01}^{(n)} = \frac{a}{a+b} - \frac{a}{a+b}(1-a-b)^n}p01(n)=a+ba−a+ba(1−a−b)n

p10(n)=ba+b−ba+b(1−a−b)n\boxed{p_{10}^{(n)} = \frac{b}{a+b} - \frac{b}{a+b}(1-a-b)^n}p10(n)=a+bb−a+bb(1−a−b)n

p11(n)=aa+b+ba+b(1−a−b)n\boxed{p_{11}^{(n)} = \frac{a}{a+b} + \frac{b}{a+b}(1-a-b)^n}p11(n)=a+ba+a+bb(1−a−b)n

当 n→∞n \to \inftyn→∞ 时，(1−a−b)n→0(1-a-b)^n \to 0(1−a−b)n→0，故：

lim⁡n→∞pij(n)=πj,与 i 无关\lim_{n \to \infty} p_{ij}^{(n)} = \pi_j, \quad \text{与 } i \text{ 无关}n→∞limpij(n)=πj,与 i 无关