【应用随机过程】：更新过程与马尔可夫链入门

早上第一节课，樊教授的没听明白，第二节大课去宋教授那边蹭课，在二教和本科生一起上的。

一、N(t)=n 时，到达时刻是一组均匀顺序统计量

nnn 个独立同分布的随机变量按大小重排，得到 Y(1)≤Y(2)≤⋯≤Y(n)Y_{(1)} \le Y_{(2)} \le \cdots \le Y_{(n)}Y(1)≤Y(2)≤⋯≤Y(n)，叫顺序统计量。定义要求两条同时成立：同分布，独立。少了同分布，各个变量的形态不一致；少了独立，联合密度写不成乘积。

若 YiY_iYi 的密度为 f(y)f(y)f(y)，顺序统计量的联合密度是

f(y1,y2,...,yn)=n!∏i=1nf(yi),0<y1<y2<⋯<yn\displaystyle f(y_1, y_2, \ldots, y_n) = n! \prod_{i=1}^{n} f(y_i), \qquad 0 < y_1 < y_2 < \cdots < y_nf(y1,y2,...,yn)=n!i=1∏nf(yi),0<y1<y2<⋯<yn

前面的 n!n!n! 来自排序方式。nnn 个变量有 n!n!n! 种大小次序，每一种落在同一片有序区域上，密度按对称性摊到每一种，每一种拿到原来的 1/n!1/n!1/n!；反过来看，有序区域上的密度就是原来的 n!n!n! 倍。

取 fff 为 (0,t)(0,t)(0,t) 上的均匀密度 1/t1/t1/t，上式变成 n!/tnn!/t^nn!/tn，落在 0<y1<⋯<yn≤t0 < y_1 < \cdots < y_n \le t0<y1<⋯<yn≤t 上。

泊松过程给的是同一个东西。在 N(t)=nN(t)=nN(t)=n 的条件下，S1,S2,...,SnS_1, S_2, \ldots, S_nS1,S2,...,Sn 的联合条件密度是

f(t1,t2,...,tn)=n!tn,0<t1<t2<⋯<tn≤t\displaystyle f(t_1, t_2, \ldots, t_n) = \frac{n!}{t^n}, \qquad 0 < t_1 < t_2 < \cdots < t_n \le tf(t1,t2,...,tn)=tnn!,0<t1<t2<⋯<tn≤t

两个式子逐点相同。推法是把 0,t0,t0,t 切成 nnn 个长为 hih_ihi 的小区间，要求每段恰好落一个事件、其余位置一个也不落，用独立增量把概率写成乘积，每个小区间贡献一个 λhi\lambda h_iλhi，外面补 e−λ(t−∑hi)e^{-\lambda(t - \sum h_i)}e−λ(t−∑hi)，再除以 P(N(t)=n)P(N(t)=n)P(N(t)=n)。λ\lambdaλ 与 eee 的幂次全部约掉，只剩 n!h1⋯hn/tnn! h_1 \cdots h_n / t^nn!h1⋯hn/tn。参数消失这件事本身说明：条件分布只跟区间长度有关。

密度逐点相同，这两个向量在概率计算里就能互换。凡是在 N(t)=nN(t)=nN(t)=n 的条件下求条件概率、条件期望、某个时刻的分布，都可以换成对 nnn 个均匀随机变量取顺序统计量。条件一旦给成 N(t)=nN(t)=nN(t)=n，泊松过程那层随机性就被剥掉，剩下的只是把 nnn 个点均匀撒在 0,t0,t0,t 上再排序。

二、非齐次泊松过程：平稳性换成强度函数

泊松过程有增量平稳性，它的后果是强度 λ\lambdaλ 为常数。把这一条放宽，强度就变成随时间变的 λ(t)\lambda(t)λ(t)。

称计数过程 {N(t),t≥0}\lbrace N(t), t \ge 0 \rbrace{N(t),t≥0} 为具有强度函数 {λ(t),t≥0}\lbrace \lambda(t), t \ge 0 \rbrace{λ(t),t≥0} 的非齐次泊松过程，若 N(0)=0N(0)=0N(0)=0，有独立增量，且对充分小的 h>0h>0h>0

P(N(t+h)−N(t)=1)=λ(t)h+o(h)\displaystyle P(N(t+h) - N(t) = 1) = \lambda(t) h + o(h)P(N(t+h)−N(t)=1)=λ(t)h+o(h)

P(N(t+h)−N(t)≥2)=o(h)\displaystyle P(N(t+h) - N(t) \ge 2) = o(h)P(N(t+h)−N(t)≥2)=o(h)

第一条挂在 ttt 上，h→0h \to 0h→0 时的斜率随时间变。第二条没变，每一刻最多来一个。

记

m(t)=∫0tλ(s)ds\displaystyle m(t) = \int_0^t \lambda(s) \mathrm{d}sm(t)=∫0tλ(s)ds

则对任意 s,t≥0s, t \ge 0s,t≥0

P(N(s+t)−N(s)=n)=m(s+t)−m(s)nn!exp⁡{−m(s+t)−m(s)}\displaystyle P(N(s+t) - N(s) = n) = \frac{m(s+t) - m(s)^n}{n!} \exp \lbrace -m(s+t) - m(s) \rbraceP(N(s+t)−N(s)=n)=n!m(s+t)−m(s)nexp{−m(s+t)−m(s)}

区间上的计数仍是泊松分布，参数从 λt\lambda tλt 换成区间上的强度积分。m(t)m(t)m(t) 是累计强度，把"强度怎么随时间变"积成一根单调上升的曲线，计数只看这根曲线涨了多少，不看它是怎么涨的。

两条命题把非齐次与齐次接起来。令 m−1(u)=inf⁡{t:t>0,m(t)≥u}m^{-1}(u) = \inf \lbrace t : t>0, m(t) \ge u \rbracem−1(u)=inf{t:t>0,m(t)≥u}，取

M(u)=N(m−1(u)),u≥0\displaystyle M(u) = N(m^{-1}(u)), \qquad u \ge 0M(u)=N(m−1(u)),u≥0

则 {M(u),u≥0}\lbrace M(u), u \ge 0 \rbrace{M(u),u≥0} 是参数为 1 的齐次泊松过程；反过来，给定参数为 1 的齐次过程 {M(u)}\lbrace M(u) \rbrace{M(u)}，令 N(t)=M(m(t))N(t) = M(m(t))N(t)=M(m(t))，得到的就是强度为 λ(t)\lambda(t)λ(t) 的非齐次泊松过程。

两条合起来说的事很清楚：非齐次泊松过程就是齐次泊松过程被拉了一下时间轴。mmm 把时间换成累计强度，m−1m^{-1}m−1 换回来。反函数这一环不能跳，两个方向的证明都靠 mmm 与 m−1m^{-1}m−1 互相对送。mmm 单调增且连续，反函数才存在。

这两条命题的证法与齐次情形那条定理同路，区别只有一条：齐次情形有增量平稳性，P(N(t+h)−N(t)=1)P(N(t+h)-N(t)=1)P(N(t+h)−N(t)=1) 是 λh\lambda hλh，与 ttt 无关；这里少了平稳性，斜率换成 λ(t)\lambda(t)λ(t)，整个式子跟着时间走。

再往外一步是复合泊松过程。{Yi,i≥1}\lbrace Y_i, i \ge 1 \rbrace{Yi,i≥1} 独立同分布，与 {N(t)}\lbrace N(t) \rbrace{N(t)} 独立，令

X(t)=∑i=1N(t)Yi\displaystyle X(t) = \sum_{i=1}^{N(t)} Y_iX(t)=i=1∑N(t)Yi

YiY_iYi 记第 iii 个粒子带的量，X(t)X(t)X(t) 是到 ttt 时刻为止的累计量。计数管"来几个"，YYY 管"每个多大"，两条随机性分开装起来。

三、更新过程：把指数分布换掉

泊松过程要紧的是一条无记忆性：已经等了 sss 分钟没等到，再等下去的条件分布与从头等一样。正因为这一条，N(t)N(t)N(t) 在任何时刻都能重新起算，泊松分布才写得出来。事件间隔一旦离开指数分布，这个结构就散了。

更新过程保留独立、保留同分布，把指数这一条拿掉。设 {Xk,k≥1}\lbrace X_k, k \ge 1 \rbrace{Xk,k≥1} 独立同分布，取非负值，分布函数为 F(x)F(x)F(x)，F(0)<1F(0) < 1F(0)<1，令

S0=0,Sn=∑k=1nXk\displaystyle S_0 = 0, \qquad S_n = \sum_{k=1}^{n} X_kS0=0,Sn=k=1∑nXk

N(t)=sup⁡{n:Sn≤t}\displaystyle N(t) = \sup \lbrace n : S_n \le t \rbraceN(t)=sup{n:Sn≤t}

称 {N(t),t≥0}\lbrace N(t), t \ge 0 \rbrace{N(t),t≥0} 为更新过程。SnS_nSn 是第 nnn 次更新的时刻，N(t)N(t)N(t) 是 0,t0,t0,t 内发生的更新次数，它是个计数过程。

泊松过程是 FFF 取指数分布的特例，更新过程把分布从一族放大到全体。名字来自零件的接连更换：一个零件在零时刻开始工作，X1X_1X1 时刻失效，立刻换新件，新件在 X1+X2X_1 + X_2X1+X2 时刻失效，再换。这一串更换时刻就是一次更新过程，N(t)N(t)N(t) 是到 ttt 时刻为止换掉的件数。

难处落在分布上。间隔不是指数，N(t)N(t)N(t) 的分布就没有闭式，只能靠卷积一层一层往上叠。所以这一节只有两条路可走：先把 N(t)N(t)N(t) 与 SnS_nSn 互换，再盯住期望。

四、两条把计数换成时刻的关系

{N(t)≥n}={Sn≤t}\displaystyle \lbrace N(t) \ge n \rbrace = \lbrace S_n \le t \rbrace{N(t)≥n}={Sn≤t}

{N(t)=n}={Sn≤t<Sn+1}={Sn≤t}−{Sn+1≤t}\displaystyle \lbrace N(t) = n \rbrace = \lbrace S_n \le t < S_{n+1} \rbrace = \lbrace S_n \le t \rbrace - \lbrace S_{n+1} \le t \rbrace{N(t)=n}={Sn≤t<Sn+1}={Sn≤t}−{Sn+1≤t}

第一条：到 ttt 为止至少更新 nnn 次，等价于第 nnn 次不晚于 ttt。第二条：恰好更新 nnn 次，等价于第 nnn 次在 ttt 之前、第 n+1n+1n+1 次在 ttt 之后，两个条件一前一后把 ttt 夹住。

拿数对一遍也对：0,t0,t0,t 里发生了 5 次，S1S_1S1 到 S5S_5S5 都不超过 ttt，S6S_6S6 超过 ttt。

这两条的价值在于把一侧的困难换成另一侧的容易。左边是计数过程的概率，右边是 SnS_nSn 的分布函数。SnS_nSn 是 nnn 个独立变量之和，分布由 FFF 的 nnn 重卷积给出；N(t)N(t)N(t) 的分布没有这种结构。所以算 N(t)N(t)N(t) 的概率，先把这两条换过去。

换成示性函数更好用

N(t)=∑n=1∞1{Sn≤t}\displaystyle N(t) = \sum_{n=1}^{\infty} 1 \lbrace S_n \le t \rbraceN(t)=n=1∑∞1{Sn≤t}

0,t0,t0,t 里发生几个事件，就是这串示性函数里有几个取 1。计数变成求和，求期望、求极限都能直接作用在每一项上。

五、n 重卷积与更新函数

SnS_nSn 的分布函数记作 FnF_nFn。由 Sn=Sn−1+XnS_n = S_{n-1} + X_nSn=Sn−1+Xn 与独立性，按全概率公式把"前 n−1n-1n−1 次的和落在 x−ux-ux−u、第 nnn 个间隔落在 uuu"这两种情况叠起来

F1(x)=F(x),Fn(x)=∫0xFn−1(x−u)dF(u),n≥2\displaystyle F_1(x) = F(x), \qquad F_n(x) = \int_0^x F_{n-1}(x-u) \mathrm{d}F(u), \qquad n \ge 2F1(x)=F(x),Fn(x)=∫0xFn−1(x−u)dF(u),n≥2

FnF_nFn 是 FFF 的 nnn 重卷积，记作 Fn=Fn−1∗FF_n = F_{n-1} \ast FFn=Fn−1∗F。要问 nnn 次之和落在 xxx 左边的概率，得把前 n−1n-1n−1 次落在哪个位置、第 nnn 次补多少的所有分法遍历一遍，每一种分法对应一次乘积，最后积分求和。

N(t)N(t)N(t) 的期望称为更新函数，记

m(t)=EN(t)\displaystyle m(t) = EN(t)m(t)=EN(t)

它回答的是：到 ttt 时刻为止，平均更新了几次。

定理：对任意 t≥0t \ge 0t≥0

m(t)=∑n=1∞Fn(t)\displaystyle m(t) = \sum_{n=1}^{\infty} F_n(t)m(t)=n=1∑∞Fn(t)

证明只用期望的两种算法和第四节那两条关系

m(t)=∑n=0∞nP(N(t)=n)=∑n=1∞P(N(t)≥n)=∑n=1∞P(Sn≤t)\displaystyle m(t) = \sum_{n=0}^{\infty} n P(N(t)=n) = \sum_{n=1}^{\infty} P(N(t) \ge n) = \sum_{n=1}^{\infty} P(S_n \le t)m(t)=n=0∑∞nP(N(t)=n)=n=1∑∞P(N(t)≥n)=n=1∑∞P(Sn≤t)

中间那一步要展开看一眼。把 nP(N(t)=n)n P(N(t)=n)nP(N(t)=n) 排成一个三角形，第 nnn 行放 nnn 个 P(N(t)=n)P(N(t)=n)P(N(t)=n)；按行加起来是原来的和，按列加起来，第 kkk 列是 P(N(t)=k)+P(N(t)=k+1)+⋯P(N(t)=k) + P(N(t)=k+1) + \cdotsP(N(t)=k)+P(N(t)=k+1)+⋯，正好是 P(N(t)≥k)P(N(t) \ge k)P(N(t)≥k)。各项非负，正项级数允许重新排序。

收敛性得交代。若 F(t)<1F(t) < 1F(t)<1，则

m(t)≤F(t)1−F(t)\displaystyle m(t) \le \frac{F(t)}{1 - F(t)}m(t)≤1−F(t)F(t)

先看 n=2n=2n=2：

F2(t)=∫0tF(t−u)dF(u)=F(t−ξ)F(t)≤F(t)2\displaystyle F_2(t) = \int_0^t F(t-u) \mathrm{d}F(u) = F(t-\xi) F(t) \le F(t)^2F2(t)=∫0tF(t−u)dF(u)=F(t−ξ)F(t)≤F(t)2

中间那一步用积分中值定理把 F(t−u)F(t-u)F(t−u) 提出来，ξ\xiξ 落在 (0,t)(0,t)(0,t) 内；后面那一步用 FFF 的单调性。设 Fn−1(t)≤F(t)n−1F_{n-1}(t) \le F(t)^{n-1}Fn−1(t)≤F(t)n−1，同样的两步给出 Fn(t)≤F(t)nF_n(t) \le F(t)^nFn(t)≤F(t)n，于是

m(t)≤∑n=1∞F(t)n=F(t)1−F(t)\displaystyle m(t) \le \sum_{n=1}^{\infty} F(t)^n = \frac{F(t)}{1 - F(t)}m(t)≤n=1∑∞F(t)n=1−F(t)F(t)

条件 F(t)<1F(t) < 1F(t)<1 的作用就在这里：公比小于 1，级数才收敛。ttt 大了以后 F(t)F(t)F(t) 趋近 1，这个界跟着分母一起爆掉，所以它只管小 ttt。

六、更新方程与拉普拉斯变换

把级数里的第一项单独拎出来，其余按卷积式代进去

m(t)=F(t)+∑n=2∞∫0tFn−1(t−u)dF(u)\displaystyle m(t) = F(t) + \sum_{n=2}^{\infty} \int_0^t F_{n-1}(t-u) \mathrm{d}F(u)m(t)=F(t)+n=2∑∞∫0tFn−1(t−u)dF(u)

各项非负，求和与积分交换次序，里面那一串正好是 m(t−u)m(t-u)m(t−u)，于是

m(t)=F(t)+∫0tm(t−u)dF(u)\displaystyle m(t) = F(t) + \int_0^t m(t-u) \mathrm{d}F(u)m(t)=F(t)+∫0tm(t−u)dF(u)

这叫作更新方程。

方程的读法：ttt 时刻的平均次数，等于第一次更新落在 ttt 之前的概率，加上"第一次更新发生在 t−ut-ut−u、此后还剩 uuu 这么长"的平均次数，再对第一次更新的时刻积分。

第一次更新把整条轨道切成两段。前一段的内容只是 X1X_1X1 落在哪里，用 FFF 描述；后一段从 S1S_1S1 重新起算，间隔仍然独立同分布，所以又是一个同样的过程。卷积项就是这个"重新起算"。

更新方程是卷积型积分方程，卷积在拉普拉斯变换下变成乘法。记

m~(s)=∫0∞e−stdm(t)\displaystyle \tilde{m}(s) = \int_0^{\infty} e^{-st} \mathrm{d}m(t)m~(s)=∫0∞e−stdm(t)

F~(s)=∫0∞e−stdF(t)\displaystyle \tilde{F}(s) = \int_0^{\infty} e^{-st} \mathrm{d}F(t)F~(s)=∫0∞e−stdF(t)

对更新方程两边取变换

m~(s)=F~(s)+m~(s)F~(s)\displaystyle \tilde{m}(s) = \tilde{F}(s) + \tilde{m}(s) \tilde{F}(s)m~(s)=F~(s)+m~(s)F~(s)

这是一个一次代数方程，解出来

m~(s)=F~(s)1−F~(s)\displaystyle \tilde{m}(s) = \frac{\tilde{F}(s)}{1 - \tilde{F}(s)}m~(s)=1−F~(s)F~(s)

反过来解出 FFF 的变换

F~(s)=m~(s)1+m~(s)\displaystyle \tilde{F}(s) = \frac{\tilde{m}(s)}{1 + \tilde{m}(s)}F~(s)=1+m~(s)m~(s)

拉氏变换与逆变换一一对应，所以 F(t)F(t)F(t) 与 m(t)m(t)m(t) 也一一对应：知道间隔的分布就能算出更新函数，知道更新函数也能反推分布。

七、轨道上的极限

前面算的都是期望，这一段看不带期望的极限。

记 μ=EXn\mu = E X_nμ=EXn，F(0)<1F(0) < 1F(0)<1 蕴含 μ>0\mu > 0μ>0。由强大数定律

P(lim⁡n→∞Snn=μ)=1\displaystyle P\big( \lim_{n \to \infty} \frac{S_n}{n} = \mu \big) = 1P(n→∞limnSn=μ)=1

推论是 P(lim⁡n→∞Sn=∞)=1P(\lim_{n \to \infty} S_n = \infty) = 1P(limn→∞Sn=∞)=1。反证：若存在 MMM 使 lim⁡Sn≤M\lim S_n \le MlimSn≤M 的概率为正，则在这条轨道上 Sn/n→0S_n/n \to 0Sn/n→0，与上式里 Sn/n→μ>0S_n/n \to \mu > 0Sn/n→μ>0 冲突。

ttt 从 0 走到无穷，期间发生的更新次数也是无穷

P(N(∞)=∞)=1\displaystyle P(N(\infty) = \infty) = 1P(N(∞)=∞)=1

证明用集合等式：{N(∞)<∞}=⋃n{Sn=∞}=⋃n{Xn=∞}\lbrace N(\infty) < \infty \rbrace = \bigcup_n \lbrace S_n = \infty \rbrace = \bigcup_n \lbrace X_n = \infty \rbrace{N(∞)<∞}=⋃n{Sn=∞}=⋃n{Xn=∞}，右边是可数个零概率事件之并。

单位时间的平均更新次数

P(lim⁡t→∞N(t)t=1μ)=1\displaystyle P\big( \lim_{t \to \infty} \frac{N(t)}{t} = \frac{1}{\mu} \big) = 1P(t→∞limtN(t)=μ1)=1

由 SN(t)≤t<SN(t)+1S_{N(t)} \le t < S_{N(t)+1}SN(t)≤t<SN(t)+1 得

SN(t)N(t)≤tN(t)≤SN(t)+1N(t)+1⋅N(t)+1N(t)\displaystyle \frac{S_{N(t)}}{N(t)} \le \frac{t}{N(t)} \le \frac{S_{N(t)+1}}{N(t)+1} \cdot \frac{N(t)+1}{N(t)}N(t)SN(t)≤N(t)t≤N(t)+1SN(t)+1⋅N(t)N(t)+1

左边是第 N(t)N(t)N(t) 次更新的时刻除以次数，趋近 μ\muμ；右边第一个因子同理趋近 μ\muμ，第二个因子趋近 1。t/N(t)t/N(t)t/N(t) 被两侧夹住，两侧极限相同，中间的极限只能是 μ\muμ，取倒数就是上式。

直观上这是一句话：长期的平均更新率等于平均间隔的倒数。μ\muμ 是平均多少时间更新一次，1/μ1/\mu1/μ 是单位时间平均更新几次。物理上看是一回事，数学上得把上面那个夹逼写出来才算证完。

八、停时与 Wald 等式

要算 ESN(t)+1E S_{N(t)+1}ESN(t)+1 这类量，麻烦在于求和的上限是随机数，不能按固定项数逐项取期望。

设 {Xn,n≥1}\lbrace X_n, n \ge 1 \rbrace{Xn,n≥1} 是随机变量序列，TTT 取非负整数值。若对任一 nnn，事件 {T=n}\lbrace T = n \rbrace{T=n} 仅依赖于 X1,...,XnX_1, \ldots, X_nX1,...,Xn，而与 Xn+1,Xn+2,...X_{n+1}, X_{n+2}, \ldotsXn+1,Xn+2,... 独立，称 TTT 关于 {Xn}\lbrace X_n \rbrace{Xn} 是停时。

按顺序观察 X1,X2,...X_1, X_2, \ldotsX1,X2,...，TTT 是停止观察的时刻。"看到第 nnn 个就停"，这个判断只用到已经看见的那 nnn 个，后面的还没发生，自然不参与。换个说法，TTT 是停止之前观察到的次数：看到第 nnn 个才停，前面正好看了 nnn 个。

定理（Wald 等式）：设 {Xn}\lbrace X_n \rbrace{Xn} 独立同分布，μ=EXn<∞\mu = E X_n < \inftyμ=EXn<∞，TTT 是停时且 ET<∞E T < \inftyET<∞，则

E(∑n=1TXn)=(EX)(ET)\displaystyle E\big( \sum_{n=1}^{T} X_n \big) = (EX)(ET)E(n=1∑TXn)=(EX)(ET)

证明的关键是把上限为随机数的求和写成无穷和

∑n=1TXn=∑n=1∞XnIn,In=1{T≥n}\displaystyle \sum_{n=1}^{T} X_n = \sum_{n=1}^{\infty} X_n I_n, \qquad I_n = 1 \lbrace T \ge n \rbracen=1∑TXn=n=1∑∞XnIn,In=1{T≥n}

再证 InI_nIn 与 XnX_nXn 独立。{In=0}={T<n}=⋃k=1n−1{T=k}\lbrace I_n = 0 \rbrace = \lbrace T < n \rbrace = \bigcup_{k=1}^{n-1} \lbrace T = k \rbrace{In=0}={T<n}=⋃k=1n−1{T=k}，右边每个事件只依赖 X1,...,XkX_1, \ldots, X_kX1,...,Xk，并起来只依赖 X1,...,Xn−1X_1, \ldots, X_{n-1}X1,...,Xn−1，由停时的定义与 XnX_nXn 独立。取余集，{In=1}\lbrace I_n = 1 \rbrace{In=1} 也与 XnX_nXn 独立。InI_nIn 只取 0 和 1，两个原像事件都与 XnX_nXn 独立，所以 InI_nIn 与 XnX_nXn 独立。

于是

E(∑n=1TXn)=∑n=1∞E(XnIn)=EX∑n=1∞P(T≥n)=(EX)(ET)\displaystyle E\big( \sum_{n=1}^{T} X_n \big) = \sum_{n=1}^{\infty} E(X_n I_n) = EX \sum_{n=1}^{\infty} P(T \ge n) = (EX)(ET)E(n=1∑TXn)=n=1∑∞E(XnIn)=EXn=1∑∞P(T≥n)=(EX)(ET)

最后一步用的还是"期望等于尾概率之和"，与更新函数那条证明里的第二、三步是同一件事。

两个例子。

例一：XnX_nXn 以 1/21/21/2 取 1，以 1/21/21/2 取 0，TTT 是使和首次等于 10 的 nnn。{T=n}\lbrace T=n \rbrace{T=n} 只看前 nnn 个的和，是停时。左边在 TTT 时刻等于 10，右边是 (1/2)ET(1/2) ET(1/2)ET，所以 ET=20ET = 20ET=20。读成赌局就是：每局赢一块或者不输不赢，赢到十块收手，平均二十局。

例二：XnX_nXn 以 ppp 的概率取 1，以 q=1−pq = 1-pq=1−p 的概率取 -1，TTT 是使和首次等于 1 的 nnn。p>qp > qp>q 时 ET<∞ET < \inftyET<∞，由 Wald 等式

(p−q)ET=E(X1+⋯+XT)=1\displaystyle (p-q) ET = E(X_1 + \cdots + X_T) = 1(p−q)ET=E(X1+⋯+XT)=1

ET=1p−q\displaystyle ET = \frac{1}{p-q}ET=p−q1

p=q=1/2p = q = 1/2p=q=1/2 时 EX=0EX = 0EX=0 而 X1+⋯+XT≡1X_1 + \cdots + X_T \equiv 1X1+⋯+XT≡1，代进去得 0=10 = 10=1。矛盾本身说明前提失效：此时 ET=∞ET = \inftyET=∞。输赢各半的赌局里，赢回一块钱的等待时间没有有限期望。

回到更新过程。N(t)+1N(t)+1N(t)+1 是停时，因为

{N(t)+1=n}={N(t)=n−1}={Sn−1≤t<Sn}\displaystyle \lbrace N(t)+1 = n \rbrace = \lbrace N(t) = n-1 \rbrace = \lbrace S_{n-1} \le t < S_n \rbrace{N(t)+1=n}={N(t)=n−1}={Sn−1≤t<Sn}

右端只涉及 X1,...,XnX_1, \ldots, X_nX1,...,Xn。N(t)N(t)N(t) 本身不是停时，{N(t)=n}\lbrace N(t)=n \rbrace{N(t)=n} 要看到 Xn+1X_{n+1}Xn+1 才知道成不成立。加 1 与不加 1 的差别就在这里。

于是

ESN(t)+1=μEN(t)+1=μm(t)+1\displaystyle ES_{N(t)+1} = \mu EN(t)+1 = \mu m(t)+1ESN(t)+1=μEN(t)+1=μm(t)+1

SN(t)+1S_{N(t)+1}SN(t)+1 是 ttt 之后第一次更新的时刻，SN(t)S_{N(t)}SN(t) 是 ttt 之前最后一次更新的时刻，一前一后把 ttt 夹在中间。

九、基本更新定理：先把上下极限夹住

求极限之前先看上下极限。上来就写 lim⁡\limlim，前提是极限已经存在；上下极限不管存在与否都有定义，先把它算出来，两边相等，极限就被构造出来。这一步省不掉，极限不存在的时候，前面那些直接求极限的推导全部作废。

定理

lim⁡t→∞m(t)t=1μ\displaystyle \lim_{t \to \infty} \frac{m(t)}{t} = \frac{1}{\mu}t→∞limtm(t)=μ1

μ=∞\mu = \inftyμ=∞ 时右端取 0。

第一步拿一侧。由 SN(t)+1>tS_{N(t)+1} > tSN(t)+1>t 与上面的 Wald 式子

μm(t)+1=ESN(t)+1>t\displaystyle \mu m(t)+1 = ES_{N(t)+1} > tμm(t)+1=ESN(t)+1>t

两边除以 μt\mu tμt

m(t)t>1μ−1t\displaystyle \frac{m(t)}{t} > \frac{1}{\mu} - \frac{1}{t}tm(t)>μ1−t1

令 t→∞t \to \inftyt→∞，右端趋近 1/μ1/\mu1/μ，所以

lim inf⁡t→∞m(t)t≥1μ\displaystyle \liminf_{t \to \infty} \frac{m(t)}{t} \ge \frac{1}{\mu}t→∞liminftm(t)≥μ1

上极限没有现成的等式可用，把间隔截断。任给 M>0M > 0M>0，令

Xˉn=min⁡(Xn,M),Sˉn=∑i=1nXˉi\displaystyle \bar{X}_n = \min(X_n, M), \qquad \bar{S}n = \sum{i=1}^{n} \bar{X}_iXˉn=min(Xn,M),Sˉn=i=1∑nXˉi

Nˉ(t)=sup⁡{n:Sˉn≤t},mˉ(t)=ENˉ(t)\displaystyle \bar{N}(t) = \sup \lbrace n : \bar{S}_n \le t \rbrace, \qquad \bar{m}(t) = E\\bar{N}(t)Nˉ(t)=sup{n:Sˉn≤t},mˉ(t)=ENˉ(t)

截断后每个间隔不超过 MMM，所以 Sˉn≤Sn\bar{S}n \le S_nSˉn≤Sn；同一时刻能塞下的次数只会更多，Nˉ(t)≥N(t)\bar{N}(t) \ge N(t)Nˉ(t)≥N(t)，取期望得 mˉ(t)≥m(t)\bar{m}(t) \ge m(t)mˉ(t)≥m(t)。同时 SˉNˉ(t)+1≤t+M\bar{S}{\bar{N}(t)+1} \le t + MSˉNˉ(t)+1≤t+M，因为 SˉNˉ(t)≤t\bar{S}_{\bar{N}(t)} \le tSˉNˉ(t)≤t，再加一个不超过 MMM 的间隔。

对截断过程用一次 Wald 等式，记 μM=EXˉn\mu_M = E \bar{X}_nμM=EXˉn

μM1+mˉ(t)=ESˉNˉ(t)+1≤t+M\displaystyle \mu_M 1 + \\bar{m}(t) = E\\bar{S}_{\\bar{N}(t)+1} \le t + MμM1+mˉ(t)=ESˉNˉ(t)+1≤t+M

把 m(t)≤mˉ(t)m(t) \le \bar{m}(t)m(t)≤mˉ(t) 代进去，把 μM\mu_MμM 挪到右边

μMm(t)≤t+M−μM\displaystyle \mu_M m(t) \le t + M - \mu_MμMm(t)≤t+M−μM

两边除以 μMt\mu_M tμMt

m(t)t≤1μM+1t(MμM−1)\displaystyle \frac{m(t)}{t} \le \frac{1}{\mu_M} + \frac{1}{t} \big( \frac{M}{\mu_M} - 1 \big)tm(t)≤μM1+t1(μMM−1)

取 t→∞t \to \inftyt→∞ 的上极限，第二项消失

lim sup⁡t→∞m(t)t≤1μM\displaystyle \limsup_{t \to \infty} \frac{m(t)}{t} \le \frac{1}{\mu_M}t→∞limsuptm(t)≤μM1

剩下把 μM\mu_MμM 换成 μ\muμ。Xˉn\bar{X}_nXˉn 的期望用尾概率写出来

μM=∫0M1−F(x)dx\displaystyle \mu_M = \int_0^M 1 - F(x) \mathrm{d}xμM=∫0M1−F(x)dx

这是分部积分的结果。先写成

EXˉn=∫0MxdF(x)+M(1−F(M))\displaystyle E \bar{X}_n = \int_0^M x \mathrm{d}F(x) + M(1 - F(M))EXˉn=∫0MxdF(x)+M(1−F(M))

把前一个积分分部一次，边界项与后一项正好抵消。M→∞M \to \inftyM→∞ 时右边单调上升，极限是

∫0∞1−F(x)dx=μ\displaystyle \int_0^{\infty} 1 - F(x) \mathrm{d}x = \mu∫0∞1−F(x)dx=μ

于是

lim sup⁡t→∞m(t)t≤1μ\displaystyle \limsup_{t \to \infty} \frac{m(t)}{t} \le \frac{1}{\mu}t→∞limsuptm(t)≤μ1

上下极限相等，极限存在且等于 1/μ1/\mu1/μ。μ=∞\mu = \inftyμ=∞ 时对每个有限的 MMM 都有上极限不超过 1/μM1/\mu_M1/μM，令 M→∞M \to \inftyM→∞ 得上极限为 0，而下极限非负，所以极限是 0。

这套做法的骨架是：先用一个显然的不等式拿一侧，再把变量截断，让"有界"这个性质生效，用 Wald 等式把期望变成可以估的量，最后令截断参数趋于无穷。

十、马尔可夫链：定义、转移矩阵与三个例子

时间取整数值，状态取可数值。XnX_nXn 是一个二元函数：第一个变量是时间，取 0,1,2,...0, 1, 2, \ldots0,1,2,...；第二个是样本点；取值落在状态空间里。时间离散、状态可数，这一章只讨论这一种。

设参数集 T={0,1,2,...}T = \lbrace 0, 1, 2, \ldots \rbraceT={0,1,2,...}，状态空间 S={1,2,...}S = \lbrace 1, 2, \ldots \rbraceS={1,2,...}。若对任意 i0,i1,...,in+1∈Si_0, i_1, \ldots, i_{n+1} \in Si0,i1,...,in+1∈S 及 n≥0n \ge 0n≥0，只要

P{X0=i0,X1=i1,...,Xn=in}>0\displaystyle P\lbrace X_0 = i_0, X_1 = i_1, \ldots, X_n = i_n \rbrace > 0P{X0=i0,X1=i1,...,Xn=in}>0

就有

P{Xn+1=in+1∣X0=i0,...,Xn=in}=P{Xn+1=in+1∣Xn=in}\displaystyle P\lbrace X_{n+1} = i_{n+1} \mid X_0 = i_0, \ldots, X_n = i_n \rbrace = P\lbrace X_{n+1} = i_{n+1} \mid X_n = i_n \rbraceP{Xn+1=in+1∣X0=i0,...,Xn=in}=P{Xn+1=in+1∣Xn=in}

则称 {Xn}\lbrace X_n \rbrace{Xn} 为马尔可夫链。分母要为正，这是"条件"二字本身的要求。

左边挂着 i0i_0i0 到 in−1i_{n-1}in−1 这一长串，右边只剩 ini_nin，两边的差别就是被划掉的那段历史。这条性质叫马氏性，也叫无后效性：在已知现在的条件下，将来与过去独立。昨天、今天、明天三格摆开，昨天那一格可以扔掉，留下今天，明天就定了。

直观的例子是自己的脚步。下一步迈到哪里，取决于此刻站在哪里；怎么走到这里的，已经被这一步的位置吸收了。前面那些步没有白走，只是不再单独出现在条件里。

记 pij(n)=P{Xn+1=j∣Xn=i}p_{ij}(n) = P\lbrace X_{n+1} = j \mid X_n = i \rbracepij(n)=P{Xn+1=j∣Xn=i} 为 nnn 时刻从 iii 到 jjj 的一步转移概率。若它与 nnn 无关，pij(n)=pijp_{ij}(n) = p_{ij}pij(n)=pij，称链是齐次的。把 pijp_{ij}pij 排成矩阵 P=(pij)P = (p_{ij})P=(pij)，第 iii 行第 jjj 列是从 iii 到 jjj 的一步转移概率，称 PPP 为转移矩阵。状态可数，这个矩阵无穷行无穷列，每一行元素非负且行和为 1。

一步转移矩阵决定链的一切。第 1000 步、第 10000 步的转移概率，也是由它一次次自乘出来的，没有第二个来源；链的长期行为由它的幂决定。它和随机变量那一套里的分布函数地位相当：一个随机变量由分布刻画，一条齐次链由转移矩阵刻画。

例 1：独立随机变量和的序列。设 {ρn,n≥0}\lbrace \rho_n, n \ge 0 \rbrace{ρn,n≥0} 独立同分布，取非负整数值，P{ρn=i}=aiP\lbrace \rho_n = i \rbrace = a_iP{ρn=i}=ai，ai≥0a_i \ge 0ai≥0，∑ai=1\sum a_i = 1∑ai=1。令 X0=0X_0 = 0X0=0，Xn=∑k=1nρkX_n = \sum_{k=1}^{n} \rho_kXn=∑k=1nρk，则 {Xn}\lbrace X_n \rbrace{Xn} 是马氏链，且

pij={aj−i,j≥i0,j<i\displaystyle p_{ij} = \begin{cases} a_{j-i}, & j \ge i \cr 0, & j < i \end{cases}pij={aj−i,0,j≥ij<i

验证。条件概率写成

P{X0=i0,...,Xn+1=in+1}P{X0=i0,...,Xn=in}\displaystyle \frac{P\lbrace X_0 = i_0, \ldots, X_{n+1} = i_{n+1} \rbrace}{P\lbrace X_0 = i_0, \ldots, X_n = i_n \rbrace}P{X0=i0,...,Xn=in}P{X0=i0,...,Xn+1=in+1}

XkX_kXk 是前 kkk 个 ρ\rhoρ 的和，把相邻两个和相减，条件等价于 ρ1=i1−i0,ρ2=i2−i1,...,ρn+1=in+1−in\rho_1 = i_1 - i_0, \rho_2 = i_2 - i_1, \ldots, \rho_{n+1} = i_{n+1} - i_nρ1=i1−i0,ρ2=i2−i1,...,ρn+1=in+1−in。这些 ρ\rhoρ 相互独立，分子的概率就是这些概率的乘积，分母少最后一个因子，相除之后只剩下 ain+1−ina_{i_{n+1} - i_n}ain+1−in，它只依赖 ini_nin 与 in+1i_{n+1}in+1。

证明里唯一用到的工具是独立性。ρ\rhoρ 换成不独立的序列，这一步立刻过不去。

例 2：离散时间的排队。一个服务台，顾客到达后排队等待。每个单位时间是一个服务周期：周期开始时若台前至少有一位顾客，服务员完成一位顾客的服务，该顾客随即离开；若台前没有顾客，服务员空闲。一个周期内可以有人到达。设第 nnn 个周期到达的顾客数为 ξn\xi_nξn，{ξn}\lbrace \xi_n \rbrace{ξn} 独立同分布，P{ξn=k}=akP\lbrace \xi_n = k \rbrace = a_kP{ξn=k}=ak。

这里的周期不是钟表上的单位时间，是服务一位顾客所花的那一段：有人排队时，它从开始服务算到这位顾客离开；没人排队时，它就是空等的那一段。周期长短不一样，赶上利索的顾客很快，赶上掏钱慢的就拖得长。

状态取每个周期开始时台前等待服务的顾客数，记作 XnX_nXn。当前有 iii 位，周期内走掉一位（i≥1i \ge 1i≥1 时），同时来了 ξ\xiξ 位，下一个周期的状态就是

Xn+1=(Xn−1)++ξn,x+=max⁡(x,0)\displaystyle X_{n+1} = (X_n - 1)^{+} + \xi_n, \qquad x^{+} = \max(x, 0)Xn+1=(Xn−1)++ξn,x+=max(x,0)

取正部是为了把两种情形写进一个式子：i≥1i \ge 1i≥1 走掉一位，状态是 i−1+ξi-1+\xii−1+ξ；i=0i = 0i=0 没人可走，服务员空闲，状态就是 ξ\xiξ。Xn+1X_{n+1}Xn+1 通过这个递推只依赖 XnX_nXn 与 ξn\xi_nξn，所以是马氏链，一步转移概率为

pij={aj,i=0,j≥0aj+1−i,i≥1,j≥i−10,i≥1,j<i−1\displaystyle p_{ij} = \begin{cases} a_j, & i = 0, j \ge 0 \cr a_{j+1-i}, & i \ge 1, j \ge i-1 \cr 0, & i \ge 1, j < i-1 \end{cases}pij=⎩ ⎨ ⎧aj,aj+1−i,0,i=0,j≥0i≥1,j≥i−1i≥1,j<i−1

第一行是空队的情形，台前没人，周期内来几个就是几个。第二行是有人可服务的情形，走掉一位，再来 j−i+1j-i+1j−i+1 位。第三行人数只会往上走，落点不可能低于 i−1i-1i−1。

马氏性的验证不能像例 1 那样直接翻译成 ξ\xiξ 的独立事件，得先看 XnX_nXn 的来历。XnX_nXn 由递推一步步退回去，只用到 ξ0,...,ξn−1\xi_0, \ldots, \xi_{n-1}ξ0,...,ξn−1，所以 XnX_nXn 与 ξn\xi_nξn 独立。有了这一条，条件概率按独立性拆开，剩下 P{ξn=in+1−in+1}P\lbrace \xi_n = i_{n+1} - i_n + 1 \rbraceP{ξn=in+1−in+1}，只与 ini_nin 和 in+1i_{n+1}in+1 有关。

顺带读出一条：Eξn=∑kkak>1E \xi_n = \sum_k k a_k > 1Eξn=∑kkak>1 时，每个周期平均来的人多于走掉的，nnn 充分大以后队长会一路涨上去；小于 1 则在某个水平附近来回，不会一直涨。

例 3：G/M/1。G 是顾客到达服务台的时间间隔，独立同分布，分布函数为 G(x)G(x)G(x)；M 是服务时间，独立同指数分布，参数为 μ\muμ，且与到达过程独立；1 表示只有一个服务员。XnX_nXn 记第 nnn 个顾客到达时刻系统内的顾客数（含该顾客本人），TnT_nTn 是其到达时刻。

到达过程是更新过程，服务过程是泊松过程。两个过程的分布不同，来源也不同：一个看顾客走路的快慢，一个看服务员手脚的快慢。XnX_nXn 由到达过程决定，区间内服务完几个顾客只跟服务能力有关，两者互不相干，所以当前人数一旦给定，将来的与更早的历史无关。

区间长度 Tn+1−TnT_{n+1} - T_nTn+1−Tn 是随机变量，分布由 GGG 给出。服务时间独立同指数分布，任意长度为 ttt 的区间内服务完 kkk 个顾客的概率是

Pk(t)=e−μt(μt)kk!\displaystyle P_k(t) = \frac{e^{-\mu t} (\mu t)^k}{k!}Pk(t)=k!e−μt(μt)k

按全概率公式对区间长度积分

pi,i+1−j=∫0∞e−μt(μt)jj!dG(t),0≤j≤i−1, i≥1\displaystyle p_{i, i+1-j} = \int_0^{\infty} \frac{e^{-\mu t} (\mu t)^j}{j!} \mathrm{d}G(t), \qquad 0 \le j \le i-1, \ i \ge 1pi,i+1−j=∫0∞j!e−μt(μt)jdG(t),0≤j≤i−1, i≥1

j≤i−1j \le i-1j≤i−1 这一支里台前始终有人，服务员不会空下来，区间内服务完 jjj 个就是泊松计数取 jjj。这一步用到泊松过程的增量平稳性：服务完 jjj 个只依赖区间有多长，不依赖从哪开始，才能把它写成一个只含 ttt 的函数再对 ttt 的分布积分。

j=ij = ij=i 是另一支。台前 iii 个人全部服务完，服务台就可能空下来，这时服务能力没有用尽，多出来的部分没人可服务。要算的不是恰好服务完 iii 个，而是服务完 iii 个或更多：

∫0∞∑k=i∞e−μt(μt)kk!dG(t)\displaystyle \int_0^{\infty} \sum_{k=i}^{\infty} \frac{e^{-\mu t} (\mu t)^k}{k!} \mathrm{d}G(t)∫0∞k=i∑∞k!e−μt(μt)kdG(t)

两个式子只差一处：前一支取 k=jk = jk=j 这一项，后一支把 k≥jk \ge jk≥j 全部加起来。服务台空不空，就落在这一处。

到达过程与服务过程能接到一起，靠的是同一个东西：时间间隔。到达过程给出这段间隔的分布，服务过程给出区间内服务完 jjj 个的条件概率，全概率公式把它们接在一处。