【随机过程】第九讲:停时与停时定理

一、停时是什么

停时的定义只有一行。设 TTT 是非负整数值的随机变量,{Yn,n≥0}\lbrace Y_n, n \ge 0 \rbrace{Yn,n≥0} 是随机序列,若对每个 n≥0n \ge 0n≥0 都有

{T=n}∈Fn\lbrace T = n \rbrace \in F_n{T=n}∈Fn

则称 TTT 是 {Yn}\lbrace Y_n \rbrace{Yn} 的停时。FnF_nFn 由 Y0,Y1,...,YnY_0, Y_1, \ldots, Y_nY0,Y1,...,Yn 生成,nnn 越大,FnF_nFn 里的东西越多。这一串 σ\sigmaσ 域是一层一层加上去的:到第 nnn 步为止观测到的全部信息都在 FnF_nFn 里,第 nnn 步以后的事一概不在。

条件写的是 {T=n}\lbrace T = n \rbrace{T=n},与 {T≤n}∈Fn\lbrace T \le n \rbrace \in F_n{T≤n}∈Fn 等价,因为 {T≤n}\lbrace T \le n \rbrace{T≤n} 就是 {T=0}\lbrace T = 0 \rbrace{T=0} 到 {T=n}\lbrace T = n \rbrace{T=n} 的并。它的意思可以直说:停没停,到第 nnn 步就能判断,不许看以后。

最朴素的例子是两人赌博。甲有 100 元,乙有 90 元,每次押 10 元,公平赌博,输的人把钱给赢的人。TTT 定义为其中一个人赢光对方的钱。这个 TTT 是停时:每局结束,双方的钱数当场就知道,谁光了谁没光也当场就知道,不需要等以后。

反过来,「整场里赢钱最多的那一局」不是停时。要打完所有局才排得出名次,第 nnn 局结束的时候不知道它是不是最后那个答案。

赌博这个例子的好处是钱的总数不变。甲的钱数是鞅,输赢对称,均值一直是 100。停时定在谁先光,既满足可测性,又有明确的物理含义:停下来的那一刻,一个人的钱正好是 190,另一个正好是 0。后面验定理的时候可以直接拿这个模型算,不必另找例子。

再把例子缩小到硬币。甲有两个硬币,乙有三个,一次押一个,TTT 是其中一人输光。第一次赌不可能停下来,因为输一次只是少一个硬币。所以 P(T=0)=0P(T = 0) = 0P(T=0)=0,P(T=1)=0P(T = 1) = 0P(T=1)=0。停时的取值可以从中间某个数才开始有概率,前面一段全是零。这个特点和后面讲的条件有关系:TTT 的分布不是从 0 开始平铺的,它有一块够不着的区间。

实际应用里定义停时,往往跳过可测性这一步。算法跑到满足精度就停,检测器等到门限就停,交易碰到止损就停,这些都是当场可判的时刻,日常说话不追究「当场可判」,数学上必须写出来,因为后面所有的条件期望都建立在它上面。

两条基本性质直接可用:TTT 与 σ\sigmaσ 都是停时,则 T+σT + \sigmaT+σ、T∧σT \wedge \sigmaT∧σ、T∨σT \vee \sigmaT∨σ 也都是停时。后面反复出现的 T∧nT \wedge nT∧n 就是其中最不起眼的一个,取值不超过 nnn。

二、为什么要把固定的 n 换掉

因为鞅里那个 nnn 是个死数。

鞅的性质是均值不变,EXn=EX0E X_n = E X_0EXn=EX0,对每一个 nnn 都成立。这个性质是从条件期望一层层推下来的:E(Xk+1∣Y0,...,Yk)=XkE(X_{k+1} | Y_0,\ldots,Y_k) = X_kE(Xk+1∣Y0,...,Yk)=Xk,两边取期望得 EXk+1=EXkE X_{k+1} = E X_kEXk+1=EXk,从第 0 步推到第 nnn 步,就有了 EXn=EX0E X_n = E X_0EXn=EX0。整条链子上 nnn 是一个固定的整数,写在纸上不动。

均值不变就是这个东西的全部内容。它不说 XnX_nXn 会收敛,也不说 XnX_nXn 的分布长什么样,只说它的均值固定在出发点。一个性质只管一件事,能推出来的结论本来就有限。

真正关心的时候,往往不是第 nnn 步的值,而是停下来那一刻的值。什么时候下判决,什么时候收手,什么时候终止迭代,都是看情况定的,事先排不出来。把固定 nnn 换成随机变量 TTT,问一句:EXT=EX0E X_T = E X_0EXT=EX0 还成立吗。

对 T∧nT \wedge nT∧n 成立,而且不用加任何条件。T∧nT \wedge nT∧n 只取 0,1,...,n0,1,\ldots,n0,1,...,n,是有界停时,把鞅每一步的增量加起来就消掉了,与 TTT 的分布无关。观测到第 nnn 步为止,XT∧nX_{T \wedge n}XT∧n 的均值仍然是 EX0E X_0EX0,一分不差。

对 TTT 就不一定了。

这里还有一个容易忽略的地方。XTX_TXT 是跟着 TTT 取值的随机变量,它的分布和 XnX_nXn 的分布不一样,EXTE X_TEXT 也不是 EXnE X_nEXn 的某种极限。要谈它的期望,先得让 {T=n}\lbrace T = n \rbrace{T=n} 在第 nnn 步就定下来,这样 XT∧nX_{T \wedge n}XT∧n 才是逐时刻能观察的量,条件期望才有东西可依。定义里那条可测性要求,就是为这件事服务的。

证法也因此定了下来。T∧nT \wedge nT∧n 的情形是免费的,先从它拿到 EXT∧n=EX0E X_{T \wedge n} = E X_0EXT∧n=EX0;再让 nnn 增大,看 EXT∧nE X_{T \wedge n}EXT∧n 能不能推到 EXTE X_TEXT。前一步是基础,后一步靠尾巴收敛逼过去。定理的证明顺序就是这么排的,先有界、后无界。

整件事可以说成一句:把固定的指标换成一个停时,均值还保不保。停时定理的全部内容就是回答这一句,条件是用来兜住那个「还保」的。

三、换不动的是那条尾巴

把 T∧nT \wedge nT∧n 与 TTT 的差别摆出来。给定观测到第 nnn 步,TTT 的取值只有两类:小于等于 nnn,和大于 nnn。第一类里 T∧n=TT \wedge n = TT∧n=T,取的是终点值;第二类里 T∧n=nT \wedge n = nT∧n=n,取的是当前值。

T∧n=TI{T≤n}+nI{T>n}T \wedge n = T I_{\lbrace T \le n \rbrace} + n I_{\lbrace T > n \rbrace}T∧n=TI{T≤n}+nI{T>n}

第一类是已经停下来的路径,第二类是还没停下来的路径。第二类就是那条尾巴。

用赌博的例子算这笔账。观测 20 局,{T≤20}\lbrace T \le 20 \rbrace{T≤20} 与 {T>20}\lbrace T > 20 \rbrace{T>20} 都能确定,{T=21}\lbrace T = 21 \rbrace{T=21} 定不下来,因为要看第 21 局的结果。而 {T≤20}\lbrace T \le 20 \rbrace{T≤20} 的概率小于一,补集概率不为零。那些路径到第 20 局还在赌,钱数停在半路上,既没到 0,也没到 190。

所以这些路径上 XT∧20X_{T \wedge 20}XT∧20 取得的是 X20X_{20}X20,不是 XTX_TXT。EXT∧20E X_{T \wedge 20}EXT∧20 把两类路径的值混在一起,一类是终点值,一类是半路值,平均下来不等于 EXTE X_TEXT。

EXT∧n=EX0E X_{T \wedge n} = E X_0EXT∧n=EX0 与 EXT=EX0E X_T = E X_0EXT=EX0 是两个式子,前者无条件成立,后者有条件。混起来的根源就是没把 T∧nT \wedge nT∧n 与 TTT 分开。分开之后只剩一个问题:那条尾巴什么时候消失。

尾巴消失的情形有一种最干脆:TTT 有上界。有上界就有某个 NNN,超过 NNN 之后 T>nT > nT>n 的概率是零,尾巴从某一项起恒为零,条件自动满足。相反的情形是 TTT 可能取无穷,尾巴永远留着一块概率,怎么加条件都压不下去,这时候定理就用不了。

还有一种看法,把停时看成对纵坐标的处理。TTT 取值 0,1,2,...0,1,2,\ldots0,1,2,...,XTX_TXT 就以相应的概率取到某个 XkX_kXk。特别地,当 XT=cX_T = cXT=c 时,可以在不同的离散轨迹里找到穿过 y=cy = cy=c 这条水平线的那一点。ccc 取不同的值,纵坐标被划成不同的格点,对应不同的水平线。

这个看法解释了为什么停时定理关心的是 XTX_TXT 的分布而不是 TTT 的分布。停时不是盯住时间轴上的一个刻度,而是盯住纵坐标上的一条水平线;轨迹什么时候碰到这条线,那个时刻就是 TTT。换个说法,停时是对纵坐标的观察处理技术。

四、三个条件是怎么搬进定理的

目标是 EXT=EX0E X_T = E X_0EXT=EX0。既然 T∧nT \wedge nT∧n 与 TTT 只差一条尾巴,就把尾巴单独写出来。

先把 XTX_TXT 按 T≤nT \le nT≤n 与 T>nT > nT>n 分两段

XT=XTI{T≤n}+XTI{T>n}X_T = X_T I_{\lbrace T \le n \rbrace} + X_T I_{\lbrace T > n \rbrace}XT=XTI{T≤n}+XTI{T>n}

第一段里 T≤nT \le nT≤n,所以 XT=XT∧nX_T = X_{T \wedge n}XT=XT∧n。再把指示函数换成 1−I{T>n}1 - I_{\lbrace T > n \rbrace}1−I{T>n}

XTI{T≤n}=XT∧n(1−I{T>n})=XT∧n−XnI{T>n}X_T I_{\lbrace T \le n \rbrace} = X_{T \wedge n}(1 - I_{\lbrace T > n \rbrace}) = X_{T \wedge n} - X_n I_{\lbrace T > n \rbrace}XTI{T≤n}=XT∧n(1−I{T>n})=XT∧n−XnI{T>n}

最后一步用:在 {T>n}\lbrace T > n \rbrace{T>n} 上 T∧n=nT \wedge n = nT∧n=n。代回去

XT=XT∧n−XnI{T>n}+XTI{T>n}X_T = X_{T \wedge n} - X_n I_{\lbrace T > n \rbrace} + X_T I_{\lbrace T > n \rbrace}XT=XT∧n−XnI{T>n}+XTI{T>n}

两边取期望。EXT∧n=EX0E X_{T \wedge n} = E X_0EXT∧n=EX0 是已知的

EXT=EX0−E(XnI{T>n})+E(XTI{T>n})E X_T = E X_0 - E(X_n I_{\lbrace T > n \rbrace}) + E(X_T I_{\lbrace T > n \rbrace})EXT=EX0−E(XnI{T>n})+E(XTI{T>n})

要让左边等于 EX0E X_0EX0,后面两项必须抵消,也就是它们的差趋于零。这两项各自对着一件事。

第一项 E(XnI{T>n})E(X_n I_{\lbrace T > n \rbrace})E(XnI{T>n}) 趋于零,是一条要求,写成条件就是

lim⁡n→∞E∣XnI{T>n}∣=0\lim_{n \to \infty} E|X_n I_{\lbrace T > n \rbrace}| = 0limn→∞E∣XnI{T>n}∣=0

第二项 E(XTI{T>n})E(X_T I_{\lbrace T > n \rbrace})E(XTI{T>n}) 趋于零,只要 TTT 几乎必然有限、XTX_TXT 可积。这两条可以单独证成一个引理,就是后面用的引理 2。

换个角度想:如果 TTT 只取 000 到 nnn 这些值,没有尾巴,那么 T∧n=TT \wedge n = TT∧n=T,等式直接成立,一个条件都不需要。麻烦全在 TTT 能取到 nnn 以外。三个条件不是从问题本身长出来的,是为了把尾巴这一段处理掉才加上的。

三个条件就这样分好了工。P(T<∞)=1P(T < \infty) = 1P(T<∞)=1 保证 XTX_TXT 有意义,也是引理 2 的前提;E∣XT∣<∞E|X_T| < \inftyE∣XT∣<∞ 同样服务于第二项;第三个数管第一项。

三个条件里,前两个是对问题的描述,第三个不一样。第三个不是从前提推出来的,是从证明的某一步反推出来的:那一步处理不掉 E(XnIT>n)E(X_n I_{T > n})E(XnIT>n),就把「它必须为零」写成了条件。

这一步要停一下。证明走到最后,总会剩下一些处理不掉的项。办法有两个,一是加假设让它消失,二是把它留成条件。留成条件,定理照样成立,代价是使用者要额外验一条。停时定理的第三个条件属于留成条件那一种。它写在定理里,来源却是证明里的余项,不是对问题的假设。

条件三还有两种写法。一种是带绝对值的 E∣XnI{T>n}∣→0E|X_n I_{\lbrace T > n \rbrace}| \to 0E∣XnI{T>n}∣→0,一种是不带的 EXnI{T>n}→0E X_n I_{\lbrace T > n \rbrace} \to 0EXnI{T>n}→0。定理一取的是带绝对值的那种,因为它同时保证了 XnI{T>n}X_n I_{\lbrace T > n \rbrace}XnI{T>n} 这个量可积,后面写期望不会出问题。不带绝对值的那一种弱一些,正负可能抵消,等到要拆项的时候不够用。

第一个条件写 P(T<∞)=1P(T < \infty) = 1P(T<∞)=1 而不是 ET<∞E T < \inftyET<∞,也是同一个道理。前者是「停得下来」,后者是「停得够快」,后者强得多。定理一用弱的那个,因为证明里只需要 XTX_TXT 有意义,不需要控制平均时长。

P(T<∞)=1P(T < \infty) = 1P(T<∞)=1 这句话还容易读错成「TTT 有界」。有界是存在一个 NNN,所有的路径上 T≤NT \le NT≤N;P(T<∞)=1P(T < \infty) = 1P(T<∞)=1 只要求每条路径上 TTT 落在某个有限数上,不同的路径可以落在不同的数,而且可以任意大。所以它是概率意义上的有限,不是一致有界。区别全在尾巴上:有界的停时,尾巴从某一项起完全为零;只要求 P(T<∞)=1P(T < \infty) = 1P(T<∞)=1 的停时,尾巴每一项都可能不为零,只是越来越小。定理一取的是后一种,因为前一种太强,很多停时根本用不了。

这三个条件是充分条件,不是必要条件。满足它们,结论一定成立;不满足,结论未必不成立,只是这条路走不通。定理三、定理四就是把条件换成另一组,覆盖面不一样,结论一样。所以看到「条件不满足」先别下结论说定理错了,多数时候是手上的模型对不上这一组假设,换一组可能就通了。

还有一个更粗的判断可以先做。三个条件摆在那儿,不做任何数据调查,先看它们是否合理:TTT 有限,XTX_TXT 有均值,尾巴趋于零。直观上说得通,就先按它走。走的过程里如果推出矛盾,回头再改假设。这种做法不严格,但工程上很常用:目标明确,条件先列,列不全不要紧,缺哪一条会在推导里自己冒出来。现在有现成的符号计算工具,把 nnn 换成 TTT 试一下均值变不变,几秒钟就能给出结果。试出来的只是形式上的等式,条件还得自己补。

五、四个定理,后两个不讲证明

停时定理有一组,不是一个。

定理一是最基本的形式,三个条件就是上面那三条,结论 EXT=EX0E X_T = E X_0EXT=EX0。它回答的是「停下来的那一刻,均值还是不是原来那个」,回答是肯定的,代价是那三条尾巴条件。

定理二把后两个条件合成一条上确界条件,写成 E(sup⁡n∣XT∧n∣)<∞E(\sup_n |X_{T \wedge n}|) < \inftyE(supn∣XT∧n∣)<∞。这是整理,把分散的两条要求收进一个式子,验的时候只估一个上界。上确界取在所有 nnn 上,路径上没有漏掉的尖峰,比逐项验更狠,也更整齐。

定理三换方向,不问 EXTE X_TEXT 等于什么,直接问平均时长。条件写成 ET<∞E T < \inftyET<∞,再加一条步长条件

∀n<T,E(∣Xn+1−Xn∣∣Y0,...,Yn)≤b\forall n < T,\quad E(|X_{n+1} - X_n| | Y_0, \ldots, Y_n) \le b∀n<T,E(∣Xn+1−Xn∣∣Y0,...,Yn)≤b

满足这两条,仍然有 EXT=EX0E X_T = E X_0EXT=EX0。

定理四走二次矩。条件是 P(T<∞)=1P(T < \infty) = 1P(T<∞)=1 与 E(XT∧n2)E(X_{T \wedge n}^2)E(XT∧n2) 对所有 nnn 一致有界,结论一样。

后两个是推论,不单独证。做法是从定理一或定理二的条件代入,把不易验的那一条换成更强的、一眼能看出来的条件。推导不难,价值在于多给了一个入口。定理二把条件二、三合成一个,走的是同一条路,只是合成之后条件变强,覆盖面窄。

条件越来越强,覆盖面越来越窄,换来的是可验证。定理三把步长有界摆到台面上,用的是随机梯度的语言:Xn+1−XnX_{n+1} - X_nXn+1−Xn 是每一步的增量,要求它的条件期望有上界,等于要求过程不能跳得太猛。定理四用二次矩,平方之后正负都变正,估起来方便,代价是要求更强。

四个定理之外还有很多变体。列出来的只有四个,各种特殊情况到现在仍有人做,也有人专门做应用。这一支没有穷尽,定理一那三条只是最基础的一组。

六、定理三为什么最像能用的那一个

因为工程上要算的是 ETE TET。

EXT=EX0E X_T = E X_0EXT=EX0 是中间结论。它说停下来那一刻的均值等于起点的均值,可这个式子里往往没有 ETE TET。真要用,得先构造一个把 TTT 显式带出来的鞅,再用这条结论解 ETE TET。构造那一步比定理本身难。

定理三把顺序倒过来。它直接假设 ET<∞E T < \inftyET<∞,先认定平均时长是个有限数,然后只要求验一条步长条件。验完,EXT=EX0E X_T = E X_0EXT=EX0 成立,接着解方程拿到 ETE TET。

这里有个用起来很顺的地方。假设是拍脑袋放上去的,可如果后面算出来的 ETE TET 是负数,或者与已知的界矛盾,那就说明假设不成立,ETE TET 实际是无穷。结论错了,前提就错了。

ET<∞E T < \inftyET<∞ 与 ET=∞E T = \inftyET=∞ 是一体两面,没有第三种可能。用定理三的时候,等于先在这两面里押一面,让计算判对错。押对了拿到数值,押错了拿到矛盾,两种结果都有用。押错那一次也不白算,它排除了一种可能,把问题逼到另一面去。

步长条件那条不等式,实际用法是估一个 bbb。多数模型里 bbb 不难估:增量有界,bbb 就是那个界;增量是零均值的噪声,bbb 取它的一阶矩就够了。难的是 ET<∞E T < \inftyET<∞ 这一条,它管的是分布尾部,而尾部往往没有现成的界。

定理四的用法类似,把步长有界换成二次矩一致有界。二次矩比一次矩好估,代价是要求更强:E(XT∧n2)E(X_{T \wedge n}^2)E(XT∧n2) 对所有 nnn 有同一个界,等于被停过程不会在某个时刻冲到很大。

七、先补一条引理

定理一的证明要用一条引理,管的是「可积的量在收缩的事件上积分趋于零」。

设 XXX 可积,E∣X∣<∞E|X| < \inftyE∣X∣<∞,TTT 是停时且 P(T<∞)=1P(T < \infty) = 1P(T<∞)=1,则

lim⁡n→∞E(XI{T>n})=0\lim_{n \to \infty} E(X I_{\lbrace T > n \rbrace}) = 0limn→∞E(XI{T>n})=0

lim⁡n→∞E(XI{T≤n})=EX\lim_{n \to \infty} E(X I_{\lbrace T \le n \rbrace}) = E Xlimn→∞E(XI{T≤n})=EX

证明只用一件事:{T≤n}\lbrace T \le n \rbrace{T≤n} 随 nnn 增大而扩张,最后覆盖全部样本。

∣X∣=∣X∣I{T>n}+∣X∣I{T≤n}≥∣X∣I{T≤n}|X| = |X| I_{\lbrace T > n \rbrace} + |X| I_{\lbrace T \le n \rbrace} \ge |X| I_{\lbrace T \le n \rbrace}∣X∣=∣X∣I{T>n}+∣X∣I{T≤n}≥∣X∣I{T≤n}

右边单调上升,极限是 ∣X∣I{T<∞}=∣X∣|X| I_{\lbrace T < \infty \rbrace} = |X|∣X∣I{T<∞}=∣X∣,这一处用 P(T<∞)=1P(T < \infty) = 1P(T<∞)=1。由单调收敛定理,E(∣X∣I{T≤n})E(|X| I_{\lbrace T \le n \rbrace})E(∣X∣I{T≤n}) 上升趋于 E∣X∣E|X|E∣X∣,被减掉的那块趋于零。

条件看着强:可积、几乎必然有限,两条都用在刀刃上。少一条就不成立。XXX 不可积时 E∣X∣=∞E|X| = \inftyE∣X∣=∞,谈不上「趋于」;TTT 可能取无穷时,{T≤n}\lbrace T \le n \rbrace{T≤n} 覆盖不到全部样本,极限是 E(∣X∣IT<∞)E(|X| I_{T < \infty})E(∣X∣IT<∞),与 E∣X∣E|X|E∣X∣ 差着一块。

引理给的是 XTI{T>n}X_T I_{\lbrace T > n \rbrace}XTI{T>n} 这一项。把 XXX 换成 XTX_TXT 就能用,前提正是条件一与条件二。那两个条件不是摆设,各自对着引理的一个前提。

引理的另一半也顺手。{T≤n}\lbrace T \le n \rbrace{T≤n} 扩张到全集,所以 E(XI{T≤n})E(X I_{\lbrace T \le n \rbrace})E(XI{T≤n}) 上升到 EXE XEX。这一半在证明里用得少,但它把「尾部为零」与「整体为 EXE XEX」连了起来,两边是同一件事的两种说法。

八、定理一的证明:全是分解

证明分两块。第一块证 EXT∧n=EX0E X_{T \wedge n} = E X_0EXT∧n=EX0,第二块把 T∧nT \wedge nT∧n 推到 TTT。

第二块前面写完了。把 XTX_TXT 拆成 XT∧nX_{T \wedge n}XT∧n 加减两条尾巴,取期望,用引理 2 处理 E(XTIT>n)E(X_T I_{T > n})E(XTIT>n),用条件三处理 E(XnIT>n)E(X_n I_{T > n})E(XnIT>n),两项都趋于零,剩下 EXT=lim⁡EXT∧nE X_T = \lim E X_{T \wedge n}EXT=limEXT∧n。

第一块要回到 T∧nT \wedge nT∧n 的定义,用的还是分解,这次分解的是那个「1」。

1=I{T≤n}+I{T>n}1 = I_{\lbrace T \le n \rbrace} + I_{\lbrace T > n \rbrace}1=I{T≤n}+I{T>n}

把它乘到 XnX_nXn 上

EXT∧n=∑k=0n−1E(XnI{T=k})+E(XnI{T≥n})E X_{T \wedge n} = \sum_{k=0}^{n-1} E(X_n I_{\lbrace T = k \rbrace}) + E(X_n I_{\lbrace T \ge n \rbrace})EXT∧n=∑k=0n−1E(XnI{T=k})+E(XnI{T≥n})

求和到 n−1n-1n−1,最后一块单独写成 {T≥n}\lbrace T \ge n \rbrace{T≥n},因为 T=nT = nT=n 与 T>nT > nT>n 在 T∧nT \wedge nT∧n 上取的都是 XnX_nXn,能并成一块。

接下来对每一项插条件期望。以第 kkk 项为例

E(XnI{T=k})=E(E(XnI{T=k}∣Y0,...,Yk))E(X_n I_{\lbrace T = k \rbrace}) = E\big(E(X_n I_{\lbrace T = k \rbrace} | Y_0,\ldots,Y_k)\big)E(XnI{T=k})=E(E(XnI{T=k}∣Y0,...,Yk))

这是全期望公式,把一层期望拆成两层。里面那层,I{T=k}I_{\lbrace T = k \rbrace}I{T=k} 是 FkF_kFk 可测的,可以提出去

=E(I{T=k}E(Xn∣Y0,...,Yk))= E\big(I_{\lbrace T = k \rbrace} E(X_n | Y_0,\ldots,Y_k)\big)=E(I{T=k}E(Xn∣Y0,...,Yk))

这一步用的正是停时的定义:{T=k}\lbrace T = k \rbrace{T=k} 只依赖到第 kkk 步的信息,给定 Y0,...,YkY_0,\ldots,Y_kY0,...,Yk 时它已经确定,是常数,能提到条件期望外面。

再用鞅性 E(Xn∣Y0,...,Yk)=XkE(X_n | Y_0,\ldots,Y_k) = X_kE(Xn∣Y0,...,Yk)=Xk

=E(XkI{T=k})= E(X_k I_{\lbrace T = k \rbrace})=E(XkI{T=k})

把所有项加起来,正好拼回 XnX_nXn

EXT∧n=∑k=0n−1E(XkI{T=k})+E(XnI{T≥n})=EXnE X_{T \wedge n} = \sum_{k=0}^{n-1} E(X_k I_{\lbrace T = k \rbrace}) + E(X_n I_{\lbrace T \ge n \rbrace}) = E X_nEXT∧n=∑k=0n−1E(XkI{T=k})+E(XnI{T≥n})=EXn

最后一步是分块求和还原:{T=0},...,{T=n−1},{T≥n}\lbrace T = 0 \rbrace, \ldots, \lbrace T = n-1 \rbrace, \lbrace T \ge n \rbrace{T=0},...,{T=n−1},{T≥n} 是全集的一个划分,每块上取的都是 XkX_kXk 或 XnX_nXn,加起来就是 XnX_nXn。而 EXn=EX0E X_n = E X_0EXn=EX0 是鞅的性质。

所以 EXT∧n=EX0E X_{T \wedge n} = E X_0EXT∧n=EX0。

整条证明里没有额外的处理,一步一步都成立。可它内含了一个条件,从头到尾没明说:TTT 关于 YnY_nYn 是停时。没有这一条,{T=k}\lbrace T = k \rbrace{T=k} 不在 FkF_kFk 里,指示函数提不出去,证明立刻断掉。写出来是一条假设,用起来是一句话的事,容易看漏。

还有一条更短的写法,把 T∧(n+1)T \wedge (n+1)T∧(n+1) 与 T∧nT \wedge nT∧n 相减。这两个量的差只可能取 000 或 111:T≤nT \le nT≤n 时两者都等于 TTT,差为 000;T>nT > nT>n 时一个等于 n+1n+1n+1、一个等于 nnn,差为 111。合起来就是

T∧(n+1)−T∧n=I{T>n}T \wedge (n+1) - T \wedge n = I_{\lbrace T > n \rbrace}T∧(n+1)−T∧n=I{T>n}

两边乘上 XXX 的增量,得到

XT∧(n+1)−XT∧n=(Xn+1−Xn)I{T>n}X_{T \wedge (n+1)} - X_{T \wedge n} = (X_{n+1} - X_n) I_{\lbrace T > n \rbrace}XT∧(n+1)−XT∧n=(Xn+1−Xn)I{T>n}

取期望。{T>n}∈Fn\lbrace T > n \rbrace \in F_n{T>n}∈Fn,可以放进条件期望里

E((Xn+1−Xn)I{T>n})=E(I{T>n}E(Xn+1−Xn∣Fn))=0E\big((X_{n+1} - X_n) I_{\lbrace T > n \rbrace}\big) = E\big(I_{\lbrace T > n \rbrace} E(X_{n+1} - X_n | F_n)\big) = 0E((Xn+1−Xn)I{T>n})=E(I{T>n}E(Xn+1−Xn∣Fn))=0

所以 EXT∧(n+1)=EXT∧nE X_{T \wedge (n+1)} = E X_{T \wedge n}EXT∧(n+1)=EXT∧n,从 n=0n = 0n=0 一步步递推上去,EXT∧n=EX0E X_{T \wedge n} = E X_0EXT∧n=EX0。这条写法比逐项插条件期望短,用的还是同一个思路:把增量按 TTT 的位置切开,切出来的每一块都用鞅性消掉。T∧(n+1)−T∧n=I{T>n}T \wedge (n+1) - T \wedge n = I_{\lbrace T > n \rbrace}T∧(n+1)−T∧n=I{T>n} 这个等式本身,就是一个把停时接到指示函数上的桥。

这段证明还有一个位置要看:第一步为什么要把 T∧nT \wedge nT∧n 与 Y0,...,YkY_0,\ldots,Y_kY0,...,Yk 的关系摆清楚。T∧nT \wedge nT∧n 在 {T≤k}\lbrace T \le k \rbrace{T≤k} 上等于 TTT,在 {T>k}\lbrace T > k \rbrace{T>k} 上等于 nnn,两段各取各的值,指示函数一乘,就把两段接成了一条。这一步看着像记号游戏,实际是整条证明的枢纽:没有它,后面的条件期望插不进去。

九、两个小技巧

这一节讲的东西只有两个技巧。

一个是把处理不掉的项搬进条件。条件三就是这么来的。好处是定理仍然成立,代价是用的人要多验一条。判断一个定理的条件,可以先看它是不是这个来历:长得像一个极限、一个余项、一个尾巴趋于零,多半是证明里搬出来的,不是从问题里提出来的。看清这一点,再去想「为什么要这条」,比背下结论有用。

另一个是先按直观走,出错再回头。条件摆在那儿,不做数据调查,先看它合不合理,合理就先假设它成立,往下算。算出来矛盾,说明假设错了;算出来是个正常的数,说明假设对得住。定理三就是照这个用法设计的:先认 ET<∞E T < \inftyET<∞,再用矛盾与否判断。

这两个技巧在定理三、定理四上体现得最清楚。定理三把 ET<∞E T < \inftyET<∞ 摆成假设,剩下的交给一条步长条件;定理四把二次矩一致有界摆成假设,剩下的交给 P(T<∞)=1P(T < \infty) = 1P(T<∞)=1。两处都是「先认一条,再验一条」,认的那一条不好验,验的那一条好验,分工明确。

今天的内容就这两块。一块是分析,看条件怎么来的;一块是证明,看那个 1 怎么分解、条件期望插在哪儿。定理写在纸上只有条件和结论两行,怎么来的、为什么偏偏是这三条、证明里哪一步最难,都在推导过程里。

相关推荐
FPGA信号处理13 天前
【随机过程】第六节课:抽样定理、随机预测与条件期望
随机过程