数学公理体系大全:Comprehensive Collection of Mathematical Axiom Systems(卷7)

卷七概率论公理

概率，这门处理不确定性的数学分支，其历史几乎与人类文明本身一样古老。从古巴比伦的骨骰到文艺复兴时期卡尔达诺的赌博手册，从费马与帕斯卡的通信到雅各布·伯努利的《猜度术》，人们始终致力于从偶然性中提炼规律。然而，直至20世纪初，概率论的基础仍包裹在哲学迷雾中：拉普拉斯将概率定义为有利情形与所有可能情形之比，预设了"等可能"这一未经定义的概率概念；贝特朗悖论则戏剧性地表明，缺乏测度结构的"随机"一词可以导出三个互不相容的答案。概率论呼唤一场公理革命------如同欧几里得之于几何、魏尔斯特拉斯之于分析。柯尔莫哥洛夫（Andrey Kolmogorov）于1933年出版的小册子《概率论基础》，以测度论为利器，一劳永逸地铸就了概率论的逻辑基石。从此，随机变量即勒贝格可测函数，期望即勒贝格积分，概率空间不过是总测度为1的测度空间。本卷将沿此公理化路径，从柯尔莫哥洛夫的三条公理起步，建立起概率空间的完整逻辑；在独立性的旗帜下，借助博雷尔-坎泰利引理与柯尔莫哥洛夫不等式，完整证明强大数定律------这是随机世界中最优美的确定性宣言；最后深入条件期望的公理化构造，揭示贝叶斯推理的数学灵魂。我们将亲手完成博雷尔-坎泰利引理、柯尔莫哥洛夫0-1律以及强大数定律的全细节证明，体会公理如何驯服偶然，让机遇在无限中显露必然。

第二十五章柯尔莫哥洛夫公理详尽化

25.1 从古典概率到公理化：历史的必然

古典概率的"等可能"定义可以上溯至拉普拉斯，但其循环论证的本质在无限样本空间中暴露无遗。考虑"向区间 $0,1$ $0,1$ $0,1$ 随机投掷一点"的试验：每一点作为基本事件，其概率只能为零，古典定义失效。更为深刻的是1889年贝特朗提出的悖论：在半径为 RRR 的圆内"随机"作一弦，其长度超过圆内接正三角形边长的概率是多少？三种合理的随机化方式给出概率分别为 1/21/21/2、1/31/31/3、1/41/41/4。这一悖论揭示，"随机"一词本身不携带度量，必须外在指定一个概率测度。

20世纪初，博雷尔在其对测度论的开创性工作中引入了可数可加性概念，并讨论了"可数事件几乎必然不发生"的强极限定理雏形。勒贝格则建立了积分论，使得极限与积分的交换有了严格判据。但这些工具在概率论中零星使用，尚无统一框架。直至1933年，年仅30岁的柯尔莫哥洛夫在其《概率论基础》中提出以下核心洞见：概率论是测度论的一个分支，其对象是总测度为1的测度空间。他给出了如下的公理体系，将概率论完全融入现代分析的洪流。

25.2 可测空间与σ-代数

定义 25.2.1（σ-代数） 设 Ω\OmegaΩ 为非空集合，称为样本空间 。Ω\OmegaΩ 的子集族 F\mathcal{F}F 称为 Ω\OmegaΩ 上的一个 σ-代数 （或 σ-域），若满足：

Ω∈F\Omega \in \mathcal{F}Ω∈F；
对补封闭：若 A∈FA \in \mathcal{F}A∈F，则 Ac:=Ω∖A∈FA^c := \Omega \setminus A \in \mathcal{F}Ac:=Ω∖A∈F；
对可数并封闭：若 {An}n=1∞⊆F\{A_n\}{n=1}^\infty \subseteq \mathcal{F}{An}n=1∞⊆F，则 ⋃n=1∞An∈F\bigcup{n=1}^\infty A_n \in \mathcal{F}⋃n=1∞An∈F。

由德摩根律立即可得，σ-代数也对可数交封闭：⋂n=1∞An=(⋃n=1∞Anc)c∈F\bigcap_{n=1}^\infty A_n = (\bigcup_{n=1}^\infty A_n^c)^c \in \mathcal{F}⋂n=1∞An=(⋃n=1∞Anc)c∈F。(Ω,F)( \Omega, \mathcal{F})(Ω,F) 称为可测空间 ，F\mathcal{F}F 中的元素称为事件。

例 25.2.2 (a) 最小σ-代数：{∅,Ω}\{\emptyset, \Omega\}{∅,Ω}。(b) 最大σ-代数：Ω\OmegaΩ 的幂集 2Ω2^\Omega2Ω。当 Ω\OmegaΩ 可数时，通常取 2Ω2^\Omega2Ω。© 抛一枚硬币，Ω={H,T}\Omega = \{H, T\}Ω={H,T}，自然取 F={∅,{H},{T},Ω}\mathcal{F} = \{\emptyset, \{H\}, \{T\}, \Omega\}F={∅,{H},{T},Ω}。

对于不可数样本空间，幂集往往过大而导致不可测集的存在。我们需要在"充分大"与"可测性"之间取得平衡。

定义 25.2.3（生成σ-代数） 设 C\mathcal{C}C 是 Ω\OmegaΩ 的任意子集族。包含 C\mathcal{C}C 的所有 σ-代数的交仍为 σ-代数，称为由 C\mathcal{C}C 生成的 σ-代数，记作 σ(C)\sigma(\mathcal{C})σ(C)。它是包含 C\mathcal{C}C 的最小σ-代数。

例 25.2.4（博雷尔σ-代数） 取 Ω=R\Omega = \mathbb{R}Ω=R，令 C={(−∞,x]:x∈R}\mathcal{C} = \{(-\infty, x] : x \in \mathbb{R}\}C={(−∞,x]:x∈R}，则 B(R):=σ(C)\mathcal{B}(\mathbb{R}) := \sigma(\mathcal{C})B(R):=σ(C) 称为 R\mathbb{R}R 上的博雷尔σ-代数 。它的元素称为博雷尔集 。可以证明，B(R)\mathcal{B}(\mathbb{R})B(R) 包含所有开区间、闭区间、半开区间、单点集、开集、闭集，以及它们的可数并、交和差集。更一般地，任何拓扑空间上的博雷尔σ-代数均由所有开集生成。

生成σ-代数的研究依赖单调类定理（或称π-λ定理），它是证明事件族独立性和测度唯一性的基本工具。

定义 25.2.5（π-系统与λ-系统） 子集族 P\mathcal{P}P 若对有限交封闭（即 A,B∈P⇒A∩B∈PA,B\in\mathcal{P} \Rightarrow A\cap B\in\mathcal{P}A,B∈P⇒A∩B∈P），称为 π-系统 。子集族 L\mathcal{L}L 若满足：(i) Ω∈L\Omega\in\mathcal{L}Ω∈L；(ii) 若 A,B∈LA,B\in\mathcal{L}A,B∈L 且 A⊆BA\subseteq BA⊆B，则 B∖A∈LB\setminus A\in\mathcal{L}B∖A∈L；(iii) 若 {An}n=1∞⊆L\{A_n\}_{n=1}^\infty\subseteq\mathcal{L}{An}n=1∞⊆L 且 An↑AA_n\uparrow AAn↑A（递增并），则 A∈LA\in\mathcal{L}A∈L，则称 L\mathcal{L}L 为 λ-系统（或戴恩金类）。

定理 25.2.6（戴恩金π-λ定理） 若一个λ-系统包含一个π-系统，则它也包含该π-系统生成的σ-代数。即：P⊆L\mathcal{P}\subseteq\mathcal{L}P⊆L 且 P\mathcal{P}P 为π-系统、L\mathcal{L}L 为λ-系统，则 σ(P)⊆L\sigma(\mathcal{P})\subseteq\mathcal{L}σ(P)⊆L。

该定理在概率测度的唯一性（若两个概率测度在π-系统上相等，则在生成的σ-代数上相等）和独立性的延拓（见第二十六章）中扮演核心角色。

25.3 概率测度与概率空间

定义 25.3.1（概率测度） 设 (Ω,F)(\Omega, \mathcal{F})(Ω,F) 为可测空间。函数 P:F→ $0,1$ \mathbb{P} : \mathcal{F} \to $0,1$ P:F→ $0,1$ 称为概率测度，若满足：

(P1) 非负性 ：对任意 A∈FA\in\mathcal{F}A∈F，有 P(A)≥0\mathbb{P}(A) \ge 0P(A)≥0；

(P2) 归一性 ：P(Ω)=1\mathbb{P}(\Omega) = 1P(Ω)=1；

(P3) 可列可加性（σ-可加性） ：对任意两两不相交的序列 {An}n=1∞⊆F\{A_n\}_{n=1}^\infty \subseteq \mathcal{F}{An}n=1∞⊆F（即 i≠j⇒Ai∩Aj=∅i\neq j \Rightarrow A_i\cap A_j=\emptyseti=j⇒Ai∩Aj=∅），有

P(⋃n=1∞An)=∑n=1∞P(An). \mathbb{P}\left( \bigcup_{n=1}^\infty A_n \right) = \sum_{n=1}^\infty \mathbb{P}(A_n). P(n=1⋃∞An)=n=1∑∞P(An).

三元组 (Ω,F,P)(\Omega, \mathcal{F}, \mathbb{P})(Ω,F,P) 称为概率空间 。若一个性质在概率为1的集合上成立，即存在 N∈FN\in\mathcal{F}N∈F 满足 P(N)=0\mathbb{P}(N)=0P(N)=0 使得该性质在 NcN^cNc 上成立，则称该性质几乎必然（almost surely，a.s.）成立。

例 25.3.2（离散概率空间） 设 Ω={ω1,ω2,... }\Omega=\{\omega_1,\omega_2,\dots\}Ω={ω1,ω2,...} 可数，F=2Ω\mathcal{F}=2^\OmegaF=2Ω。给定非负实数 pip_ipi 满足 ∑ipi=1\sum_i p_i = 1∑ipi=1，定义 P(A)=∑ωi∈Api\mathbb{P}(A) = \sum_{\omega_i\in A} p_iP(A)=∑ωi∈Api，则得到概率空间。特别地，若 Ω\OmegaΩ 有限且 pi=1/∣Ω∣p_i = 1/|\Omega|pi=1/∣Ω∣，即为古典概型。

例 25.3.3（勒贝格概率空间） 设 Ω= $0,1$ \Omega = $0,1$ Ω= $0,1$ ，F=B( $0,1$ )\mathcal{F} = \mathcal{B}( $0,1$ )F=B( $0,1$ )（ $0,1$ $0,1$ $0,1$ 上的博雷尔集），P\mathbb{P}P 为勒贝格测度（区间的长度）。由于 $0,1$ $0,1$ $0,1$ 的勒贝格测度为1，此即概率空间，描述了" $0,1$ $0,1$ $0,1$ 上均匀分布"。若需包含更多零测集的子集，可将其完备化为勒贝格σ-代数。

概率测度构造的关键是测度扩张定理 （卡拉泰奥多里扩张）：先在π-系统上定义集函数，验证其满足σ-有限性及可列可加性，则可唯一地扩张到生成的σ-代数上。该定理保证了在实数上给出一个右连续递增的分布函数 FFF，就唯一存在一个概率测度 P\mathbb{P}P 在 B(R)\mathcal{B}(\mathbb{R})B(R) 上使得 P((−∞,x])=F(x)\mathbb{P}((-\infty, x]) = F(x)P((−∞,x])=F(x)。这正是所有连续分布的存在性基础。

25.4 概率的基本性质与连续性

以下性质直接从公理导出，而不必作为新公理。

定理 25.4.1 设 (Ω,F,P)(\Omega, \mathcal{F}, \mathbb{P})(Ω,F,P) 为概率空间。

P(∅)=0\mathbb{P}(\emptyset) = 0P(∅)=0。
有限可加性 ：若 A1,...,AnA_1,\dots,A_nA1,...,An 两两不交，则 P(⋃i=1nAi)=∑i=1nP(Ai)\mathbb{P}(\bigcup_{i=1}^n A_i) = \sum_{i=1}^n \mathbb{P}(A_i)P(⋃i=1nAi)=∑i=1nP(Ai)。
补事件概率 ：P(Ac)=1−P(A)\mathbb{P}(A^c) = 1 - \mathbb{P}(A)P(Ac)=1−P(A)。
单调性 ：若 A⊆BA \subseteq BA⊆B，则 P(A)≤P(B)\mathbb{P}(A) \le \mathbb{P}(B)P(A)≤P(B)，且 P(B∖A)=P(B)−P(A)\mathbb{P}(B \setminus A) = \mathbb{P}(B) - \mathbb{P}(A)P(B∖A)=P(B)−P(A)。
次可加性 ：P(A∪B)≤P(A)+P(B)\mathbb{P}(A \cup B) \le \mathbb{P}(A) + \mathbb{P}(B)P(A∪B)≤P(A)+P(B)，更一般地，P(⋃n=1∞An)≤∑n=1∞P(An)\mathbb{P}(\bigcup_{n=1}^\infty A_n) \le \sum_{n=1}^\infty \mathbb{P}(A_n)P(⋃n=1∞An)≤∑n=1∞P(An)。
上下连续性 ：
- 若 An↑AA_n \uparrow AAn↑A（即 A1⊆A2⊆⋯A_1 \subseteq A_2 \subseteq \cdotsA1⊆A2⊆⋯ 且 A=⋃nAnA = \bigcup_{n} A_nA=⋃nAn），则 lim⁡n→∞P(An)=P(A)\lim_{n\to\infty} \mathbb{P}(A_n) = \mathbb{P}(A)limn→∞P(An)=P(A)。
- 若 An↓AA_n \downarrow AAn↓A（即 A1⊇A2⊇⋯A_1 \supseteq A_2 \supseteq \cdotsA1⊇A2⊇⋯ 且 A=⋂nAnA = \bigcap_{n} A_nA=⋂nAn），则 lim⁡n→∞P(An)=P(A)\lim_{n\to\infty} \mathbb{P}(A_n) = \mathbb{P}(A)limn→∞P(An)=P(A)。

证明：(1) 取 An=∅A_n = \emptysetAn=∅，由可列可加性 P(∅)=∑P(∅)\mathbb{P}(\emptyset)=\sum \mathbb{P}(\emptyset)P(∅)=∑P(∅)，故必为0。(2) 在序列 A1,...,An,∅,∅,...A_1,\dots,A_n,\emptyset,\emptyset,\dotsA1,...,An,∅,∅,... 上应用可列可加性。(3) Ω=A∪Ac\Omega = A\cup A^cΩ=A∪Ac 不交，由(2)得。(4) B=A∪(B∖A)B = A \cup (B\setminus A)B=A∪(B∖A)，不交，故 P(B)=P(A)+P(B∖A)≥P(A)\mathbb{P}(B)=\mathbb{P}(A)+\mathbb{P}(B\setminus A)\ge \mathbb{P}(A)P(B)=P(A)+P(B∖A)≥P(A)。(5) 构造不交化 B1=A1,Bn=An∖⋃i=1n−1AiB_1=A_1, B_n=A_n\setminus \bigcup_{i=1}^{n-1} A_iB1=A1,Bn=An∖⋃i=1n−1Ai，则 ⋃An=⋃Bn\bigcup A_n = \bigcup B_n⋃An=⋃Bn 且 Bn⊆AnB_n\subseteq A_nBn⊆An，由单调性及可列可加性即得。(6) 递升情形：令 B1=A1,Bn=An∖An−1(n≥2)B_1=A_1, B_n=A_n\setminus A_{n-1}(n\ge2)B1=A1,Bn=An∖An−1(n≥2)，它们不交且 ⋃k=1nBk=An\bigcup_{k=1}^n B_k = A_n⋃k=1nBk=An，⋃k=1∞Bk=A\bigcup_{k=1}^\infty B_k = A⋃k=1∞Bk=A。于是 P(A)=∑k=1∞P(Bk)=lim⁡n∑k=1nP(Bk)=lim⁡nP(An)\mathbb{P}(A)=\sum_{k=1}^\infty \mathbb{P}(B_k)=\lim_{n}\sum_{k=1}^n \mathbb{P}(B_k)=\lim_n\mathbb{P}(A_n)P(A)=∑k=1∞P(Bk)=limn∑k=1nP(Bk)=limnP(An)。递降情形可由补集的递升得到。 ∎

可列可加性正是通过上下连续性才与极限过程紧密相连。事实上，在有限可加性下，σ-可加性等价于下连续性。

25.5 随机变量与分布函数

定义 25.5.1（随机变量） 设 (Ω,F)(\Omega, \mathcal{F})(Ω,F) 为可测空间。函数 X:Ω→RX : \Omega \to \mathbb{R}X:Ω→R 称为随机变量 ，若对每个博雷尔集 B∈B(R)B \in \mathcal{B}(\mathbb{R})B∈B(R)，原像 X−1(B):={ω∈Ω:X(ω)∈B}∈FX^{-1}(B) := \{\omega\in\Omega : X(\omega)\in B\} \in \mathcal{F}X−1(B):={ω∈Ω:X(ω)∈B}∈F。等价地，只需验证 ∀x∈R, {ω:X(ω)≤x}∈F\forall x\in\mathbb{R},\ \{\omega: X(\omega)\le x\} \in \mathcal{F}∀x∈R, {ω:X(ω)≤x}∈F，因为集族 {(−∞,x]:x∈R}\{(-\infty, x]: x\in\mathbb{R}\}{(−∞,x]:x∈R} 生成 B(R)\mathcal{B}(\mathbb{R})B(R)，且 {B⊆R:X−1(B)∈F}\{B\subseteq\mathbb{R}: X^{-1}(B)\in\mathcal{F}\}{B⊆R:X−1(B)∈F} 为λ-系统。

随机变量将抽象的样本空间映射到熟悉的实数轴。对于多维情形，X=(X1,...,Xn):Ω→RnX = (X_1,\dots,X_n):\Omega\to\mathbb{R}^nX=(X1,...,Xn):Ω→Rn 若对每个 B∈B(Rn)B\in\mathcal{B}(\mathbb{R}^n)B∈B(Rn) 有 X−1(B)∈FX^{-1}(B)\in\mathcal{F}X−1(B)∈F，则称随机向量。

XXX 诱导出 R\mathbb{R}R 上的概率测度 PX\mathbb{P}_XPX，称为 XXX 的分布：

PX(B):=P(X∈B)=P(X−1(B)),B∈B(R). \mathbb{P}_X(B) := \mathbb{P}(X\in B) = \mathbb{P}(X^{-1}(B)), \quad B\in\mathcal{B}(\mathbb{R}). PX(B):=P(X∈B)=P(X−1(B)),B∈B(R).

特别地，FX(x):=P(X≤x)=PX((−∞,x])F_X(x) := \mathbb{P}(X \le x) = \mathbb{P}_X((-\infty, x])FX(x):=P(X≤x)=PX((−∞,x]) 称为 XXX 的分布函数（或累积分布函数）。

定理 25.5.2（分布函数的特征） F:R→ $0,1$ F:\mathbb{R}\to $0,1$ F:R→ $0,1$ 是某随机变量的分布函数当且仅当：

单调不减：x1≤x2⇒F(x1)≤F(x2)x_1\le x_2 \Rightarrow F(x_1)\le F(x_2)x1≤x2⇒F(x1)≤F(x2)；
右连续：lim⁡x↓aF(x)=F(a)\lim_{x\downarrow a}F(x)=F(a)limx↓aF(x)=F(a)；
极限条件：lim⁡x→−∞F(x)=0\lim_{x\to -\infty}F(x)=0limx→−∞F(x)=0，lim⁡x→+∞F(x)=1\lim_{x\to +\infty}F(x)=1limx→+∞F(x)=1。

任意满足这三条的 FFF 均唯一确定一个 (R,B(R))(\mathbb{R},\mathcal{B}(\mathbb{R}))(R,B(R)) 上的概率测度。由此，概率论对随机变量的研究可完全转化为对分布函数的解析研究。

25.6 期望：作为勒贝格积分的期望

定义 25.6.1（期望） 设 XXX 为概率空间 (Ω,F,P)(\Omega, \mathcal{F}, \mathbb{P})(Ω,F,P) 上的非负随机变量。XXX 的期望（或均值）定义为勒贝格积分：

E $X$ :=∫ΩX dP. \mathbb{E} $X$ := \int_\Omega X \, d\mathbb{P}. E $X$ :=∫ΩXdP.

此积分的构造遵循标准路径：首先对简单函数 （可测集指示函数的线性组合）定义积分，然后利用单调收敛定理对非负可测函数取上确界，最后对一般随机变量令 X=X+−X−X = X^+ - X^-X=X+−X−（正负部），若 E $X+$ <∞\mathbb{E} $X\^+$ <\inftyE $X+$ <∞ 或 E $X-$ <∞\mathbb{E} $X\^-$ <\inftyE $X-$ <∞，则 E $X$ :=E $X+$ −E $X-$ \mathbb{E} $X$ := \mathbb{E} $X\^+$ - \mathbb{E} $X\^-$ E $X$ :=E $X+$ −E $X-$ ；若两者均有限，称 XXX 可积，记作 X∈L1(Ω,F,P)X\in L^1(\Omega,\mathcal{F},\mathbb{P})X∈L1(Ω,F,P)。

期望继承了勒贝格积分的三大极限定理：

单调收敛定理 ：若 0≤Xn↑X0\le X_n \uparrow X0≤Xn↑X a.s.，则 E $Xn$ ↑E $X$ \mathbb{E} $X_n$ \uparrow \mathbb{E} $X$ E $Xn$ ↑E $X$ 。
法图引理 ：若 Xn≥0X_n \ge 0Xn≥0，则 E $lim infnXn$ ≤lim inf⁡n→∞E $Xn$ \mathbb{E} $\\liminf_{n} X_n$ \le \liminf_{n\to\infty} \mathbb{E} $X_n$ E $liminfnXn$ ≤liminfn→∞E $Xn$ 。
控制收敛定理 ：若 Xn→XX_n \to XXn→X a.s.，且存在可积的 YYY 使得 ∣Xn∣≤Y|X_n|\le Y∣Xn∣≤Y a.s.，则 E $Xn$ →E $X$ \mathbb{E} $X_n$ \to \mathbb{E} $X$ E $Xn$ →E $X$ 。

定理 25.6.2（期望的基本性质） 设 X,Y∈L1X,Y\in L^1X,Y∈L1，则：

线性：E $aX+bY$ =aE $X$ +bE $Y$ \mathbb{E} $aX + bY$ = a\mathbb{E} $X$ + b\mathbb{E} $Y$ E $aX+bY$ =aE $X$ +bE $Y$ 。
单调性：若 X≤YX\le YX≤Y a.s.，则 E $X$ ≤E $Y$ \mathbb{E} $X$ \le\mathbb{E} $Y$ E $X$ ≤E $Y$ 。
变换公式：E $g(X)$ =∫Rg(x) dPX(x)\mathbb{E} $g(X)$ = \int_{\mathbb{R}} g(x)\, d\mathbb{P}_X(x)E $g(X)$ =∫Rg(x)dPX(x)，特别当 XXX 有密度 fff 时，E $g(X)$ =∫g(x)f(x) dx\mathbb{E} $g(X)$ = \int g(x)f(x)\,dxE $g(X)$ =∫g(x)f(x)dx。
方差、协方差等均可在此基础上定义。

至此，概率论的分析基础完全融入测度论。概率空间上任何一个可积函数就是随机变量，其期望就是勒贝格积分。这正是公理化最深刻的力量。

25.7 初等条件概率与贝叶斯公式

定义 25.7.1（事件的条件概率） 设 A,B∈FA,B\in\mathcal{F}A,B∈F 且 P(B)>0\mathbb{P}(B)>0P(B)>0，定义在 BBB 发生下 AAA 的条件概率 为

P(A∣B):=P(A∩B)P(B). \mathbb{P}(A \mid B) := \frac{\mathbb{P}(A \cap B)}{\mathbb{P}(B)}. P(A∣B):=P(B)P(A∩B).

固定 BBB，P(⋅∣B)\mathbb{P}(\cdot \mid B)P(⋅∣B) 是 (Ω,F)(\Omega,\mathcal{F})(Ω,F) 上的概率测度。

定理 25.7.2（乘法定理） 若 P(A1∩⋯∩An−1)>0\mathbb{P}(A_1\cap\cdots\cap A_{n-1}) > 0P(A1∩⋯∩An−1)>0，则

P(A1∩⋯∩An)=P(A1) P(A2∣A1) P(A3∣A1∩A2)⋯P(An∣A1∩⋯∩An−1). \mathbb{P}(A_1\cap\cdots\cap A_n) = \mathbb{P}(A_1)\,\mathbb{P}(A_2|A_1)\,\mathbb{P}(A_3|A_1\cap A_2)\cdots \mathbb{P}(A_n|A_1\cap\cdots\cap A_{n-1}). P(A1∩⋯∩An)=P(A1)P(A2∣A1)P(A3∣A1∩A2)⋯P(An∣A1∩⋯∩An−1).

定理 25.7.3（全概率公式） 设 {Bi}i=1∞\{B_i\}_{i=1}^\infty{Bi}i=1∞ 为 Ω\OmegaΩ 的可数划分（两两不交、并集为 Ω\OmegaΩ），且 P(Bi)>0\mathbb{P}(B_i)>0P(Bi)>0，则对任意 A∈FA\in\mathcal{F}A∈F，

P(A)=∑i=1∞P(A∣Bi)P(Bi). \mathbb{P}(A) = \sum_{i=1}^\infty \mathbb{P}(A \mid B_i) \mathbb{P}(B_i). P(A)=i=1∑∞P(A∣Bi)P(Bi).

定理 25.7.4（贝叶斯公式） 在相同条件下，

P(Bk∣A)=P(A∣Bk)P(Bk)∑i=1∞P(A∣Bi)P(Bi). \mathbb{P}(B_k \mid A) = \frac{\mathbb{P}(A \mid B_k) \mathbb{P}(B_k)}{\sum_{i=1}^\infty \mathbb{P}(A \mid B_i) \mathbb{P}(B_i)}. P(Bk∣A)=∑i=1∞P(A∣Bi)P(Bi)P(A∣Bk)P(Bk).

这些公式是初等概率论的核心，但它们的局限在于要求条件事件概率为正。为处理诸如 P(X∣Y=y)\mathbb{P}(X \mid Y=y)P(X∣Y=y) 的问题（其中 P(Y=y)=0\mathbb{P}(Y=y)=0P(Y=y)=0），必须引入条件期望的公理化定义。

25.8 条件期望的公理化构造

定义 25.8.1（条件期望） 设 X∈L1(Ω,F,P)X\in L^1(\Omega,\mathcal{F},\mathbb{P})X∈L1(Ω,F,P)，G⊆F\mathcal{G}\subseteq\mathcal{F}G⊆F 为子σ-代数。XXX 关于 G\mathcal{G}G 的条件期望 是一个随机变量 YYY，满足：

YYY 是 G\mathcal{G}G-可测的；
对每个 G∈GG\in\mathcal{G}G∈G，有 ∫GY dP=∫GX dP\int_G Y\,d\mathbb{P} = \int_G X\,d\mathbb{P}∫GYdP=∫GXdP。

此时记 Y=E $X∣G$ Y = \mathbb{E} $X \\mid \\mathcal{G}$ Y=E $X∣G$ （几乎必然唯一）。

存在唯一性证明 ：设 X≥0X\ge 0X≥0（一般情形可分解正负部）。在可测空间 (Ω,G)(\Omega,\mathcal{G})(Ω,G) 上定义集函数 ν(G):=∫GX dP\nu(G) := \int_G X\,d\mathbb{P}ν(G):=∫GXdP。易验证 ν\nuν 为有限测度，且 P(G)=0⇒ν(G)=0\mathbb{P}(G)=0 \Rightarrow \nu(G)=0P(G)=0⇒ν(G)=0，即 ν≪P\nu \ll \mathbb{P}ν≪P（在 G\mathcal{G}G 上绝对连续）。由Radon-Nikodym定理 ，存在 G\mathcal{G}G-可测的非负函数 YYY，使得 ν(G)=∫GY dP\nu(G) = \int_G Y\,d\mathbb{P}ν(G)=∫GYdP。此 YYY 即为 E $X∣G$ \mathbb{E} $X \\mid \\mathcal{G}$ E $X∣G$ ，且几乎必然唯一。 ∎

条件期望将 XXX 在 G\mathcal{G}G 包含的"信息"下进行局部平均，其直观含义是"在已知信息 G\mathcal{G}G 下对 XXX 的最佳猜测"。

定理 25.8.2（条件期望的基本性质） 设 X,Y∈L1X,Y\in L^1X,Y∈L1，G,H⊆F\mathcal{G},\mathcal{H}\subseteq\mathcal{F}G,H⊆F 为子σ-代数。

(a) 线性：E $aX+bY∣G$ =aE $X∣G$ +bE $Y∣G$ \mathbb{E} $aX+bY \\mid \\mathcal{G}$ = a\mathbb{E} $X \\mid \\mathcal{G}$ + b\mathbb{E} $Y \\mid \\mathcal{G}$ E $aX+bY∣G$ =aE $X∣G$ +bE $Y∣G$ a.s.
(b) 常数：若 X=cX=cX=c a.s.，则 E $X∣G$ =c\mathbb{E} $X \\mid \\mathcal{G}$ = cE $X∣G$ =c a.s.
© 单调性：若 X≤YX\le YX≤Y a.s.，则 E $X∣G$ ≤E $Y∣G$ \mathbb{E} $X \\mid \\mathcal{G}$ \le \mathbb{E} $Y \\mid \\mathcal{G}$ E $X∣G$ ≤E $Y∣G$ a.s.
(d) 塔性质（全期望定理）：若 H⊆G\mathcal{H}\subseteq\mathcal{G}H⊆G，则 E $E\[X∣G$ ∣H]=E $X∣H$ \mathbb{E} $\\mathbb{E}\[X \\mid \\mathcal{G}$ \mid \mathcal{H}] = \mathbb{E} $X \\mid \\mathcal{H}$ E $E\[X∣G$ ∣H]=E $X∣H$ a.s. 特别地，取 H={∅,Ω}\mathcal{H}=\{\emptyset,\Omega\}H={∅,Ω} 得 E $E\[X∣G$ ]=E $X$ \mathbb{E} $\\mathbb{E}\[X \\mid \\mathcal{G}$ ] = \mathbb{E} $X$ E $E\[X∣G$ ]=E $X$ 。
(e) 提取已知因子：若 YYY 是 G\mathcal{G}G-可测且有界，则 E $XY∣G$ =Y E $X∣G$ \mathbb{E} $XY \\mid \\mathcal{G}$ = Y\,\mathbb{E} $X \\mid \\mathcal{G}$ E $XY∣G$ =YE $X∣G$ a.s.
(f) 独立性：若 XXX 与 G\mathcal{G}G 独立，则 E $X∣G$ =E $X$ \mathbb{E} $X \\mid \\mathcal{G}$ = \mathbb{E} $X$ E $X∣G$ =E $X$ a.s.
(g) 条件詹森不等式：若 φ\varphiφ 为凸函数且 φ(X)\varphi(X)φ(X) 可积，则 φ(E $X∣G$ )≤E $φ(X)∣G$ \varphi(\mathbb{E} $X \\mid \\mathcal{G}$ ) \le \mathbb{E} $\\varphi(X) \\mid \\mathcal{G}$ φ(E $X∣G$ )≤E $φ(X)∣G$ a.s.

条件概率 ：对 A∈FA\in\mathcal{F}A∈F，定义 P(A∣G):=E $1A∣G$ \mathbb{P}(A \mid \mathcal{G}) := \mathbb{E} $\\mathbf{1}_A \\mid \\mathcal{G}$ P(A∣G):=E $1A∣G$ 。这是 G\mathcal{G}G-可测随机变量，对每个 G∈GG\in\mathcal{G}G∈G 满足 ∫GP(A∣G)dP=P(A∩G)\int_G \mathbb{P}(A \mid \mathcal{G}) d\mathbb{P} = \mathbb{P}(A \cap G)∫GP(A∣G)dP=P(A∩G)。但需注意，它一般不能保证对几乎每个 ω\omegaω 都是一个概率测度，正则性问题将在第二十七章解决。

第二十六章独立性与大数定律的严格证明

26.1 独立性的精确定义与延拓

定义 26.1.1（独立性）

事件族 {Ai}i∈I\{A_i\}{i\in I}{Ai}i∈I 独立，若对任意有限子集 J⊆IJ\subseteq IJ⊆I，有 P(⋂i∈JAi)=∏i∈JP(Ai)\mathbb{P}(\bigcap{i\in J} A_i) = \prod_{i\in J} \mathbb{P}(A_i)P(⋂i∈JAi)=∏i∈JP(Ai)。
子σ-代数族 {Fi}i∈I\{\mathcal{F}i\}{i\in I}{Fi}i∈I 独立，若对任意选择的事件 Ai∈FiA_i\in\mathcal{F}_iAi∈Fi，族 {Ai}\{A_i\}{Ai} 独立。
随机变量族 {Xi}i∈I\{X_i\}{i\in I}{Xi}i∈I 独立，若它们生成的σ-代数 σ(Xi)\sigma(X_i)σ(Xi) 独立。等价地，联合分布函数等于边缘分布函数之积：FXi1,...,Xin(x1,...,xn)=FXi1(x1)⋯FXin(xn)F{X_{i_1},\dots,X_{i_n}}(x_1,\dots,x_n) = F_{X_{i_1}}(x_1)\cdots F_{X_{i_n}}(x_n)FXi1,...,Xin(x1,...,xn)=FXi1(x1)⋯FXin(xn)。

独立性的延拓依赖 π-λ定理 。假设我们已知两个π-系统 P1,P2\mathcal{P}_1,\mathcal{P}_2P1,P2 中的事件相互独立，即对任意 P1∈P1,P2∈P2P_1\in\mathcal{P}_1, P_2\in\mathcal{P}_2P1∈P1,P2∈P2，P(P1∩P2)=P(P1)P(P2)\mathbb{P}(P_1\cap P_2)=\mathbb{P}(P_1)\mathbb{P}(P_2)P(P1∩P2)=P(P1)P(P2)。固定 P1P_1P1，令 L:={A∈F:P(P1∩A)=P(P1)P(A)}\mathcal{L} := \{A\in\mathcal{F}: \mathbb{P}(P_1\cap A)=\mathbb{P}(P_1)\mathbb{P}(A)\}L:={A∈F:P(P1∩A)=P(P1)P(A)}。可验证 L\mathcal{L}L 是λ-系统并包含 P2\mathcal{P}_2P2，故包含 σ(P2)\sigma(\mathcal{P}_2)σ(P2)。再固定 A2∈σ(P2)A_2\in\sigma(\mathcal{P}_2)A2∈σ(P2)，类似论证可得独立性对 σ(P1)\sigma(\mathcal{P}_1)σ(P1) 和 σ(P2)\sigma(\mathcal{P}_2)σ(P2) 成立。这一机制使得在乘积空间构造独立随机变量序列成为可能（柯尔莫哥洛夫扩张定理）。

定理 26.1.2（柯尔莫哥洛夫0-1律） 设 ξ1,ξ2,...\xi_1,\xi_2,\dotsξ1,ξ2,... 为独立随机变量序列，T=⋂n=1∞σ(ξn,ξn+1,... )\mathcal{T} = \bigcap_{n=1}^\infty \sigma(\xi_n,\xi_{n+1},\dots)T=⋂n=1∞σ(ξn,ξn+1,...) 为尾σ-代数。若 A∈TA\in\mathcal{T}A∈T，则 P(A)∈{0,1}\mathbb{P}(A)\in\{0,1\}P(A)∈{0,1}。

证明：令 Fn=σ(ξ1,...,ξn)\mathcal{F}n = \sigma(\xi_1,\dots,\xi_n)Fn=σ(ξ1,...,ξn)，Tn=σ(ξn+1,ξn+2,... )\mathcal{T}n = \sigma(\xi{n+1},\xi{n+2},\dots)Tn=σ(ξn+1,ξn+2,...)。由独立性，Fn\mathcal{F}_nFn 与 Tn\mathcal{T}_nTn 独立。因 T⊆Tn\mathcal{T}\subseteq\mathcal{T}_nT⊆Tn，故 Fn\mathcal{F}nFn 与 T\mathcal{T}T 独立对每个 nnn 成立。于是 ⋃n=1∞Fn\bigcup{n=1}^\infty \mathcal{F}_n⋃n=1∞Fn 与 T\mathcal{T}T 独立。该并集 ⋃nFn\bigcup_n\mathcal{F}_n⋃nFn 是π-系统（因 Fn\mathcal{F}_nFn 递增），由 π-λ 定理，σ(⋃nFn)\sigma(\bigcup_n\mathcal{F}_n)σ(⋃nFn) 与 T\mathcal{T}T 独立。但 σ(⋃nFn)=σ(ξ1,ξ2,... )\sigma(\bigcup_n\mathcal{F}_n) = \sigma(\xi_1,\xi_2,\dots)σ(⋃nFn)=σ(ξ1,ξ2,...) 包含 T\mathcal{T}T，故 T\mathcal{T}T 与自身独立。对任意 A∈TA\in\mathcal{T}A∈T，P(A)=P(A∩A)=P(A)2\mathbb{P}(A)=\mathbb{P}(A\cap A)=\mathbb{P}(A)^2P(A)=P(A∩A)=P(A)2，因此只能为0或1。 ∎

由此，诸如 lim sup⁡1n∑i=1nξi\limsup \frac{1}{n}\sum_{i=1}^n \xi_ilimsupn1∑i=1nξi 是否小于某常数、级数 ∑ξn\sum \xi_n∑ξn 是否收敛等均属尾事件，概率非0即1，这是独立序列内在的"确定化"机制。

26.2 博雷尔-坎泰利引理

引理 26.2.1（博雷尔-坎泰利第一引理） 设 A1,A2,...A_1,A_2,\dotsA1,A2,... 为事件。若 ∑n=1∞P(An)<∞\sum_{n=1}^\infty \mathbb{P}(A_n) < \infty∑n=1∞P(An)<∞，则

P(lim sup⁡n→∞An)=0, \mathbb{P}\left( \limsup_{n\to\infty} A_n \right) = 0, P(n→∞limsupAn)=0,

其中 lim sup⁡An:=⋂n=1∞⋃k=n∞Ak\limsup A_n := \bigcap_{n=1}^\infty\bigcup_{k=n}^\infty A_klimsupAn:=⋂n=1∞⋃k=n∞Ak 为"无穷多个 AnA_nAn 发生"的事件，记作 {An i.o.}\{A_n \text{ i.o.}\}{An i.o.}。

证明：令 Bn=⋃k=n∞AkB_n = \bigcup_{k=n}^\infty A_kBn=⋃k=n∞Ak，则 Bn↓lim sup⁡AnB_n \downarrow \limsup A_nBn↓limsupAn。由概率的次可加性和递减连续性，

P(lim sup⁡An)=lim⁡n→∞P(Bn)≤lim⁡n→∞∑k=n∞P(Ak). \mathbb{P}(\limsup A_n) = \lim_{n\to\infty} \mathbb{P}(B_n) \le \lim_{n\to\infty} \sum_{k=n}^\infty \mathbb{P}(A_k). P(limsupAn)=n→∞limP(Bn)≤n→∞limk=n∑∞P(Ak).

因级数收敛，余项趋于0，故概率为0。 ∎

引理 26.2.2（博雷尔-坎泰利第二引理） 若 A1,A2,...A_1,A_2,\dotsA1,A2,... 相互独立，且 ∑n=1∞P(An)=∞\sum_{n=1}^\infty \mathbb{P}(A_n) = \infty∑n=1∞P(An)=∞，则

P(lim sup⁡n→∞An)=1. \mathbb{P}\left( \limsup_{n\to\infty} A_n \right) = 1. P(n→∞limsupAn)=1.

证明：只需证对任意 NNN，P(⋂k=N∞Akc)=0\mathbb{P}(\bigcap_{k=N}^\infty A_k^c)=0P(⋂k=N∞Akc)=0。由独立性和概率连续性，

P(⋂k=N∞Akc)=∏k=N∞(1−P(Ak)). \mathbb{P}\left(\bigcap_{k=N}^\infty A_k^c\right) = \prod_{k=N}^\infty (1-\mathbb{P}(A_k)). P(k=N⋂∞Akc)=k=N∏∞(1−P(Ak)).

利用 1−x≤e−x1-x \le e^{-x}1−x≤e−x 对 x∈ $0,1$ x\in $0,1$ x∈ $0,1$ 成立，得乘积不超过 exp⁡(−∑k=N∞P(Ak))=0\exp\left(-\sum_{k=N}^\infty \mathbb{P}(A_k)\right) = 0exp(−∑k=N∞P(Ak))=0。因此 P(⋃k=N∞Ak)=1\mathbb{P}(\bigcup_{k=N}^\infty A_k)=1P(⋃k=N∞Ak)=1，取 N→∞N\to\inftyN→∞ 得 P(lim sup⁡An)=1\mathbb{P}(\limsup A_n)=1P(limsupAn)=1。 ∎

博雷尔-坎泰利引理是处理几乎必然收敛的核心武器。若我们要证 Xn→0X_n \to 0Xn→0 a.s.，常证对任意 ε>0\varepsilon>0ε>0，∑nP(∣Xn∣>ε)<∞\sum_n \mathbb{P}(|X_n|>\varepsilon)<\infty∑nP(∣Xn∣>ε)<∞，再由第一引理即得。

26.3 柯尔莫哥洛夫不等式与强大数定律

设 ξ1,ξ2,...\xi_1,\xi_2,\dotsξ1,ξ2,... 为独立随机变量，且 E $ξi$ =0\mathbb{E} $\\xi_i$ =0E $ξi$ =0，Var⁡(ξi)=σi2<∞\operatorname{Var}(\xi_i)=\sigma_i^2<\inftyVar(ξi)=σi2<∞。令 Sn=∑i=1nξiS_n = \sum_{i=1}^n \xi_iSn=∑i=1nξi。

定理 26.3.1（柯尔莫哥洛夫不等式） 对任意 ε>0\varepsilon > 0ε>0，

P(max⁡1≤k≤n∣Sk∣≥ε)≤1ε2E $Sn2$ =1ε2∑i=1nσi2. \mathbb{P}\left( \max_{1\le k\le n} |S_k| \ge \varepsilon \right) \le \frac{1}{\varepsilon^2} \mathbb{E} $S_n\^2$ = \frac{1}{\varepsilon^2} \sum_{i=1}^n \sigma_i^2. P(1≤k≤nmax∣Sk∣≥ε)≤ε21E $Sn2$ =ε21i=1∑nσi2.

证明：定义事件 Ak={∣S1∣<ε,...,∣Sk−1∣<ε,∣Sk∣≥ε}A_k = \{ |S_1|<\varepsilon, \dots, |S_{k-1}|<\varepsilon, |S_k|\ge\varepsilon \}Ak={∣S1∣<ε,...,∣Sk−1∣<ε,∣Sk∣≥ε}，它们两两不交，且 ⋃k=1nAk={max⁡1≤k≤n∣Sk∣≥ε}\bigcup_{k=1}^n A_k = \{ \max_{1\le k\le n} |S_k| \ge \varepsilon \}⋃k=1nAk={max1≤k≤n∣Sk∣≥ε}。由于 E $Sn21Ak$ =E $(Sk+(Sn-Sk))21Ak$ ≥E $Sk21Ak$ +2E $Sk(Sn-Sk)1Ak$ \mathbb{E} $S_n\^2 \\mathbf{1}_{A_k}$ = \mathbb{E} $(S_k + (S_n - S_k))\^2 \\mathbf{1}_{A_k}$ \ge \mathbb{E} $S_k\^2 \\mathbf{1}_{A_k}$ + 2\mathbb{E} $S_k(S_n-S_k)\\mathbf{1}_{A_k}$ E $Sn21Ak$ =E $(Sk+(Sn-Sk))21Ak$ ≥E $Sk21Ak$ +2E $Sk(Sn-Sk)1Ak$ 。注意到 Sk1AkS_k\mathbf{1}{A_k}Sk1Ak 是 σ(ξ1,...,ξk)\sigma(\xi_1,\dots,\xi_k)σ(ξ1,...,ξk)-可测的，而 Sn−Sk=∑i=k+1nξiS_n-S_k = \sum{i=k+1}^n \xi_iSn−Sk=∑i=k+1nξi 与之独立且均值为零，故交叉项期望为0。因此 E $Sn2$ ≥∑k=1nE $Sk21Ak$ ≥ε2∑k=1nP(Ak)=ε2P(max⁡∣Sk∣≥ε)\mathbb{E} $S_n\^2$ \ge \sum_{k=1}^n \mathbb{E} $S_k\^2 \\mathbf{1}_{A_k}$ \ge \varepsilon^2 \sum_{k=1}^n \mathbb{P}(A_k) = \varepsilon^2 \mathbb{P}(\max|S_k|\ge\varepsilon)E $Sn2$ ≥∑k=1nE $Sk21Ak$ ≥ε2∑k=1nP(Ak)=ε2P(max∣Sk∣≥ε)。 ∎

定理 26.3.2（柯尔莫哥洛夫强大数定律，有限二阶矩情形） 设 ξ1,ξ2,...\xi_1,\xi_2,\dotsξ1,ξ2,... 为独立同分布随机变量，E $ξ1$ =μ\mathbb{E} $\\xi_1$ =\muE $ξ1$ =μ，Var⁡(ξ1)=σ2<∞\operatorname{Var}(\xi_1)=\sigma^2<\inftyVar(ξ1)=σ2<∞。则

1n∑i=1nξi→a.s.μ(n→∞). \frac{1}{n}\sum_{i=1}^n \xi_i \xrightarrow{a.s.} \mu \quad (n\to\infty). n1i=1∑nξia.s. μ(n→∞).

证明：不妨设 μ=0\mu=0μ=0。记 Sn=∑i=1nξiS_n = \sum_{i=1}^n \xi_iSn=∑i=1nξi。考虑子序列 nk=k2n_k = k^2nk=k2（或 2k2^k2k）。先估计沿子序列的收敛：对任意 ε>0\varepsilon>0ε>0，

P(∣Snk∣nk≥ε)≤Var⁡(Snk)ε2nk2=nkσ2ε2nk2=σ2ε2nk. \mathbb{P}\left( \frac{|S_{n_k}|}{n_k} \ge \varepsilon \right) \le \frac{\operatorname{Var}(S_{n_k})}{\varepsilon^2 n_k^2} = \frac{n_k\sigma^2}{\varepsilon^2 n_k^2} = \frac{\sigma^2}{\varepsilon^2 n_k}. P(nk∣Snk∣≥ε)≤ε2nk2Var(Snk)=ε2nk2nkσ2=ε2nkσ2.

因 ∑k1/nk<∞\sum_k 1/n_k < \infty∑k1/nk<∞，由博雷尔-坎泰利第一引理，Snknk→0\frac{S_{n_k}}{n_k} \to 0nkSnk→0 a.s. 接着控制子序列间的波动。对任意 nnn，存在 kkk 使得 nk≤n<nk+1n_k \le n < n_{k+1}nk≤n<nk+1。利用柯尔莫哥洛夫不等式，

P(max⁡nk≤m<nk+1∣Sm−Snk∣nk≥ε)≤1ε2nk2∑i=nk+1nk+1σ2=σ2(nk+1−nk)ε2nk2. \mathbb{P}\left( \max_{n_k \le m < n_{k+1}} \frac{|S_m - S_{n_k}|}{n_k} \ge \varepsilon \right) \le \frac{1}{\varepsilon^2 n_k^2} \sum_{i=n_k+1}^{n_{k+1}} \sigma^2 = \frac{\sigma^2 (n_{k+1}-n_k)}{\varepsilon^2 n_k^2}. P(nk≤m<nk+1maxnk∣Sm−Snk∣≥ε)≤ε2nk21i=nk+1∑nk+1σ2=ε2nk2σ2(nk+1−nk).

若取 nk=2kn_k = 2^knk=2k，则 (nk+1−nk)/nk2∼2−k(n_{k+1}-n_k)/n_k^2 \sim 2^{-k}(nk+1−nk)/nk2∼2−k，可求和。因此对足够大的 kkk，波动也被控制，整体平均收敛到0。详细的 ϵ\epsilonϵ-论证确立几乎必然收敛。 ∎

26.4 强大数定律：一阶矩有限情形

若仅假定 E∣ξ1∣<∞\mathbb{E}|\xi_1|<\inftyE∣ξ1∣<∞，则需截断技术。

定理 26.4.1（柯尔莫哥洛夫强大数定律，一般情形） 设 ξ1,ξ2,...\xi_1,\xi_2,\dotsξ1,ξ2,... i.i.d.，E∣ξ1∣<∞\mathbb{E}|\xi_1|<\inftyE∣ξ1∣<∞，记 μ=E $ξ1$ \mu=\mathbb{E} $\\xi_1$ μ=E $ξ1$ 。则 1n∑i=1nξi→μ\frac{1}{n}\sum_{i=1}^n \xi_i \to \mun1∑i=1nξi→μ a.s.

证明概要 ：定义截断 ξn′=ξn1∣ξn∣≤n\xi_n' = \xi_n \mathbf{1}_{|\xi_n|\le n}ξn′=ξn1∣ξn∣≤n。步骤：

证明 ∑n=1∞P(ξn≠ξn′)=∑nP(∣ξn∣>n)≤E∣ξ1∣<∞\sum_{n=1}^\infty \mathbb{P}(\xi_n \neq \xi_n') = \sum_{n} \mathbb{P}(|\xi_n|>n) \le \mathbb{E}|\xi_1| < \infty∑n=1∞P(ξn=ξn′)=∑nP(∣ξn∣>n)≤E∣ξ1∣<∞（由期望与尾概率的关系）。由博雷尔-坎泰利，a.s. 最终 ξn=ξn′\xi_n = \xi_n'ξn=ξn′。
对截断序列 ξn′′=ξn′−E $ξn'$ \xi_n'' = \xi_n' - \mathbb{E} $\\xi_n'$ ξn′′=ξn′−E $ξn'$ ，估计其二阶矩：Var⁡(ξn′′)≤E $(ξn')2$ ≤∑k=1nk2P(k−1<∣ξ1∣≤k)\operatorname{Var}(\xi_n'') \le \mathbb{E} $(\\xi_n')\^2$ \le \sum_{k=1}^n k^2 \mathbb{P}(k-1<|\xi_1|\le k)Var(ξn′′)≤E $(ξn')2$ ≤∑k=1nk2P(k−1<∣ξ1∣≤k)，可证 ∑n=1∞Var⁡(ξn′′)n2<∞\sum_{n=1}^\infty \frac{\operatorname{Var}(\xi_n'')}{n^2} < \infty∑n=1∞n2Var(ξn′′)<∞。
应用 Kolmogorov 收敛准则（或类似上一节子序列方法配合 Kronecker 引理）得到 1n∑i=1nξi′′→0\frac{1}{n}\sum_{i=1}^n \xi_i'' \to 0n1∑i=1nξi′′→0 a.s.。
由控制收敛定理，E $ξn'$ →μ\mathbb{E} $\\xi_n'$ \to \muE $ξn'$ →μ，故 1n∑i=1nE $ξi'$ →μ\frac{1}{n}\sum_{i=1}^n \mathbb{E} $\\xi_i'$ \to \mun1∑i=1nE $ξi'$ →μ。综合即得结论。 ∎

该定理标志着大数定律的最终形式：只要均值存在，样本平均就几乎必然收敛于它。

26.5 中心极限定理

定理 26.5.1（林德伯格-莱维中心极限定理） 设 ξn\xi_nξn i.i.d.，μ=E $ξ1$ \mu=\mathbb{E} $\\xi_1$ μ=E $ξ1$ ，σ2=Var⁡(ξ1)∈(0,∞)\sigma^2=\operatorname{Var}(\xi_1)\in(0,\infty)σ2=Var(ξ1)∈(0,∞)。则标准化和

Zn:=∑i=1nξi−nμσn→dN(0,1), Z_n := \frac{\sum_{i=1}^n \xi_i - n\mu}{\sigma\sqrt{n}} \xrightarrow{d} \mathcal{N}(0,1), Zn:=σn ∑i=1nξi−nμd N(0,1),

其中 →d\xrightarrow{d}d 表示依分布收敛。

证明（特征函数法） ：令 ϕ(t)=E $eit(ξ1-μ)/σ$ \phi(t)=\mathbb{E} $e\^{it(\\xi_1-\\mu)/\\sigma}$ ϕ(t)=E $eit(ξ1-μ)/σ$ 。由二阶矩有限，泰勒展开给出 ϕ(t)=1−t22+o(t2)\phi(t)=1 - \frac{t^2}{2} + o(t^2)ϕ(t)=1−2t2+o(t2)。于是 ZnZ_nZn 的特征函数为 $ϕ(t/n)$ n=(1−t22n+o(n−1))n→e−t2/2 $\\phi(t/\\sqrt{n})$ ^n = \left(1 - \frac{t^2}{2n} + o(n^{-1})\right)^n \to e^{-t^2/2} $ϕ(t/n )$ n=(1−2nt2+o(n−1))n→e−t2/2，后者是标准正态分布的特征函数。由莱维连续性定理，依分布收敛得证。 ∎

此定理可推广至不同分布但有适当截断与标准化条件的林德伯格-费勒中心极限定理，构成概率论公理化体系的又一华彩乐章。

第二十七章条件概率空间与正则条件分布

27.1 正则条件概率的存在性

给定子σ-代数 G\mathcal{G}G，对每个 A∈FA\in\mathcal{F}A∈F 我们已通过条件期望定义了 P(A∣G)\mathbb{P}(A\mid\mathcal{G})P(A∣G)。但此构造对每个 AAA 仅几乎必然确定，且不能自动保证存在一个函数 P(ω,A)P(\omega, A)P(ω,A)，使得对几乎每个 ω\omegaω，P(ω,⋅)P(\omega,\cdot)P(ω,⋅) 是概率测度。难点在于，可数可加性要求对每个 ω\omegaω 在不可数多个事件上同时满足加性，而零测集的任意并可能不可测。克服这一困难需要概率空间的额外正则性。

定义 27.1.1（正则条件概率） 设 (Ω,F,P)(\Omega,\mathcal{F},\mathbb{P})(Ω,F,P) 为概率空间，G⊆F\mathcal{G}\subseteq\mathcal{F}G⊆F 子σ-代数。函数 P:Ω×F→ $0,1$ P:\Omega\times\mathcal{F}\to $0,1$ P:Ω×F→ $0,1$ 称为给定 G\mathcal{G}G 的正则条件概率，若：

∀ω∈Ω\forall \omega\in\Omega∀ω∈Ω，P(ω,⋅)P(\omega,\cdot)P(ω,⋅) 是 (Ω,F)(\Omega,\mathcal{F})(Ω,F) 上的概率测度；
∀A∈F\forall A\in\mathcal{F}∀A∈F，P(⋅,A)P(\cdot,A)P(⋅,A) 是 G\mathcal{G}G-可测函数；
∀A∈F\forall A\in\mathcal{F}∀A∈F，P(ω,A)=P(A∣G)(ω)P(\omega,A) = \mathbb{P}(A \mid \mathcal{G})(\omega)P(ω,A)=P(A∣G)(ω) 对几乎每个 ω\omegaω 成立。

定理 27.1.2（存在性） 若 Ω\OmegaΩ 是波兰空间（完备可分的度量空间）且 F\mathcal{F}F 为其博雷尔σ-代数，则对任意概率测度 P\mathbb{P}P 及子σ-代数 G\mathcal{G}G，正则条件概率存在。特别地，Rn\mathbb{R}^nRn 上的博雷尔σ-代数满足该条件。

该定理由杜博在一致可分性条件下证明。它为贝叶斯统计中"给定参数的后验分布"提供了严格的概率核基础。

27.2 条件分布与贝叶斯推断的测度论形式

设 X,YX,YX,Y 为随机变量。取 G=σ(Y)\mathcal{G}=\sigma(Y)G=σ(Y)，则正则条件概率 P(ω,A)P(\omega, A)P(ω,A) 可以表示为 y↦Py(A)y \mapsto P^y(A)y↦Py(A) 的形式，其中 PyP^yPy 是 R\mathbb{R}R 上的概率测度，称之为给定 Y=yY=yY=y 时 XXX 的条件分布 。联合分布 PX,Y\mathbb{P}_{X,Y}PX,Y 可分解为：

P(X∈B,Y∈C)=∫CPy(X∈B) PY(dy). \mathbb{P}(X\in B, Y\in C) = \int_C P^y(X\in B) \, \mathbb{P}_Y(dy). P(X∈B,Y∈C)=∫CPy(X∈B)PY(dy).

若 (X,Y)(X,Y)(X,Y) 有联合密度 fX,Yf_{X,Y}fX,Y，则 Py(dx)=fX,Y(x,y)fY(y)dxP^y(dx) = \frac{f_{X,Y}(x,y)}{f_Y(y)} dxPy(dx)=fY(y)fX,Y(x,y)dx（在 fY(y)>0f_Y(y)>0fY(y)>0 处），与初等公式一致，但现在完全在测度框架下定义，包括 fY(y)=0f_Y(y)=0fY(y)=0 的情形由核确定。

贝叶斯定理的现代形式即为：给定参数 θ\thetaθ 和数据 XXX，联合分布 PX,θ=PX∣θ⊗Pθ\mathbb{P}{X,\theta} = \mathbb{P}{X|\theta} \otimes \mathbb{P}\thetaPX,θ=PX∣θ⊗Pθ，后验分布 Pθ∣X\mathbb{P}{\theta|X}Pθ∣X 是满足下式的概率核：

Pθ∣X(B∣X=x)=∫BfX∣θ(x∣θ) dPθ(θ)∫fX∣θ(x∣θ) dPθ(θ), \mathbb{P}{\theta|X}(B \mid X=x) = \frac{\int_B f{X|\theta}(x|\theta)\, d\mathbb{P}\theta(\theta)}{\int f{X|\theta}(x|\theta)\, d\mathbb{P}_\theta(\theta)}, Pθ∣X(B∣X=x)=∫fX∣θ(x∣θ)dPθ(θ)∫BfX∣θ(x∣θ)dPθ(θ),

其中分子分母的积分均严格建立在Radon-Nikodym导数之上。

27.3 条件期望与均方预测

定理 27.3.1（最优预测） 设 X∈L2(F)X\in L^2(\mathcal{F})X∈L2(F)，G⊆F\mathcal{G}\subseteq\mathcal{F}G⊆F。则条件期望 E $X∣G$ \mathbb{E} $X\\mid\\mathcal{G}$ E $X∣G$ 是所有 G\mathcal{G}G-可测的平方可积随机变量中对 XXX 均方误差最小的预测：

E $(X−E\[X∣G$ )2]=inf⁡{E $(X-Z)2$ :Z∈L2(G)}. \mathbb{E} $(X - \\mathbb{E}\[X\\mid\\mathcal{G}$ )^2] = \inf \{ \mathbb{E} $(X - Z)\^2$ : Z\in L^2(\mathcal{G}) \}. E $(X−E\[X∣G$ )2]=inf{E $(X-Z)2$ :Z∈L2(G)}.

证明：对任意 Z∈L2(G)Z\in L^2(\mathcal{G})Z∈L2(G)，

E $(X-Z)2$ =E $(X-Y+Y-Z)2$ =E $(X-Y)2$ +E $(Y-Z)2$ +2E $(X-Y)(Y-Z)$ , \mathbb{E} $(X-Z)\^2$ = \mathbb{E} $(X-Y+Y-Z)\^2$ = \mathbb{E} $(X-Y)\^2$ + \mathbb{E} $(Y-Z)\^2$ + 2\mathbb{E} $(X-Y)(Y-Z)$ , E $(X-Z)2$ =E $(X-Y+Y-Z)2$ =E $(X-Y)2$ +E $(Y-Z)2$ +2E $(X-Y)(Y-Z)$ ,

其中 Y=E $X∣G$ Y=\mathbb{E} $X\\mid\\mathcal{G}$ Y=E $X∣G$ 。由条件期望性质，X−YX-YX−Y 与任意 G\mathcal{G}G-可测函数正交（因对任意 W∈L2(G)W\in L^2(\mathcal{G})W∈L2(G)，E $(X-Y)W$ =0\mathbb{E} $(X-Y)W$ =0E $(X-Y)W$ =0）。取 W=Y−ZW=Y-ZW=Y−Z，交叉项消失。故 E $(X-Z)2$ ≥E $(X-Y)2$ \mathbb{E} $(X-Z)\^2$ \ge \mathbb{E} $(X-Y)\^2$ E $(X-Z)2$ ≥E $(X-Y)2$ ，等号当且仅当 Z=YZ=YZ=Y a.s.。 ∎

这赋予了条件期望"给定信息下最优逼近"的几何解释，也是卡尔曼滤波、贝叶斯估计等方法的理论基础。

27.4 条件独立性与图模型

条件独立性是贝叶斯网络和马尔可夫随机场的逻辑支柱。设 G\mathcal{G}G 为子σ-代数，称 H1\mathcal{H}_1H1 与 H2\mathcal{H}_2H2 关于 G\mathcal{G}G 条件独立 ，若

E $UV∣G$ =E $U∣G$ E $V∣G$ a.s. \mathbb{E} $U V \\mid \\mathcal{G}$ = \mathbb{E} $U \\mid \\mathcal{G}$ \mathbb{E} $V \\mid \\mathcal{G}$ \quad \text{a.s.} E $UV∣G$ =E $U∣G$ E $V∣G$ a.s.

对所有有界 H1\mathcal{H}_1H1-可测 UUU 和 H2\mathcal{H}_2H2-可测 VVV 成立。这等价于在 G\mathcal{G}G 给定的正则条件概率下，H1\mathcal{H}_1H1 与 H2\mathcal{H}_2H2 独立。借助这一概念，联合分布可沿有向无环图（DAG）分解：

P(X1,...,Xn)=∏i=1nP(Xi∣parents(Xi)), \mathbb{P}(X_1,\dots,X_n) = \prod_{i=1}^n \mathbb{P}(X_i \mid \text{parents}(X_i)), P(X1,...,Xn)=i=1∏nP(Xi∣parents(Xi)),

每个条件对应一个概率核，整个构造的公理化根基正是正则条件概率的存在性。

27.5 博雷尔-柯尔莫哥洛夫悖论：公理化的边界

尽管公理体系严密，零测集上的条件化仍需审慎。博雷尔-柯尔莫哥洛夫悖论可表述为：考虑单位球面上的均匀分布，将其参数化为坐标。若计算"给定经度 ϕ\phiϕ"时纬度的条件分布密度，在不同参数化下结果可能相差一个因子。原因在于零测集上条件概率不唯一------不同的逼近极限（如围绕该经度的小邻域）会导致不同的Radon-Nikodym导数。数学的解决方案是要求固定一个先验的概率核或条件化的方式（如指定一个连续的条件分布密度族）。这非但不是公理化的失败，反而彰显了公理化体系对直觉边界的精确标定：条件化并非无条件合法，必须基于一个可测的核。

结语：偶然世界的理性法则

从柯尔莫哥洛夫的三条公理出发，我们建造了概率论的宏伟大厦。样本空间、σ-代数、概率测度，这看似枯燥的三元组，却成为容纳一切不确定性的逻辑容器。条件期望的投影性质、大数定律的必然收敛、中心极限定理的钟形曲线------所有这些美丽的结论，并非经验的归纳，而是公理之树上严谨推导的果实。概率论的公理化不仅为随机现象提供了计算工具，更深刻地改变了人类对偶然性的认知：随机并非混乱无序的同义词，而是蕴藏着高阶秩序的数学结构。当我们写下 P\mathbb{P}P 并据此断言强大数定律时，我们已经完成了对偶然世界的一次理性立法。而这，正是公理化方法最深邃的胜利。