给定概率空间 ( Ω , P , F ) (\Omega,P,\mathcal{F}) (Ω,P,F)
1. 依概率收敛（Convergence in Probability）
• 定义：
随机变量序列 X n X_n Xn 依概率收敛于随机变量 X X X（记作 X n → P X X_n \overset{P}{\to} X Xn→PX），如果对任意 ϵ > 0 \epsilon > 0 ϵ>0：
lim n → ∞ P ( ω , ∣ X n ( ω ) − X ( ω ) ∣ ≥ ϵ ) = 0. \lim_{n \to \infty} P(\omega,|X_n(\omega) - X(\omega)| \geq \epsilon) = 0. n→∞limP(ω,∣Xn(ω)−X(ω)∣≥ϵ)=0.
2. 几乎必然收敛（Almost Sure Convergence）
• 定义：
X n X_n Xn 几乎必然收敛于 X X X（记作 X n → a . s . X X_n \overset{a.s.}{\to} X Xn→a.s.X），如果：
P ( ω , lim n → ∞ X n ( ω ) = X ( ω ) ) = 1. P\left(\omega,\lim_{n \to \infty} X_n(\omega) = X(\omega)\right) = 1. P(ω,n→∞limXn(ω)=X(ω))=1.
3. 均方收敛（Convergence in Mean Square）
• 定义：
X n X_n Xn 均方收敛于 X X X（记作 X n → L 2 X X_n \overset{L^2}{\to} X Xn→L2X），如果：
lim n → ∞ E [ ∣ X n − X ∣ 2 ] = 0. \lim_{n \to \infty} E\left[|X_n - X|^2\right] = 0. n→∞limE[∣Xn−X∣2]=0.
4. 依分布收敛（Convergence in Distribution）
• 定义：
X n X_n Xn 依分布收敛于 X X X（记作 X n → d X X_n \overset{d}{\to} X Xn→dX），如果对 X X X 的分布函数 F F F 的所有连续点 x x x：
lim n → ∞ P ( ω , X n ( ω ) ≤ x ) = P ( ω , X ( ω ) ≤ x ) . \lim_{n \to \infty} P(\omega, X_n(\omega) \leq x) = P(\omega, X(\omega) \leq x). n→∞limP(ω,Xn(ω)≤x)=P(ω,X(ω)≤x).
收敛性强弱关系
四种收敛性的强弱关系如下（箭头表示"蕴含"）：
几乎必然收敛 依概率收敛 依分布收敛 均方收敛
附证明
几乎必然收敛随机数列必然满足依概率收敛
证明：
根据几乎处处收敛的定义
P ( ω , lim n → ∞ X n ( ω ) = X ( ω ) ) = 1. P\left(\omega,\lim_{n \to \infty} X_n(\omega) = X(\omega)\right) = 1. P(ω,n→∞limXn(ω)=X(ω))=1.
其中
P ( ω , lim n → ∞ X n ( ω ) = X ( ω ) ) = P ( ω , ∀ ε > 0 , ∃ N , ∀ n ≥ N , ∣ X n ( ω ) − X ( ω ) ∣ < ε ) = P ( ∩ ε > 0 ∪ N = 1 ∞ ∩ n = N ∞ { ω , ∣ X n ( ω ) − X ( ω ) ∣ < ε } ) = 1 \begin{aligned} & P\left(\omega,\lim_{n \to \infty} X_n(\omega) =X(\omega)\right)\\ =& P\left(\omega, \forall \varepsilon>0, \exists N, \forall n\geq N, |X_n(\omega)-X(\omega)|<\varepsilon\right)\\ =& P\left(\cap_{\varepsilon>0} \cup_{N=1}^\infty\cap_{n=N}^\infty \{\omega, |X_n(\omega)-X(\omega)|<\varepsilon\} \right)=1\\ \end{aligned} ==P(ω,n→∞limXn(ω)=X(ω))P(ω,∀ε>0,∃N,∀n≥N,∣Xn(ω)−X(ω)∣<ε)P(∩ε>0∪N=1∞∩n=N∞{ω,∣Xn(ω)−X(ω)∣<ε})=1
因此考虑其补集的概率为0， 而其补集可以写为
∪ ε > 0 ∩ N = 1 ∞ ∪ n = N ∞ { ω , ∣ X n ( ω ) − X ( ω ) ∣ ≥ ε } \cup_{\varepsilon>0} \cap_{N=1}^\infty \cup_{n=N}^\infty \{\omega, |X_n(\omega)-X(\omega)|\geq \varepsilon\} ∪ε>0∩N=1∞∪n=N∞{ω,∣Xn(ω)−X(ω)∣≥ε}
记 A n ( ε ) = { ω , ∣ X n ( ω ) − X ( ω ) ∣ ≥ ε } A_n(\varepsilon)= \{\omega, |X_n(\omega)-X(\omega)|\geq \varepsilon\} An(ε)={ω,∣Xn(ω)−X(ω)∣≥ε}
显然 A N ⊂ ∪ n = N ∞ { ω , ∣ X n ( ω ) − X ( ω ) ∣ ≥ ε } A_N \subset \cup_{n=N}^\infty \{\omega, |X_n(\omega)-X(\omega)|\geq \varepsilon\} AN⊂∪n=N∞{ω,∣Xn(ω)−X(ω)∣≥ε}. 因此
lim n → ∞ P ( A n ( ε ) ) ≤ P ( lim sup n → ∞ A n ( ε ) ) = 0 \lim_{n\to\infty}P(A_n(\varepsilon)) \leq P(\limsup_{n\to\infty} A_n(\varepsilon))=0 n→∞limP(An(ε))≤P(n→∞limsupAn(ε))=0
推出 X n X_n Xn 是依概率收敛的。
均方收敛推出依概率收敛。
证明：
已知
lim n → ∞ E [ ∣ X n − X ∣ 2 ] = 0. \lim_{n \to \infty} E\left[|X_n - X|^2\right] = 0. n→∞limE[∣Xn−X∣2]=0.
则 ∀ ε > 0 \forall \varepsilon>0 ∀ε>0, ∃ N \exists N ∃N, ∀ n ≥ N \forall n\geq N ∀n≥N,
∫ Ω ( X n ( ω ) − X ( ω ) ) 2 P ( d ω ) ≤ ε \int_{\Omega} (X_n(\omega)-X(\omega))^2 P(d \omega) \leq \varepsilon ∫Ω(Xn(ω)−X(ω))2P(dω)≤ε.
令 A n ( ε ) = { ω , ∣ X n ( ω ) − X ( ω ) ∣ ≥ ε } A_n(\varepsilon)= \{\omega, |X_n(\omega)-X(\omega)|\geq \varepsilon\} An(ε)={ω,∣Xn(ω)−X(ω)∣≥ε}， （反证法）假设
存在 ε 0 > 0 \varepsilon_0>0 ε0>0, ∀ N \forall N ∀N, ∃ n ≥ N \exists n\geq N ∃n≥N,
lim n → ∞ P ( A n ( ε 0 ) ) ≥ c \lim_{n\to \infty} P(A_n(\varepsilon_0)) \geq c n→∞limP(An(ε0))≥c
则
∫ Ω ( X n ( ω ) − X ( ω ) ) 2 P ( d ω ) = ∫ A n ( X n ( ω ) − X ( ω ) ) 2 P ( d ω ) + ∫ A n c ( X n ( ω ) − X ( ω ) ) 2 P ( d ω ) ≥ ε 0 c > 0 \int_{\Omega} (X_n(\omega)-X(\omega))^2 P(d \omega) = \int_{A_n} (X_n(\omega)-X(\omega))^2 P(d \omega) + \int_{A_n^c} (X_n(\omega)-X(\omega))^2 P(d \omega) \geq \varepsilon_0c>0 ∫Ω(Xn(ω)−X(ω))2P(dω)=∫An(Xn(ω)−X(ω))2P(dω)+∫Anc(Xn(ω)−X(ω))2P(dω)≥ε0c>0
与均方收敛矛盾。
依概率收敛推出依分布收敛
证明：
设 x x x 是 F X F_X FX 的一个连续点。我们需要证明：
lim n → ∞ F X n ( x ) = F X ( x ) \lim_{n \to \infty} F_{X_n}(x) = F_X(x) n→∞limFXn(x)=FX(x)
对于任意的 ϵ > 0 \epsilon > 0 ϵ>0，考虑以下事件：
{ X n ≤ x } = { X n ≤ x , ∣ X n − X ∣ < ϵ } ∪ { X n ≤ x , ∣ X n − X ∣ ≥ ϵ } \{X_n \leq x\} = \{X_n \leq x, |X_n - X| < \epsilon\} \cup \{X_n \leq x, |X_n - X| \geq \epsilon\} {Xn≤x}={Xn≤x,∣Xn−X∣<ϵ}∪{Xn≤x,∣Xn−X∣≥ϵ}
因此，
P ( X n ≤ x ) = P ( X n ≤ x , ∣ X n − X ∣ < ϵ ) + P ( X n ≤ x , ∣ X n − X ∣ ≥ ϵ ) P(X_n \leq x) = P(X_n \leq x, |X_n - X| < \epsilon) + P(X_n \leq x, |X_n - X| \geq \epsilon) P(Xn≤x)=P(Xn≤x,∣Xn−X∣<ϵ)+P(Xn≤x,∣Xn−X∣≥ϵ)
注意到：
P ( X n ≤ x , ∣ X n − X ∣ < ϵ ) ≤ P ( X ≤ x + ϵ ) P(X_n \leq x, |X_n - X| < \epsilon) \leq P(X \leq x + \epsilon) P(Xn≤x,∣Xn−X∣<ϵ)≤P(X≤x+ϵ)
因为如果 X n ≤ x X_n \leq x Xn≤x 且 ∣ X n − X ∣ < ϵ |X_n - X| < \epsilon ∣Xn−X∣<ϵ，则 X < X n + ϵ ≤ x + ϵ X < X_n + \epsilon \leq x + \epsilon X<Xn+ϵ≤x+ϵ。
同样，
P ( X n ≤ x , ∣ X n − X ∣ ≥ ϵ ) ≤ P ( ∣ X n − X ∣ ≥ ϵ ) P(X_n \leq x, |X_n - X| \geq \epsilon) \leq P(|X_n - X| \geq \epsilon) P(Xn≤x,∣Xn−X∣≥ϵ)≤P(∣Xn−X∣≥ϵ)
因此得到：
P ( X n ≤ x ) ≤ P ( X ≤ x + ϵ ) + P ( ∣ X n − X ∣ ≥ ϵ ) P(X_n \leq x) \leq P(X \leq x + \epsilon) + P(|X_n - X| \geq \epsilon) P(Xn≤x)≤P(X≤x+ϵ)+P(∣Xn−X∣≥ϵ)
类似地，考虑 { X ≤ x − ϵ } \{X \leq x - \epsilon\} {X≤x−ϵ}，可以写出：
{ X ≤ x − ϵ } = { X ≤ x − ϵ , ∣ X n − X ∣ < ϵ } ∪ { X ≤ x − ϵ , ∣ X n − X ∣ ≥ ϵ } \{X \leq x - \epsilon\} = \{X \leq x - \epsilon, |X_n - X| < \epsilon\} \cup \{X \leq x - \epsilon, |X_n - X| \geq \epsilon\} {X≤x−ϵ}={X≤x−ϵ,∣Xn−X∣<ϵ}∪{X≤x−ϵ,∣Xn−X∣≥ϵ}
因此，
P ( X ≤ x − ϵ ) ≤ P ( X n ≤ x ) + P ( ∣ X n − X ∣ ≥ ϵ ) P(X \leq x - \epsilon) \leq P(X_n \leq x) + P(|X_n - X| \geq \epsilon) P(X≤x−ϵ)≤P(Xn≤x)+P(∣Xn−X∣≥ϵ)
即：
P ( X n ≤ x ) ≥ P ( X ≤ x − ϵ ) − P ( ∣ X n − X ∣ ≥ ϵ ) P(X_n \leq x) \geq P(X \leq x - \epsilon) - P(|X_n - X| \geq \epsilon) P(Xn≤x)≥P(X≤x−ϵ)−P(∣Xn−X∣≥ϵ)
综上，我们有：
P ( X ≤ x − ϵ ) − P ( ∣ X n − X ∣ ≥ ϵ ) ≤ P ( X n ≤ x ) ≤ P ( X ≤ x + ϵ ) + P ( ∣ X n − X ∣ ≥ ϵ ) P(X \leq x - \epsilon) - P(|X_n - X| \geq \epsilon) \leq P(X_n \leq x) \leq P(X \leq x + \epsilon) + P(|X_n - X| \geq \epsilon) P(X≤x−ϵ)−P(∣Xn−X∣≥ϵ)≤P(Xn≤x)≤P(X≤x+ϵ)+P(∣Xn−X∣≥ϵ)
令 n → ∞ n \to \infty n→∞，由于 X n → P X X_n \xrightarrow{P} X XnP X，有 P ( ∣ X n − X ∣ ≥ ϵ ) → 0 P(|X_n - X| \geq \epsilon) \to 0 P(∣Xn−X∣≥ϵ)→0，因此：
P ( X ≤ x − ϵ ) ≤ lim inf n → ∞ P ( X n ≤ x ) ≤ lim sup n → ∞ P ( X n ≤ x ) ≤ P ( X ≤ x + ϵ ) P(X \leq x - \epsilon) \leq \liminf_{n \to \infty} P(X_n \leq x) \leq \limsup_{n \to \infty} P(X_n \leq x) \leq P(X \leq x + \epsilon) P(X≤x−ϵ)≤n→∞liminfP(Xn≤x)≤n→∞limsupP(Xn≤x)≤P(X≤x+ϵ)
现在，令 ϵ → 0 \epsilon \to 0 ϵ→0。因为 x x x 是 F X F_X FX 的连续点，所以：
lim ϵ → 0 P ( X ≤ x − ϵ ) = F X ( x − ) = F X ( x ) \lim_{\epsilon \to 0} P(X \leq x - \epsilon) = F_X(x^-) = F_X(x) ϵ→0limP(X≤x−ϵ)=FX(x−)=FX(x)
lim ϵ → 0 P ( X ≤ x + ϵ ) = F X ( x + ) = F X ( x ) \lim_{\epsilon \to 0} P(X \leq x + \epsilon) = F_X(x^+) = F_X(x) ϵ→0limP(X≤x+ϵ)=FX(x+)=FX(x)
因此，夹逼定理告诉我们：
lim n → ∞ P ( X n ≤ x ) = F X ( x ) \lim_{n \to \infty} P(X_n \leq x) = F_X(x) n→∞limP(Xn≤x)=FX(x)
即：
lim n → ∞ F X n ( x ) = F X ( x ) \lim_{n \to \infty} F_{X_n}(x) = F_X(x) n→∞limFXn(x)=FX(x)