定义
链式法则（Chain Rule）是概率论和统计学中的一个基本原理，用于计算联合概率分布或条件概率分布的乘积。它可以用于分解一个复杂的概率分布为多个较简单的条件概率分布的乘积，从而简化概率分析问题。
链式法则有两种常见的形式：离散型和连续型。
-
离散型链式法则：假设有一系列随机变量 X 1 ， X 2 ， X 3 ， . . . ， X n X_1，X_2，X_3，...，X_n X1，X2，X3，...，Xn，链式法则可以表示为：
P ( X 1 , X 2 , X 3 , . . . , X n ) = P ( X 1 ) ∗ P ( X 2 ∣ X 1 ) ∗ P ( X 3 ∣ X 1 , X 2 ) ∗ . . . ∗ P ( X n ∣ X 1 , X 2 , X 3 , . . . , X n − 1 ) P(X_1, X_2, X_3, ..., X_n) = P(X_1) * P(X_2|X_1) * P(X_3|X_1, X_2) * ... * P(X_n|X_1, X_2, X_3, ..., X_{n-1}) P(X1,X2,X3,...,Xn)=P(X1)∗P(X2∣X1)∗P(X3∣X1,X2)∗...∗P(Xn∣X1,X2,X3,...,Xn−1)
这个公式说明了联合概率分布可以分解为一系列条件概率的乘积。从 X 1 X_1 X1到 X n X_n Xn，每个随机变量的条件概率都是在给定前面所有随机变量的条件下计算的。
-
连续型链式法则：对于连续型随机变量，链式法则可以表示为：
f ( x 1 , x 2 , x 3 , . . . , x n ) = f ( x 1 ) ∗ f ( x 2 ∣ x 1 ) ∗ f ( x 3 ∣ x 1 , x 2 ) ∗ . . . ∗ f ( x n ∣ x 1 , x 2 , x 3 , . . . , x n − 1 ) f(x_1, x_2, x_3, ..., x_n) = f(x_1) * f(x_2|x_1) * f(x_3|x_1, x_2) * ... * f(x_n|x_1, x_2, x_3, ..., x_{n-1}) f(x1,x2,x3,...,xn)=f(x1)∗f(x2∣x1)∗f(x3∣x1,x2)∗...∗f(xn∣x1,x2,x3,...,xn−1)
这个公式与离散型链式法则类似，但涉及到概率密度函数而不是概率质量函数。同样，每个随机变量的条件密度函数都是在给定前面所有随机变量的条件下计算的。
链式法则在概率推断、贝叶斯统计、机器学习和信息论等领域都有广泛的应用，它可以帮助分解复杂的联合分布，使问题变得更容易处理。
举例说明
让我们通过一个简单的例子来说明链式法则的应用。
假设有三个随机变量：A、B 和 C，它们表示以下事件：
- A 表示一个人是否患有心脏病（1表示患病，0表示不患病）。
- B 表示一个人是否吸烟（1表示吸烟，0表示不吸烟）。
- C 表示一个人是否有高胆固醇水平（1表示高胆固醇，0表示正常胆固醇水平）。
我们想计算患有心脏病的人中吸烟和高胆固醇的联合概率。根据链式法则，我们可以表示为：
P ( A = 1 , B = 1 , C = 1 ) = P ( A = 1 ) ∗ P ( B = 1 ∣ A = 1 ) ∗ P ( C = 1 ∣ A = 1 , B = 1 ) P(A=1, B=1, C=1) = P(A=1) * P(B=1|A=1) * P(C=1|A=1, B=1) P(A=1,B=1,C=1)=P(A=1)∗P(B=1∣A=1)∗P(C=1∣A=1,B=1)
这里的各个概率表示如下：
- P(A=1)：心脏病的先验概率。
- P(B=1|A=1)：在患有心脏病的条件下吸烟的条件概率。
- P(C=1|A=1, B=1)：在患有心脏病且吸烟的条件下高胆固醇的条件概率。
如果我们已经有了这些概率的估计值，就可以使用链式法则来计算患有心脏病、吸烟和高胆固醇的人的联合概率。这个联合概率可以用于做出关于患病风险和健康行为的决策。
链式法则可以在更复杂的概率模型中应用，例如贝叶斯网络，以分解联合概率分布并进行推断和决策分析。这个例子只是一个简单的示例，用来说明链式法则的基本概念。
熵的链式法则
熵的链式法则用于计算多个随机变量的联合熵。如果有随机变量X1, X2, ..., Xn，则它可以表示为：
H ( X 1 , X 2 , . . . , X n ) = H ( X 1 ) + H ( X 2 ∣ X 1 ) + H ( X 3 ∣ X 1 , X 2 ) + . . . + H ( X n ∣ X 1 , X 2 , . . . , X n − 1 ) H(X_1, X_2, ..., X_n) = H(X_1) + H(X_2|X_1) + H(X_3|X_1, X_2) + ... + H(X_n|X_1, X_2, ..., X_{n-1}) H(X1,X2,...,Xn)=H(X1)+H(X2∣X1)+H(X3∣X1,X2)+...+H(Xn∣X1,X2,...,Xn−1)
其中，H表示熵， H ( X 1 ) H(X_1) H(X1)是第一个随机变量X_1的熵， H ( X i ∣ X 1 , X 2 , . . . , X i − 1 ) H(X_i|X_1, X_2, ..., X_{i-1}) H(Xi∣X1,X2,...,Xi−1)是在给定前面的随机变量的条件下，随机变量X_i的条件熵。