1.1 熵
一种混乱程度。
具有较高的熵，认为具有较高的信息含量。
1.2 离散变量
1.2.1 离散变量的熵
K K K 个状态上分布为 p p p 的离散随机变量 X X X 的熵被定义为
H ( x ) ≜ − ∑ k = 1 K p ( X = k ) log 2 p ( X = k ) = − E X log p ( X ) \mathbb{H}(x)\triangleq-\sum_{k=1}^{K}p(X=k)\log_2p(X=k)=-\mathbb{E}_X\left\\log p(X)\\right H(x)≜−k=1∑Kp(X=k)log2p(X=k)=−EXlogp(X)
1.2.2 重要的性质
- 具有最大熵的离散分布是均匀分布
- 具有最小熵的分布是任何将其所有概率质量放在一个状态上的 δ \delta δ 函数
证明在介绍完 KL 散度后给出。
1.3 交叉熵
分布 p p p 和 q q q 的交叉熵被定义为
H ( p , q ) ≜ − ∑ k = 1 K p k log q k \mathbb{H}(p,q)\triangleq-\sum_{k=1}^{K}p_k\log q_k H(p,q)≜−k=1∑Kpklogqk
特别的令 p = q p=q p=q，可以最小化交叉熵
1.4 联合熵
两个随机变量 X X X 和 Y Y Y 的联合熵可以被定义为：
H ( X , Y ) = − ∑ x , y p ( x , y ) log 2 p ( x , y ) \mathbb{H}(X,Y)=-\sum_{x,y}p(x,y)\log_2p(x,y) H(X,Y)=−x,y∑p(x,y)log2p(x,y)
1.5 条件熵
当给定 X X X 时， Y Y Y 的条件熵是在观察到 X X X 后，对 Y Y Y 的不确定性在 X X X 的所有可能值上取平均值
H ( Y ∣ X ) ≜ E p ( x ) H ( p ( Y ∣ X ) ) = ∑ x p ( x ) H ( p ( Y ∣ X = x ) ) = − ∑ x p ( x ) ∑ y p ( y ∣ x ) log p ( y ∣ x ) = − ∑ x , y p ( x , y ) log p ( y ∣ x ) = − ∑ x , y p ( x , y ) log p ( x , y ) p ( x ) = − ∑ x , y p ( x , y ) log p ( x , y ) − ∑ x p ( x ) log 1 p ( x ) = H ( X , Y ) − H ( X ) \begin{align*} \mathbb{H}(Y|X)&\triangleq\mathbb{E}{p(x)}\left\\mathbb{H}(p(Y\|X))\\right\\ &=\sum{x}p(x)\mathbb{H}(p(Y|X=x))=-\sum_{x}p(x)\sum_{y}p(y|x)\log p(y|x)\\ &=-\sum_{x,y}p(x,y)\log p(y|x)=-\sum_{x,y}p(x,y)\log \frac{p(x,y)}{p(x)}\\ &=-\sum_{x,y}p(x,y)\log p(x,y)-\sum_{x}p(x)\log \frac{1}{p(x)}\\ &=\mathbb{H}(X,Y)-\mathbb{H}(X) \end{align*} H(Y∣X)≜Ep(x)H(p(Y∣X))=x∑p(x)H(p(Y∣X=x))=−x∑p(x)y∑p(y∣x)logp(y∣x)=−x,y∑p(x,y)logp(y∣x)=−x,y∑p(x,y)logp(x)p(x,y)=−x,y∑p(x,y)logp(x,y)−x∑p(x)logp(x)1=H(X,Y)−H(X)
我们可以令 X = X 1 X=X_1 X=X1、 Y = X 2 Y=X_2 Y=X2，则有 H ( X 1 , X 2 ) = H ( X 1 ) + H ( X 2 ∣ X 1 ) \mathbb{H}(X_1,X_2)=\mathbb{H}(X_1)+\mathbb{H}(X_2|X_1) H(X1,X2)=H(X1)+H(X2∣X1)，进而有熵的链式法则
H ( X 1 , X 2 , ... , X n ) = ∑ i = 1 n H ( X i ∣ X 1 , ... , X n ) \mathbb{H}(X_1,X_2,\dots,X_n)=\sum_{i=1}^{n}\mathbb{H}(X_i|X_1,\dots,X_n) H(X1,X2,...,Xn)=i=1∑nH(Xi∣X1,...,Xn)
1.6 困惑度
离散概率分布 p p p 的困惑度定义为
perplexity ≜ 2 H ( p ) \text{perplexity} \triangleq 2^{\mathbb{H}(p)} perplexity≜2H(p)
1.7 连续变量的微分熵
若 X X X 是一个具有概率密度函数 p ( X ) p(X) p(X) 的连续随机变量，我们将微分熵定义为
h ( X ) ≜ − ∫ X p ( x ) log p ( x ) d x h(X) \triangleq -\int_X p(x) \log p(x) \, dx h(X)≜−∫Xp(x)logp(x)dx
1.8 相对熵
对于离散分布，我们使用 K L \mathbb{KL} KL 散度进行定义：
K L ( p ∥ q ) ≜ ∑ k = 1 K p k log p k q k \mathbb{KL}(p\|q)\triangleq\sum_{k=1}^{K}p_k \log \frac{p_k}{q_k} KL(p∥q)≜k=1∑Kpklogqkpk
对于连续分布：
K L ( p ∥ q ) ≜ ∫ p ( x ) log p ( x ) q ( x ) d x \mathbb{KL}(p\|q)\triangleq\int p(x) \log \frac{p(x)}{q(x)}dx KL(p∥q)≜∫p(x)logq(x)p(x)dx
进一步可以解释为：
K L ( p ∥ q ) = ∑ k = 1 K p k log p k ⏟ − H ( p ) − ∑ k = 1 K p k log q k ⏟ − H ( p , q ) \mathbb{KL}(p\|q)=\underbrace{\sum_{k=1}^{K}p_k \log p_k}{-\mathbb{H}(p)}-\underbrace{\sum{k=1}^{K}p_k \log q_k}_{-\mathbb{H}(p,q)} KL(p∥q)=−H(p) k=1∑Kpklogpk−−H(p,q) k=1∑Kpklogqk
K L ( p ∥ q ) = − H ( p ) + H ( p , q ) \mathbb{KL}(p\|q)=-\mathbb{H}(p)+\mathbb{H}(p,q) KL(p∥q)=−H(p)+H(p,q)
K L \mathbb{KL} KL 散度用于测量两个分布相似程度的方法。
1.8.1 重要证明
-
证明1： K L \mathbb{KL} KL 散度非负
K L ( p ∥ q ) = ∑ i p i log p i q i = − ∑ i p i log q i p i \begin{align*} \mathbb{KL}(p\|q)&=\sum_{i}p_i \log \frac{p_i}{q_i}\\ &=-\sum_{i}p_i \log \frac{q_i}{p_i} \end{align*} KL(p∥q)=i∑pilogqipi=−i∑pilogpiqi
由于 log x ≤ x − 1 \log x\le x-1 logx≤x−1，我们可以得到 log q i p i ≤ q i p i − 1 \log\frac{q_i}{p_i}\le \frac{q_i}{p_i}-1 logpiqi≤piqi−1，然后化简有 p i log q i p i ≤ q i − p i p_i\log\frac{q_i}{p_i}\le q_i-p_i pilogpiqi≤qi−pi
− K L ( p ∥ q ) ≤ ∑ i ( p i − q i ) ≤ 0 \begin{align*} -\mathbb{KL}(p\|q)&\le \sum_{i}(p_i-q_i)\\ &\le 0 \end{align*} −KL(p∥q)≤i∑(pi−qi)≤0
由于概率和为1，则有 − K L ( p ∥ q ) ≤ 0 -\mathbb{KL}(p\|q) \le 0 −KL(p∥q)≤0，所以 K L ( p ∥ q ) ≥ 0 \mathbb{KL}(p\|q) \ge 0 KL(p∥q)≥0。
-
证明2：具有最大熵的离散分布是均匀分布
首先，令 u i = 1 K u_i=\frac{1}{K} ui=K1，于是均匀分布为 u = ( 1 K , . . . , 1 K ) u=\big(\frac{1}{K},...,\frac{1}{K}\big) u=(K1,...,K1)。
考虑概率分布 p p p 与均匀分布 u u u 之间的 KL 散度：
K L ( p ∥ u ) = ∑ i = 1 K p i log p i u i = ∑ i = 1 K p i log p i 1 / K = ∑ i = 1 K p i ( log p i + log K ) = ∑ i = 1 K p i log p i + log K ∑ i = 1 K p i \begin{align*} \mathbb{KL}(p\|u)&=\sum_{i=1}^{K}p_i\log\frac{p_i}{u_i}\\ &=\sum_{i=1}^{K}p_i\log\frac{p_i}{1/K}\\ &=\sum_{i=1}^{K}p_i\big(\log p_i+\log K\big)\\ &=\sum_{i=1}^{K}p_i\log p_i+\log K\sum_{i=1}^{K}p_i \end{align*} KL(p∥u)=i=1∑Kpiloguipi=i=1∑Kpilog1/Kpi=i=1∑Kpi(logpi+logK)=i=1∑Kpilogpi+logKi=1∑Kpi
由于 ∑ i = 1 K p i = 1 \sum_{i=1}^{K}p_i=1 ∑i=1Kpi=1,
K L ( p ∥ u ) = ∑ i = 1 K p i log p i + log K = log K − H ( p ) \begin{align*} \mathbb{KL}(p\|u)&=\sum_{i=1}^{K}p_i\log p_i+\log K\\ &=\log K-\mathbb{H}(p) \end{align*} KL(p∥u)=i=1∑Kpilogpi+logK=logK−H(p)
由于 K L \mathbb{KL} KL 散度非负， log K ≥ H ( p ) \log K\ge\mathbb{H}(p) logK≥H(p)，当且仅当两个分布相等时，取等号使得熵最大，所以有限离散状态空间上，均匀分布拥有最大熵。
Q . E . D . Q.E.D. Q.E.D.
-
证明3：具有最小熵的分布是任何将其所有概率质量放在一个状态上的 δ \delta δ 函数
对于离散随机变量， δ \delta δ 分布表示所有概率质量都集中在某一个状态 x 0 x_0 x0 上：
p ( x ) = { 1 , x = x 0 0 , x ≠ x 0 p(x)=\left\{\begin{matrix} 1,&x=x_0 \\ 0,&x\ne x_0 \end{matrix}\right. p(x)={1,0,x=x0x=x0
离散随机变量的熵为
H ( p ) = − ∑ x p ( x ) log p ( x ) H(p)=-\sum_x p(x)\log p(x) H(p)=−x∑p(x)logp(x)
由于对任意概率 0 ≤ p ( x ) ≤ 1 0\le p(x)\le1 0≤p(x)≤1，都有
log p ( x ) ≤ 0 \log p(x)\le0 logp(x)≤0
因此
− p ( x ) log p ( x ) ≥ 0 -p(x)\log p(x)\ge0 −p(x)logp(x)≥0
所以
H ( p ) ≥ 0 H(p)\ge0 H(p)≥0
也就是说，离散熵的最小可能值为 0 0 0。
要使
H ( p ) = 0 H(p)=0 H(p)=0
由于熵中的每一项都非负，因此必须对所有 x x x 都有
− p ( x ) log p ( x ) = 0 -p(x)\log p(x)=0 −p(x)logp(x)=0
而当 0 < p ( x ) < 1 0<p(x)<1 0<p(x)<1 时，
− p ( x ) log p ( x ) > 0 -p(x)\log p(x)>0 −p(x)logp(x)>0
所以只有
p ( x ) = 0 或 p ( x ) = 1 p(x)=0 \quad\text{或}\quad p(x)=1 p(x)=0或p(x)=1
才能使该项为零。
再结合概率归一化条件
∑ x p ( x ) = 1 \sum_x p(x)=1 x∑p(x)=1
只能有一个状态的概率为 1 1 1，其余状态的概率全部为 0 0 0。
因此，
H min = 0 \boxed{H_{\min}=0} Hmin=0
且最小值恰好由任意 δ \delta δ 分布取得。
Q . E . D . Q.E.D. Q.E.D.
然后从韦恩图上我们可以更加明显的理解这几个概念,具体图点我
1.9 互信息
衡量两个随机变量的相关性
随机变量 X X X 和 Y Y Y 之间的互信息定义为：
I ( X ; Y ) ≜ K L ( p ( x , y ) ∥ p ( x ) p ( y ) ) = ∑ y ∈ Y ∑ x ∈ X p ( x , y ) log p ( x , y ) p ( x ) p ( y ) ≥ 0 \mathbb{I}(X;Y)\triangleq\mathbb{KL}(p(x,y)\|p(x)p(y))=\sum_{y\in Y}\sum_{x\in X}p(x,y)\log \frac{p(x,y)}{p(x)p(y)} \ge 0 I(X;Y)≜KL(p(x,y)∥p(x)p(y))=y∈Y∑x∈X∑p(x,y)logp(x)p(y)p(x,y)≥0
当且仅当 p ( x , y ) = p ( x ) p ( y ) p(x,y)=p(x)p(y) p(x,y)=p(x)p(y) 时，达到边界 0。
进一步可以使用联合熵和条件熵来表示：
I ( X ; Y ) = H ( X ) − H ( X ∣ Y ) = H ( Y ) − H ( Y ∣ X ) \mathbb{I}(X;Y)=\mathbb{H}(X)-\mathbb{H}(X|Y)=\mathbb{H}(Y)-\mathbb{H}(Y|X) I(X;Y)=H(X)−H(X∣Y)=H(Y)−H(Y∣X)
进一步化简合并可以得到：
I ( X ; Y ) = H ( X ) + H ( Y ) − H ( X , Y ) \mathbb{I}(X;Y)=\mathbb{H}(X) + \mathbb{H}(Y)-\mathbb{H}(X,Y) I(X;Y)=H(X)+H(Y)−H(X,Y)
然后从韦恩图上我们可以更加明显地理解这几个概念。
1.9.1 条件互信息
当然我们还可以定义条件互信息
I ( X ; Y ∣ Z ) ≜ E p ( z ) I ( X ; Y ) ∣ Z = E p ( x , y , z ) log p ( x , y ∣ z ) p ( x ∣ z ) p ( y ∣ z ) = H ( X ∣ Z ) + H ( Y ∣ Z ) − H ( X , Y ∣ Z ) = H ( X ∣ Z ) − H ( X ∣ Y , Z ) = H ( Y ∣ Z ) − H ( Y ∣ X , Z ) = H ( X , Z ) + H ( Y , Z ) − H ( Z ) − H ( X , Y , Z ) = I ( Y ; X , Z ) − I ( Y ; Z ) \begin{align*} \mathbb{I}(X; Y|Z) &\triangleq \mathbb{E}{p(z)}\left\\mathbb{I}(X; Y)\|Z\\right\\ &= \mathbb{E}{p(x, y, z)} \left \\log \\frac{p(x, y\|z)}{p(x\|z)p(y\|z)} \\right\\ &= \mathbb{H}(X|Z) + \mathbb{H}(Y|Z) - \mathbb{H}(X, Y|Z)\\ &= \mathbb{H}(X|Z) - \mathbb{H}(X|Y, Z) = \mathbb{H}(Y|Z) - \mathbb{H}(Y|X, Z)\\ &= \mathbb{H}(X, Z) + \mathbb{H}(Y, Z) - \mathbb{H}(Z) - \mathbb{H}(X, Y, Z)\\ &= \mathbb{I}(Y; X, Z) - \mathbb{I}(Y; Z) \end{align*} I(X;Y∣Z)≜Ep(z)I(X;Y)∣Z=Ep(x,y,z)logp(x∣z)p(y∣z)p(x,y∣z)=H(X∣Z)+H(Y∣Z)−H(X,Y∣Z)=H(X∣Z)−H(X∣Y,Z)=H(Y∣Z)−H(Y∣X,Z)=H(X,Z)+H(Y,Z)−H(Z)−H(X,Y,Z)=I(Y;X,Z)−I(Y;Z)
上式也可以写为 I ( Z , Y ; X ) = I ( Z ; X ) + I ( Y ; X ∣ Z ) \mathbb{I}(Z, Y; X) = \mathbb{I}(Z; X) + \mathbb{I}(Y; X|Z) I(Z,Y;X)=I(Z;X)+I(Y;X∣Z)，进而有互信息的链式法则
I ( Z 1 , ⋯ , Z N ; X ) = ∑ n = 1 N I ( Z n ; X ∣ Z 1 , ⋯ , Z n − 1 ) \mathbb{I}(Z_1, \cdots, Z_N; X) = \sum_{n=1}^N \mathbb{I}(Z_n; X | Z_1, \cdots, Z_{n-1}) I(Z1,⋯,ZN;X)=n=1∑NI(Zn;X∣Z1,⋯,Zn−1)
1.9.2 归一化互信息
我们可以定义一个介于 0 0 0 和 1 1 1 之间的归一化相关性度量：
NMI ( X , Y ) = I ( X ; Y ) min ( H ( X ) , H ( Y ) ) \text{NMI}(X,Y)=\frac{\mathbb{I}(X;Y)}{\text{min}(\mathbb{H}(X),\mathbb{H}(Y))} NMI(X,Y)=min(H(X),H(Y))I(X;Y)
1.9.3 最大信息系数
是一种用于衡量两个变量之间相关性的统计量，可以用于发现线性关系以及多种非线性关系。
MIC 的基本思想是：将二维样本空间划分成不同大小的网格，在各种网格划分中寻找能够产生最大互信息的划分，并对互信息进行归一化。
对于数据集 D D D，给定一个 x × y x \times y x×y 的网格，定义
M ( D ) x , y = max G ∈ G x , y I ( D ∣ G ) log min { x , y } M(D){x,y}=\frac{\max{G\in\mathcal{G}_{x,y}} I(D|G)}{\log \min{\{x,y\}}} M(D)x,y=logmin{x,y}maxG∈Gx,yI(D∣G)
其中， G x , y \mathcal{G}_{x,y} Gx,y 表示所有可能的 x × y x \times y x×y 网格划分， I ( D ∣ G ) I(D|G) I(D∣G) 表示数据 D D D 在网格 G G G 下离散化后得到的互信息。
分母
log min { x , y } \log \min{\{x,y\}} logmin{x,y}
用于对互信息进行归一化，因为对于一个 x × y x \times y x×y 的网格，
I ( X ; Y ) ≤ min H ( X ) , H ( Y ) ≤ log min { x , y } I(X;Y) \le \min{H(X),H(Y)}\le \log \min\{{x,y\}} I(X;Y)≤minH(X),H(Y)≤logmin{x,y}
因此 M ( D ) x , y M(D)_{x,y} M(D)x,y 可以理解为：当前网格能够捕获的信息量占该网格理论最大信息量的比例。
最后，在所有满足复杂度约束的网格中取最大值：
MIC ( D ) = max x y < B ( n ) M ( D ) x , y . \operatorname{MIC}(D)=\max_{xy<B(n)}M(D)_{x,y}. MIC(D)=xy<B(n)maxM(D)x,y.
其中 n n n 为样本数量， B ( n ) B(n) B(n) 用于限制网格复杂度，防止网格划分过细而产生过拟合。
因此，MIC 可以简单理解为不同网格划分下的最大归一化互信息。
MIC 的取值通常位于 0 0 0 到 1 1 1 之间。MIC 越接近 1 1 1，说明两个变量之间存在越强的依赖关系；越接近 0 0 0，说明能够检测到的依赖关系越弱。
1.9.4 数据处理不等式
假设有一个位置变量 X X X，我们观察到该未知变量的一个噪声函数，称之为 Y Y Y。如果我们以某种方式处理有噪声的观测结果，以创建一个新的变量 Z Z Z，那么显然，我们无法增加关于未知变量 X X X 的信息量，这就被称为数据处理不等式。
形式化表达：
假设 X → Y → Z X\rightarrow Y\rightarrow Z X→Y→Z 形成一个马尔可夫链，那么在给定 Y Y Y 的条件下 X X X、 Z Z Z 相互独立，则 I ( X ; Y ) ≥ I ( X ; Z ) \mathbb{I}(X;Y)\ge\mathbb{I}(X;Z) I(X;Y)≥I(X;Z)。
证明：由于互信息的链式法则，我们可以使用两种不同的方式扩展互信息：
I ( X ; Y , Z ) = I ( X ; Z ) + I ( X ; Y ∣ Z ) = I ( X ; Y ) + I ( X ; Z ∣ Y ) \mathbb{I}(X;Y,Z)=\mathbb{I}(X;Z)+\mathbb{I}(X;Y|Z)=\mathbb{I}(X;Y)+\mathbb{I}(X;Z|Y) I(X;Y,Z)=I(X;Z)+I(X;Y∣Z)=I(X;Y)+I(X;Z∣Y)
由于在给定 Y Y Y 的条件下 X X X、 Z Z Z 相互独立，因此 I ( X ; Z ∣ Y ) = 0 \mathbb{I}(X;Z|Y)=0 I(X;Z∣Y)=0，于是
I ( X ; Z ) + I ( X ; Y ∣ Z ) = I ( X ; Y ) \mathbb{I}(X;Z)+\mathbb{I}(X;Y|Z)=\mathbb{I}(X;Y) I(X;Z)+I(X;Y∣Z)=I(X;Y)
由于 I ( X ; Y ∣ Z ) ≥ 0 \mathbb{I}(X;Y|Z)\ge0 I(X;Y∣Z)≥0，因此 I ( X ; Y ) ≥ I ( X ; Z ) \mathbb{I}(X;Y)\ge\mathbb{I}(X;Z) I(X;Y)≥I(X;Z)，同理可以证明 I ( Y ; Z ) ≥ I ( X ; Z ) \mathbb{I}(Y;Z)\ge\mathbb{I}(X;Z) I(Y;Z)≥I(X;Z)。
1.9.5 充分统计量
从数据处理不等式中我们可以得到重要结论，假设 θ → D → s ( D ) \theta\rightarrow\mathcal{D}\rightarrow s(\mathcal{D}) θ→D→s(D)，于是
I ( θ ; s ( D ) ) ≤ I ( θ ; D ) \mathbb{I}(\theta;s(\mathcal{D}))\le\mathbb{I}(\theta;\mathcal{D}) I(θ;s(D))≤I(θ;D)
若等式成立，那么我们称 s ( D ) s(\mathcal{D}) s(D) 是数据 D \mathcal{D} D 用于推断 θ \theta θ 的充分统计量，一个例子， s ( D ) = D s(\mathcal{D}) = \mathcal{D} s(D)=D，就是数据本身。
进而我们可以定义一个最小充分统计量 ：如果对于所有充分统计量 s ′ ( D ) s'(\mathcal{D}) s′(D)，存在某个函数 f f f，使得 s ( D ) = f ( s ′ ( D ) ) s(\mathcal{D}) = f(s'(\mathcal{D})) s(D)=f(s′(D))，那么我们称 s s s 是 D \mathcal{D} D 的最小充分统计量。