信息论基础第二章部分习题

2.5

证明若H(Y|X)=0，则Y是X的函数

若 H ( Y ∣ X ) = 0 H(Y|X) = 0 H(Y∣X)=0，意味着在已知 X X X 的条件下， Y Y Y 的不确定性为零，即给定 X X X 的值，我们完全确定了 Y Y Y 的值。这表明 Y Y Y 的取值完全由 X X X 决定，因此 Y Y Y 是 X X X 的确定性函数。

证明思路如下：

假设 H ( Y ∣ X ) = 0 H(Y|X) = 0 H(Y∣X)=0，即 Y Y Y 在已知 X X X 的条件下没有不确定性。这意味着对于每个可能的 x x x 值，我们都可以唯一地确定 Y Y Y 的值。我们可以表示这一点如下：

∀ x , ∃ y : P ( Y = y ∣ X = x ) = 1 \forall x, \exists y: P(Y = y|X = x) = 1 ∀x,∃y:P(Y=y∣X=x)=1

这表示对于任何 x x x，都存在一个唯一的 y y y，使得在给定 X = x X = x X=x 的情况下， Y Y Y 必然等于 y y y。

因此，我们可以得出结论， Y Y Y 是 X X X 的确定性函数，因为 X X X 的每个可能取值都能唯一地确定 Y Y Y 的取值，没有不确定性。

2.6

条件互信息与无条件互信息。试给出联合随机变量X,Y和Z的例子，使得

(a)I(X;Y|Z)<I(X;Y)

(b)I(X;Y|Z)>I(X;Y)

(a) 一个例子，满足 I ( X ; Y ∣ Z ) < I ( X ; Y ) I(X;Y|Z) < I(X;Y) I(X;Y∣Z)<I(X;Y)：

考虑三个二进制随机变量 X、Y 和 Z，它们的联合概率分布如下：

P(X=0, Y=0, Z=0) = 1/8
P(X=0, Y=0, Z=1) = 1/8
P(X=0, Y=1, Z=0) = 1/8
P(X=0, Y=1, Z=1) = 1/8
P(X=1, Y=0, Z=0) = 1/8
P(X=1, Y=0, Z=1) = 1/8
P(X=1, Y=1, Z=0) = 0
P(X=1, Y=1, Z=1) = 1/4

现在，我们来计算条件互信息和互信息：

I ( X ; Y ∣ Z ) = H ( X ∣ Z ) − H ( X ∣ Y , Z ) = ( 1 / 2 ) − ( 1 / 2 ) = 0 I(X;Y|Z) = H(X|Z) - H(X|Y, Z) = (1/2) - (1/2) = 0 I(X;Y∣Z)=H(X∣Z)−H(X∣Y,Z)=(1/2)−(1/2)=0
I ( X ; Y ) = H ( X ) − H ( X ∣ Y ) = 1 − ( 1 / 2 ) = 1 / 2 I(X;Y) = H(X) - H(X|Y) = 1 - (1/2) = 1/2 I(X;Y)=H(X)−H(X∣Y)=1−(1/2)=1/2

所以，我们得到 I ( X ; Y ∣ Z ) = 0 < 1 / 2 = I ( X ; Y ) I(X;Y|Z) = 0 < 1/2 = I(X;Y) I(X;Y∣Z)=0<1/2=I(X;Y)。

(b) 一个例子，满足 I ( X ; Y ∣ Z ) > I ( X ; Y ) I(X;Y|Z) > I(X;Y) I(X;Y∣Z)>I(X;Y)：

考虑三个二进制随机变量 X、Y 和 Z，它们的联合概率分布如下：

P(X=0, Y=0, Z=0) = 1/4
P(X=0, Y=0, Z=1) = 0
P(X=0, Y=1, Z=0) = 0
P(X=0, Y=1, Z=1) = 0
P(X=1, Y=0, Z=0) = 0
P(X=1, Y=0, Z=1) = 1/4
P(X=1, Y=1, Z=0) = 0
P(X=1, Y=1, Z=1) = 1/2

现在，我们来计算条件互信息和互信息：

I ( X ; Y ∣ Z ) = H ( X ∣ Z ) − H ( X ∣ Y , Z ) = ( 1 / 2 ) − ( 1 / 2 ) = 0 I(X;Y|Z) = H(X|Z) - H(X|Y, Z) = (1/2) - (1/2) = 0 I(X;Y∣Z)=H(X∣Z)−H(X∣Y,Z)=(1/2)−(1/2)=0
I ( X ; Y ) = H ( X ) − H ( X ∣ Y ) = 1 − ( 1 / 2 ) = 1 / 2 I(X;Y) = H(X) - H(X|Y) = 1 - (1/2) = 1/2 I(X;Y)=H(X)−H(X∣Y)=1−(1/2)=1/2

所以，我们得到 I ( X ; Y ∣ Z ) = 0 < 1 / 2 = I ( X ; Y ) I(X;Y|Z) = 0 < 1/2 = I(X;Y) I(X;Y∣Z)=0<1/2=I(X;Y)。

在这两个例子中，我们找到了满足条件 I ( X ; Y ∣ Z ) < I ( X ; Y ) I(X;Y|Z) < I(X;Y) I(X;Y∣Z)<I(X;Y) 和 I ( X ; Y ∣ Z ) > I ( X ; Y ) I(X;Y|Z) > I(X;Y) I(X;Y∣Z)>I(X;Y) 的概率分布。这突显了信息论中条件互信息和互信息的性质，它们可以根据概率分布的不同而变化。

2.12

联合熵的例子。设p(x,y)由2右表给出，试计算

X\Y	0	1
0	1/3	1/3
1	0	1/3

(a)H(X)，H(Y)

(b)H(X|Y)，H(Y|X)

(c )H(X,Y)

(d)H(Y)-H(Y|X)

(e)I(X;Y)

(f)画出(a)~(e)中所有量的文氏图

( a ) H ( X ) = 2 3 l o g 3 2 + 1 3 l o g 3 = 0.918 b i t s = H ( Y ) H(X)=\frac{2}{3}log\frac{3}{2}+\frac{1}{3}log3=0.918bits=H(Y) H(X)=32log23+31log3=0.918bits=H(Y)

( b ) H ( X ∣ Y ) = 1 3 H ( X ∣ Y = 0 ) + 2 3 H ( X ∣ Y = 1 ) = 0.667 b i t s = H ( Y ∣ X ) H(X|Y)=\frac{1}{3}H(X|Y=0)+\frac{2}{3}H(X|Y=1)=0.667bits=H(Y|X) H(X∣Y)=31H(X∣Y=0)+32H(X∣Y=1)=0.667bits=H(Y∣X)

( c ) H ( X , Y ) = 3 × 1 3 l o g 3 = 1.585 b i t s H(X,Y)=3×\frac{1}{3}log3=1.585bits H(X,Y)=3×31log3=1.585bits

( d ) H ( Y ) − H ( Y ∣ X ) = 0.251 b i t s H(Y)-H(Y|X)=0.251bits H(Y)−H(Y∣X)=0.251bits

( e ) I ( X ; Y ) = H ( Y ) − H ( Y ∣ X ) = 0.251 b i t s I(X;Y)=H(Y)-H(Y|X)=0.251bits I(X;Y)=H(Y)−H(Y∣X)=0.251bits

2.14

设随机变量X，Y的取值分别为 x 1 , x 2 , . . . , x r x_1,x_2,...,x_r x1,x2,...,xr和 y 1 , y 2 , . . . , y s y_1,y_2,...,y_s y1,y2,...,ys，设Z=X+Y。

(a)证明 H ( Z ∣ X ) = H ( Y ∣ X ) H(Z|X)=H(Y|X) H(Z∣X)=H(Y∣X)，并讨论如果 X , Y X,Y X,Y独立，则 H ( Y ) ≤ H ( Z ) H(Y)≤H(Z) H(Y)≤H(Z)及 H ( X ) ≤ H ( Z ) H(X)≤H(Z) H(X)≤H(Z)。由此说明独立随机变量的和增加不确定度。

(b)给出一个（必须是相关）随机变量例子，使得 H ( X ) ＞ H ( Z ) H(X)＞H(Z) H(X)＞H(Z)且 H ( Y ) ＞ H ( Z ) H(Y)＞H(Z) H(Y)＞H(Z)。

(c )在什么条件下， H ( Z ) = H ( X ) + H ( Y ) H(Z)=H(X)+H(Y) H(Z)=H(X)+H(Y)?

(a) Z = X + Y Z=X+Y Z=X+Y。因此 p ( Z = z ∣ X = x ) = p ( Y = z − x ∣ X = x ) p(Z=z|X=x)=p(Y=z-x|X=x) p(Z=z∣X=x)=p(Y=z−x∣X=x)

这是因为在给定 X X X 的条件下， Z Z Z 的取值取决于 Y Y Y 的取值和 X X X 的取值，而 Z Z Z 等于 X + Y X+Y X+Y。所以，我们可以使用条件概率来表示 Z Z Z 在给定 X X X 的条件下的分布。

具体来说，对于任意给定的 x x x 和 z z z，我们有：
p ( Z = z ∣ X = x ) = p ( X + Y = z ∣ X = x ) p(Z=z|X=x) = p(X+Y=z|X=x) p(Z=z∣X=x)=p(X+Y=z∣X=x)

由于 X X X 是已知的，我们可以将 X = x X=x X=x 代入等式中：
p ( Z = z ∣ X = x ) = p ( Y = z − x ∣ X = x ) p(Z=z|X=x) = p(Y=z-x|X=x) p(Z=z∣X=x)=p(Y=z−x∣X=x)

这表示在已知 X = x X=x X=x 的情况下， Z Z Z 的取值 z z z 与 Y Y Y 的取值 z − x z-x z−x 有关。这是因为 Z = X + Y Z=X+Y Z=X+Y 的定义决定了这种关系。因此，我们可以使用条件概率 p ( Y = z − x ∣ X = x ) p(Y=z-x|X=x) p(Y=z−x∣X=x) 来表示 Z Z Z 在给定 X = x X=x X=x 的条件下的分布。

H ( Z ∣ X ) = ∑ p ( x ) H ( Z ∣ X = x ) = − ∑ x p ( x ) ∑ z p ( Z = z ∣ X = x ) l o g p ( Z = z ∣ X = x ) = ∑ x p ( x ) ∑ y p ( Y = z − x ∣ X = x ) l o g p ( Y = z − x ∣ X = x ) = ∑ p ( x ) H ( Y ∣ X = x ) = H ( Y ∣ X ) H(Z|X)=\sum p(x)H(Z|X=x)=-\sum\limits_xp(x)\sum\limits_zp(Z=z|X=x)logp(Z=z|X=x)\\ =\sum\limits_xp(x)\sum\limits_yp(Y=z-x|X=x)logp(Y=z-x|X=x)=\sum p(x)H(Y|X=x)=H(Y|X) H(Z∣X)=∑p(x)H(Z∣X=x)=−x∑p(x)z∑p(Z=z∣X=x)logp(Z=z∣X=x)=x∑p(x)y∑p(Y=z−x∣X=x)logp(Y=z−x∣X=x)=∑p(x)H(Y∣X=x)=H(Y∣X)

让我解释一下你提到的这一步：
H ( Z ∣ X ) = ∑ x p ( x ) H ( Z ∣ X = x ) = − ∑ x p ( x ) ∑ z p ( Z = z ∣ X = x ) log ⁡ p ( Z = z ∣ X = x ) H(Z|X) = \sum_x p(x) H(Z|X=x) = -\sum_x p(x) \sum_z p(Z=z|X=x) \log p(Z=z|X=x) H(Z∣X)=x∑p(x)H(Z∣X=x)=−x∑p(x)z∑p(Z=z∣X=x)logp(Z=z∣X=x)

这一步是使用了条件熵的定义，首先将 H ( Z ∣ X ) H(Z|X) H(Z∣X) 表示为关于 X X X 的边缘分布的条件熵，然后展开了条件熵的定义，将其写成了一个求和的形式。
= ∑ x p ( x ) ∑ y p ( Y = z − x ∣ X = x ) log ⁡ p ( Y = z − x ∣ X = x ) = \sum_x p(x) \sum_y p(Y=z-x|X=x) \log p(Y=z-x|X=x) =x∑p(x)y∑p(Y=z−x∣X=x)logp(Y=z−x∣X=x)

接下来，你将 p ( Z = z ∣ X = x ) p(Z=z|X=x) p(Z=z∣X=x) 表示为 p ( Y = z − x ∣ X = x ) p(Y=z-x|X=x) p(Y=z−x∣X=x)，这是因为在给定 X = x X=x X=x 的条件下， Z Z Z 的取值是由 Y Y Y 的取值和 X X X 的取值共同决定的，所以你可以用 p ( Y = z − x ∣ X = x ) p(Y=z-x|X=x) p(Y=z−x∣X=x) 来表示它。
= ∑ x p ( x ) H ( Y ∣ X = x ) = \sum_x p(x) H(Y|X=x) =x∑p(x)H(Y∣X=x)

然后，你计算了在给定 X = x X=x X=x 的条件下 Y Y Y 的条件熵 H ( Y ∣ X = x ) H(Y|X=x) H(Y∣X=x)。

最后，你对所有可能的 X X X 的取值求和，得到了 H ( Y ∣ X ) H(Y|X) H(Y∣X)，这表示在给定 X X X 的条件下 Y Y Y 的条件熵。

这一步的推导是正确的，它从条件熵的定义出发，逐步展开和简化，最终得到了 H ( Z ∣ X ) H(Z|X) H(Z∣X) 与 H ( Y ∣ X ) H(Y|X) H(Y∣X) 相等的结果。这表明在给定 X X X 的条件下， Z Z Z 和 Y Y Y 的条件不确定性相同。

如果X和Y是独立的，那么 H ( Y ∣ X ) = H ( Y ) H(Y|X)=H(Y) H(Y∣X)=H(Y)。因为 I ( X ; Z ) ≥ 0 I(X;Z)≥0 I(X;Z)≥0，我们可以得到 H ( Z ) ≥ H ( Z ∣ X ) = H ( Y ∣ X ) = H ( Y ) H(Z)≥H(Z|X)=H(Y|X)=H(Y) H(Z)≥H(Z∣X)=H(Y∣X)=H(Y)，相似的我们可以证明 H ( Z ) ≥ H ( X ) H(Z)≥H(X) H(Z)≥H(X)

首先，如果 X X X 和 Y Y Y 是独立的，那么 H ( Y ∣ X ) = H ( Y ) H(Y|X) = H(Y) H(Y∣X)=H(Y) 是成立的，这是因为在独立的情况下， Y Y Y 的条件不确定性与 X X X 无关，即在知道 X X X 的情况下，对 Y Y Y 的不确定性没有影响，因此 H ( Y ∣ X ) = H ( Y ) H(Y|X) = H(Y) H(Y∣X)=H(Y)。

现在，让我们讨论 H ( Z ) H(Z) H(Z)、 H ( Z ∣ X ) H(Z|X) H(Z∣X)、 H ( Y ) H(Y) H(Y) 和 H ( X ) H(X) H(X) 之间的关系。由于互信息的非负性质， I ( X ; Z ) ≥ 0 I(X;Z) \geq 0 I(X;Z)≥0，我们可以得到：
H ( Z ) ≥ H ( Z ∣ X ) H(Z) \geq H(Z|X) H(Z)≥H(Z∣X)

这是因为 H ( Z ∣ X ) H(Z|X) H(Z∣X) 是在给定 X X X 的情况下 Z Z Z 的条件熵，而 H ( Z ) H(Z) H(Z) 是 Z Z Z 的边缘熵，根据条件熵的性质，条件熵不会超过边缘熵。

另一方面，由于 X X X 和 Y Y Y 是独立的，我们知道 H ( Y ∣ X ) = H ( Y ) H(Y|X) = H(Y) H(Y∣X)=H(Y)。因此，我们可以将不等式 H ( Z ) ≥ H ( Z ∣ X ) H(Z) \geq H(Z|X) H(Z)≥H(Z∣X) 改写为：
H ( Z ) ≥ H ( Y ) H(Z) \geq H(Y) H(Z)≥H(Y)

这意味着 Z Z Z 的边缘熵不小于 Y Y Y 的熵。

类似地，根据独立性，我们可以得到 H ( Z ) ≥ H ( X ) H(Z) \geq H(X) H(Z)≥H(X)，即 Z Z Z 的边缘熵不小于 X X X 的熵。

综上所述，如果 X X X 和 Y Y Y 是独立的，那么可以得出结论： H ( Z ) ≥ H ( Z ∣ X ) = H ( Y ∣ X ) = H ( Y ) H(Z) \geq H(Z|X) = H(Y|X) = H(Y) H(Z)≥H(Z∣X)=H(Y∣X)=H(Y) 和 H ( Z ) ≥ H ( X ) H(Z) \geq H(X) H(Z)≥H(X)。这表示在独立的情况下， Z Z Z 的边缘熵不小于 Y Y Y 和 X X X 的熵。

（b）考虑X和Y的联合概率密度使得
X = − Y = { 1 可能性 1 / 2 0 可能性 1 / 2 X=-Y=\begin{cases} 1 & 可能性1/2 \\ 0 & 可能性1/2 \end{cases} X=−Y={10可能性1/2可能性1/2

那么H(X)=H(Y)=1，而Z=0的概率是1，因此H(Z)=0

（c）我们已知
H ( Z ) ≤ H ( X , Y ) ≤ H ( X ) + H ( Y ) H(Z)≤H(X,Y)≤H(X)+H(Y) H(Z)≤H(X,Y)≤H(X)+H(Y)

因为Z是(X,Y)的函数，H(X,Y)=H(X)+H(Y|X)≤H(X)+H(Y)。

上述不等式反映了信息熵的基本性质，其中 H ( Z ) H(Z) H(Z) 表示随机变量 Z Z Z 的熵， H ( X , Y ) H(X, Y) H(X,Y) 表示随机变量 X X X 和 Y Y Y 的联合熵， H ( X ) H(X) H(X) 和 H ( Y ) H(Y) H(Y) 分别表示随机变量 X X X 和 Y Y Y 的独立熵。

H ( Z ) ≤ H ( X , Y ) H(Z) \leq H(X, Y) H(Z)≤H(X,Y):
这是由信息熵的定义以及联合熵的性质决定的。信息熵是用来度量随机变量的不确定性的，而联合熵是用来度量多个随机变量一起的不确定性。 H ( Z ) H(Z) H(Z) 表示随机变量 Z Z Z 的不确定性，它是在给定 X X X 和 Y Y Y 的条件下 X + Y X+Y X+Y 的不确定性。因此，根据信息熵的定义， H ( Z ) H(Z) H(Z) 不会大于同时考虑 X X X 和 Y Y Y 的联合不确定性，即 H ( Z ) ≤ H ( X , Y ) H(Z) \leq H(X, Y) H(Z)≤H(X,Y)。
信息熵的定义是用来度量一个随机变量的不确定性的度量。对于一个随机变量 Z Z Z， H ( Z ) H(Z) H(Z) 表示了它的不确定性的度量。现在，假设我们有两个随机变量 X X X 和 Y Y Y，它们可以合并成一个新的随机变量 X + Y X+Y X+Y（这是因为它们的和仍然是一个随机变量）。

考虑情况一：我们首先计算随机变量 X + Y X+Y X+Y 的不确定性 H ( Z ) H(Z) H(Z)，这表示在不知道 X X X 和 Y Y Y 之间的关系的情况下，我们对 X + Y X+Y X+Y 的不确定性的度量。

情况二：现在，我们考虑联合不确定性，即同时考虑 X X X 和 Y Y Y 的联合不确定性 H ( X , Y ) H(X, Y) H(X,Y)。这表示我们已知 X X X 和 Y Y Y 之间的关系，并且在这个关系下考虑它们的联合不确定性。

根据信息熵的定义，对于情况一， H ( Z ) H(Z) H(Z) 应该表示 X + Y X+Y X+Y 的不确定性，因为我们不知道它们之间的关系。

对于情况二， H ( X , Y ) H(X, Y) H(X,Y) 表示已知 X X X 和 Y Y Y 之间的关系时的联合不确定性。在这种情况下，我们有更多的信息，因为我们知道它们之间的关系，所以联合不确定性可能会降低。

因此， H ( Z ) H(Z) H(Z) 不会大于同时考虑 X X X 和 Y Y Y 的联合不确定性 H ( X , Y ) H(X, Y) H(X,Y)，因为在情况一中，我们没有利用关于 X X X 和 Y Y Y 之间的关系的信息，而在情况二中，我们利用了这些信息来计算联合不确定性。这就是为什么可以说 H ( Z ) ≤ H ( X , Y ) H(Z) \leq H(X, Y) H(Z)≤H(X,Y)。

2.11 相关性的度量

设 X 1 X_1 X1与 X 2 X_2 X2同分布，但不一定独立。设
ρ = 1 − H ( X 2 ∣ X 1 ) H ( X 1 ) \rho=1-\frac{H(X_2|X_1)}{H(X_1)} ρ=1−H(X1)H(X2∣X1)

( A )证明 ρ = I ( X 1 ; X 2 ) H ( X 1 ) \rho=\frac{I(X_1;X_2)}{H(X_1)} ρ=H(X1)I(X1;X2)

( B )证明 0 ≤ ρ ≤ 1 0≤\rho≤1 0≤ρ≤1

( C )何时有 ρ = 0 \rho=0 ρ=0

( D )何时有 ρ = 1 \rho=1 ρ=1

（a） ρ = H ( X 1 ) − H ( X 2 ∣ X 1 ) H ( X 1 ) = H ( X 2 ) − H ( X 2 ∣ X 1 ) H ( X 1 ) = I ( X 1 ; X 2 ) H ( X 1 ) \rho=\frac{H(X_1)-H(X_2|X_1)}{H(X_1)}=\frac{H(X_2)-H(X_2|X_1)}{H(X_1)}=\frac{I(X_1;X_2)}{H(X_1)} ρ=H(X1)H(X1)−H(X2∣X1)=H(X1)H(X2)−H(X2∣X1)=H(X1)I(X1;X2)

(B)因为 0 ≤ H ( X 2 ∣ X 1 ) ≤ H ( X 2 ) = H ( X 1 ) 0≤H(X_2|X_1)≤H(X_2)=H(X_1) 0≤H(X2∣X1)≤H(X2)=H(X1)
0 ≤ H ( X 2 ∣ X 1 ) H ( X 1 ) ≤ 1 0≤\frac{H(X_2|X_1)}{H(X_1)}≤1 0≤H(X1)H(X2∣X1)≤1 0 ≤ ρ ≤ 1 0≤\rho ≤1 0≤ρ≤1

（c）当且仅当 I ( X 1 ; X 2 ) = 0 I(X_1;X_2)=0 I(X1;X2)=0，即 X 1 X_1 X1和 X 2 X_2 X2独立

（d）当且仅当 I ( X 1 ; X 2 ) = 1 I(X_1;X_2)=1 I(X1;X2)=1，即 X 1 X_1 X1和 X 2 X_2 X2互为对方的函数

2.25

I ( X ; Y ; Z ) = I ( X ; Y ) − I ( X ; Y ∣ Z ) = I ( X ; Y ) − ( I ( X ; Y , Z ) − I ( X ; Z ) ) = I ( X ; Y ) + I ( X ; Z ) − I ( X ; Y , Z ) I(X;Y;Z)=I(X;Y)-I(X;Y|Z)=I(X;Y)-(I(X;Y,Z)-I(X;Z))=I(X;Y)+I(X;Z)-I(X;Y,Z) I(X;Y;Z)=I(X;Y)−I(X;Y∣Z)=I(X;Y)−(I(X;Y,Z)−I(X;Z))=I(X;Y)+I(X;Z)−I(X;Y,Z)

这是基于信息论中的互信息（Mutual Information）和条件互信息（Conditional Mutual Information）的性质得出的等式。让我解释一下每一步是如何得出的：

首先，这个等式是互信息和条件互信息的定义和性质的应用。

I ( X ; Y ; Z ) I(X;Y;Z) I(X;Y;Z) 是指随机变量 X、Y 和 Z 之间的互信息。它可以表示为 I ( X ; Y ; Z ) = I ( X ; Y ) − I ( X ; Y ∣ Z ) I(X;Y;Z) = I(X;Y) - I(X;Y|Z) I(X;Y;Z)=I(X;Y)−I(X;Y∣Z)。

I ( X ; Y ∣ Z ) I(X;Y|Z) I(X;Y∣Z) 是给定 Z 条件下 X 和 Y 之间的条件互信息。所以， I ( X ; Y ; Z ) = I ( X ; Y ) − I ( X ; Y ∣ Z ) I(X;Y;Z) = I(X;Y) - I(X;Y|Z) I(X;Y;Z)=I(X;Y)−I(X;Y∣Z) 表示了在已知 Z 的情况下，X 和 Y 之间的互信息减去了条件互信息。

接下来，我们使用条件互信息的定义： I ( X ; Y ∣ Z ) = I ( X ; Y , Z ) − I ( X ; Z ) I(X;Y|Z) = I(X;Y,Z) - I(X;Z) I(X;Y∣Z)=I(X;Y,Z)−I(X;Z)，将 I ( X ; Y ∣ Z ) I(X;Y|Z) I(X;Y∣Z) 展开为 I ( X ; Y , Z ) − I ( X ; Z ) I(X;Y,Z) - I(X;Z) I(X;Y,Z)−I(X;Z)。

将这个表达式代入第一步的等式中，我们得到 I ( X ; Y ; Z ) = I ( X ; Y ) − ( I ( X ; Y , Z ) − I ( X ; Z ) ) I(X;Y;Z) = I(X;Y) - (I(X;Y,Z) - I(X;Z)) I(X;Y;Z)=I(X;Y)−(I(X;Y,Z)−I(X;Z))。
最后，重新排列项，得到 I ( X ; Y ; Z ) = I ( X ; Y ) + I ( X ; Z ) − I ( X ; Y , Z ) I(X;Y;Z) = I(X;Y) + I(X;Z) - I(X;Y,Z) I(X;Y;Z)=I(X;Y)+I(X;Z)−I(X;Y,Z)。

这个等式的含义在于，X、Y 和 Z 之间的互信息可以分解成两个独立部分：X 和 Y 之间的互信息以及 X 和 Z 之间的互信息，减去 X、Y 和 Z 三者之间的联合互信息。这种分解可以在信息论中的各种应用中很有用，帮助理解信息的流动和依赖关系。