详解高阶数学领域-信息论与深度学习:互信息在对比学习中的应用熵与互信息关系:数学表达式: I ( X ; Y ) = H ( X ) ⏟ 边缘熵 − H ( X ∣ Y ) ⏟ 条件熵 = ∬ p ( x , y ) log p ( x , y ) p ( x ) p ( y ) d x d y I(X;Y) = \underbrace{H(X)}_{\text{边缘熵}} - \underbrace{H(X|Y)}_{\text{条件熵}} = \iint p(x,y) \log \frac{p(x,y)}{p(x)p(y)} dxdy I(X;Y)=边缘熵