机器学习——互信息（超详细）

在机器学习中，Mutual Information（互信息） 是一种用于衡量两个变量之间相关性或依赖性 的统计量。它描述了一个变量中包含了多少关于另一个变量的信息 ，广泛用于特征选择、信息增益计算等任务。

一、互信息的定义

互信息（Mutual Information, MI）基于信息论，衡量随机变量 和 的信息共享程度：

其中：

：联合概率分布

：X的边缘分布

：Y的边缘分布

直观解释：

当 和 完全独立时，，此时

当 能完全决定 时，互信息越大

二、直观理解

互信息衡量"减少不确定性" ：知道 的值后，能减少多少对 的不确定性？

它可以看作是熵（Entropy）的差值：

其中：

： 的熵（不确定性）：

：已知 后 的条件熵（剩余不确定性）：

如果 对 提供了很多信息，则条件熵会降低，互信息值就大。通俗来讲的话：就是 发生的概率减去在已知 发生时 发生的概率。

利用韦恩图表示为：

三、特征选择中的应用

在机器学习中，互信息常用于衡量特征与目标变量之间的关联度，尤其适合非线性关系。

示例：

假设要预测患者是否患病（: 0/1），并有以下特征：

• 年龄（）

• 血压（）

• 邮编（）

我们可以计算：

如果 ，说明邮编与疾病无关，可以舍弃。

如果 和 较大，则应保留。

四、与相关系数的区别

相关系数 （如皮尔逊相关）：只衡量线性关系。

互信息 ：能捕捉任意关系（包括非线性），更通用。

例如：

的情况下，皮尔逊相关系数 ≈ 0（因为非线性），但互信息（存在强关系）。

五、在Python中计算互信息

Scikit-learn 提供了互信息计算工具：

from sklearn.feature_selection import mutual_info_classif, mutual_info_regression
import pandas as pd
from sklearn.datasets import load_iris

# 以鸢尾花数据为例
data = load_iris()
X = pd.DataFrame(data.data, columns=data.feature_names)
y = data.target

# 分类问题使用 mutual_info_classif
mi_scores = mutual_info_classif(X, y)
print("互信息分数：", mi_scores)

输出的分数越高，说明该特征与目标变量关系越强。