机器学习——互信息(超详细)

在机器学习中,Mutual Information(互信息) 是一种用于衡量两个变量之间相关性或依赖性 的统计量。它描述了一个变量中包含了多少关于另一个变量的信息 ,广泛用于特征选择、信息增益计算等任务。

一、互信息的定义

互信息(Mutual Information, MI)基于信息论,衡量随机变量 的信息共享程度:

其中:

:联合概率分布

:X的边缘分布

:Y的边缘分布

直观解释:

完全独立时,,此时

能完全决定 时,互信息越大

二、直观理解

互信息衡量"减少不确定性" :知道 的值后,能减少多少对 的不确定性?

它可以看作是熵(Entropy)的差值:

其中:

的熵(不确定性):

:已知 的条件熵(剩余不确定性):

如果 提供了很多信息,则条件熵会降低,互信息值就大。通俗来讲的话:就是 发生的概率减去在已知 发生时 发生的概率。

利用韦恩图表示为:

三、特征选择中的应用

在机器学习中,互信息常用于衡量特征与目标变量之间的关联度,尤其适合非线性关系。

示例:

假设要预测患者是否患病(: 0/1),并有以下特征:

  • 年龄(

  • 血压(

  • 邮编(

我们可以计算:

如果 ,说明邮编与疾病无关,可以舍弃。

如果 较大,则应保留。

四、与相关系数的区别

相关系数 (如皮尔逊相关):只衡量线性关系

互信息 :能捕捉任意关系(包括非线性),更通用。

例如:

的情况下,皮尔逊相关系数 ≈ 0(因为非线性),但互信息(存在强关系)。

五、在Python中计算互信息

Scikit-learn 提供了互信息计算工具:

python 复制代码
from sklearn.feature_selection import mutual_info_classif, mutual_info_regression
import pandas as pd
from sklearn.datasets import load_iris

# 以鸢尾花数据为例
data = load_iris()
X = pd.DataFrame(data.data, columns=data.feature_names)
y = data.target

# 分类问题使用 mutual_info_classif
mi_scores = mutual_info_classif(X, y)
print("互信息分数:", mi_scores)

输出的分数越高,说明该特征与目标变量关系越强。

相关推荐
无风听海17 小时前
神经网络之样本方差的无偏估计
人工智能·神经网络·概率论
Francek Chen17 小时前
【HarmonyOS 6 特别发布】鸿蒙 6 正式登场:功能升级,构建跨设备安全流畅新生态
人工智能·华为·harmonyos·harmonyos 6
kalvin_y_liu17 小时前
【“具身智能”AI烹饪机器人系统 - 外委研发课题清单】
人工智能·具身智能
是Dream呀17 小时前
PRCV 2025:文本何以成为 AGI 的必经之路?
图像处理·人工智能·aigc·agi·多模态·合合信息
爱思德学术17 小时前
EI会议:第三届大数据、计算智能与应用国际会议(BDCIA 2025)
大数据·机器学习·数据可视化·计算智能
王嘉俊92517 小时前
HarmonyOS 分布式与 AI 集成:构建智能协同应用的进阶实践
人工智能·分布式·harmonyos
StarPrayers.17 小时前
CNN 模型搭建与训练:PyTorch 实战 CIFAR10 任务
人工智能·pytorch·cnn
赋创小助手17 小时前
实测对比 32GB RTX 5090 与 48GB RTX 4090,多场景高并发测试,全面解析 AI 服务器整机性能与显存差异。
运维·服务器·人工智能·科技·深度学习·神经网络·自然语言处理
阿水实证通17 小时前
能源经济选题推荐:可再生能源转型政策如何提高能源韧性?基于双重机器学习的因果推断
人工智能·机器学习·能源
掘金安东尼17 小时前
大模型嵌入浏览器,Atlas 和 Gemini 将带来怎样的变革?
人工智能