机器学习——互信息(超详细)

在机器学习中,Mutual Information(互信息) 是一种用于衡量两个变量之间相关性或依赖性 的统计量。它描述了一个变量中包含了多少关于另一个变量的信息 ,广泛用于特征选择、信息增益计算等任务。

一、互信息的定义

互信息(Mutual Information, MI)基于信息论,衡量随机变量 的信息共享程度:

其中:

:联合概率分布

:X的边缘分布

:Y的边缘分布

直观解释:

完全独立时,,此时

能完全决定 时,互信息越大

二、直观理解

互信息衡量"减少不确定性" :知道 的值后,能减少多少对 的不确定性?

它可以看作是熵(Entropy)的差值:

其中:

的熵(不确定性):

:已知 的条件熵(剩余不确定性):

如果 提供了很多信息,则条件熵会降低,互信息值就大。通俗来讲的话:就是 发生的概率减去在已知 发生时 发生的概率。

利用韦恩图表示为:

三、特征选择中的应用

在机器学习中,互信息常用于衡量特征与目标变量之间的关联度,尤其适合非线性关系。

示例:

假设要预测患者是否患病(: 0/1),并有以下特征:

  • 年龄(

  • 血压(

  • 邮编(

我们可以计算:

如果 ,说明邮编与疾病无关,可以舍弃。

如果 较大,则应保留。

四、与相关系数的区别

相关系数 (如皮尔逊相关):只衡量线性关系

互信息 :能捕捉任意关系(包括非线性),更通用。

例如:

的情况下,皮尔逊相关系数 ≈ 0(因为非线性),但互信息(存在强关系)。

五、在Python中计算互信息

Scikit-learn 提供了互信息计算工具:

python 复制代码
from sklearn.feature_selection import mutual_info_classif, mutual_info_regression
import pandas as pd
from sklearn.datasets import load_iris

# 以鸢尾花数据为例
data = load_iris()
X = pd.DataFrame(data.data, columns=data.feature_names)
y = data.target

# 分类问题使用 mutual_info_classif
mi_scores = mutual_info_classif(X, y)
print("互信息分数:", mi_scores)

输出的分数越高,说明该特征与目标变量关系越强。

相关推荐
山烛3 小时前
矿物分类系统开发笔记(一):数据预处理
人工智能·python·机器学习·矿物分类
拾零吖3 小时前
吴恩达 Machine Learning(Class 3)
人工智能·机器学习
admiraldeworm3 小时前
Spring Boot + Spring AI 最小可运行 Demo
java·人工智能·ai
算法_小学生4 小时前
长短期记忆网络(LSTM)
人工智能·rnn·lstm
Virgil1394 小时前
【TrOCR】模型预训练权重各个文件解读
人工智能·pytorch·计算机视觉·自然语言处理·ocr·transformer
MaxCode-14 小时前
【机器学习 / 深度学习】基础教程
人工智能·深度学习·机器学习
wjt1020204 小时前
机器学习--续
算法·机器学习
先做个垃圾出来………4 小时前
神经网络(Neural Network, NN)
人工智能·深度学习·神经网络
我希望的一路生花4 小时前
Nik Collection 6.2全新版Nik降噪锐化调色PS/LR插件
人工智能·计算机视觉·设计模式·stable diffusion·aigc
.银河系.5 小时前
819 机器学习-决策树2
人工智能·决策树·机器学习