机器学习——互信息(超详细)

在机器学习中,Mutual Information(互信息) 是一种用于衡量两个变量之间相关性或依赖性 的统计量。它描述了一个变量中包含了多少关于另一个变量的信息 ,广泛用于特征选择、信息增益计算等任务。

一、互信息的定义

互信息(Mutual Information, MI)基于信息论,衡量随机变量 的信息共享程度:

其中:

:联合概率分布

:X的边缘分布

:Y的边缘分布

直观解释:

完全独立时,,此时

能完全决定 时,互信息越大

二、直观理解

互信息衡量"减少不确定性" :知道 的值后,能减少多少对 的不确定性?

它可以看作是熵(Entropy)的差值:

其中:

的熵(不确定性):

:已知 的条件熵(剩余不确定性):

如果 提供了很多信息,则条件熵会降低,互信息值就大。通俗来讲的话:就是 发生的概率减去在已知 发生时 发生的概率。

利用韦恩图表示为:

三、特征选择中的应用

在机器学习中,互信息常用于衡量特征与目标变量之间的关联度,尤其适合非线性关系。

示例:

假设要预测患者是否患病(: 0/1),并有以下特征:

  • 年龄(

  • 血压(

  • 邮编(

我们可以计算:

如果 ,说明邮编与疾病无关,可以舍弃。

如果 较大,则应保留。

四、与相关系数的区别

相关系数 (如皮尔逊相关):只衡量线性关系

互信息 :能捕捉任意关系(包括非线性),更通用。

例如:

的情况下,皮尔逊相关系数 ≈ 0(因为非线性),但互信息(存在强关系)。

五、在Python中计算互信息

Scikit-learn 提供了互信息计算工具:

python 复制代码
from sklearn.feature_selection import mutual_info_classif, mutual_info_regression
import pandas as pd
from sklearn.datasets import load_iris

# 以鸢尾花数据为例
data = load_iris()
X = pd.DataFrame(data.data, columns=data.feature_names)
y = data.target

# 分类问题使用 mutual_info_classif
mi_scores = mutual_info_classif(X, y)
print("互信息分数:", mi_scores)

输出的分数越高,说明该特征与目标变量关系越强。

相关推荐
糖葫芦君43 分钟前
玻尔兹曼分布与玻尔兹曼探索
人工智能·算法·机器学习
TT-Kun1 小时前
PyTorch基础——张量计算
人工智能·pytorch·python
Monkey-旭4 小时前
Android Bitmap 完全指南:从基础到高级优化
android·java·人工智能·计算机视觉·kotlin·位图·bitmap
哪 吒6 小时前
OpenAI放大招:ChatGPT学习模式上线,免费AI智能家教
人工智能·学习·ai·chatgpt·gemini·deepseek
老鱼说AI6 小时前
循环神经网络RNN原理精讲,详细举例!
人工智能·rnn·深度学习·神经网络·自然语言处理·语音识别
lingling0096 小时前
颐顿机电携手观远BI数据:以数据驱动决策,领跑先进制造智能化升级
大数据·人工智能·制造
b***25116 小时前
电池自动生产线:科技赋能下的高效制造新范式
大数据·人工智能
EVERSPIN6 小时前
分享低功耗单火线开关语音识别方案
人工智能·语音识别
说私域7 小时前
从渠道渗透到圈层渗透:开源链动2+1模式、AI智能名片与S2B2C商城小程序的协同创新路径研究
人工智能·小程序·开源
黎燃7 小时前
人工智能在语言学习中的实践:从 Duolingo 到自研系统的深度剖析
人工智能