最大熵模型

1. 最大熵原理

学习概率模型时,在所有可能的概率模型(分布)中,熵最大的模型是最好的模型。

假设离散随机变量X的概率分布是P(X),则其熵为

且满足0<=H(P)<=logN

当且仅当X的分布是均匀分布时右边的等号成立,即当X服从均匀分布时,熵最大。

直观地,最大熵原理认为要选择地概率模型首先必须满足已有事实(约束条件)。在没有更多信息的情况下,那些不确定的部分都是"等可能的"。

通过熵的最大化来表示等可能性,使不容易操作的"等可能"转化为一个可优化的数值指标-熵。

最大熵原理是概率学习或估计的一个准则。

2. 最大熵模型的定义与学习

2.1 最大熵模型的定义

假设满足所有约束条件的模型集合为C,定义在条件概率分布P(Y|X)上的条件熵为

则模型集合C中条件熵H(p)最大的模型成为最大熵模型。

2.2 最大熵模型学的学习

其学习过程就是求解最大熵模型的过程,可以形式化为约束最优化问题。

对偶函数的极大化等价于最大熵模型的极大似然估计。

最大熵模型与LR模型有类似的形式,它们又称为对数线性模型。这类模型的学习就是在给定训练数据条件下对模型进行极大似然估计或正则化的极大似然估计。

3. 模型学习的最优化方法

LR回归模型和最大熵模型学习归结为以似然函数为目标函数的(无约束)最优化问题,一般通过

迭代算法求解,这时的目标函数具有很好的性质(光滑的凸函数),多种最优化方法都适用,保证能找到全局最优解。

常用的方法有改进的迭代尺度法、梯度下降法、牛顿法或拟牛顿法。其中牛顿法或拟牛顿法一般收敛速度更快。

相关推荐
橙几15 分钟前
击败了90%的解法?Two Sum 从 O(n²) 到 O(n) 的优化之路
算法
倔强青铜三21 分钟前
苦练Python第23天:元组秘籍与妙用
人工智能·python·面试
叶子爱分享29 分钟前
经典排序算法之归并排序(Merge Sort)
算法·排序算法
珹洺35 分钟前
C++算法竞赛篇:DevC++ 如何进行debug调试
java·c++·算法
Teacher.chenchong1 小时前
现代R语言机器学习:Tidymodel/Tidyverse语法+回归/树模型/集成学习/SVM/深度学习/降维/聚类分类与科研绘图可视化
机器学习·回归·r语言
AndrewHZ1 小时前
【图像处理基石】如何入门色彩评估?
图像处理·人工智能·深度学习·色彩科学·hvs·色彩评估·颜色工程
TomatoSCI1 小时前
聚类的可视化选择:PCA / t-SNE丨TomatoSCI分析日记
人工智能·机器学习
大咖分享课1 小时前
深度剖析:最新发布的ChatGPT Agent 技术架构与应用场景
人工智能·openai·智能助手·ai代理·chatgpt agent·自主任务执行
lucky_lyovo1 小时前
卷积神经网络--网络性能提升
人工智能·神经网络·cnn
liliangcsdn1 小时前
smolagents - 如何在mac用agents做简单算术题
人工智能·macos·prompt