最大熵模型

1. 最大熵原理

学习概率模型时,在所有可能的概率模型(分布)中,熵最大的模型是最好的模型。

假设离散随机变量X的概率分布是P(X),则其熵为

且满足0<=H(P)<=logN

当且仅当X的分布是均匀分布时右边的等号成立,即当X服从均匀分布时,熵最大。

直观地,最大熵原理认为要选择地概率模型首先必须满足已有事实(约束条件)。在没有更多信息的情况下,那些不确定的部分都是"等可能的"。

通过熵的最大化来表示等可能性,使不容易操作的"等可能"转化为一个可优化的数值指标-熵。

最大熵原理是概率学习或估计的一个准则。

2. 最大熵模型的定义与学习

2.1 最大熵模型的定义

假设满足所有约束条件的模型集合为C,定义在条件概率分布P(Y|X)上的条件熵为

则模型集合C中条件熵H(p)最大的模型成为最大熵模型。

2.2 最大熵模型学的学习

其学习过程就是求解最大熵模型的过程,可以形式化为约束最优化问题。

对偶函数的极大化等价于最大熵模型的极大似然估计。

最大熵模型与LR模型有类似的形式,它们又称为对数线性模型。这类模型的学习就是在给定训练数据条件下对模型进行极大似然估计或正则化的极大似然估计。

3. 模型学习的最优化方法

LR回归模型和最大熵模型学习归结为以似然函数为目标函数的(无约束)最优化问题,一般通过

迭代算法求解,这时的目标函数具有很好的性质(光滑的凸函数),多种最优化方法都适用,保证能找到全局最优解。

常用的方法有改进的迭代尺度法、梯度下降法、牛顿法或拟牛顿法。其中牛顿法或拟牛顿法一般收敛速度更快。

相关推荐
FIT2CLOUD飞致云17 分钟前
九月月报丨MaxKB在不同规模医疗机构的应用进展汇报
人工智能·开源
阿里云大数据AI技术19 分钟前
【新模型速递】PAI-Model Gallery云上一键部署Qwen3-Next系列模型
人工智能
袁庭新38 分钟前
全球首位AI机器人部长,背负反腐重任
人工智能·aigc
机器之心1 小时前
谁说Scaling Law到头了?新研究:每一步的微小提升会带来指数级增长
人工智能·openai
算家计算1 小时前
AI配音革命!B站最新开源IndexTTS2本地部署教程:精准对口型,情感随心换
人工智能·开源·aigc
量子位1 小时前
马斯克周末血裁xAI 500人
人工智能·ai编程
算家计算1 小时前
OpenAI最强编程模型GPT-5-Codex发布!可独立编程7小时,编程效率提升10倍
人工智能·ai编程·资讯
NAGNIP3 小时前
大模型框架性能优化策略:延迟、吞吐量与成本权衡
算法
聚客AI3 小时前
🌟大模型为什么产生幻觉?预训练到推理的漏洞全揭秘
人工智能·llm·掘金·日新计划
Juchecar3 小时前
一文讲清 nn.Sequential 等容器类
人工智能