最大熵模型

1. 最大熵原理

学习概率模型时,在所有可能的概率模型(分布)中,熵最大的模型是最好的模型。

假设离散随机变量X的概率分布是P(X),则其熵为

且满足0<=H(P)<=logN

当且仅当X的分布是均匀分布时右边的等号成立,即当X服从均匀分布时,熵最大。

直观地,最大熵原理认为要选择地概率模型首先必须满足已有事实(约束条件)。在没有更多信息的情况下,那些不确定的部分都是"等可能的"。

通过熵的最大化来表示等可能性,使不容易操作的"等可能"转化为一个可优化的数值指标-熵。

最大熵原理是概率学习或估计的一个准则。

2. 最大熵模型的定义与学习

2.1 最大熵模型的定义

假设满足所有约束条件的模型集合为C,定义在条件概率分布P(Y|X)上的条件熵为

则模型集合C中条件熵H(p)最大的模型成为最大熵模型。

2.2 最大熵模型学的学习

其学习过程就是求解最大熵模型的过程,可以形式化为约束最优化问题。

对偶函数的极大化等价于最大熵模型的极大似然估计。

最大熵模型与LR模型有类似的形式,它们又称为对数线性模型。这类模型的学习就是在给定训练数据条件下对模型进行极大似然估计或正则化的极大似然估计。

3. 模型学习的最优化方法

LR回归模型和最大熵模型学习归结为以似然函数为目标函数的(无约束)最优化问题,一般通过

迭代算法求解,这时的目标函数具有很好的性质(光滑的凸函数),多种最优化方法都适用,保证能找到全局最优解。

常用的方法有改进的迭代尺度法、梯度下降法、牛顿法或拟牛顿法。其中牛顿法或拟牛顿法一般收敛速度更快。

相关推荐
Apache Flink1 分钟前
Flink Agents:基于Apache Flink的事件驱动AI智能体框架
人工智能·flink·apache
索迪迈科技7 分钟前
登顶 NAVSIM!博世最新IRL-VLA:逆强化学习重构自动驾驶VLA闭环训练
人工智能·重构·自动驾驶
长安——归故李7 分钟前
【modbus学习】
java·c语言·c++·学习·算法·c#
Dfreedom.15 分钟前
在Windows上搭建GPU版本PyTorch运行环境的详细步骤
c++·人工智能·pytorch·python·深度学习
easy202020 分钟前
从机器学习的角度实现 excel 中趋势线:揭秘梯度下降过程
笔记·机器学习·线性回归
confiself23 分钟前
AndroidWorld+mobileRL
人工智能·深度学习
aneasystone本尊32 分钟前
学习 Chat2Graph 的任务分解与执行
人工智能
兴科Sinco33 分钟前
[leetcode 1]给定一个整数数组 nums 和一个整数目标值 target,请你在该数组中找出和为目标值 target 的那两个整数[力扣]
python·算法·leetcode
嘀咕博客33 分钟前
10Web-AI网站生成器
人工智能·ai工具
沐怡旸34 分钟前
【算法--链表】138.随机链表的复制--通俗讲解
算法·面试