最大熵模型

1. 最大熵原理

学习概率模型时,在所有可能的概率模型(分布)中,熵最大的模型是最好的模型。

假设离散随机变量X的概率分布是P(X),则其熵为

且满足0<=H(P)<=logN

当且仅当X的分布是均匀分布时右边的等号成立,即当X服从均匀分布时,熵最大。

直观地,最大熵原理认为要选择地概率模型首先必须满足已有事实(约束条件)。在没有更多信息的情况下,那些不确定的部分都是"等可能的"。

通过熵的最大化来表示等可能性,使不容易操作的"等可能"转化为一个可优化的数值指标-熵。

最大熵原理是概率学习或估计的一个准则。

2. 最大熵模型的定义与学习

2.1 最大熵模型的定义

假设满足所有约束条件的模型集合为C,定义在条件概率分布P(Y|X)上的条件熵为

则模型集合C中条件熵H(p)最大的模型成为最大熵模型。

2.2 最大熵模型学的学习

其学习过程就是求解最大熵模型的过程,可以形式化为约束最优化问题。

对偶函数的极大化等价于最大熵模型的极大似然估计。

最大熵模型与LR模型有类似的形式,它们又称为对数线性模型。这类模型的学习就是在给定训练数据条件下对模型进行极大似然估计或正则化的极大似然估计。

3. 模型学习的最优化方法

LR回归模型和最大熵模型学习归结为以似然函数为目标函数的(无约束)最优化问题,一般通过

迭代算法求解,这时的目标函数具有很好的性质(光滑的凸函数),多种最优化方法都适用,保证能找到全局最优解。

常用的方法有改进的迭代尺度法、梯度下降法、牛顿法或拟牛顿法。其中牛顿法或拟牛顿法一般收敛速度更快。

相关推荐
Tiandaren1 小时前
Selenium 4 教程:自动化 WebDriver 管理与 Cookie 提取 || 用于解决chromedriver版本不匹配问题
selenium·测试工具·算法·自动化
学术小八1 小时前
2025年人工智能、虚拟现实与交互设计国际学术会议
人工智能·交互·vr
岁忧2 小时前
(LeetCode 面试经典 150 题 ) 11. 盛最多水的容器 (贪心+双指针)
java·c++·算法·leetcode·面试·go
仗剑_走天涯2 小时前
基于pytorch.nn模块实现线性模型
人工智能·pytorch·python·深度学习
chao_7892 小时前
二分查找篇——搜索旋转排序数组【LeetCode】两次二分查找
开发语言·数据结构·python·算法·leetcode
cnbestec3 小时前
协作机器人UR7e与UR12e:轻量化设计与高负载能力助力“小而美”智造升级
人工智能·机器人·协作机器人·ur协作机器人·ur7e·ur12e
zskj_zhyl3 小时前
毫米波雷达守护银发安全:七彩喜跌倒检测仪重构居家养老防线
人工智能·安全·重构
秋说4 小时前
【PTA数据结构 | C语言版】一元多项式求导
c语言·数据结构·算法
gaosushexiangji4 小时前
利用sCMOS科学相机测量激光散射强度
大数据·人工智能·数码相机·计算机视觉
Maybyy4 小时前
力扣61.旋转链表
算法·leetcode·链表