最大似然估计:损失函数的底层数学原理

引言

当你第一次看到线性回归时,你是否注意到了作为参数优化关键的损失函数(均方损失),你是否能够理解它的本质和由来。其实,在我第一次接触时,我是感到有些惊讶的,然后试着去强行理解它,而没有想到它的背后其实有一个数学理论作为支撑------最大似然估计。

最大似然估计

最大似然估计(Maximum Likelihood Estimation,MLE)是一种在统计学和机器学习中用于估计模型参数 的方法。其核心思想是:在已知观测数据的情况下,寻找使得观测数据出现概率最大的模型参数值。(核心在于概率最大)

似然函数

我们的目的就是把上面的似然函数变成最大。

下面我们将以均方损失和交叉熵损失作为案例进行说明。

均方损失(MSE):对应 "观测噪声服从高斯分布" 的 MLE

概率假设:模型预测误差服从高斯分布

theta是参数,也就是均值和方差。

构建对数似然函数

最大化对数似然 → 最小化 MSE

结论

均方损失是 "假设回归任务的观测噪声服从高斯分布" 时,最大似然估计的等价损失函数(即负对数似然)。

交叉熵损失:对应 "类别标签服从伯努利 / 多项式分布" 的 MLE

交叉熵损失是分类任务(输出为离散类别概率,如判断图像是猫 / 狗 / 鸟)中最常用的损失函数,分为二分类多分类两种形式:

二分类为例(多分类同理,只需将伯努利分布扩展为多项式分布):

概率假设:类别标签服从伯努利分布

这个函数设计地很巧妙。

构建对数似然函数

最大化对数似然 → 最小化交叉熵

多分类的扩展

结论

交叉熵损失是 "假设分类任务的类别标签服从伯努利分布(二分类)或多项式分布(多分类)" 时,最大似然估计的等价损失函数(即负对数似然)。

核心对比:MSE 与交叉熵的 MLE 本质差异

两种损失函数的根本区别源于对 "标签生成过程" 的概率假设不同,而这种假设又由任务类型(回归 / 分类)决定:

损失函数 适用任务 背后的概率分布假设 MLE 关联(等价性)
均方损失(MSE) 回归(连续输出) 观测噪声~高斯分布 最小化 MSE = 最大化高斯分布下的对数似然
交叉熵损失(CE) 分类(离散类别) 类别标签~伯努利 / 多项式分布 最小化 CE = 最大化伯努利 / 多项式分布下的对数似然

怎么说呢?感觉还是很神奇的,损失函数竟然就这么水灵灵的被推导出来了。

相关推荐
TY-20253 小时前
【CV】OpenCV基本操作④——算术操作
人工智能·opencv·计算机视觉
Xの哲學3 小时前
Linux RCU (Read-Copy-Update) 机制深度分析
linux·网络·算法·架构·边缘计算
聚客AI3 小时前
🙈AI Agent的未来:工具调用将如何重塑智能应用?
人工智能·agent·mcp
数模加油站4 小时前
25高教社杯数模国赛【C题国一学长思路+问题分析】第二弹
算法·数学建模·数模国赛·高教社杯全国大学生数学建模竞赛
小跌—4 小时前
Linux:进程信号理解
linux·c++·算法
幂简集成4 小时前
通义灵码 AI 程序员低代码 API 课程实战教程
android·人工智能·深度学习·神经网络·低代码·rxjava
Tadas-Gao4 小时前
阿里云通义MoE全局均衡技术:突破专家负载失衡的革新之道
人工智能·架构·大模型·llm·云计算
xiaozhazha_4 小时前
快鹭云业财一体化系统技术解析:低代码+AI如何破解数据孤岛难题
人工智能·低代码
pan0c234 小时前
集成学习(随机森林算法、Adaboost算法)
人工智能·机器学习·集成学习