跟着李沐学AI:简单损失函数

均方损失L2Loss

特点:当真实值y与预测值y'相差较远时,梯度较大,参数更新较多。当预测值与真实值靠近时,梯度越来越小。

最小绝对值损失L1Loss

特点:当预测值与真实值相差较远时,梯度永远为常数,能带来稳定性的好处,但是0点处不可导,具有不平滑性。

Huber's Robust Loss

当预测值与真实值相差较大时,是绝对值误差。当预测值与真实值相差较小时是平方误差。

相关推荐
aiguangyuan2 小时前
基于BERT的中文命名实体识别实战解析
人工智能·python·nlp
量子-Alex2 小时前
【大模型RLHF】Training language models to follow instructions with human feedback
人工智能·语言模型·自然语言处理
晚霞的不甘2 小时前
Flutter for OpenHarmony 实现计算几何:Graham Scan 凸包算法的可视化演示
人工智能·算法·flutter·架构·开源·音视频
陈天伟教授2 小时前
人工智能应用- 语言处理:04.统计机器翻译
人工智能·自然语言处理·机器翻译
Dfreedom.2 小时前
图像处理中的对比度增强与锐化
图像处理·人工智能·opencv·锐化·对比度增强
wenzhangli72 小时前
OoderAgent 企业版 2.0 发布的意义:一次生态战略的全面升级
人工智能·开源
AI_56782 小时前
SQL性能优化全景指南:从量子执行计划到自适应索引的终极实践
数据库·人工智能·学习·adb
cyyt3 小时前
深度学习周报(2.2~2.8)
人工智能·深度学习
阿杰学AI3 小时前
AI核心知识92——大语言模型之 Self-Attention Mechanism(简洁且通俗易懂版)
人工智能·ai·语言模型·自然语言处理·aigc·transformer·自注意力机制
陈天伟教授3 小时前
人工智能应用- 语言处理:03.机器翻译:规则方法
人工智能·自然语言处理·机器翻译