正则化回归

1. L1正则化

L1正则化是回归参数各个元素绝对值之和。

2. L2正则化

L2正则化是回归参数各个元素平方之和。

3.LOSS回归

线性回归加上L1正则化

4.岭回归

线性回归加上L2正则化

不断增大 L2 约束项参数 α,可以发现岭回归参数优化解不断靠近原点,如图 6 所示。注意,图 6 分图中的等高线为岭回归曲面 f(b1, b2)。当约束项参数 α 不断增大,f(b1, b2) 曲面中 L2 正则项 (正圆曲面) 影响力不断增强。参数 α 不断增大,f(b1, b2) 曲面等高线也从旋转椭圆渐渐变成正圆,最小值点也渐渐靠近 (收缩到) 原点。

图 8 所示为随着 α 增大,岭回归参数变化。可以发现,α 增大时,参数逐步最大限度接近 0,但是不等于 0。这一点和本章后文将介绍的套索回归和弹性网络回归截然不同。

5. 贝叶斯回归理解正则化

从贝叶斯回归角度理解正则化回归,可以将正则化项视为参数的先验分布 。正则化回归通过在损失

函数中加入先验分布,来约束模型参数的取值范围,从而避免过拟合和提高泛化能力。在贝叶斯回归中,先验分布可以通过经验知识或者领域知识来确定,这种方法可以更好地适应实际问题的复杂性和不确定性。因此,正则化回归可以看作是贝叶斯回归在参数估计中的一种特殊情况。

相关推荐
强哥之神20 分钟前
英伟达发布 Llama Nemotron Nano 4B:专为边缘 AI 和科研任务优化的高效开源推理模型
人工智能·深度学习·语言模型·架构·llm·transformer·边缘计算
Green1Leaves23 分钟前
pytorch学习-9.多分类问题
人工智能·pytorch·学习
kyle~1 小时前
计算机视觉---RealSense深度相机技术
人工智能·数码相机·计算机视觉·机器人·嵌入式·ros·传感器
碣石潇湘无限路1 小时前
【AI篇】当Transformer模型开始学习《孙子兵法》
人工智能·学习
看到我,请让我去学习2 小时前
OpenCV开发-初始概念
人工智能·opencv·计算机视觉
汀沿河2 小时前
8.1 prefix Tunning与Prompt Tunning模型微调方法
linux·运维·服务器·人工智能
陈敬雷-充电了么-CEO兼CTO2 小时前
大模型技术原理 - 基于Transformer的预训练语言模型
人工智能·深度学习·语言模型·自然语言处理·chatgpt·aigc·transformer
学术 学术 Fun2 小时前
✨ OpenAudio S1:影视级文本转语音与语音克隆Mac整合包
人工智能·语音识别
用户Taobaoapi20143 小时前
母婴用品社媒种草效果量化:淘宝详情API+私域转化追踪案例
大数据·数据挖掘·数据分析
用户Taobaoapi20143 小时前
Taobao agent USA丨美国淘宝代购1688代采集运系统搭建指南
数据挖掘·php