正则化回归

1. L1正则化

L1正则化是回归参数各个元素绝对值之和。

2. L2正则化

L2正则化是回归参数各个元素平方之和。

3.LOSS回归

线性回归加上L1正则化

4.岭回归

线性回归加上L2正则化

不断增大 L2 约束项参数 α,可以发现岭回归参数优化解不断靠近原点,如图 6 所示。注意,图 6 分图中的等高线为岭回归曲面 f(b1, b2)。当约束项参数 α 不断增大,f(b1, b2) 曲面中 L2 正则项 (正圆曲面) 影响力不断增强。参数 α 不断增大,f(b1, b2) 曲面等高线也从旋转椭圆渐渐变成正圆,最小值点也渐渐靠近 (收缩到) 原点。

图 8 所示为随着 α 增大,岭回归参数变化。可以发现,α 增大时,参数逐步最大限度接近 0,但是不等于 0。这一点和本章后文将介绍的套索回归和弹性网络回归截然不同。

5. 贝叶斯回归理解正则化

从贝叶斯回归角度理解正则化回归,可以将正则化项视为参数的先验分布 。正则化回归通过在损失

函数中加入先验分布,来约束模型参数的取值范围,从而避免过拟合和提高泛化能力。在贝叶斯回归中,先验分布可以通过经验知识或者领域知识来确定,这种方法可以更好地适应实际问题的复杂性和不确定性。因此,正则化回归可以看作是贝叶斯回归在参数估计中的一种特殊情况。

相关推荐
耘瞳科技2 小时前
喜讯 | 耘瞳科技视觉检测与测量装备荣膺“2024机器视觉创新产品TOP10”
人工智能·科技·视觉检测
__Benco5 小时前
OpenHarmony子系统开发 - DFX(一)
人工智能·harmonyos
小西几哦5 小时前
3D点云配准RPM-Net模型解读(附论文+源码)
人工智能·pytorch·3d
CareyWYR5 小时前
每周AI论文速递(250331-250404)
人工智能
码视野5 小时前
基于快速开发平台与智能手表的区域心电监测与AI预警系统(源码+论文+部署讲解等)
人工智能·智能手表·毕业论文·计算机论文·物联网论文
skywalk81635 小时前
OpenRouter开源的AI大模型路由工具,统一API调用
服务器·前端·人工智能·openrouter
ejinxian6 小时前
大模型应用初学指南
人工智能·大模型·向量数据库
秋96 小时前
使用人工智能大模型kimi,如何免费高效制作PPT?
人工智能·kimi·制作ppt
IT古董6 小时前
【漫话机器学习系列】181.没有免费的午餐定理(NFL)
人工智能·机器学习