正则化回归

1. L1正则化

L1正则化是回归参数各个元素绝对值之和。

2. L2正则化

L2正则化是回归参数各个元素平方之和。

3.LOSS回归

线性回归加上L1正则化

4.岭回归

线性回归加上L2正则化

不断增大 L2 约束项参数 α,可以发现岭回归参数优化解不断靠近原点,如图 6 所示。注意,图 6 分图中的等高线为岭回归曲面 f(b1, b2)。当约束项参数 α 不断增大,f(b1, b2) 曲面中 L2 正则项 (正圆曲面) 影响力不断增强。参数 α 不断增大,f(b1, b2) 曲面等高线也从旋转椭圆渐渐变成正圆,最小值点也渐渐靠近 (收缩到) 原点。

图 8 所示为随着 α 增大,岭回归参数变化。可以发现,α 增大时,参数逐步最大限度接近 0,但是不等于 0。这一点和本章后文将介绍的套索回归和弹性网络回归截然不同。

5. 贝叶斯回归理解正则化

从贝叶斯回归角度理解正则化回归,可以将正则化项视为参数的先验分布 。正则化回归通过在损失

函数中加入先验分布,来约束模型参数的取值范围,从而避免过拟合和提高泛化能力。在贝叶斯回归中,先验分布可以通过经验知识或者领域知识来确定,这种方法可以更好地适应实际问题的复杂性和不确定性。因此,正则化回归可以看作是贝叶斯回归在参数估计中的一种特殊情况。

相关推荐
booooooty7 分钟前
基于Spring AI Alibaba的多智能体RAG应用
java·人工智能·spring·多智能体·rag·spring ai·ai alibaba
PyAIExplorer35 分钟前
基于 OpenCV 的图像 ROI 切割实现
人工智能·opencv·计算机视觉
风口猪炒股指标37 分钟前
技术分析、超短线打板模式与情绪周期理论,在市场共识的形成、分歧、瓦解过程中缘起性空的理解
人工智能·博弈论·群体博弈·人生哲学·自我引导觉醒
ai_xiaogui1 小时前
一键部署AI工具!用AIStarter快速安装ComfyUI与Stable Diffusion
人工智能·stable diffusion·部署ai工具·ai应用市场教程·sd快速部署·comfyui一键安装
聚客AI2 小时前
Embedding进化论:从Word2Vec到OpenAI三代模型技术跃迁
人工智能·llm·掘金·日新计划
weixin_387545642 小时前
深入解析 AI Gateway:新一代智能流量控制中枢
人工智能·gateway
聽雨2373 小时前
03每日简报20250705
人工智能·社交电子·娱乐·传媒·媒体
二川bro3 小时前
飞算智造JavaAI:智能编程革命——AI重构Java开发新范式
java·人工智能·重构
acstdm3 小时前
DAY 48 CBAM注意力
人工智能·深度学习·机器学习
澪-sl3 小时前
基于CNN的人脸关键点检测
人工智能·深度学习·神经网络·计算机视觉·cnn·视觉检测·卷积神经网络