正则化回归

1. L1正则化

L1正则化是回归参数各个元素绝对值之和。

2. L2正则化

L2正则化是回归参数各个元素平方之和。

3.LOSS回归

线性回归加上L1正则化

4.岭回归

线性回归加上L2正则化

不断增大 L2 约束项参数 α,可以发现岭回归参数优化解不断靠近原点,如图 6 所示。注意,图 6 分图中的等高线为岭回归曲面 f(b1, b2)。当约束项参数 α 不断增大,f(b1, b2) 曲面中 L2 正则项 (正圆曲面) 影响力不断增强。参数 α 不断增大,f(b1, b2) 曲面等高线也从旋转椭圆渐渐变成正圆,最小值点也渐渐靠近 (收缩到) 原点。

图 8 所示为随着 α 增大,岭回归参数变化。可以发现,α 增大时,参数逐步最大限度接近 0,但是不等于 0。这一点和本章后文将介绍的套索回归和弹性网络回归截然不同。

5. 贝叶斯回归理解正则化

从贝叶斯回归角度理解正则化回归,可以将正则化项视为参数的先验分布 。正则化回归通过在损失

函数中加入先验分布,来约束模型参数的取值范围,从而避免过拟合和提高泛化能力。在贝叶斯回归中,先验分布可以通过经验知识或者领域知识来确定,这种方法可以更好地适应实际问题的复杂性和不确定性。因此,正则化回归可以看作是贝叶斯回归在参数估计中的一种特殊情况。

相关推荐
孔令飞4 分钟前
如何在 Go 中实现各种类型的链表?
人工智能·云原生·go
XCristiano6 分钟前
LLM魔法:让非结构化文本变身知识图谱
人工智能
redparrot20089 分钟前
LeNet5 神经网络的参数解析和图片尺寸解析
人工智能·深度学习·神经网络
刘立军10 分钟前
本地大模型编程实战(26)用langgraph实现基于SQL数据构建的问答系统(5)
人工智能·后端·python
ImAlex11 分钟前
万物皆可MCP,快速开发一个获取天气信息的MCP Server
人工智能·mcp
Nova_me13 分钟前
老板:GPU这么贵,你天天吃泡面的,怎么玩的起自建AI写真?
人工智能·产品
JoernLee15 分钟前
Qwen3术语解密:读懂大模型黑话
人工智能·开源·llm
Psycho_MrZhang33 分钟前
Pytorch 反向传播
人工智能·pytorch·python
Baihai_IDP44 分钟前
Google 的 A2A 与 MCP 该如何选择?还是两种都用?
人工智能·面试·mcp
引量AI1 小时前
TikTok 矩阵 AI 自动化运营:解锁短视频流量密码
人工智能·矩阵·自动化·tiktok矩阵·海外社媒