L1正则项与L2正则项

几何解释

等高线:表示原始的损失函数,同心椭圆的中心是原始模型的最优解(不考虑正则化)。

约束区域:正则化项对权重向量的取值范围施加了限制

L1(菱形):菱形的顶点在坐标轴上。当等高线与菱形边界相交时,交点(即新的最优解)有极大的概率落在菱形的顶点上,而顶点所在的坐标轴意味着另一个特征对应的权重为0。

L2(圆形):圆形没有尖尖的角。等高线与圆形边界相切的点(即新的最优解)几乎不可能落在坐标轴上,所以所有权重都会被保留,只是被缩小了。

稀疏性与平滑性

L1正则化产生稀疏性:"稀疏"指的是权重向量 w中会有很多值为0。L1正则化倾向于将一些不重要的特征所对应的权重完全压缩到0。这意味着模型在训练后会自动进行特征选择,只保留那些对预测目标最重要的特征。

好处:模型更简单、可解释性更强。对于高维数据(特征非常多),能有效降低维度。

L2正则化使权重均匀缩小:L2正则化不会把任何权重强制设为0,而是将所有的权重以同等比例向零缩小。对于贡献大的特征,权重值依然较大;对于贡献小的特征,权重值会变得很小,但不会是零。

好处:模型更平滑、稳定。能处理特征之间存在多重共线性(高度相关)的情况。

附:

相关推荐
AR-26710-1 小时前
机器学习复习Day1——线性回归编程作业
人工智能·机器学习
高洁012 小时前
智能体的“记忆”难题
python·深度学习·机器学习·transformer
YOLO数据集集合2 小时前
UAVDT 无人机车辆检测数据集 - 无人机航拍 | 车辆检测 | 目标检测 | YOLO格式 | 智能交通 | 城市管理 | 多类别数据集 | 计算机视觉
人工智能·yolo·目标检测·机器学习·计算机视觉·目标跟踪·无人机
别动我齐刘海14 小时前
机器人运动控制学习2——基础进阶
c++·人工智能·神经网络·学习·目标检测·机器学习·机器人
雷帝木木15 小时前
数据湖与数据仓库:从理论到实践
人工智能·python·深度学习·机器学习
二进制_博客19 小时前
rag面试题之多轮对话时的上下文依赖检索设计
人工智能·机器学习
船厂电气自动化ai大模型21 小时前
AI大模型与数学第42课:泰勒级数完整展开(神经网络近似核心)
人工智能·python·深度学习·算法·机器学习
aichitang20241 天前
快乐泛函每一天!内积空间
c++·python·数学·算法·机器学习·ai·泛函分析
茜茜数模1 天前
2026年天府杯大学生数学建模A题全套资源
人工智能·算法·机器学习
空堂与归2 天前
分类问题怎么建模?用逻辑回归实现概率预测
人工智能·机器学习·分类·逻辑回归