L1正则项与L2正则项

几何解释

等高线:表示原始的损失函数,同心椭圆的中心是原始模型的最优解(不考虑正则化)。

约束区域:正则化项对权重向量的取值范围施加了限制

L1(菱形):菱形的顶点在坐标轴上。当等高线与菱形边界相交时,交点(即新的最优解)有极大的概率落在菱形的顶点上,而顶点所在的坐标轴意味着另一个特征对应的权重为0。

L2(圆形):圆形没有尖尖的角。等高线与圆形边界相切的点(即新的最优解)几乎不可能落在坐标轴上,所以所有权重都会被保留,只是被缩小了。

稀疏性与平滑性

L1正则化产生稀疏性:"稀疏"指的是权重向量 w中会有很多值为0。L1正则化倾向于将一些不重要的特征所对应的权重完全压缩到0。这意味着模型在训练后会自动进行特征选择,只保留那些对预测目标最重要的特征。

好处:模型更简单、可解释性更强。对于高维数据(特征非常多),能有效降低维度。

L2正则化使权重均匀缩小:L2正则化不会把任何权重强制设为0,而是将所有的权重以同等比例向零缩小。对于贡献大的特征,权重值依然较大;对于贡献小的特征,权重值会变得很小,但不会是零。

好处:模型更平滑、稳定。能处理特征之间存在多重共线性(高度相关)的情况。

附:

相关推荐
小鸡吃米…4 小时前
机器学习的商业化变现
人工智能·机器学习
木非哲7 小时前
机器学习--随机森林--从一棵树的直觉到一片林的哲学
人工智能·随机森林·机器学习
A尘埃8 小时前
保险公司车险理赔欺诈检测(随机森林)
算法·随机森林·机器学习
小瑞瑞acd12 小时前
【小瑞瑞精讲】卷积神经网络(CNN):从入门到精通,计算机如何“看”懂世界?
人工智能·python·深度学习·神经网络·机器学习
民乐团扒谱机13 小时前
【微实验】机器学习之集成学习 GBDT和XGBoost 附 matlab仿真代码 复制即可运行
人工智能·机器学习·matlab·集成学习·xgboost·gbdt·梯度提升树
Σίσυφος190013 小时前
PCL法向量估计 之 RANSAC 平面估计法向量
算法·机器学习·平面
rcc862814 小时前
AI应用核心技能:从入门到精通的实战指南
人工智能·机器学习
霖大侠14 小时前
【无标题】
人工智能·深度学习·机器学习
B站_计算机毕业设计之家14 小时前
猫眼电影数据可视化与智能分析平台 | Python Flask框架 Echarts 推荐算法 爬虫 大数据 毕业设计源码
python·机器学习·信息可视化·flask·毕业设计·echarts·推荐算法
deephub15 小时前
机器学习特征工程:分类变量的数值化处理方法
python·机器学习·特征工程·分类变量