L1正则项与L2正则项

几何解释

等高线:表示原始的损失函数,同心椭圆的中心是原始模型的最优解(不考虑正则化)。

约束区域:正则化项对权重向量的取值范围施加了限制

L1(菱形):菱形的顶点在坐标轴上。当等高线与菱形边界相交时,交点(即新的最优解)有极大的概率落在菱形的顶点上,而顶点所在的坐标轴意味着另一个特征对应的权重为0。

L2(圆形):圆形没有尖尖的角。等高线与圆形边界相切的点(即新的最优解)几乎不可能落在坐标轴上,所以所有权重都会被保留,只是被缩小了。

稀疏性与平滑性

L1正则化产生稀疏性:"稀疏"指的是权重向量 w中会有很多值为0。L1正则化倾向于将一些不重要的特征所对应的权重完全压缩到0。这意味着模型在训练后会自动进行特征选择,只保留那些对预测目标最重要的特征。

好处:模型更简单、可解释性更强。对于高维数据(特征非常多),能有效降低维度。

L2正则化使权重均匀缩小:L2正则化不会把任何权重强制设为0,而是将所有的权重以同等比例向零缩小。对于贡献大的特征,权重值依然较大;对于贡献小的特征,权重值会变得很小,但不会是零。

好处:模型更平滑、稳定。能处理特征之间存在多重共线性(高度相关)的情况。

附:

相关推荐
王上上1 小时前
# 【机器学习-20】-数值计算误差、逻辑回归/Softmax的数值稳定性优化、以及TensorFlow实现细节
机器学习·tensorflow·逻辑回归
人工智能AI酱1 小时前
【AI深究】逻辑回归(Logistic Regression)全网最详细全流程详解与案例(附大量Python代码演示)| 数学原理、案例流程、代码演示及结果解读 | 决策边界、正则化、优缺点及工程建议
人工智能·python·算法·机器学习·ai·逻辑回归·正则化
爱喝可乐的老王2 小时前
机器学习监督学习模型--逻辑回归
人工智能·机器学习·逻辑回归
Ao0000002 小时前
机器学习——逻辑回归
人工智能·机器学习·逻辑回归
ZTLJQ2 小时前
深入理解逻辑回归:从数学原理到实战应用
开发语言·python·机器学习
一段佳话^cyx2 小时前
详解逻辑回归(Logistic Regression):原理、推导、实现与实战
大数据·算法·机器学习·逻辑回归
码农三叔3 小时前
(10-5-03)大模型时代的人形机器人感知:基于RoboBrain大模型的人形机器人通用智能感知系统(3)模型训练
人工智能·机器学习·机器人·人形机器人
PhotonixBay8 小时前
共聚焦显微镜的结构组成与应用
人工智能·算法·机器学习
佚名ano9 小时前
支持向量机SVM的简单推导过程
算法·机器学习·支持向量机
lisw0510 小时前
用于实时数据处理的边缘计算!
人工智能·机器学习·边缘计算