L1正则项与L2正则项

几何解释

等高线:表示原始的损失函数,同心椭圆的中心是原始模型的最优解(不考虑正则化)。

约束区域:正则化项对权重向量的取值范围施加了限制

L1(菱形):菱形的顶点在坐标轴上。当等高线与菱形边界相交时,交点(即新的最优解)有极大的概率落在菱形的顶点上,而顶点所在的坐标轴意味着另一个特征对应的权重为0。

L2(圆形):圆形没有尖尖的角。等高线与圆形边界相切的点(即新的最优解)几乎不可能落在坐标轴上,所以所有权重都会被保留,只是被缩小了。

稀疏性与平滑性

L1正则化产生稀疏性:"稀疏"指的是权重向量 w中会有很多值为0。L1正则化倾向于将一些不重要的特征所对应的权重完全压缩到0。这意味着模型在训练后会自动进行特征选择,只保留那些对预测目标最重要的特征。

好处:模型更简单、可解释性更强。对于高维数据(特征非常多),能有效降低维度。

L2正则化使权重均匀缩小:L2正则化不会把任何权重强制设为0,而是将所有的权重以同等比例向零缩小。对于贡献大的特征,权重值依然较大;对于贡献小的特征,权重值会变得很小,但不会是零。

好处:模型更平滑、稳定。能处理特征之间存在多重共线性(高度相关)的情况。

附:

相关推荐
w_t_y_y1 小时前
模型和算法篇(一)监督学习回归问题(2)树形回归
机器学习
AC赳赳老秦2 小时前
OpenClaw image-processing技能实操:批量抠图、图片尺寸调整,适配办公需求
开发语言·前端·人工智能·python·深度学习·机器学习·openclaw
Project_Observer2 小时前
为您的项目选择最合适的Zoho Projects自动化巧能
大数据·运维·人工智能·深度学习·机器学习·自动化·编辑器
好运的阿财3 小时前
“锟斤拷”问题——程序中用powershell执行命令出现中文乱码的解决办法
linux·前端·人工智能·机器学习·架构·编辑器·vim
沅_Yuan3 小时前
基于LSSVM-ABKDE的多输入单输出回归预测模型【MATLAB】
人工智能·神经网络·机器学习·matlab·回归预测·lssvm·kde
小陈工3 小时前
Python Web开发入门(十八):跨域问题解决方案——从“为什么我的请求被拦了“到“我让浏览器乖乖听话“
开发语言·python·机器学习·架构·数据挖掘·回归·状态模式
AI科技星3 小时前
全维度相对论推导、光速螺旋时空与北斗 GEO 钟差的统一理论
开发语言·线性代数·算法·机器学习·数学建模
Chef_Chen3 小时前
Agent学习--LLM--推理熵
人工智能·学习·机器学习
kishu_iOS&AI3 小时前
机器学习 —— 线性回归(实例)
人工智能·python·机器学习·线性回归
人工智能培训4 小时前
多模态AI模型融合难?核心问题与解决思路
人工智能·机器学习·prompt·agent·智能体