【漫话机器学习系列】100.L2 范数(L2 Norm,欧几里得范数)

L2 范数(欧几里得范数)详解

1. 什么是 L2 范数?

L2 范数(L2 Norm),也称为欧几里得范数(Euclidean Norm),是数学中最常见的向量范数之一。它用于衡量向量的长度或大小,计算方式是向量各个元素的平方和再开平方。L2 范数的数学表达式如下:

其中:

  • 表示一个 n 维向量;
  • 表示向量各个元素的平方;
  • 取平方和后再开平方,即得到 L2 范数的值。

L2 范数的本质是计算向量在 n 维空间中的欧几里得距离,即该向量与原点之间的距离。这与我们在二维或三维空间中计算两点之间的直线距离方式相同。


2. L2 范数的几何意义

L2 范数的几何意义可以通过以下几点理解:

2.1 欧几里得距离

在二维或三维空间中,L2 范数对应的距离计算公式是我们熟悉的欧几里得距离公式:

  • 二维空间:
  • 三维空间:

在更高维空间中,L2 范数仍然表示的是点与点之间的最短直线距离,因此 L2 范数的单位球是一个超球体(hypersphere)。

2.2 L2 范数的单位球

在二维空间中,L2 范数等于 1 的所有点形成一个圆:

在三维空间中,L2 范数等于 1 的所有点形成一个球:

在更高维空间中,它形成一个超球体,而不是像 L1 范数那样形成菱形。


3. L2 范数的应用

3.1 在机器学习中的应用

L2 范数在机器学习中有多个重要应用,主要用于:

  1. 样本的标准化(Normalization)

    • 在数据预处理中,L2 范数用于将特征向量进行归一化,使其具有相同的尺度。例如,在**自然语言处理(NLP)**任务中,我们可能需要对词向量进行 L2 归一化:

      这样可以确保不同词向量的长度一致,有助于提高计算稳定性。

  2. L2 正则化(Ridge Regression / 岭回归)

    • 在线性回归等模型中,L2 正则化通过在损失函数中添加 L2 范数项,防止过拟合:

    • 其中,λ 是正则化系数,​ 是模型权重。

    • L2 正则化不会使权重变为 0,而是让它们趋向于较小的值,从而避免模型对某些特征过于依赖。

  3. 支持向量机(SVM)

    • 在 SVM(Support Vector Machine)中,优化目标是最大化分类间隔 ,即找到使得数据点到超平面的L2 范数最大的超平面,从而提高模型的泛化能力。
  4. 神经网络权重衰减(Weight Decay)

    • 在深度学习中,L2 正则化被称为权重衰减(Weight Decay),用于减少模型的复杂性,使其更加平滑,提高泛化能力。

3.2 在信号处理中的应用

L2 范数在信号处理和数据压缩中也有重要作用:

  1. 最小二乘法(Least Squares Method)

    • 最小二乘法是一种最优化方法,它的目标是最小化预测值和真实值之间的 L2 范数:

      这在统计回归分析和机器学习中都非常常见。

  2. 图像处理

    • 在图像处理任务中,L2 范数常用于衡量图像之间的相似性。例如,在**图像去噪(Image Denoising)**中,L2 范数用于度量去噪图像与原始图像之间的误差。

4. L2 范数 vs. L1 范数

L2 范数与 L1 范数(曼哈顿范数)在数学性质和应用场景上存在一些关键区别。

对比项 L1 范数(L1 Norm) L2 范数(L2 Norm)
计算方式 绝对值之和 欧几里得距离(平方和开方)
几何形状 菱形(diamond) 圆形(circle)
适用场景 特征选择(稀疏性) 权重衰减(平滑性)
计算难度 计算简单,非平滑 计算复杂,但更稳定
过拟合控制 会使部分特征权重变 0 仅缩小特征权重,不会变 0

如何选择 L1 或 L2?

  • 如果你希望模型具有特征选择能力(自动忽略不重要的特征),使用 L1 正则化(Lasso)。
  • 如果你希望所有特征都有贡献,但影响较小,使用 L2 正则化(Ridge)。
  • 在数据稀疏性较强的情况下(如文本数据),L1 更有效。
  • 在模型需要平滑优化时,L2 更稳定,适用于深度学习和 SVM。

5. 结论

L2 范数是一种重要的数学工具,在机器学习、优化、信号处理等多个领域都有广泛应用。它的主要作用是衡量向量的长度,并在模型优化过程中用于正则化,防止过拟合。

核心总结:

  1. L2 范数计算的是向量的欧几里得长度,即平方和开平方。
  2. L2 范数的几何形状是圆,而 L1 范数的几何形状是菱形。
  3. L2 正则化(Ridge)可以防止模型过拟合,但不会使权重变为 0。
  4. 在深度学习、SVM、线性回归、图像处理等领域,L2 范数被广泛使用。
  5. 相比 L1 范数,L2 范数更适合平滑优化,而 L1 更适合特征选择。

L2 范数在机器学习和数学优化中的重要性不言而喻,希望本文能帮助你更好地理解 L2 范数的概念及其应用!

相关推荐
kyriewen7 分钟前
编辑弹窗点了取消,列表里的数据怎么还是变了?
前端·javascript·人工智能
泯泷36 分钟前
Multica 真正打动我的,不是更多 Agent,而是一种新的团队协作方式
人工智能·llm·agent
电科_银尘38 分钟前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习
阿里云大数据AI技术1 小时前
云栖实录|倍思科技 × 阿里云:让VOC洞察从“生成报告”走向“业务可用”
人工智能·elasticsearch·agent
XLYcmy1 小时前
基于大语言模型的智能漏洞检测与修复系统 作品报告评审分析报告 下
机器学习·llm·prompt·api·token·漏洞修复·漏洞检测
AllData公司负责人1 小时前
第九篇:AI大模型数据开发底座系列说明书:AllData集成BISHENG开源项目建设大模型应用开发底座,涵盖可视化编排/智能助手/一键API/模型接入!
人工智能·云原生·数据分析·视觉检测·知识图谱·大模型应用·bisheng
数字新视界1 小时前
数据中心DCIM管理系统助力提升机房管理效率与安全性
大数据·人工智能·物联网·信息与通信·动环监控系统
阿里云大数据AI技术1 小时前
阿里云 EMR Serverless StarRocks(Stella)× Paimon:让多模态数据湖从“存得下”走向“找得到、用得上”
人工智能
class心平气和2 小时前
AI 赋能测试流程:从基础概念到测试全流程实战
人工智能
猿人谷2 小时前
遗传编程的未来:从进化搜索到自主发现求解方法
人工智能·深度学习·神经网络·ai-native