【漫话机器学习系列】100.L2 范数(L2 Norm,欧几里得范数)

L2 范数(欧几里得范数)详解

1. 什么是 L2 范数?

L2 范数(L2 Norm),也称为欧几里得范数(Euclidean Norm),是数学中最常见的向量范数之一。它用于衡量向量的长度或大小,计算方式是向量各个元素的平方和再开平方。L2 范数的数学表达式如下:

其中:

  • 表示一个 n 维向量;
  • 表示向量各个元素的平方;
  • 取平方和后再开平方,即得到 L2 范数的值。

L2 范数的本质是计算向量在 n 维空间中的欧几里得距离,即该向量与原点之间的距离。这与我们在二维或三维空间中计算两点之间的直线距离方式相同。


2. L2 范数的几何意义

L2 范数的几何意义可以通过以下几点理解:

2.1 欧几里得距离

在二维或三维空间中,L2 范数对应的距离计算公式是我们熟悉的欧几里得距离公式

  • 二维空间:
  • 三维空间:

在更高维空间中,L2 范数仍然表示的是点与点之间的最短直线距离,因此 L2 范数的单位球是一个超球体(hypersphere)

2.2 L2 范数的单位球

在二维空间中,L2 范数等于 1 的所有点形成一个

在三维空间中,L2 范数等于 1 的所有点形成一个

在更高维空间中,它形成一个超球体,而不是像 L1 范数那样形成菱形。


3. L2 范数的应用

3.1 在机器学习中的应用

L2 范数在机器学习中有多个重要应用,主要用于:

  1. 样本的标准化(Normalization)

    • 在数据预处理中,L2 范数用于将特征向量进行归一化,使其具有相同的尺度。例如,在**自然语言处理(NLP)**任务中,我们可能需要对词向量进行 L2 归一化:

      这样可以确保不同词向量的长度一致,有助于提高计算稳定性。

  2. L2 正则化(Ridge Regression / 岭回归)

    • 线性回归等模型中,L2 正则化通过在损失函数中添加 L2 范数项,防止过拟合:

    • 其中,λ 是正则化系数,​ 是模型权重。

    • L2 正则化不会使权重变为 0,而是让它们趋向于较小的值,从而避免模型对某些特征过于依赖。

  3. 支持向量机(SVM)

    • 在 SVM(Support Vector Machine)中,优化目标是最大化分类间隔 ,即找到使得数据点到超平面的L2 范数最大的超平面,从而提高模型的泛化能力。
  4. 神经网络权重衰减(Weight Decay)

    • 在深度学习中,L2 正则化被称为权重衰减(Weight Decay),用于减少模型的复杂性,使其更加平滑,提高泛化能力。

3.2 在信号处理中的应用

L2 范数在信号处理和数据压缩中也有重要作用:

  1. 最小二乘法(Least Squares Method)

    • 最小二乘法是一种最优化方法,它的目标是最小化预测值和真实值之间的 L2 范数:

      这在统计回归分析和机器学习中都非常常见。

  2. 图像处理

    • 在图像处理任务中,L2 范数常用于衡量图像之间的相似性。例如,在**图像去噪(Image Denoising)**中,L2 范数用于度量去噪图像与原始图像之间的误差。

4. L2 范数 vs. L1 范数

L2 范数与 L1 范数(曼哈顿范数)在数学性质和应用场景上存在一些关键区别。

对比项 L1 范数(L1 Norm) L2 范数(L2 Norm)
计算方式 绝对值之和 欧几里得距离(平方和开方)
几何形状 菱形(diamond) 圆形(circle)
适用场景 特征选择(稀疏性) 权重衰减(平滑性)
计算难度 计算简单,非平滑 计算复杂,但更稳定
过拟合控制 会使部分特征权重变 0 仅缩小特征权重,不会变 0

如何选择 L1 或 L2?

  • 如果你希望模型具有特征选择能力(自动忽略不重要的特征),使用 L1 正则化(Lasso)。
  • 如果你希望所有特征都有贡献,但影响较小,使用 L2 正则化(Ridge)。
  • 在数据稀疏性较强的情况下(如文本数据),L1 更有效。
  • 在模型需要平滑优化时,L2 更稳定,适用于深度学习和 SVM。

5. 结论

L2 范数是一种重要的数学工具,在机器学习、优化、信号处理等多个领域都有广泛应用。它的主要作用是衡量向量的长度,并在模型优化过程中用于正则化,防止过拟合。

核心总结:

  1. L2 范数计算的是向量的欧几里得长度,即平方和开平方。
  2. L2 范数的几何形状是圆,而 L1 范数的几何形状是菱形。
  3. L2 正则化(Ridge)可以防止模型过拟合,但不会使权重变为 0
  4. 在深度学习、SVM、线性回归、图像处理等领域,L2 范数被广泛使用
  5. 相比 L1 范数,L2 范数更适合平滑优化,而 L1 更适合特征选择。

L2 范数在机器学习和数学优化中的重要性不言而喻,希望本文能帮助你更好地理解 L2 范数的概念及其应用!

相关推荐
Joern-Lee12 分钟前
机器学习算法:支持向量机SVM
算法·机器学习·支持向量机
陈敬雷-充电了么-CEO兼CTO12 分钟前
主流大模型Agent框架 AutoGPT详解
人工智能·python·gpt·ai·chatgpt·nlp·aigc
移远通信14 分钟前
从端侧AI到全链路解决方案:移远通信如何重塑AloT产业?
人工智能
美狐美颜SDK开放平台32 分钟前
未来已来:美颜SDK如何通过深度学习实现个性化美颜形象?
人工智能·深度学习·美颜sdk·直播美颜sdk·视频美颜sdk·直播美颜工具·美颜api
新智元33 分钟前
谢赛宁团队论文爆雷,暗藏 AI 好评提示震碎学术圈!本人急发长文反思
人工智能·openai
新智元1 小时前
老黄封神!英伟达市值首破4万亿美元,全球第一
人工智能·openai
拓端研究室1 小时前
专题:2025母婴行业洞察报告|附60+份报告PDF汇总下载
开发语言·人工智能·python
ice851 小时前
LLM流式输出实现
前端·人工智能·面试
算家计算1 小时前
突破 30 分!国内团队结合DeepSeek-R1与 X-Master,打破AI 评测纪录!
人工智能·开源·资讯
rocksun1 小时前
使用MCP Toolbox for Databases访问数据库
数据库·人工智能·mcp