L2 范数（欧几里得范数）详解
1. 什么是 L2 范数？
L2 范数（L2 Norm），也称为欧几里得范数（Euclidean Norm），是数学中最常见的向量范数之一。它用于衡量向量的长度或大小，计算方式是向量各个元素的平方和再开平方。L2 范数的数学表达式如下：
其中：
表示一个 n 维向量；
- 取平方和后再开平方，即得到 L2 范数的值。
L2 范数的本质是计算向量在 n 维空间中的欧几里得距离，即该向量与原点之间的距离。这与我们在二维或三维空间中计算两点之间的直线距离方式相同。
2. L2 范数的几何意义
L2 范数的几何意义可以通过以下几点理解：
2.1 欧几里得距离
在二维或三维空间中，L2 范数对应的距离计算公式是我们熟悉的欧几里得距离公式：
- 二维空间：
- 三维空间：
在更高维空间中，L2 范数仍然表示的是点与点之间的最短直线距离，因此 L2 范数的单位球是一个超球体（hypersphere）。
2.2 L2 范数的单位球
在二维空间中，L2 范数等于 1 的所有点形成一个圆：
在三维空间中，L2 范数等于 1 的所有点形成一个球：
在更高维空间中，它形成一个超球体，而不是像 L1 范数那样形成菱形。
3. L2 范数的应用
3.1 在机器学习中的应用
L2 范数在机器学习中有多个重要应用，主要用于：
-
样本的标准化（Normalization）
-
在数据预处理中，L2 范数用于将特征向量进行归一化，使其具有相同的尺度。例如，在**自然语言处理（NLP）**任务中，我们可能需要对词向量进行 L2 归一化：
这样可以确保不同词向量的长度一致，有助于提高计算稳定性。
-
-
L2 正则化（Ridge Regression / 岭回归）
-
在线性回归等模型中，L2 正则化通过在损失函数中添加 L2 范数项，防止过拟合：
-
其中，λ 是正则化系数，
-
L2 正则化不会使权重变为 0，而是让它们趋向于较小的值，从而避免模型对某些特征过于依赖。
-
-
支持向量机（SVM）
- 在 SVM（Support Vector Machine）中，优化目标是最大化分类间隔 ，即找到使得数据点到超平面的L2 范数最大的超平面，从而提高模型的泛化能力。
-
神经网络权重衰减（Weight Decay）
- 在深度学习中，L2 正则化被称为权重衰减（Weight Decay），用于减少模型的复杂性，使其更加平滑，提高泛化能力。
3.2 在信号处理中的应用
L2 范数在信号处理和数据压缩中也有重要作用：
-
最小二乘法（Least Squares Method）
-
最小二乘法是一种最优化方法，它的目标是最小化预测值和真实值之间的 L2 范数：
这在统计回归分析和机器学习中都非常常见。
-
-
图像处理
- 在图像处理任务中，L2 范数常用于衡量图像之间的相似性。例如，在**图像去噪（Image Denoising）**中，L2 范数用于度量去噪图像与原始图像之间的误差。
4. L2 范数 vs. L1 范数
L2 范数与 L1 范数（曼哈顿范数）在数学性质和应用场景上存在一些关键区别。
| 对比项 | L1 范数（L1 Norm） | L2 范数（L2 Norm） |
|---|---|---|
| 计算方式 | 绝对值之和 | 欧几里得距离（平方和开方） |
| 几何形状 | 菱形（diamond） | 圆形（circle） |
| 适用场景 | 特征选择（稀疏性） | 权重衰减（平滑性） |
| 计算难度 | 计算简单，非平滑 | 计算复杂，但更稳定 |
| 过拟合控制 | 会使部分特征权重变 0 | 仅缩小特征权重，不会变 0 |
如何选择 L1 或 L2？
- 如果你希望模型具有特征选择能力（自动忽略不重要的特征），使用 L1 正则化（Lasso）。
- 如果你希望所有特征都有贡献，但影响较小，使用 L2 正则化（Ridge）。
- 在数据稀疏性较强的情况下（如文本数据），L1 更有效。
- 在模型需要平滑优化时，L2 更稳定，适用于深度学习和 SVM。
5. 结论
L2 范数是一种重要的数学工具，在机器学习、优化、信号处理等多个领域都有广泛应用。它的主要作用是衡量向量的长度，并在模型优化过程中用于正则化，防止过拟合。
核心总结：
- L2 范数计算的是向量的欧几里得长度，即平方和开平方。
- L2 范数的几何形状是圆，而 L1 范数的几何形状是菱形。
- L2 正则化（Ridge）可以防止模型过拟合，但不会使权重变为 0。
- 在深度学习、SVM、线性回归、图像处理等领域，L2 范数被广泛使用。
- 相比 L1 范数，L2 范数更适合平滑优化，而 L1 更适合特征选择。
L2 范数在机器学习和数学优化中的重要性不言而喻，希望本文能帮助你更好地理解 L2 范数的概念及其应用！