机器学习基础:欧氏范数的应用

"||x||"符号在机器学习算法中随处可见,但它背后的实际直觉是什么呢?

勾股定理是一个很好的切入点。这当然是每个人在几何课上都学过的内容,但这里还是简单回顾一下,方便大家入门:

图中高亮显示的点 (4,3) 被分解成两个方向分量 -> (4,0) 和 (0,3):

这些方向分量使量级的概念更容易理解。这些分量的大小就是它们到原点的距离,而这正是量级公式有效的原因。

通过将这些分解分量相加,我们得到了原点 (4,3)。因此,从 (0,0) 到 (4,3) 的线段长度就是各个分量之和的模!虽然这段描述略显冗长,但它完美地过渡到了欧几里得范数(也称为 L2 范数)的正式定义:

这张图在讲 范数 ,而在实数向量空间 里, 范数就是我们常说的 欧氏范数(Euclidean norm)------也就是"向量的长度"。


1) 图里在做什么:从向量到"长度"

图中先把向量写成列向量:

然后给出它的 L2 范数(也写作 范数、2-范数):

这就是欧氏范数的定义(在实数情况下就是最常见的"勾股定理推广")。

  • 如果 ​ 是实数 就是普通绝对值,于是变成:

​​

图里用三维举例:

这就是三维空间里"点到原点的直线距离"。


2) 为什么叫"欧氏":它对应我们熟悉的几何距离

在二维平面里,点 (x1,x2) 到原点的距离是:

三维是:

推广到 n 维就是图里的式子。所以它叫"欧氏"(Euclid)------对应我们直觉里的直线距离

更一般地,两点 a,b 的欧氏距离就是:


3) 图里提到复数:为什么要写

如果向量分量是复数 ,直接平方会出"方向/相位"的麻烦,所以用模长平方

  • ,则

因此

也可以写成(更线性代数的形式):

其中 是共轭转置(实数情况下就是 )。


4) 图最后的"函数版 L2":从求和变积分

图里还说"大写 L2"常保留给函数空间

你可以把它理解成:

  • 离散向量 :把每个分量的"能量" 加起来(求和)

  • 连续函数 :把每一点的"能量密度" 在全域加起来(积分)

所以它们本质上是同一件事:平方 → 累加 → 开方

5)在正交矩阵中的应用

该公式是正交矩阵最核心的性质之一:它保持向量的长度(欧氏范数)不变。

这看起来一串矩阵运算,其实超级简单,就是在证明"旋转或反射后,向量长度没变"。就像你拿一根棒子转来转去,或者照镜子,棒子长度始终一样。

我们一步步拆开,每步都解释为什么:

步骤1:向量长度平方怎么算?
  • 一个向量 的长度(欧氏范数)是
  • 长度平方就是
  • 用矩阵写法:这就是 (x 的转置乘 x,自己和自己的点积)。
  • 同理,变换后的向量 Qx 的长度平方是
    • 这步就是定义:任何向量的长度平方 = 它转置乘它自己。
步骤2:矩阵转置的"反向"规则
  • 矩阵乘法的转置有个重要性质:(顺序反过来)
  • 所以 (Q 和 x 换序,转置掉)
  • 代入得:
  • 再把 Qx 带进去:
    • 这里用了结合律:矩阵乘法可以"括号移动"。
步骤3:正交矩阵的"杀手锏"------
  • 正交矩阵的定义就是 (单位矩阵,对角线1,其他0)
  • 所以直接代入:
  • 单位矩阵乘任何东西都不变:
  • 所以

完事!整个证明就靠这三步:定义 + 转置规则 + 正交定义。

用最简单的2D例子算一遍(旋转矩阵)

拿经典旋转矩阵(转 θ 角):

随便拿个向量,比如 (长度5,因为3-4-5直角三角形)

  • 原长度平方:

  • 变换后 Qx:假设 θ=90°(cos90=0, sin90=1)

  • 新长度平方:,还是25!长度没变。

不管转多少度,都一样(因为 cos²θ + sin²θ = 1 的恒等式在起作用)。

反射也一样(带镜像的正交矩阵)

比如沿x轴反射:

长度平方还是 9 + 16 = 25。就像镜子里的你,身高没变,只是左右翻了。

为什么这个性质这么重要?
  • 几何上:旋转、反射就是"刚体运动",不拉伸、不压缩。
  • 实际用:图形学里转模型不走样;数值计算里正交矩阵不会放大误差(保持数值稳定);量子力学里能量(长度平方)守恒。
  • 扩展:它不只保持长度,还保持角度(内积不变,证明类似:)。

脑补画面:想象一根箭头(向量),乘上正交矩阵后,只是方向变了(旋转或翻转),箭头长短完全一样。非正交矩阵就会把箭头拉长或压短。

一句话:正交变换不会改变欧氏长度


6) 不只是"长度不变",连"距离"和"角度"都不变

距离不变

两点距离是 ​。

正交变换后:

所以 所有点与点的距离都保持,这就是"刚体运动"的数学版本。

角度不变

角度来自点积公式:

正交变换后点积也保持:

同时长度也保持,所以 cos⁡θ 不变,角度就不变。

结论:正交矩阵 = 保距离 + 保角度 的变换(旋转或旋转+镜像)。

相关推荐
冰西瓜6001 分钟前
深度学习的数学原理(三十)—— Transformer的子层连接:残差+层归一化
人工智能·深度学习·transformer
β添砖java2 分钟前
深度学习(6)softmax回归、损失函数、分类
人工智能·深度学习·回归
GISer_Jing2 分钟前
前端视角:B端传统配置化现状与AI冲击趋势
前端·人工智能·ai编程
拾-光13 分钟前
LTX-Video 2.3 实战:用图片生成视频,消费级显卡也能跑的开源 I2V 模型(GPT Image 2)
java·人工智能·python·深度学习·算法·机器学习·音视频
Lethehong13 分钟前
别被代码吓跑!普通人3步搞定AI视频神器——Pixelle-Video - AI 全自动短视频引擎(附避坑)
人工智能·开源·自动化·蓝耘元生代·蓝耘maas
AVA洋14 分钟前
初识Coze(扣子)工作流,ai视频自动化制作
人工智能·python·大模型
星辰徐哥18 分钟前
OpenCV入门:Windows系统下OpenCV的安装与环境配置
人工智能·windows·opencv
智慧化智能化数字化方案20 分钟前
数字化转型:解读IBM—大型酒业集团数字化转型项目实施方案建议书【附全文阅读】
大数据·人工智能·集团数字化转型·酒业集团数字化·食品公司数字化·快消品数字化
许彰午20 分钟前
从 CacheSQL 到创造民主化——AI 时代,想法即产品
人工智能
拥春飞翔24 分钟前
AI 生成测试用例:测试知识库选「开源向量库」还「Git+Markdown」?
人工智能·git·测试用例