机器学习基础:欧氏范数的应用

"||x||"符号在机器学习算法中随处可见,但它背后的实际直觉是什么呢?

勾股定理是一个很好的切入点。这当然是每个人在几何课上都学过的内容,但这里还是简单回顾一下,方便大家入门:

图中高亮显示的点 (4,3) 被分解成两个方向分量 -> (4,0) 和 (0,3):

这些方向分量使量级的概念更容易理解。这些分量的大小就是它们到原点的距离,而这正是量级公式有效的原因。

通过将这些分解分量相加,我们得到了原点 (4,3)。因此,从 (0,0) 到 (4,3) 的线段长度就是各个分量之和的模!虽然这段描述略显冗长,但它完美地过渡到了欧几里得范数(也称为 L2 范数)的正式定义:

这张图在讲 范数 ,而在实数向量空间 里, 范数就是我们常说的 欧氏范数(Euclidean norm)------也就是"向量的长度"。


1) 图里在做什么:从向量到"长度"

图中先把向量写成列向量:

然后给出它的 L2 范数(也写作 范数、2-范数):

这就是欧氏范数的定义(在实数情况下就是最常见的"勾股定理推广")。

  • 如果 ​ 是实数 就是普通绝对值,于是变成:

​​

图里用三维举例:

这就是三维空间里"点到原点的直线距离"。


2) 为什么叫"欧氏":它对应我们熟悉的几何距离

在二维平面里,点 (x1,x2) 到原点的距离是:

三维是:

推广到 n 维就是图里的式子。所以它叫"欧氏"(Euclid)------对应我们直觉里的直线距离

更一般地,两点 a,b 的欧氏距离就是:


3) 图里提到复数:为什么要写

如果向量分量是复数 ,直接平方会出"方向/相位"的麻烦,所以用模长平方

  • ,则

因此

也可以写成(更线性代数的形式):

其中 是共轭转置(实数情况下就是 )。


4) 图最后的"函数版 L2":从求和变积分

图里还说"大写 L2"常保留给函数空间

你可以把它理解成:

  • 离散向量 :把每个分量的"能量" 加起来(求和)

  • 连续函数 :把每一点的"能量密度" 在全域加起来(积分)

所以它们本质上是同一件事:平方 → 累加 → 开方

5)在正交矩阵中的应用

该公式是正交矩阵最核心的性质之一:它保持向量的长度(欧氏范数)不变。

这看起来一串矩阵运算,其实超级简单,就是在证明"旋转或反射后,向量长度没变"。就像你拿一根棒子转来转去,或者照镜子,棒子长度始终一样。

我们一步步拆开,每步都解释为什么:

步骤1:向量长度平方怎么算?
  • 一个向量 的长度(欧氏范数)是
  • 长度平方就是
  • 用矩阵写法:这就是 (x 的转置乘 x,自己和自己的点积)。
  • 同理,变换后的向量 Qx 的长度平方是
    • 这步就是定义:任何向量的长度平方 = 它转置乘它自己。
步骤2:矩阵转置的"反向"规则
  • 矩阵乘法的转置有个重要性质:(顺序反过来)
  • 所以 (Q 和 x 换序,转置掉)
  • 代入得:
  • 再把 Qx 带进去:
    • 这里用了结合律:矩阵乘法可以"括号移动"。
步骤3:正交矩阵的"杀手锏"------
  • 正交矩阵的定义就是 (单位矩阵,对角线1,其他0)
  • 所以直接代入:
  • 单位矩阵乘任何东西都不变:
  • 所以

完事!整个证明就靠这三步:定义 + 转置规则 + 正交定义。

用最简单的2D例子算一遍(旋转矩阵)

拿经典旋转矩阵(转 θ 角):

随便拿个向量,比如 (长度5,因为3-4-5直角三角形)

  • 原长度平方:

  • 变换后 Qx:假设 θ=90°(cos90=0, sin90=1)

  • 新长度平方:,还是25!长度没变。

不管转多少度,都一样(因为 cos²θ + sin²θ = 1 的恒等式在起作用)。

反射也一样(带镜像的正交矩阵)

比如沿x轴反射:

长度平方还是 9 + 16 = 25。就像镜子里的你,身高没变,只是左右翻了。

为什么这个性质这么重要?
  • 几何上:旋转、反射就是"刚体运动",不拉伸、不压缩。
  • 实际用:图形学里转模型不走样;数值计算里正交矩阵不会放大误差(保持数值稳定);量子力学里能量(长度平方)守恒。
  • 扩展:它不只保持长度,还保持角度(内积不变,证明类似:)。

脑补画面:想象一根箭头(向量),乘上正交矩阵后,只是方向变了(旋转或翻转),箭头长短完全一样。非正交矩阵就会把箭头拉长或压短。

一句话:正交变换不会改变欧氏长度


6) 不只是"长度不变",连"距离"和"角度"都不变

距离不变

两点距离是 ​。

正交变换后:

所以 所有点与点的距离都保持,这就是"刚体运动"的数学版本。

角度不变

角度来自点积公式:

正交变换后点积也保持:

同时长度也保持,所以 cos⁡θ 不变,角度就不变。

结论:正交矩阵 = 保距离 + 保角度 的变换(旋转或旋转+镜像)。

相关推荐
愚公搬代码6 小时前
【愚公系列】《AI短视频创作一本通》002-AI引爆短视频创作革命(短视频创作者必备的能力)
人工智能
数据猿视觉6 小时前
新品上市|奢音S5耳夹耳机:3.5g无感佩戴,178.8元全场景适配
人工智能
蚁巡信息巡查系统6 小时前
网站信息发布再巡查机制怎么建立?
大数据·人工智能·数据挖掘·内容运营
AI浩6 小时前
C-RADIOv4(技术报告)
人工智能·目标检测
Purple Coder6 小时前
AI赋予超导材料预测论文初稿
人工智能
Data_Journal6 小时前
Scrapy vs. Crawlee —— 哪个更好?!
运维·人工智能·爬虫·媒体·社媒营销
云边云科技_云网融合6 小时前
AIoT智能物联网平台:架构解析与边缘应用新图景
大数据·网络·人工智能·安全
码农水水6 小时前
得物Java面试被问:消息队列的死信队列和重试机制
java·开发语言·jvm·数据结构·机器学习·面试·职场和发展
康康的AI博客6 小时前
什么是API中转服务商?如何低成本高稳定调用海量AI大模型?
人工智能·ai
技术与健康6 小时前
AI Coding协作开发工作台 实战案例:为电商系统添加用户评论功能
人工智能