【AI数学基础】线性代数:内积和范数

(观前提醒,这是工科AI相关的数学基础的学习笔记,不是数学专业的文章,所以没有严谨的证明和定义,数院大神请勿批评)

2. 内积和范数

2.1 内积的定义

从代数的角度来说,内积是两个向量之间的一种运算,其结果是一个实数。

设由两个 n n n维向量:
x = [ x 1 x 2 ⋯ x n ] , y = [ y 1 y 2 ⋯ y n ] \mathbf{x}=\left[\begin{array}{c} x_{1} \\ x_{2} \\ \cdots \\ x_{n} \end{array}\right], \mathbf{y}=\left[\begin{array}{c} y_{1} \\ y_{2} \\ \cdots \\ y_{n} \end{array}\right] x= x1x2⋯xn ,y= y1y2⋯yn

令 x ⋅ y = x 1 y 1 + x 2 y 2 + ⋯ + x n y n \mathbf{x} \cdot \mathbf{y}=x_{1} y_{1}+x_{2} y_{2}+\cdots+x_{n} y_{n} x⋅y=x1y1+x2y2+⋯+xnyn, x ⋅ y \mathbf{x} \cdot \mathbf{y} x⋅y为向量 x \mathbf{x} x和向量 y \mathbf{y} y的内积

内积具有下列性质(其中 x , y , z \mathbf{x},\mathbf{y},\mathbf{z} x,y,z为 n n n维向量, λ \lambda λ为实数):

  • x ⋅ y = y ⋅ x \mathbf{x}\cdot\mathbf{y}=\mathbf{y}\cdot\mathbf{x} x⋅y=y⋅x;
  • ( λ x ) ⋅ y = x ⋅ ( λ y ) (\lambda\mathbf{x})\cdot\mathbf{y}=\mathbf{x}\cdot(\lambda\mathbf{y}) (λx)⋅y=x⋅(λy);
  • ( x + y ) ⋅ z = x ⋅ z + y ⋅ z (\mathbf{x}+\mathbf{y})\cdot\mathbf{z}=\mathbf{x}\cdot\mathbf{z}+\mathbf{y}\cdot\mathbf{z} (x+y)⋅z=x⋅z+y⋅z;
  • 当 x = 0 \mathbf{x}=\mathbf{0} x=0时, x ⋅ x = 0 \mathbf{x}\cdot\mathbf{x}=0 x⋅x=0;当 x ≠ 0 \mathbf{x}\ne\mathbf{0} x=0时, x ⋅ x > 0 \mathbf{x}\cdot\mathbf{x}>0 x⋅x>0.

2.2 范数的定义

2.2.1范数的定义

范数定义了向量空间里的距离 ,范数能将一组实数列表(向量)映射成一个实数,它的出现使得向量之间的比较称为了可能。(其实就是向量的长度)

如果向量 x ∈ R n x\in\mathbb{R}^{n} x∈Rn的某个实值函数 f ( x ) = ∣ ∣ x ∣ ∣ f(x)=||x|| f(x)=∣∣x∣∣满足:

  • 正定性 : ∣ ∣ x ∣ ∣ ⩾ 0 ||x||\geqslant 0 ∣∣x∣∣⩾0且 ∣ ∣ x ∣ ∣ = 0 ||x||=0 ∣∣x∣∣=0当且仅当 x = 0 x=0 x=0;
  • 齐次性 :对任意实数 α \alpha α,都有 ∣ ∣ α x ∣ ∣ = ∣ α ∣ ⋅ ∣ ∣ x ∣ ∣ ||\alpha x||=|\alpha|\cdot||x|| ∣∣αx∣∣=∣α∣⋅∣∣x∣∣;
  • 三角不等式 :对任意 x , y ∈ R n x,y\in\mathbb{R}^{n} x,y∈Rn,都有 ∣ ∣ x + y ∣ ∣ ⩽ ∣ ∣ x ∣ ∣ + ∣ ∣ y ∣ ∣ ||x+y||\leqslant||x||+||y|| ∣∣x+y∣∣⩽∣∣x∣∣+∣∣y∣∣;

满足上述三条性质,则称 ∣ ∣ x ∣ ∣ ||x|| ∣∣x∣∣为 R n \mathbb{R}^{n} Rn上的一个向量范数。

2.2.2 常见的范数

常用的向量范数有:

  • L1范数 :也叫曼哈顿距离,其公式为 ∥ x ∥ 1 = ∑ i ∣ x i ∣ \|x\|{1}=\sum\limits{i}\left|x_{i}\right| ∥x∥1=i∑∣xi∣,它是一个向量中所有元素的绝对值之和;
  • L2范数 :也叫欧几里得距离,其公式为 ∥ x ∥ 2 = ∑ i x i 2 \|x\|{2}=\sqrt{\sum\limits{i} x_{i}^{2}} ∥x∥2=i∑xi2 ,对一个向量中所有元素取平方和,然后再开方。

2.3 内积的几何解释

知道范数的本质是距离之后,我们就可以从几何角度来解释内积,内积定义了向量空间里的角度 。比如说,在向量空间中存在两个向量 u \mathbf{u} u和 v \mathbf{v} v,它们之间的夹角是 θ \theta θ.
u ∙ v = ∥ u ∥ ∥ v ∥ cos ⁡ θ \mathbf{u} \bullet \mathbf{v}=\|\mathbf{u}\|\|\mathbf{v}\| \cos \theta u∙v=∥u∥∥v∥cosθ

相关推荐
编程武士3 小时前
从50ms到30ms:YOLOv10部署中图像预处理的性能优化实践
人工智能·python·yolo·性能优化
max5006003 小时前
基于Meta Llama的二语习得学习者行为预测计算模型
人工智能·算法·机器学习·分类·数据挖掘·llama
月疯4 小时前
OPENCV摄像头读取视频
人工智能·opencv·音视频
极客天成ScaleFlash5 小时前
极客天成让统一存储从云原生‘进化’到 AI 原生: 不是版本升级,而是基因重组
人工智能·云原生
王哥儿聊AI5 小时前
Lynx:新一代个性化视频生成模型,单图即可生成视频,重新定义身份一致性与视觉质量
人工智能·算法·安全·机器学习·音视频·软件工程
_pinnacle_5 小时前
打开神经网络的黑箱(三) 卷积神经网络(CNN)的模型逻辑
人工智能·神经网络·cnn·黑箱·卷积网络
Ada's5 小时前
深度学习在自动驾驶上应用(二)
人工智能·深度学习·自动驾驶
张较瘦_5 小时前
[论文阅读] 人工智能 + 软件工程 | 从“人工扒日志”到“AI自动诊断”:LogCoT框架的3大核心创新
论文阅读·人工智能·软件工程
lisw056 小时前
连接蓝牙时“无媒体信号”怎么办?
人工智能·机器学习·微服务
扫地的小何尚6 小时前
深度解析 CUDA-QX 0.4 加速 QEC 与求解器库
人工智能·语言模型·llm·gpu·量子计算·nvidia·cuda