【AI数学基础】线性代数:内积和范数

(观前提醒,这是工科AI相关的数学基础的学习笔记,不是数学专业的文章,所以没有严谨的证明和定义,数院大神请勿批评)

2. 内积和范数

2.1 内积的定义

从代数的角度来说,内积是两个向量之间的一种运算,其结果是一个实数。

设由两个 n n n维向量:
x = [ x 1 x 2 ⋯ x n ] , y = [ y 1 y 2 ⋯ y n ] \mathbf{x}=\left[\begin{array}{c} x_{1} \\ x_{2} \\ \cdots \\ x_{n} \end{array}\right], \mathbf{y}=\left[\begin{array}{c} y_{1} \\ y_{2} \\ \cdots \\ y_{n} \end{array}\right] x= x1x2⋯xn ,y= y1y2⋯yn

令 x ⋅ y = x 1 y 1 + x 2 y 2 + ⋯ + x n y n \mathbf{x} \cdot \mathbf{y}=x_{1} y_{1}+x_{2} y_{2}+\cdots+x_{n} y_{n} x⋅y=x1y1+x2y2+⋯+xnyn, x ⋅ y \mathbf{x} \cdot \mathbf{y} x⋅y为向量 x \mathbf{x} x和向量 y \mathbf{y} y的内积

内积具有下列性质(其中 x , y , z \mathbf{x},\mathbf{y},\mathbf{z} x,y,z为 n n n维向量, λ \lambda λ为实数):

  • x ⋅ y = y ⋅ x \mathbf{x}\cdot\mathbf{y}=\mathbf{y}\cdot\mathbf{x} x⋅y=y⋅x;
  • ( λ x ) ⋅ y = x ⋅ ( λ y ) (\lambda\mathbf{x})\cdot\mathbf{y}=\mathbf{x}\cdot(\lambda\mathbf{y}) (λx)⋅y=x⋅(λy);
  • ( x + y ) ⋅ z = x ⋅ z + y ⋅ z (\mathbf{x}+\mathbf{y})\cdot\mathbf{z}=\mathbf{x}\cdot\mathbf{z}+\mathbf{y}\cdot\mathbf{z} (x+y)⋅z=x⋅z+y⋅z;
  • 当 x = 0 \mathbf{x}=\mathbf{0} x=0时, x ⋅ x = 0 \mathbf{x}\cdot\mathbf{x}=0 x⋅x=0;当 x ≠ 0 \mathbf{x}\ne\mathbf{0} x=0时, x ⋅ x > 0 \mathbf{x}\cdot\mathbf{x}>0 x⋅x>0.

2.2 范数的定义

2.2.1范数的定义

范数定义了向量空间里的距离 ,范数能将一组实数列表(向量)映射成一个实数,它的出现使得向量之间的比较称为了可能。(其实就是向量的长度)

如果向量 x ∈ R n x\in\mathbb{R}^{n} x∈Rn的某个实值函数 f ( x ) = ∣ ∣ x ∣ ∣ f(x)=||x|| f(x)=∣∣x∣∣满足:

  • 正定性 : ∣ ∣ x ∣ ∣ ⩾ 0 ||x||\geqslant 0 ∣∣x∣∣⩾0且 ∣ ∣ x ∣ ∣ = 0 ||x||=0 ∣∣x∣∣=0当且仅当 x = 0 x=0 x=0;
  • 齐次性 :对任意实数 α \alpha α,都有 ∣ ∣ α x ∣ ∣ = ∣ α ∣ ⋅ ∣ ∣ x ∣ ∣ ||\alpha x||=|\alpha|\cdot||x|| ∣∣αx∣∣=∣α∣⋅∣∣x∣∣;
  • 三角不等式 :对任意 x , y ∈ R n x,y\in\mathbb{R}^{n} x,y∈Rn,都有 ∣ ∣ x + y ∣ ∣ ⩽ ∣ ∣ x ∣ ∣ + ∣ ∣ y ∣ ∣ ||x+y||\leqslant||x||+||y|| ∣∣x+y∣∣⩽∣∣x∣∣+∣∣y∣∣;

满足上述三条性质,则称 ∣ ∣ x ∣ ∣ ||x|| ∣∣x∣∣为 R n \mathbb{R}^{n} Rn上的一个向量范数。

2.2.2 常见的范数

常用的向量范数有:

  • L1范数 :也叫曼哈顿距离,其公式为 ∥ x ∥ 1 = ∑ i ∣ x i ∣ \|x\|{1}=\sum\limits{i}\left|x_{i}\right| ∥x∥1=i∑∣xi∣,它是一个向量中所有元素的绝对值之和;
  • L2范数 :也叫欧几里得距离,其公式为 ∥ x ∥ 2 = ∑ i x i 2 \|x\|{2}=\sqrt{\sum\limits{i} x_{i}^{2}} ∥x∥2=i∑xi2 ,对一个向量中所有元素取平方和,然后再开方。

2.3 内积的几何解释

知道范数的本质是距离之后,我们就可以从几何角度来解释内积,内积定义了向量空间里的角度 。比如说,在向量空间中存在两个向量 u \mathbf{u} u和 v \mathbf{v} v,它们之间的夹角是 θ \theta θ.
u ∙ v = ∥ u ∥ ∥ v ∥ cos ⁡ θ \mathbf{u} \bullet \mathbf{v}=\|\mathbf{u}\|\|\mathbf{v}\| \cos \theta u∙v=∥u∥∥v∥cosθ

相关推荐
go54631584659 分钟前
修改Spatial-MLLM项目,使其专注于无人机航拍视频的空间理解
人工智能·算法·机器学习·架构·音视频·无人机
还有糕手1 小时前
西南交通大学【机器学习实验2】
人工智能·机器学习
jndingxin1 小时前
OpenCV CUDA模块设备层-----在 GPU 上执行类似于 std::copy 的操作函数warpCopy()
人工智能·opencv·计算机视觉
weixin_377634841 小时前
【数据增强】精细化贴图数据增强
人工智能·目标检测·贴图
老A技术联盟1 小时前
超实用的Cursor使用技巧之案列分析-教你基于Cursor零代码开发一个chrome插件
人工智能·cursor
慧星云1 小时前
ComfyUI工作流 :一键换背景体验不同场景
人工智能
程序员的小马甲1 小时前
如何编写AI提示词
人工智能·程序员·产品经理
算家计算1 小时前
4 位量化 + FP8 混合精度:ERNIE-4.5-0.3B-Paddle本地部署,重新定义端侧推理效率
人工智能·开源
晓13131 小时前
OpenCV篇——项目(二)OCR文档扫描
人工智能·python·opencv·pycharm·ocr
小白狮ww1 小时前
VASP 教程:VASP 机器学习力场微调
人工智能·深度学习·机器学习