数学基础 -- 线性代数之向量基本概念

向量的基本概念

向量是一个具有大小（长度）和方向的数学对象，通常用于表示空间中的位置、速度、力等物理量。向量的基本概念包括：

图形表示：向量用箭头表示，箭头的长度代表大小，方向代表方向。
坐标表示 ：
- 在二维空间中，向量 v \mathbf{v} v 表示为 ( v x , v y ) (v_x, v_y) (vx,vy)。
- 在三维空间中，向量 v \mathbf{v} v 表示为 ( v x , v y , v z ) (v_x, v_y, v_z) (vx,vy,vz)。

加法： c = a + b \mathbf{c} = \mathbf{a} + \mathbf{b} c=a+b，其中 c \mathbf{c} c 的分量是 ( a x + b x , a y + b y , a z + b z ) (a_x + b_x, a_y + b_y, a_z + b_z) (ax+bx,ay+by,az+bz)。
减法： c = a − b \mathbf{c} = \mathbf{a} - \mathbf{b} c=a−b，其中 c \mathbf{c} c 的分量是 ( a x − b x , a y − b y , a z − b z ) (a_x - b_x, a_y - b_y, a_z - b_z) (ax−bx,ay−by,az−bz)。
标量乘法 ： k a k \mathbf{a} ka 的分量是 ( k a x , k a y , k a z ) (k a_x, k a_y, k a_z) (kax,kay,kaz)。
点积（内积）： a ⋅ b = a x b x + a y b y + a z b z \mathbf{a} \cdot \mathbf{b} = a_x b_x + a_y b_y + a_z b_z a⋅b=axbx+ayby+azbz。
叉积（外积）：在三维空间中， a × b \mathbf{a} \times \mathbf{b} a×b 是一个垂直于 a \mathbf{a} a 和 b \mathbf{b} b 的向量，其大小为 ∣ a × b ∣ = ∣ a ∣ ∣ b ∣ sin ⁡ ( θ ) | \mathbf{a} \times \mathbf{b} | = | \mathbf{a} | | \mathbf{b} | \sin(\theta) ∣a×b∣=∣a∣∣b∣sin(θ)。

大小（模） ： ∥ v ∥ = v x 2 + v y 2 + v z 2 \| \mathbf{v} \| = \sqrt{v_x^2 + v_y^2 + v_z^2} ∥v∥=vx2+vy2+vz2 。
单位向量 ：长度为1的向量， u = v ∥ v ∥ \mathbf{u} = \frac{\mathbf{v}}{\|\mathbf{v}\|} u=∥v∥v。
零向量：所有分量均为零的向量。

范数是一个函数，将向量映射到非负实数，表示向量的"大小"或"长度"。常见的范数包括：

欧几里得范数（L2范数） ：
∥ v ∥ 2 = v x 2 + v y 2 + v z 2 \| \mathbf{v} \|_2 = \sqrt{v_x^2 + v_y^2 + v_z^2} ∥v∥2=vx2+vy2+vz2

在二维空间中：
∥ v ∥ 2 = v x 2 + v y 2 \| \mathbf{v} \|_2 = \sqrt{v_x^2 + v_y^2} ∥v∥2=vx2+vy2
曼哈顿范数（L1范数） ：
∥ v ∥ 1 = ∣ v x ∣ + ∣ v y ∣ + ∣ v z ∣ \| \mathbf{v} \|_1 = |v_x| + |v_y| + |v_z| ∥v∥1=∣vx∣+∣vy∣+∣vz∣

在二维空间中：
∥ v ∥ 1 = ∣ v x ∣ + ∣ v y ∣ \| \mathbf{v} \|_1 = |v_x| + |v_y| ∥v∥1=∣vx∣+∣vy∣
无穷范数（L∞范数） ：
∥ v ∥ ∞ = max ⁡ ( ∣ v x ∣ , ∣ v y ∣ , ∣ v z ∣ ) \| \mathbf{v} \|_\infty = \max(|v_x|, |v_y|, |v_z|) ∥v∥∞=max(∣vx∣,∣vy∣,∣vz∣)

在二维空间中：
∥ v ∥ ∞ = max ⁡ ( ∣ v x ∣ , ∣ v y ∣ ) \| \mathbf{v} \|_\infty = \max(|v_x|, |v_y|) ∥v∥∞=max(∣vx∣,∣vy∣)

内积是两个向量之间的代数运算，结果是一个标量，表示两个向量的相似度或投影。

定义：
a ⋅ b = a x b x + a y b y + a z b z \mathbf{a} \cdot \mathbf{b} = a_x b_x + a_y b_y + a_z b_z a⋅b=axbx+ayby+azbz

在二维空间中：
a ⋅ b = a x b x + a y b y \mathbf{a} \cdot \mathbf{b} = a_x b_x + a_y b_y a⋅b=axbx+ayby
几何解释 ：
a ⋅ b = ∥ a ∥ ∥ b ∥ cos ⁡ ( θ ) \mathbf{a} \cdot \mathbf{b} = \| \mathbf{a} \| \| \mathbf{b} \| \cos(\theta) a⋅b=∥a∥∥b∥cos(θ)

其中 θ \theta θ 是两个向量之间的夹角。
正交性 ：如果 a ⋅ b = 0 \mathbf{a} \cdot \mathbf{b} = 0 a⋅b=0，则 a \mathbf{a} a 和 b \mathbf{b} b 正交。

欧几里得范数 ：
∥ v ∥ 2 = v ⋅ v \| \mathbf{v} \|_2 = \sqrt{\mathbf{v} \cdot \mathbf{v}} ∥v∥2=v⋅v

子空间上的投影是线性代数中的一个重要概念，用于将一个向量在一个子空间上进行"投影"，即找到该向量在子空间中的最佳逼近。

如果子空间 U U U 是正交的（即 U U U 的所有向量彼此正交），则：

正交基 ：找到子空间 U U U 的正交基 { u 1 , u 2 , ... , u k } \{\mathbf{u}_1, \mathbf{u}_2, \ldots, \mathbf{u}_k\} {u1,u2,...,uk}。
投影公式 ：
p = ∑ i = 1 k v ⋅ u i u i ⋅ u i u i \mathbf{p} = \sum_{i=1}^k \frac{\mathbf{v} \cdot \mathbf{u}_i}{\mathbf{u}_i \cdot \mathbf{u}_i} \mathbf{u}_i p=i=1∑kui⋅uiv⋅uiui

给定子空间 U U U 的基向量矩阵 A A A，投影矩阵 P P P 为：
P = A ( A T A ) − 1 A T P = A (A^T A)^{-1} A^T P=A(ATA)−1AT

投影结果为：
Proj U ( v ) = P v \text{Proj}_U(\mathbf{v}) = P \mathbf{v} ProjU(v)=Pv