（观前提醒，这是工科AI相关的数学基础的学习笔记，不是数学专业的文章，所以没有严谨的证明和定义，数院大神请勿批评）
1. 向量空间
1.1 定义和例子
在数学中，空间这个概念本质上是满足一定条件的集合 。而向量空间，总的来说，就是定义了加法和数乘这两种运算的集合。
1.1.1 集合
【定义】集合 （ S \boldsymbol{S} S）是指具有某种特定性质的总体。
- 比如说，把所有整数放在一起定义整数集 Z = { ⋯ , − 1 , 0 , 1 , ⋯ } \mathbb{Z}=\{\cdots,-1,0,1,\cdots\} Z={⋯,−1,0,1,⋯}.
- 实数集 R \mathbb{R} R.
- 有限集合，比如 { 1 , 3 , 4 } \{1,3,4\} {1,3,4}.
1.1.2 阿贝尔群
在一个集合之上定义加法运算 S × S → S \boldsymbol{S}\times\boldsymbol{S}\to\boldsymbol{S} S×S→S（这是笛卡尔积，在笛卡尔积中，每个元素都与另一个集合中的每个元素形成一对，这样就生成了所有可能的组合。这里如果非要看懂详见本人文章：【数学分析笔记】第1章第1节：集合（3））：
- 交换律 ： w + v = v + w w+v=v+w w+v=v+w；
- 结合律 ： ( u + v ) + w = u + ( v + w ) (u+v)+w=u+(v+w) (u+v)+w=u+(v+w)；
- 加法恒等 ： v + 0 = v v+0=v v+0=v
- 加法逆元 ： v + ( − v ) = 0 v+(-v)=0 v+(−v)=0
满足上述四条加法运算规则的集合就是阿贝尔群 （ A , + \boldsymbol{A},+ A,+）。典型的例子有：
- 定义了加法运算的整数集 { Z , + } : 2 + 1 = 3 \{\mathbb{Z},+\}:2+1=3 {Z,+}:2+1=3；
- 定义了加法运算的实数集 { R , + } : 3.1 + 1.3 = 4.4 \{\mathbb{R}, +\}:3.1+1.3=4.4 {R,+}:3.1+1.3=4.4.
1.1.3 向量空间
在阿贝尔群之上如果再定义一个数乘运算： R × V → V \mathbb{R}\times\boldsymbol{V}\to\boldsymbol{V} R×V→V，并且数乘运算的各种性质：
- λ ( u + v ) = λ u + λ v \lambda(u+v)=\lambda u+\lambda v λ(u+v)=λu+λv
- ( λ + μ ) v = λ v + μ v (\lambda + \mu)v=\lambda v+\mu v (λ+μ)v=λv+μv
- ( λ μ ) v = λ ( μ v ) (\lambda \mu)v=\lambda (\mu v) (λμ)v=λ(μv)
- 1 ⋅ v = v 1\cdot v=v 1⋅v=v
满足上述性质，就得到了向量空间 （ V , + , R \boldsymbol{V},+,\mathbb{R} V,+,R）。所谓数乘元素，就是让一个元素和一个实数相乘。典型的例子：
- n n n维实数空间，一般记作 R n , n ⩾ 1 , n ∈ Z \mathbb{R}^{n},n\geqslant 1,n\in\mathbb{Z} Rn,n⩾1,n∈Z，（ R n , + , R \mathbb{R}^{n},+,\mathbb{R} Rn,+,R）；
- 当 n = 3 n=3 n=3的时候，我们的 n n n维实数空间就可以想象成一个取定坐标系的三维空间（ R 3 , + , R \mathbb{R}^{3},+,\mathbb{R} R3,+,R）
x , y , z x,y,z x,y,z轴代表空间里面的三个坐标轴，原点用一个 O O O来表示。空间中的任意一个点 P P P可以用一组实数列表来表示，实数列表中的每一个值代表空间当中的点在每个坐标轴上的投影。
1.2 向量及其运算。
1.2.1 向量及其表示方式
向量空间中的元素就叫向量 。（可以比做一个装苹果的箱子和箱子中的苹果的关系，如果向量是苹果，那么向量空间就是装苹果的箱子）
在低维实数空间中，向量可以被想成是一个起点在坐标原点，有长度有方向的箭头。但在高维空间中我们就没法想象了，因为我们自己都不知道高维空间长什么样子。
所以，对于每一个向量，一个更通用的表示方式是可以用一个 n n n维实数列表表示，比如 [ v 1 v 2 ⋯ v n ] \begin{bmatrix} v_1 \\ v_2 \\ \cdots \\ v_n \end{bmatrix} v1v2⋯vn 或 [ v 1 , v 2 , ⋯ , v n ] [v_1,v_2,\cdots,v_n] [v1,v2,⋯,vn]，前者叫列向量 ，后者叫行向量 ，其中第 i i i个数 v i v_i vi称为该向量的第 i i i个分量 。数学上，向量一般也用粗体的字母，比如 V \boldsymbol{V} V，或者加右箭头的小写字母比如 v ⃗ \vec{v} v 来表示。
1.2.2 向量的运算
向量的运算主要包括加法 和数乘（以列向量为例）：
-
加法 ： [ v 1 v 2 ⋯ v n ] + [ w 1 w 1 ⋯ w n ] = [ v 1 + w 1 v 2 + w 2 ⋯ v n + w n ] \left[\begin{array}{c} v_{1} \\ v_{2} \\ \cdots \\ v_{n} \end{array}\right]+\left[\begin{array}{c} w_{1} \\ w_{1} \\ \cdots \\ w_{n} \end{array}\right]=\left[\begin{array}{c} v_{1}+w_{1} \\ v_{2}+w_{2} \\ \cdots \\ v_{n}+w_{n} \end{array}\right] v1v2⋯vn + w1w1⋯wn = v1+w1v2+w2⋯vn+wn ，从几何角度理解就是：把其中一个向量的箭头尾部放到另外一个向量的箭头上进行平移，首尾向量得到的向量就是相加的结果。
-
数乘 ： λ [ v 1 v 2 ... v n ] = [ λ w 1 λ w 1 ... λ w n ] \lambda\left[\begin{array}{c} v_{1} \\ v_{2} \\ \ldots \\ v_{n} \end{array}\right]=\left[\begin{array}{c} \lambda w_{1} \\ \lambda w_{1} \\ \ldots \\ \lambda w_{n} \end{array}\right] λ v1v2...vn = λw1λw1...λwn ，向量的数乘本质上是向量在空间里的伸缩，伸缩的方向和伸缩的长度取决于数乘的数的大小，数是正数，那么方向和之前方向一致，乘负数，方向相反
1.3 向量组的线性组合
1.3.1 向量组
若干个同维数 的列向量（或行向量）所组成的集合 叫做向量组。
1.3.2 向量组的线性组合
给定向量组 A : a 1 , a 2 , ⋯ , a m \boldsymbol{A}:\boldsymbol{a}_1,\boldsymbol{a}_2,\cdots,\boldsymbol{a}_m A:a1,a2,⋯,am和一组实数 λ 1 , λ 2 , ⋯ , λ m \lambda_1,\lambda_2,\cdots,\lambda_m λ1,λ2,⋯,λm，那么：
λ 1 a 1 + λ 2 a 2 + ⋯ + λ m a m \lambda_{1} \mathbf{a}{1}+\lambda{2} \mathbf{a}{2}+\cdots+\lambda{m} \mathbf{a}_{\mathrm{m}} λ1a1+λ2a2+⋯+λmam
就叫做向量组 A \boldsymbol{A} A的线性组合。这个式子就是我们刚才提到的向量数乘和加法运算复合而来的。
1.3.3 向量组的线性表示（线性组合）
如果存在一个向量 b \boldsymbol{b} b，使得：
b = λ 1 a 1 + λ 2 a 2 + ⋯ + λ m a m \mathbf{b}=\lambda_{1} \mathbf{a}{1}+\lambda{2} \mathbf{a}{2}+\cdots+\lambda{m} \mathbf{a}_{\mathrm{m}} b=λ1a1+λ2a2+⋯+λmam
则向量 b \mathbf{b} b是向量组 A \boldsymbol{A} A的线性组合 ，这时也叫向量 b \mathbf{b} b能由向量组 A \boldsymbol{A} A线性表示 。
向量的线性组合能够帮助我们理解后面我们要学到的基 的这个概念。
向量空间中的任何一个向量，都可以看做是对基向量的缩放和相加操作，都可以写成两个基向量的线性组合，比如图中的 3 i ⃗ 3\vec{i} 3i .
线性组合的概念也可以帮助我们理解Span （张成空间 ）这个概念，假设空间中有两个向量 v ⃗ \vec{v} v 和 w ⃗ \vec{w} w ，它们的线性组合即 λ 1 v ⃗ + λ 2 w ⃗ \lambda_1 \vec{v}+\lambda_2 \vec{w} λ1v +λ2w ，形成的新向量，可能充满整个向量空间（不断地调整 λ 1 \lambda_1 λ1和 λ 2 \lambda_2 λ2的大小，可以形成很多的新向量），由这无数个新向量组成的集合称为张成空间 ：
1.4 向量组的线性相关性
给定向量组 A : a 1 , a 2 , ... , a m \boldsymbol{A}:\mathbf{a}{1}, \mathbf{a}{2}, \ldots, \mathbf{a}{\mathrm{m}} A:a1,a2,...,am，如果存在不全为零的数 λ 1 , λ 2 ⋯ , λ m \lambda{1}, \quad \lambda_{2} \cdots, \lambda_{m} λ1,λ2⋯,λm，使得：
λ 1 a 1 + λ 2 a 2 + ⋯ + λ m a m = 0 \lambda_{1} \mathbf{a}{1}+\lambda{2} \mathbf{a}{2}+\cdots+\lambda{m} \mathbf{a}_{\mathrm{m}}=\mathbf{0} λ1a1+λ2a2+⋯+λmam=0
则称向量组 A \boldsymbol{A} A是线性相关 的，否则称它为线性无关 。
如下图：
如果 v ⃗ \vec{v} v 和 w ⃗ \vec{w} w 形成一个夹角，无论怎么对 v ⃗ \vec{v} v 和 w ⃗ \vec{w} w 进行伸缩或者相加，它们都不可能得到零向量，除非你让 v ⃗ \vec{v} v 和 w ⃗ \vec{w} w 都伸缩到零向量，然后再让它们相加，它们才是零向量，这种情况下就是线性无关的；另外一种情况， v ⃗ \vec{v} v 和 w ⃗ \vec{w} w 在同一条线上，把任何一个向量拉伸到反方向，就和另一个向量相加变为零向量了，这就是线性相关。