麻省理工学院 - MIT - 线性代数学习笔记

学习视频地址

文章目录


1.01方程组的几何解释

对于二元方程组:row picture

方程转化为矩阵 * 向量 = 向量的形式,并且二维三维可以用图像几何表示出来(解析几何)

用column picture进行表示(线性组合):
x [ 2 − 1 ] + y [ − 1 2 ] = [ 0 3 ] x\begin{bmatrix}2 \\ -1 \\ \end{bmatrix}+y\begin{bmatrix}-1 \\ 2 \\ \end{bmatrix}= \begin{bmatrix}0 \\ 3 \\ \end{bmatrix} \\ x[2−1]+y[−12]=[03]

x=1,y=2,上述是用向量的角度进行求解。

任意两个不共线的非零向量能够表示平面中的任意向量

对于三元方程组:row picture

column picture(向量表示):

x=0,y=0,z=1
A x = b Ax=b Ax=b

是否对于任意b都有上式可解 = 列的线性组合是否能覆盖整个三维(n维)空间

非奇异矩阵/可逆矩阵可达到上面的要求(可逆矩阵被称为非奇异矩阵,因为可逆矩阵的行列式不为0,在数学中如果一个矩阵的行列式为0,则称这个矩阵为奇异矩阵。)

是3个向量都处于同一平面,即维度减一,所以涉及第三维度的向量b无法构造。

对于n个向量也是如果最后消解只有n-1维那也无解(一种平面只能覆盖n维空间的某n-1维平面,最后的求解也只能在这n-1维平面展开)。

方程组的矩阵形式:
A x = b ( A x 看做 A 各列的线性组合 ) Ax=b(Ax看做A各列的线性组合) Ax=b(Ax看做A各列的线性组合)

2.02矩阵消元

x + 2 y + z = 2 3 x + 8 y + z = 12 4 y + z = 2 A = [ 1 2 1 3 8 1 0 4 1 ] x+2y+z=2\\ 3x+8y+z=12\\ 4y+z=2\\ A=\begin{bmatrix}1 & 2 & 1 \\3 & 8 & 1 \\0 & 4 &1 \end{bmatrix} x+2y+z=23x+8y+z=124y+z=2A= 130284111

消元

增广矩阵:Ab

回代(也就是加入b进行求解)

方程从上往下消元,从下往上回代求解

消元矩阵:

由上式可知,我们把左边的矩阵(初等矩阵)当成3个1*3的行向量,右边的结果的第一行=左边第一行的第一个数 * 中间第一行 + 左边第一行的第二个数 * 中间第二行 + 左边第一行的第三个数 *中间第三行,所以结果为:1,0,0,以此类推第二行为-3,1,0(-3 * 中间第一行+1 * 中间第二行),第三行为0,0,1

E 21 表示初等矩阵第二行第一个位置发生了变换:变为 0 E_{21}表示初等矩阵第二行第一个位置发生了变换:变为0 E21表示初等矩阵第二行第一个位置发生了变换:变为0

E 32 ( E 21 A ) = U 相当于 ( E 32 E 21 ) A = U 结合律 E_{32}(E_{21}A)=U \\ 相当于(E_{32}E_{21})A=U\\结合律 E32(E21A)=U相当于(E32E21)A=U结合律

置换矩阵P

行变换左乘,列变换右乘

矩阵中基本没有交换律

逆矩阵:从U变回A

我们要取消这次消元,我们就希望E'EA=A,所以让E'E等于单位矩阵即可,E'是逆矩阵

变换后的矩阵EA,如何变回A?以行变换为例(左侧乘),就是找一个矩阵X使得XEA为A,此时若XE为单位阵,则XEA为A

E − 1 E = I E^{-1}E=I E−1E=I

3.03乘法和逆矩阵

乘法

方法一:行与列之间的点积

C 34 = ( r o w 3 o f A ) ⋅ ( c o l u m n 4 o f B ) C_{34}=(row3ofA) ·(column4ofB) C34=(row3ofA)⋅(column4ofB)

A是m * n,B是n * P,C=AB大小为m * P

方法二:把B看做是P个单独的列向量,像上一节课一样对每个列向量单独乘积最后再合并:

方法三:把A看做m个单独的行向量,向上节课一样对每个行向量单独乘积最后再合并:

方法四:A中的列 * B中的行

矩阵分块:把每个块都看成单独的元素运用方法一就得到下图

逆矩阵(非奇异矩阵) * 原矩阵 = I(单位矩阵)

奇异矩阵(非逆)可以找到一个向量x 使得Ax=0,也就是A中的向量组共面

Ax=0 有非零解,说明A中有的列没有贡献,所以不可逆

反证法:逆乘原得到单位矩阵,单位矩阵乘任一矩阵得原矩阵,所以得到X=0,但是X≠0,所以不成立

如何求逆矩阵:对于下列矩阵本质上就求两个二元一次方程组

同时求解两个方程:增广矩阵形式

高斯-若尔当消元法:

原理可理解为,假定有B矩阵,BA=I,那么右乘A逆得BI=A逆,如此可以得到逆矩阵

相当于对AI同时乘以A逆,得到I和A逆
A I = = > A ∗ A ′ I   A ′ = = > I A ′ AI==>A*A^{\prime}I{\,}A^{\prime}==>IA^{\prime} AI==>A∗A′IA′==>IA′

4.04矩阵A的LU分解

两矩阵相乘,且它们的逆均已知,那么AB的逆是什么 B − 1 A − 1 B^{-1} A^{-1} B−1A−1

A转置乘以A逆的转置等于单位E,定理A转置乘以A转置的逆等于单位E,所以A逆转置等于A转置的逆

如果还是不明白,因为我们已经知道A * A逆=A逆 * A=E,所以下面那个式子还可以写成,A转置的逆*A的转置=E,逆矩阵又是唯一的,所以A逆的转置=A转置的逆

这个由"行"组成的系数矩阵的每一行应该和之前A-1代表的系数矩阵的"列"相对应,因此就是(A-1)T*AT

将原本的A*A-1=I中左侧的A中的所有列看作用于线性组合的列向量,A-1中的每一列代表每次线性组合的系数组成
A A − 1 = I ( A − 1 ) T A T = I ( A − 1 ) T = ( A T ) − 1 AA^{-1}=I\\ (A^{-1})^TA^T=I\\ (A^{-1})^T=(A^{T})^{-1} AA−1=I(A−1)TAT=I(A−1)T=(AT)−1

把-4倍的第一行和1倍的第二行相加,放到第二行

E 21 = [ 1 0 − 4 1 ] E_{21}=\begin{bmatrix}1 & 0 \\-4 & 1 \end{bmatrix} E21=[1−401]

L = E 21 − 1 L=E_{21}^{-1} L=E21−1

E 32 E 31 E 21 A = U ( n o    r o w   e x c h a n g e ) A = E 21 − 1 E 31 − 1 E 32 − 1 U E_{32}E_{31}E_{21}A=U(no{\,\,} row{\,}exchange)\\ A=E_{21}^{-1}E_{31}^{-1}E_{32}^{-1}U E32E31E21A=U(norowexchange)A=E21−1E31−1E32−1U

1 0 0 2 1 0 0 5 1 \] = L ( l e f t   o f   U ) E A = U A = L U \\begin{bmatrix}1 \&0 \& 0\\\\2 \& 1\&0\\\\0\&5\&1 \\end{bmatrix}=L(left{\\,}of{\\,}U)\\\\ EA=U A=LU 120015001 =L(leftofU)EA=UA=LU 原因:然而L是恢复为original矩阵的逆过程,也就是从下向上处理的,同样使用较上的行来处理较下的行,然而自下而上不会更改较上的行。 原因:E是从上向下处理的,使用较上的行来处理较下的行,然而较上的行不一定是original的,有可能是经过处理修改的。 1. L中的矩阵相乘的顺序很好,从左往右从上往下 2. 初等矩阵都是单位阵来的,对角线都是1 ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/d32594329e92424399373bf88250b223.png) 类似于时间复杂度如果n=100,对于n \* n的矩阵A需要进行多少次操作(每个元素一次乘法+一次减法进行小消元)变成下三角矩阵? 首先把矩阵留下第一行第一列的主元,第n行第一列为0,需要大约100\^2次运算 同理,把矩阵留下第二行第二列的主元,第n行第二列为0,需要大约99\^2次运算... 总操作数是:大约是 1 / 3 ∗ n 3 1/3\*n\^3 1/3∗n3的总操作次数 a l l   o p r a t i o n s = n 2 + ( n − 1 ) 2 + . . . 1 2 = n ( n + 1 )( 2 n + 1 ) / 6 all{\\,}oprations=n\^2+(n-1)\^2+...1\^2=n(n+1)(2n+1)/6 alloprations=n2+(n−1)2+...12=n(n+1)(2n+1)/6 ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/78e88efbe5f04f0ea52a273d5a4fd905.png) 对于增广矩阵右侧的b,需要n\^2次操作次数 n \* n的矩阵有 n ! n! n!种置换矩阵 P − 1 = P T P\^{-1}=P\^{T} P−1=PT ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/5f412b104eb1475da14fdd2534d523a2.png) ## 5.05转置,置换,向量空间 ### 置换 permutations P:execute row exchanges A=LU的分解其实就是L是A行变换的过程U是行变换的结果 如果要进行 行变换A=LU 就要变成PA=LU 置换矩阵是行重新排列了的单位矩阵 n \* n的矩阵有n!种置换矩阵,就是各行重新排列后所有可能的数目 P都是可逆的,并且满足以下式子 P − 1 = P T P T P = I P\^{-1}=P\^{T}\\\\ P\^{T}P=I P−1=PTPTP=I ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/1711d2e4774f4a17a8bd18aa8d7a8026.png) ### 转置 R\^TR 得出来的矩阵都是对称的 ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/e3ddfd4e3b964130a8ec27fb7fea31a3.png) ( R T R ) T = R T R T T = R T R (R\^TR)\^T=R\^{T}R\^{TT}=R\^TR (RTR)T=RTRTT=RTR ### 向量空间 ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/9948a49b5fe14305a4c1d7ab0e49268f.png) 向量空间对数乘和加法两种运算(线性组合)是封闭的 子空间内必须包含0向量 二维空间的子空间是过原点的一条直线 ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/d526868a22c147d38bc0af7f2539a592.png) ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/0ca4d3e4abe9403fb155280362706a9f.png) 这一讲的核心思想是,通过某些向量构成一个向量组成的空间如果这些空间属于R3,那么它们构成的空间也在R3内,关键是,对其进行线性组合后仍然在子空间内 子空间:过原点、点(1,2,4)、点(3,3,1)的平面 如何构造矩阵列空间:取出每一列,线性组合,所有的线性组合就能构成列空间 ## 6.06列空间和零空间 子空间S和T的交集是一个子空间 交集必含有零向量,线与线的交集是原点,线与面的交集要么是原点要么是线本身,面与面的交集要么是一条过原点的线要么是面本身 S和T的交集取向量v和w,则v,w既属于S也属于T,而S,T中的v,w是满足"加和数乘"规则的 ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/db22c131c61547a1b01957f440d2bbe5.png) ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/082203ac719e4ddc9e2f7afae878229c.png) ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/e4439f277f614caf93b0ff9936f5b66d.png) 三个列向量的线性组合无法充满整个四维空间 那么理解:四维空间里的三个向量最多只能组成四维空间里的三维空间,而要让B有解,就必须充满四维空间才行,因为B是四维空间里任意一个向量 问题:什么b让方程组有解:Ax=b 只有b是各列的线性组合时,Ax=b才有解 ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/47f051d87bc44f8db8fe62e33c92fe0d.png) 对于A,去掉某一列得到同样的列空间:去掉列三,因为列一和列二的线性组合能得到列三,也就是说列三没有贡献,列一列二为主列。(同理也可以去掉列一) A的零空间是指是的Ax=0成立的向量空间 ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/a8f7d2e532e64cc7956618cbf1172fda.png) ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/6a27d56c23114e79b1670cb291d5f1b7.png) C ( A ) i n R 4 , x = \[ x 1 x 2 x 3 \] i n R 3 C(A) in R\^4, x=\\begin{bmatrix}x_1 \\\\ x_2\\\\x_3 \\end{bmatrix}in R\^3 C(A)inR4,x= x1x2x3 inR3 ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/b8a009ee5c94451fab13325f69578f98.png) Ax=0包括 c \[ 1 1 − 1 \] c\\begin{bmatrix}1 \\\\ 1 \\\\-1 \\end{bmatrix} c 11−1 的一条直线 ![%5Cimage-20231215145831155.png&pos_id=img-dMEAMKkN-1702624096791)](https://img-blog.csdnimg.cn/direct/65c21d171fa848ecb01a9d0199ec1c04.png) 如果b不为零,Ax=b中x的解不构成子空间(0不是解),它是不过原点的一条直线。这条直线是 \[c+1, c, -c\],过(1,0,0) ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/26d3ca84ae59456d92648d5f84cb51b0.png) ## 7.07求解Ax=0:主变量,特解

相关推荐
云上艺旅5 小时前
K8S学习之基础七十四:部署在线书店bookinfo
学习·云原生·容器·kubernetes
老歌老听老掉牙5 小时前
平面旋转与交线投影夹角计算
python·线性代数·平面·sympy
你觉得2055 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
A旧城以西6 小时前
数据结构(JAVA)单向,双向链表
java·开发语言·数据结构·学习·链表·intellij-idea·idea
无所谓จุ๊บ6 小时前
VTK知识学习(50)- 交互与Widget(一)
学习·vtk
FAREWELL000757 小时前
C#核心学习(七)面向对象--封装(6)C#中的拓展方法与运算符重载: 让代码更“聪明”的魔法
学习·c#·面向对象·运算符重载·oop·拓展方法
吴梓穆7 小时前
UE5学习笔记 FPS游戏制作38 继承标准UI
笔记·学习·ue5
Three~stone7 小时前
MySQL学习集--DDL
数据库·sql·学习
齐尹秦7 小时前
HTML 音频(Audio)学习笔记
学习
V---scwantop---信8 小时前
英文字体:大胆都市街头Y2Y涂鸦风格品牌海报专辑封面服装字体 Chrome TM – Graffiti Font
笔记·字体