MIT18.06线性代数笔记2

文章目录

- 正交向量与子空间
- 子空间投影
- 投影矩阵和最小二乘
- 正交矩阵和Gram-Schmidt正交化
- 行列式及其性质
- 行列式公式和代数余子式
- 克拉默法则、逆矩阵、体积
- 特征值和特征向量
- 对角化和A的幂
- 微分方程和exp(At)
- [马尔科夫矩阵傅里叶级数](#马尔科夫矩阵傅里叶级数)
- 复习二

正交向量与子空间

向量正交：x^T^y=0

空间正交：S中每个向量与T中每个向量正交

行空间正交于零空间，同理列空间正交于左零空间

在实际应用中，数据可能会有干扰项，此时会导致Ax=b无解，使用A^T^Ax=A^T^b得到最优解，去除干扰

A^T^A不一定可逆，如果要可逆则A的列线性无关

子空间投影

在二维空间中，p是b在a上最接近a的向量（投影）：

化简得
a T b = x a T a x = a T b a T a 代入得 p = a a T b a T a \begin{aligned} a^Tb &= xa^Ta\\ x &= \frac{a^Tb}{a^Ta}\\ 代入得 &p=a\frac{a^Tb}{a^Ta} \end{aligned} aTbx代入得=xaTa=aTaaTbp=aaTaaTb

b翻倍p也翻倍，a翻倍p不变

投影是由矩阵完成的（投影矩阵）：
p = P b 根据 p = a a T b a T a 得： P = a a T a T a p=Pb\\ 根据p=a\frac{a^Tb}{a^Ta}得：P=\frac{aa^T}{a^Ta} p=Pb根据p=aaTaaTb得：P=aTaaaT

a^T^a是数字，aa^T^是列向量乘行向量

这个矩阵的列空间C§=a所在的直线，因为这个矩阵乘b变成了b在a直线的投影

rank§=1，因为P由列乘行产生，这一个列是列空间的基

P是对称矩阵，转置是它自己

P^2^=P，再投影一次不变

为什么做投影：因为Ax=b可能无解，此时只能求解最接近的那个可解问题Ax=p，p即是b在列空间的投影

在三维空间中：

空间中平面由a1，a2两基向量产生，A=[a1 a2]，b在平面上的投影为p，需要求出x使得Ax=p

e=b-Ax，e垂直于平面（也就垂直于a1和a2）
a 1 T ( b − A x ) = 0 a 2 T ( b − A x ) = 0 整理成矩阵： A T e = [ a 1 T a 2 T ] ( b − A x ) = [ 0 0 ] a_1^T(b-Ax)=0 \\ a_2^T(b-Ax)=0 \\ 整理成矩阵： A^Te= \begin{bmatrix} a_1^T\\ a_2^T \end{bmatrix} (b-Ax)= \begin{bmatrix} 0\\ 0 \end{bmatrix} a1T(b−Ax)=0a2T(b−Ax)=0整理成矩阵：ATe=[a1Ta2T](b−Ax)=[00]

e位于A的转置的零空间，因为左零空间正交于列空间，所以e垂直于A的列空间

A T A x = A T b x = ( A T A ) − 1 A T b 代入得 p = A x = A ( A T A ) − 1 A T b \begin{aligned} A^TAx &= A^Tb\\ x &= (A^TA)^{-1}A^Tb\\ 代入得p &= Ax=A(A^TA)^{-1}A^Tb \end{aligned} ATAxx代入得p=ATb=(ATA)−1ATb=Ax=A(ATA)−1ATb

这里的A(A^T^A)^-1^A^T^相当于投影到一维空间时的aa^T^/a^T^a，就是投影矩阵P
当 A 为可逆方阵时， P = A ( A T A ) − 1 A T = A A − 1 ( A T ) − 1 A T = I 因为 A 为 n × n 可逆方阵时，列空间为整个 n 维空间，把 n 维空间中的 b 投影到整个 n 维空间，投影矩阵为单位矩阵当A为可逆方阵时，P=A(A^TA)^{-1}A^T=AA^{-1}(A^T)^{-1}A^T=I\\ 因为A为n\times n可逆方阵时，列空间为整个n维空间，把n维空间中的b投影到整个n维空间，投影矩阵为单位矩阵当A为可逆方阵时，P=A(ATA)−1AT=AA−1(AT)−1AT=I因为A为n×n可逆方阵时，列空间为整个n维空间，把n维空间中的b投影到整个n维空间，投影矩阵为单位矩阵

投影矩阵的特性：

P^T^=P
P^2^=P：P^2^=A(A^T^A)^-1^**(A^T^A)(A^T^A)^-1^**A^T^=A(A^T^A)^-1^A^T^=P

应用：通过最小二乘法拟合一条直线

At=b无解，但是A^T^At=A^T^b有解

投影矩阵和最小二乘

b一般会和平面有夹角，此时有垂直于平面和平行于平面的两个分量，平行的分量就是投影，投影矩阵就是把垂直的分量去除

若b在A的列空间里，Pb=b，即b在平面上

若b正交于A的列空间，Pb=0，即b垂直于平面

e也是一个投影，投影矩阵是(I-P)，投影到了与P投影的空间相互正交的空间（这里是左零空间）

最小二乘：找拥有最小的各个误差的平方和的解
∥ e ∥ 2 = ∥ A x − b ∥ 2 最小二乘：使 e 1 2 + e 2 2 + e 3 2 最小的解 \|e\|^2=\|Ax-b\|^2\\ 最小二乘：使e^2_1+e^2_2+e^2_3最小的解 ∥e∥2=∥Ax−b∥2最小二乘：使e12+e22+e32最小的解

x = ( A T A ) − 1 A T b x=(A^TA)^{-1}A^Tb x=(ATA)−1ATb

线性回归分析：用误差的平方和作为测量总误差的标准

最小二乘法容易受到离群值的影响

p+e=b

若矩阵A各列线性无关，则A^T^A可逆

证明：

互相垂直的各列一定线性无关（除零向量），这些互相垂直的列向量组成的向量组是标准正交的（标准正交向量组）

正交矩阵和Gram-Schmidt正交化

标准正交向量组中，向量相互正交，即转置相乘为0（内积），但与自身不正交，所以转置相乘为1：

标准正交向量组组成的矩阵（标准正交矩阵）：Q^T^Q=I

当标准正交矩阵是方阵的时候（有逆矩阵）称为正交矩阵
Q T Q = I Q T = Q − 1 Q^TQ=I\\ Q^T=Q^{-1} QTQ=IQT=Q−1

当有一个方阵时，列互相正交、列向量的长度为1，那么就是正交矩阵：阿德玛矩阵

当投影到Q的列空间中：
P = Q ( Q T Q ) − 1 Q T = Q Q T 当 Q 是方阵时， P = Q Q T = I P=Q(Q^TQ)^{-1}Q^T=QQ^T\\ 当Q是方阵时，P=QQ^T=I P=Q(QTQ)−1QT=QQT当Q是方阵时，P=QQT=I

而对于拟合过程：

即已知标准正交基，则在第i个基方向上的投影就等于q~i~^T^b

格拉姆-施密特正交化：

从两个线性无关向量开始，取一个向量相对另一向量的垂直分量（e部分），获得一对相互正交的向量A和B，然后向量除长度从而标准化

B = b − p = b − A T b A T A A 投影 p = a a T b a T a B=b-p=b-\frac{A^Tb}{A^TA}A\\ 投影p=a\frac{a^Tb}{a^Ta} B=b−p=b−ATAATbA投影p=aaTaaTb

证明：A⊥B
A T B = A T ( b − A T b A T A A ) = 0 A^TB=A^T(b-\frac{A^Tb}{A^TA}A)=0 ATB=AT(b−ATAATbA)=0

如果再有c要正交化：
C = c − p c 在 A 上的投影 − p c 在 B 上的投影 = c − A T c A T A A − B T c B T B B C=c-p_{c在A上的投影}-p_{c在B上的投影}=c-\frac{A^Tc}{A^TA}A-\frac{B^Tc}{B^TB}B C=c−pc在A上的投影−pc在B上的投影=c−ATAATcA−BTBBTcB

正交化后得到的向量组成的空间一样和原来线性无关的向量组成的列空间一样，但是正交化标准化后的Q=[q~1~ q~2~]比原来的[a b]要好

消元法矩阵表达式：A=LU

格拉姆-施密特法的矩阵表达式：
A = Q R [ a b ] = [ q 1 q 2 ] [ a T q 1 b T q 1 a T q 2 b T q 2 ] ( a T q 2 = 0 ) \begin{aligned} A&=QR\\ \begin{bmatrix} a & b \end{bmatrix} &= \begin{bmatrix} q_1 & q_2 \end{bmatrix} \begin{bmatrix} a^Tq_1 & b^Tq_1\\ a^Tq_2 & b^Tq_2 \end{bmatrix}\\ &(a^Tq_2=0) \end{aligned} A[ab]=QR=[q1q2][aTq1aTq2bTq1bTq2](aTq2=0)

由于q~1~^T^q~2~ = 0，q~1~只是a的单位化，所以a^T^与q~2~也正交，a^T^q~2~ = 0

R是一个上三角矩阵

行列式及其性质

行列式的三个性质：

单位矩阵的行列式值为1
交换行，行列式的值符号取反
线性组合
1. 数乘行列式等于数乘一行
2. 两行列式有相同行和不同行，加和等于一个相同行不变、不同行对应元素相加的行列式
两行相等，行列式为0
一行乘以一个数加到另一行，行列式值不变
有零行，则行列式为零
三角阵的行列式值为对角线上元素乘积
A是奇异矩阵（消元后得到零行），A的行列式为0
两矩阵相乘的行列式等于两矩阵的行列式相乘
A^T^的行列式等于A的行列式

通过1和2可知，det置换矩阵=1或-1

行列式是一个线性函数

A可逆时行列式不为零，从而消元获得上三角阵U，进而获得对角阵D，值为d~1~d~2~...d~n~

求A^-1^的行列式：
d e t A A − 1 = ( d e t A ) ( d e t A − 1 ) d e t A − 1 = 1 d e t A \begin{aligned} detAA^{-1} &= (detA)(detA^{-1})\\ detA^{-1} &= \frac{1}{detA} \end{aligned} detAA−1detA−1=(detA)(detA−1)=detA1

通过9和10可知，如果行列式存在零列，行列式同样为零，3和10可知，列交换符号也变化

证明10：
∣ A T ∣ = ∣ A ∣ ∣ U T L T ∣ = ∣ L U ∣ ∣ U T ∣ ∣ L T ∣ = ∣ L ∣ ∣ U ∣ L是下三角矩阵，U是上三角矩阵，转置后值不变 \begin{aligned} \left|\begin{array}{c} A^T \end{array}\right|&= \left|\begin{array}{c} A \end{array}\right|\\ \left|\begin{array}{c} U^TL^T \end{array}\right|&= \left|\begin{array}{c} LU \end{array}\right|\\ \left|\begin{array}{c} U^T \end{array}\right| \left|\begin{array}{c} L^T \end{array}\right|&= \left|\begin{array}{c} L \end{array}\right| \left|\begin{array}{c} U \end{array}\right|&\text{L是下三角矩阵，U是上三角矩阵，转置后值不变} \end{aligned} AT UTLT UT LT = A = LU = L U L是下三角矩阵，U是上三角矩阵，转置后值不变

行交换一次符号取反，置换就可以区分奇偶性

行列式公式和代数余子式

n阶行列式=每行每列都只有一个元素的所有行列式加和（通过3.2分出n^n^个行列式然后去掉0得到）

行列式公式：
d e t A = ∑ n ! 个 ± a 1 α a 2 β a 3 χ ... a n ω ( α , β , ... , ω ) = ( 1 , 2 , ... , n ) 的一种组合 detA=\sum_{n!个}\pm a_{1\alpha}a_{2\beta}a_{3\chi}\dots a_{n\omega}\\ (\alpha,\beta,\dots,\omega)=(1,2,\dots,n)的一种组合 detA=n!个∑±a1αa2βa3χ...anω(α,β,...,ω)=(1,2,...,n)的一种组合

n!：从第一行开始，第一行有n个选择，选定后，第二行只有n-1个选择，以此类推

代数余子式：
以 3 × 3 为例 d e t = a 11 ( a 22 a 33 − a 23 a 32 ) + a 12 ( ... ) + a 13 ( ... ) 括号内的就是对应元素 a 1 i 的代数余子式 a 11 ( a 22 a 33 − a 23 a 32 ) = ∣ a 11 0 0 0 a 22 a 23 0 a 32 a 33 ∣ = a 11 ∣ a 22 a 23 a 32 a 33 ∣ a 12 ( − a 21 a 33 + a 23 a 31 ) = ∣ 0 a 12 0 a 21 0 a 23 a 31 0 a 33 ∣ = a 12 ( − ∣ a 21 a 23 a 31 a 33 ∣ ) 以3\times3为例\\ det=a_{11}(a_{22}a_{33}-a_{23}a_{32})+a_{12}(\dots)+a_{13}(\dots)\\ 括号内的就是对应元素a_{1i}的代数余子式\\ a_{11}(a_{22}a_{33}-a_{23}a_{32})= \left|\begin{array}{c} a_{11} & 0 & 0\\ 0 & a_{22} & a_{23}\\ 0 & a_{32} & a_{33} \end{array}\right|= a_{11}\left|\begin{array}{c} a_{22} & a_{23}\\ a_{32} & a_{33} \end{array}\right|\\ a_{12}(-a_{21}a_{33}+a_{23}a_{31})= \left|\begin{array}{c} 0 & a_{12} & 0\\ a_{21} & 0 & a_{23}\\ a_{31} & 0 & a_{33} \end{array}\right|= a_{12}(-\left|\begin{array}{c} a_{21} & a_{23}\\ a_{31} & a_{33} \end{array}\right|) 以3×3为例det=a11(a22a33−a23a32)+a12(...)+a13(...)括号内的就是对应元素a1i的代数余子式a11(a22a33−a23a32)= a11000a22a320a23a33 =a11 a22a32a23a33 a12(−a21a33+a23a31)= 0a21a31a12000a23a33 =a12(− a21a31a23a33 )

代数余子式C~ij~符号：当i+j为偶数时取正，为奇数时取负
d e t A = a 11 C 11 + a 12 C 12 + ⋯ + a 1 n C 1 n detA=a_{11}C_{11}+a_{12}C_{12}+\dots+a_{1n}C_{1n} detA=a11C11+a12C12+⋯+a1nC1n

有了代数余子式，我们可以把行列式展开成n-1阶，然后再展开成n-2阶...直到一阶

克拉默法则、逆矩阵、体积

A − 1 = 1 d e t A C T A^{-1}=\frac{1}{detA}C^T A−1=detA1CT

证明：
A C T = ( d e t A ) I [ a 11 ... a 1 n ... ... ... a n 1 ... a n n ] [ C 11 ... C n 1 ... ... ... C 1 n ... C n n ] = [ 第一行元素乘对应代数余子式之和 d e t A ... 0 ... d e t A ... 第i行元素乘非第i行对应的代数余子式之和 0 ... d e t A ] \begin{aligned} AC^T &= (detA)I\\ \begin{bmatrix} a_{11} & \dots & a_{1n}\\ \dots & \dots & \dots\\ a_{n1} & \dots & a_{nn} \end{bmatrix} \begin{bmatrix} C_{11} & \dots & C_{n1}\\ \dots & \dots & \dots\\ C_{1n} & \dots & C_{nn} \end{bmatrix}&= \begin{bmatrix} ^{\text{第一行元素乘对应代数余子式之和}}detA & \dots & 0\\ \dots & detA & \dots\\ ^{\text{第i行元素乘非第i行对应的代数余子式之和}}0 & \dots & detA \end{bmatrix} \end{aligned} ACT a11...an1.........a1n...ann C11...C1n.........Cn1...Cnn =(detA)I= 第一行元素乘对应代数余子式之和detA...第i行元素乘非第i行对应的代数余子式之和0...detA...0...detA

克莱姆法则：
x = [ x 1 x 2 ... ] x=\begin{bmatrix} x_1\\ x_2\\ \dots \end{bmatrix} x= x1x2...

B 1 = [ b 1 a 12 ... a 1 n b 2 a 22 ... a 2 n ... ... ... ... b n a n 2 ... a n n ] d e t B 1 = b 1 C 11 + b 2 C 21 + ⋯ + b n C n 1 = C T b 的结果向量的第一个元素 B J = A 的第 j 列由 b 替代 B_1=\begin{bmatrix} b_1 & a_{12} & \dots & a_{1n}\\ b_2 & a_{22} & \dots & a_{2n}\\ \dots & \dots & \dots & \dots\\ b_n & a_{n2} & \dots & a_{nn} \end{bmatrix}\\ detB_1=b_1C_{11}+b_2C_{21}+\dots+b_nC_{n1}=C^Tb的结果向量的第一个元素\\ B_J=A的第j列由b替代 B1= b1b2...bna12a22...an2............a1na2n...ann detB1=b1C11+b2C21+⋯+bnCn1=CTb的结果向量的第一个元素BJ=A的第j列由b替代

通过行列式求体积：三维空间体的点坐标向量组成A矩阵
∣ d e t A ∣ = V \left|\begin{array}{c} detA \end{array}\right|=V detA =V

如果能够证明箱子体积具有行列式的三性质，而三性质定义了行列式，则体积一定等于行列式

正交矩阵对应的箱子是立方体（与单位矩阵相比被旋转了）
∵ d e t Q T Q = d e t I = 1 ∣ Q T ∣ ∣ Q ∣ = ∣ Q ∣ 2 = 1 ∴ d e t Q = ± 1 \because detQ^TQ=detI=1\\ \left|\begin{array}{c} Q^T \end{array}\right| \left|\begin{array}{c} Q \end{array}\right|= \left|\begin{array}{c} Q \end{array}\right|^2=1\\ \therefore detQ=\pm 1 ∵detQTQ=detI=1 QT Q = Q 2=1∴detQ=±1

对于面积：

任意三角形面积：

特征值和特征向量

特征向量&特征值：
A x 平行于 x ⇒ A x = 特征值 λ 特征向量 x Ax平行于x \Rightarrow Ax=\text{特征值}\lambda \text{ 特征向量}x Ax平行于x⇒Ax=特征值λ 特征向量x

A为奇异矩阵时，lambda=0时一个特征值

投影矩阵P，b不再平面上，Pb为投影，此时b不是特征向量，一位Pb!=lambda b，而平面上向量x是特征向量Px=x、特征值=1，同时x垂直于平面时，Px=0x、特征值=0

置换矩阵：

迹：特征值的和=矩阵的对角线元素的和

KaTeX parse error: Expected 'EOF', got '&' at position 35: ...-\lambda I)x=0 &̲ \text{ 此时(A-la...

当有 A x = λ x 和 B x = α x 无法得出 ( A + B ) x = ( λ + α ) x 因为 B 的特征向量不一定与 A 相同，除非 B 是单位矩阵的倍数当有Ax=\lambda x 和Bx=\alpha x\\ 无法得出(A+B)x=(\lambda + \alpha)x\\ 因为B的特征向量不一定与A相同，除非B是单位矩阵的倍数当有Ax=λx和Bx=αx无法得出(A+B)x=(λ+α)x因为B的特征向量不一定与A相同，除非B是单位矩阵的倍数

A x = λ x ( A + n I ) x = λ x + n x = ( λ + n ) x x 是 A 和 ( A + n I ) 共同的特征向量 Ax=\lambda x\\ (A+nI)x=\lambda x + nx=(\lambda + n)x\\ x是A和(A+nI)共同的特征向量 Ax=λx(A+nI)x=λx+nx=(λ+n)xx是A和(A+nI)共同的特征向量

d e t = λ 1 λ 2 ... λ n det=\lambda_1\lambda_2 \dots \lambda_n det=λ1λ2...λn

即使矩阵是实数组成，其特征值有可能是负数

矩阵需要时对称或接近对称的，特征值才是实数

三角阵特征值在对角线上

退化矩阵：特征向量短缺（无无关的特征向量），特征值重复

对角化和A的幂

A的特征向量组成的矩阵S
A S = A [ x 1 x 2 ... x n ] = [ λ 1 x 1 λ 2 x 2 ... λ n x n ] = [ x 1 x 2 ... x n ] [ λ 1 0 ... 0 0 λ 2 ... 0 ... ... ... 0 0 ... λ n ] = S Λ \begin{aligned} AS&=A \begin{bmatrix} x_1 & x_2 & \dots & x_n \end{bmatrix}\\ &= \begin{bmatrix} \lambda_1x_1 & \lambda_2x_2 & \dots & \lambda_nx_n \end{bmatrix}\\ &= \begin{bmatrix} x_1 & x_2 & \dots & x_n \end{bmatrix} \begin{bmatrix} \lambda_1 & 0 & \dots & 0\\ 0 & \lambda_2 & \dots & 0\\ \dots & \dots & & \dots\\ 0 & 0 & \dots & \lambda_n \end{bmatrix}\\ &=S\Lambda \end{aligned} AS=A[x1x2...xn]=[λ1x1λ2x2...λnxn]=[x1x2...xn] λ10...00λ2...0.........00...λn =SΛ

对角化：
S − 1 A S = Λ 前提 A 有 n 个线性无关的特征向量 S^{-1}AS=\Lambda\\ 前提A有n个线性无关的特征向量 S−1AS=Λ前提A有n个线性无关的特征向量

A的幂：

A平方，特征向量不变（S不变）特征值平方（Lambda^2^）

eg：斐波那契数列

u k + 1 = A u k u k = A k u 0 u_{k+1}=Au_k\\ u_k=A^ku_0 uk+1=Aukuk=Aku0

把二阶标量方程转化为了一阶向量方程组

数列的增长由（较大的）特征值决定

回代特征值求出特征向量

此时S已知，Lambda 也已知，可以求
A k = S Λ k S − 1 A^k=S\Lambda^k S^{-1} Ak=SΛkS−1

求出A^k^即可求出U~k~

以u~0~为例可以得到c~1~x~1~+c~2~x~2~=u~0~=(1 0)

对于动态增长的一阶方程组，初始向量是u~0~，关键在于确定A的特征值及特征向量，特征值决定增长的趋势，把u~0~展开成特征向量的线性组合，且各个特征向量必须独立

这种递推关系就是差分方程

微分方程和exp(At)

利用特征值和特征向量来求解常系数线性微分方程

一开始所有都在u~1~（u(0)第一个元素为1），随着时间推移，有du~2~/dt > 0，东西会从u~1~处流到u~2~，随着时间我们追踪它的变化

A为奇异矩阵，所以有个特征值为0，根据迹可知特征值和为-3，所以另一个特征值为-3

求出特征向量

解：

纯解（e^lambdat^x）纯指数形式是纯幂形式在微分方程中的类似体
u ( t ) = c 1 e λ 1 t x 1 + c 2 e λ 2 t x 2 ≃ c 1 λ 1 k x 1 + c 2 λ 2 k x 2 u(t)=c_1e^{\lambda_1t}x_1+c_2e^{\lambda_2t}x_2 \simeq c_1\lambda_1^kx_1+c_2\lambda_2^kx_2 u(t)=c1eλ1tx1+c2eλ2tx2≃c1λ1kx1+c2λ2kx2

求c~1~c~2~：
代入特征值和特征向量得 u ( t ) = c 1 [ 2 1 ] + c 2 e − 3 t [ 1 − 1 ] S c = u ( 0 ) 代入特征值和特征向量得u(t)=c_1 \begin{bmatrix} 2\\ 1 \end{bmatrix}+ c_2e^{-3t} \begin{bmatrix} 1\\ -1 \end{bmatrix}\\ Sc=u(0) 代入特征值和特征向量得u(t)=c1[21]+c2e−3t[1−1]Sc=u(0)

当t趋于无穷时，即稳定状态

但是稳定状态不是什么时候都有的

稳定性：由lambda的实部决定

稳态：有一个特征值=0，并且其他特征值的实部<0，如果有任何特征值的实部>0，则解u(t)无法收敛

2阶系统，根据矩阵直接判断特征值实部符号：正的行列式（特征值符号相同），负的迹（特征值和小于零）

原方程组有两个相互耦合的未知函数u~1~u~2~，特征值和特征向量的作用是解耦，又称对角化
KaTeX parse error: Expected 'EOF', got '&' at position 154: ...}=\lambda_1v_1 &̲ \frac{dv_2}{dt...

v ( t ) = e Λ t v ( 0 ) u ( t ) = S e Λ t S − 1 u ( 0 ) = e A t u ( 0 ) v(t)=e^{\Lambda t}v(0)\\ u(t)=Se^{\Lambda t}S^{-1}u(0)=e^{At}u(0) v(t)=eΛtv(0)u(t)=SeΛtS−1u(0)=eAtu(0)

e^At^是原方程的解，矩阵指数

定义矩阵指数：将指数展开成幂级数的形式（泰勒级数）
两个泰勒级数： e x = ∑ x n n ! ⇒ e A t = I + A t + ( A t ) 2 2 ! + ( A t ) 3 3 ! + ⋯ + ( A t ) n n ! 1 1 − x = ∑ x n ⇒ ( I − A t ) − 1 = I + A t + ( A t ) 2 + ( A t ) 3 + ⋯ + ( A t ) n 两个泰勒级数：\\ e^x=\sum\frac{x^n}{n!} \Rightarrow e^{At}=I+At+\frac{(At)^2}{2!}+\frac{(At)^3}{3!}+\dots+\frac{(At)^n}{n!}\\ \frac{1}{1-x}=\sum x^n \Rightarrow (I-At)^{-1}=I+At+(At)^2+(At)^3+\dots+(At)^n 两个泰勒级数：ex=∑n!xn⇒eAt=I+At+2!(At)2+3!(At)3+⋯+n!(At)n1−x1=∑xn⇒(I−At)−1=I+At+(At)2+(At)3+⋯+(At)n

第一个级数总是收敛的，而第二个要看A的特征值是否小于1，小于才收敛，第一个级数更好

前提是A有n个特征值，即A可以对角化
e Λ t = [ e λ 1 t 0 ... 0 0 e λ 2 t ... 0 ... ... ... 0 0 ... e λ n t ] e^{\Lambda t}=\begin{bmatrix} e^{\lambda_1t} & 0 & \dots & 0\\ 0 & e^{\lambda_2t} & \dots & 0\\ \dots & \dots & & \dots\\ 0 & 0 & \dots & e^{\lambda_nt} \end{bmatrix} eΛt= eλ1t0...00eλ2t...0.........00...eλnt

何时矩阵指数收敛于0：当t不断增长，e^At^趋近于0，S是常数矩阵，不变，e^Lambda*t^趋近于0，说明对角线上元素收敛于0，即lambda的实部<0，此时矩阵指数稳定

复平面：

圆中的是特征值的绝对值<1，使得矩阵的幂稳定，斜线是特征值的实部<0，使得矩阵指数稳定

将二阶微分方程化成一阶方程组：

马尔科夫矩阵傅里叶级数

特征值的应用

马尔科夫矩阵性质：

矩阵所有元素大于等于0
每个列，元素相加等于1<=>一个特征值为1
- A-1I，可以发现(A-1I)的每个列，元素相加为0，所以A-I是奇异矩阵（其所有行加到最后一行上产生零行，即行线性相关，行列式为0），所以转置的马尔科夫矩阵的特征向量很好求，为(1 1 1)，特征值可求为1，马尔科夫矩阵的特征值也为1

A和A^T^的特征值是一样的：转置前后矩阵行列式相等可得

马尔科夫矩阵的应用：考察概率，所以所有元素大于等于0，介于0~1。整个系统没有外界输入，所以列加起来为1

考察麻省和加州的人口变迁：每次变动概率一样，表现为马尔科夫矩阵不变

在k+1时刻，对于加州，0.9的人留在加州，0.1的人搬去了麻省。而对于麻省，0.8的人留在麻省，0.2的人去了加州

求经过100步变迁后人口情况u~100~=A^100^u~0~：

求马尔科夫矩阵特征值和特征向量

矩阵求幂的结果

可得c~1~和c~2~，

随着步数增多，特征值为0.7的部分将会趋近于零，只留下特征值为1的

有些教材是行向量元素相加为1

有一组标准正交基q~1~,...,q~n~，任意v由基线性组合产生，而v乘某一基向量的转置（做内积），就将其他项消除了（内积为0）而只保留了特定基向量的项：

傅里叶级数：
f ( x ) = a 0 + a 1 cos ⁡ x + b 1 sin ⁡ x + a 2 cos ⁡ 2 x + b 2 sin ⁡ 2 x + ... f(x)=a_0+a_1\cos x+b_1\sin x+a_2\cos2x +b_2\sin2x+\dots f(x)=a0+a1cosx+b1sinx+a2cos2x+b2sin2x+...

可以用函数f(x)来代替向量v，用正交函数来代替正交向量q~1~q~2~...，因此基是1，cosx，sinx，cos2x等

傅里叶级数成立的原因是它们是正交的

函数正交：内积为0，在向量中内积是离散的元素相乘加和，而对于连续的函数，内积是函数相乘的从0到2pi的积分

与消除向量同理，f(x)整体与某项的函数（如cosx）做内积可以消除除某项外的其他函数项
∫ 0 2 π f ( x ) cos ⁡ x d x = a 1 ∫ 0 2 π ( cos ⁡ x ) 2 d x = a 1 π 傅里叶级数系数公式 1 π ∫ 0 2 π f ( x ) cos ⁡ x d x = a 1 \begin{aligned} \int^{2\pi}_0f(x)\cos xdx&=a_1\int^{2\pi}_0(\cos x)^2dx=a_1\pi\\ \text{傅里叶级数系数公式 }\frac{1}{\pi}\int^{2\pi}_0f(x)\cos xdx &= a_1 \end{aligned} ∫02πf(x)cosxdx傅里叶级数系数公式 π1∫02πf(x)cosxdx=a1∫02π(cosx)2dx=a1π=a1

复习二

三个点拟合到过原点的直线上

特征值不为零，矩阵可逆

d e t A − 1 = 1 λ 1 λ 2 λ 3 ... λ n t r a c e ( A + I ) = ( λ 1 + 1 ) + ( λ 2 + 1 ) + ⋯ = λ 1 λ 2 + ⋯ + λ n + n detA^{-1}=\frac{1}{\lambda_1\lambda_2\lambda_3\dots\lambda_n}\\ trace(A+I)=(\lambda_1+1)+(\lambda_2+1)+\dots=\lambda_1\lambda_2+\dots+\lambda_n+n detA−1=λ1λ2λ3...λn1trace(A+I)=(λ1+1)+(λ2+1)+⋯=λ1λ2+⋯+λn+n

MIT18.06线性代数 笔记2