24.马尔科夫矩阵，傅里叶级数

文章目录

• [1. Markov matrix](#1. Markov matrix)
• • [1.1 定义](#1.1 定义)
  • [1.2 计算](#1.2 计算)
• [2. 马尔科夫矩阵的应用](#2. 马尔科夫矩阵的应用)
• [3. 傅里叶级数](#3. 傅里叶级数)
• • [3.1 标准正交基的投影问题](#3.1 标准正交基的投影问题)
  • [3.2 函数正交](#3.2 函数正交)
  • [3.3 傅里叶级数](#3.3 傅里叶级数)

1. Markov matrix

1.1 定义

对于马尔科夫矩阵Markov matrix 来说，矩阵A要满足两个条件：

• 矩阵A的每个元素必须大于等于0
• 矩阵A中的每一列 a 0 a_0 a0向量里面的元素和为1，这样保证了矩阵A的特征值最大为1，其他特征值小于1.
  A = [ 0.1 0.01 0.3 0.2 0.99 0.3 0.7 0 0.4 ] \begin{equation} A=\begin{bmatrix} 0.1&0.01&0.3\\\\ 0.2&0.99&0.3\\\\ 0.7&0&0.4 \end{bmatrix} \end{equation} A= 0.10.20.70.010.9900.30.30.4
  我们发现矩阵A上的每个元素都大于等于0；
  0.1+0.2+0.7=1；0.01+0.99+0=1,；0.3+0.3+0.4=1；故可以得出矩阵A为Markov matrix！！！

1.2 计算

u k + 1 = A u k ; u k + 1 = A n u 0 ; A k = S Λ k S − 1 ； u 0 = S C 0 \begin{equation} u_{k+1}=Au_k;u_{k+1}=A^nu_0;A^k=S\Lambda^k S^{-1}；u_0=SC_0 \end{equation} uk+1=Auk;uk+1=Anu0;Ak=SΛkS−1；u0=SC0

• 化简可得如下：
  u k = A k u 0 = S Λ k S − 1 S C 0 = S Λ k C 0 \begin{equation} u_{k}=A^ku_0=S\Lambda^k S^{-1}SC_0=S\Lambda^kC_0 \end{equation} uk=Aku0=SΛkS−1SC0=SΛkC0
  u k = S Λ k C 0 = S [ λ 1 k λ 2 k ⋱ λ n k ] C 0 = c 1 λ 1 k x 1 + c 2 λ 2 k x 2 + ⋯ + c n λ n k x n \begin{equation} u_{k}=S\Lambda^kC_0=S\begin{bmatrix}\lambda_1^k\\\\&\lambda_2^k\\\\&&&\ddots\\\\&&&&\lambda_n^k\end{bmatrix}C_0=c_1\lambda_1^kx_1+c_2\lambda_2^kx_2+\cdots+c_n\lambda_n^kx_n \end{equation} uk=SΛkC0=S λ1kλ2k⋱λnk C0=c1λ1kx1+c2λ2kx2+⋯+cnλnkxn
• 由上述公式可以看出，当k趋近于无穷大的时候，如果 ∣ λ i ∣ < 1 |\lambda_i|<1 ∣λi∣<1时， λ i k = 0 \lambda_i^k=0 λik=0,只有 λ i = 1 \lambda_i=1 λi=1时保留，即为最终的稳态！！！
• 假设 λ 1 = 1 \lambda_1=1 λ1=1,其他的 ∣ λ i ∣ < 1 |\lambda_i|<1 ∣λi∣<1, lim ⁡ k → ∞ λ i k = 0 , ∣ λ i ∣ < 1 \lim _{k \to\infty}\lambda_i^k=0,|\lambda_i|<1 limk→∞λik=0,∣λi∣<1整理上述公式可得：
  u k = c 1 x 1 \begin{equation} u_k=c_1x_1 \end{equation} uk=c1x1
• 为什么markov matrix 有一个特征值为1？
  A 1 = A − 1 I = [ − 0.9 0.01 0.3 0.2 − 0.01 0.3 0.7 0 − 0.6 ] \begin{equation} A_1=A-1I=\begin{bmatrix} -0.9&0.01&0.3\\\\ 0.2&-0.01&0.3\\\\ 0.7&0&-0.6 \end{bmatrix} \end{equation} A1=A−1I= −0.90.20.70.01−0.0100.30.3−0.6
• 我们计算行列式值时，将 A 1 A_1 A1的各行相加到第1行，可以得到第1行都为0，所以 ∣ A 1 ∣ = 0 |A_1|=0 ∣A1∣=0,所以可以得出，矩阵A一定有一个特征值满足 λ i = 1 \lambda_i=1 λi=1
• 矩阵A的特征值和矩阵 A T A^T AT的特征值是否一致？
  我们知道计算矩阵A的特征值如下：
  d e t ( A − λ i I ) = 0 \begin{equation} det(A-\lambda_i I)=0 \end{equation} det(A−λiI)=0
• 将上式两边进行转置可得：
  d e t ( A T − λ j I T ) = d e t ( A T − λ j I ) = 0 \begin{equation} det(A^T-\lambda_j I^T)=det(A^T-\lambda_j I)=0 \end{equation} det(AT−λjIT)=det(AT−λjI)=0
• 可以得出： λ i = λ j \lambda_i=\lambda_j λi=λj
  矩阵 A 和矩阵 A T 的特征值一致！！！ 矩阵A和矩阵A^T的特征值一致！！！ 矩阵A和矩阵AT的特征值一致！！！

2. 马尔科夫矩阵的应用

假设我们有两个州，一个叫加州，另外一个叫麻省。我们来看看两个州的人口问题，假设由于某些原因，在保证总人数不变的情况下，加州和麻省的人口每年进行相互流动，最终我们需要计算出经过100年后，加州和麻省最终的人口趋向于那个比例，矩阵A表示经过一年后发生了人口的迁移比例。

• 我们用 u c a l u_{cal} ucal表示加州人口，用 u m a s u_{mas} umas表示麻省人口。
• 对于加州的人口来说：在第k+1时刻，在第 k 时刻有0.9的人留在加州，有0.1的人去麻省；
• 对于麻省的人口来说：在第k+1时刻，在第 k 时刻有0.8的人留在麻省，有0.1的人去加州；
• 初始状态下，加州人口为0，麻省人口为1000；
  • [ u c a l u m a s ] t = k + 1 = [ 0.9 0.1 ] u c a l ∣ t = k + [ 0.8 0.2 ] u m a s ∣ t = k \begin{equation} \begin{bmatrix}u_{cal}\\\\u_{mas} \end{bmatrix}{t=k+1}=\begin{bmatrix}0.9\\\\0.1\end{bmatrix}u{cal}|{t=k}+\begin{bmatrix}0.8\\\\0.2\end{bmatrix}u{mas}|_{t=k} \end{equation} ucalumas t=k+1= 0.90.1 ucal∣t=k+ 0.80.2 umas∣t=k
• 用矩阵的形式表示如下：
  [ u c a l u m a s ] t = k + 1 = [ 0.9 0.2 0.1 0.8 ] [ u c a l u m a s ] t = k ； u 0 = [ 0 1000 ] ； ⇒ u 1 = [ 200 800 ] ； \begin{equation} \begin{bmatrix}u_{cal}\\\\u_{mas} \end{bmatrix}{t=k+1}=\begin{bmatrix}0.9&0.2\\\\0.1&0.8\end{bmatrix}\begin{bmatrix}u{cal}\\\\u_{mas} \end{bmatrix}_{t=k}；u_0=\begin{bmatrix}0\\\\1000\end{bmatrix}；\Rightarrow u_1=\begin{bmatrix}200\\\\800\end{bmatrix}； \end{equation} ucalumas t=k+1= 0.90.10.20.8 ucalumas t=k；u0= 01000 ；⇒u1= 200800 ；
• 求解矩阵A的特征值
  A = [ 0.9 0.2 0.1 0.8 ] ⇒ λ 1 = 1 , v 1 = [ 2 1 ] λ 2 = 0.7 , v 2 = [ 1 − 1 ] \begin{equation} A=\begin{bmatrix}0.9&0.2\\\\0.1&0.8\end{bmatrix} \Rightarrow \lambda_1=1,v_1=\begin{bmatrix}2\\\\1\end{bmatrix}\lambda_2=0.7,v_2=\begin{bmatrix}1\\\\-1\end{bmatrix} \end{equation} A= 0.90.10.20.8 ⇒λ1=1,v1= 21 λ2=0.7,v2= 1−1
• 初始向量 u 0 u_0 u0可以分解如下：
  u 0 = [ 0 1000 ] = 1000 3 [ 2 1 ] − 2000 3 [ 1 − 1 ] = [ 2 1 1 − 1 ] [ 1000 3 − 2000 3 ] \begin{equation} u_0=\begin{bmatrix}0\\\\1000\end{bmatrix}=\frac{1000}{3}\begin{bmatrix}2\\\\1\end{bmatrix}-\frac{2000}{3}\begin{bmatrix}1\\\\-1\end{bmatrix}=\begin{bmatrix}2&1\\\\1&-1\end{bmatrix}\begin{bmatrix}\frac{1000}{3}\\\\-\frac{2000}{3}\end{bmatrix} \end{equation} u0= 01000 =31000 21 −32000 1−1 = 211−1 31000−32000
  u 0 = S C 0 ; S = [ 2 1 1 − 1 ] ; C 0 = [ 1000 3 − 2000 3 ] \begin{equation} u_0=SC_0;S=\begin{bmatrix}2&1\\\\1&-1\end{bmatrix};C_0=\begin{bmatrix}\frac{1000}{3}\\\\-\frac{2000}{3}\end{bmatrix} \end{equation} u0=SC0;S= 211−1 ;C0= 31000−32000
• 化简差分方程如下：
  u k = [ u c a l u m a s ] t = k ; u k + 1 = A u k ； u k = A k u 0 = S Λ k C 0 = [ 2 1 1 − 1 ] [ λ 1 k 0 0 λ 2 k ] [ 1000 3 − 2000 3 ] \begin{equation} u_{k}=\begin{bmatrix}u_{cal}\\\\u_{mas} \end{bmatrix}{t=k}; u{k+1}=Au_k；u_k=A^ku_0=S\Lambda^kC_0=\begin{bmatrix}2&1\\\\1&-1\end{bmatrix}\begin{bmatrix}\lambda_1^k&0\\\\0&\lambda_2^k\end{bmatrix}\begin{bmatrix}\frac{1000}{3}\\\\-\frac{2000}{3}\end{bmatrix} \end{equation} uk= ucalumas t=k;uk+1=Auk；uk=Aku0=SΛkC0= 211−1 λ1k00λ2k 31000−32000
• 整理上述可得：
  [ u c a l u m a s ] = [ 2000 3 λ 1 k − 2000 3 λ 2 k 1000 3 λ 1 k + 2000 3 λ 2 k ] \begin{equation} \begin{bmatrix}u_{cal}\\\\u_{mas} \end{bmatrix}= \begin{bmatrix} \frac{2000}{3}\lambda_1^k-\frac{2000}{3}\lambda_2^k\\\\ \frac{1000}{3}\lambda_1^k+\frac{2000}{3}\lambda_2^k \end{bmatrix} \end{equation} ucalumas = 32000λ1k−32000λ2k31000λ1k+32000λ2k
• 当 λ 1 = 1 , λ 2 = 0.7 \lambda_1=1,\lambda_2=0.7 λ1=1,λ2=0.7 整理可得：
  lim ⁡ k → ∞ [ u c a l u m a s ] = [ 2000 3 1000 3 ] \begin{equation} \lim_{k \to \infty}\begin{bmatrix}u_{cal}\\\\u_{mas} \end{bmatrix}= \begin{bmatrix} \frac{2000}{3}\\\\ \frac{1000}{3} \end{bmatrix} \end{equation} k→∞lim ucalumas = 3200031000

3. 傅里叶级数

3.1 标准正交基的投影问题

假设我们有一组单位长度为1且相互正交的基向量 q 1 , q 2 , ⋯   , q n q_1,q_2,\cdots,q_n q1,q2,⋯,qn,对于任意向量v；那么我们可以将向量v通过基向量的线性组合而成；
v = x 1 q 1 + x 2 q 2 + ⋯ + x n q n = [ q 1 q 2 ⋯ q n ] [ x 1 x 2 ⋮ x n ] = Q X ; Q − 1 = Q T \begin{equation} v=x_1q_1+x_2q_2+\cdots+x_nq_n=\begin{bmatrix}q_1&q_2&\cdots&q_n\end{bmatrix}\begin{bmatrix}x_1\\\\x_2\\\\\vdots\\\\x_n\end{bmatrix}=QX;Q^{-1}=Q^T \end{equation} v=x1q1+x2q2+⋯+xnqn=[q1q2⋯qn] x1x2⋮xn =QX;Q−1=QT
v = Q X ; X = Q − 1 v = Q T v \begin{equation} v=QX;X=Q^{-1}v=Q^Tv \end{equation} v=QX;X=Q−1v=QTv

• 因为 q i q_i qi满足如下条件：
  q i T q j = { 0 , i ≠ j 1. i = j , ∣ ∣ q i ∣ ∣ = 1 \begin{equation} q_i^Tq_j=\left\{ \begin{array}{ll} 0, &i \neq j \\ 1.&i=j\\ \end{array}, \quad ||q_i||=1 \right. \end{equation} qiTqj={0,1.i=ji=j,∣∣qi∣∣=1
• 等式两边同时乘以 q i T q_i^T qiT,可得如下：
  q i T v = x 1 q i T q 1 + x 2 q i T q 2 + + ⋯ + x i q i T q i + ⋯ + x n q i T q n \begin{equation} q_i^Tv=x_1q_i^Tq_1+x_2q_i^Tq_2++\cdots+x_iq_i^Tq_i+\cdots+x_nq_i^Tq_n \end{equation} qiTv=x1qiTq1+x2qiTq2++⋯+xiqiTqi+⋯+xnqiTqn
• 整理可得：
  x i = q i T v \begin{equation} x_i=q_i^Tv \end{equation} xi=qiTv
• 那么系数X向量可得：
  [ x 1 x 2 ⋮ x n ] = [ q 1 T v q 2 T v ⋮ q n T v ] \begin{equation} \begin{bmatrix} x_1\\\\x_2\\\\\vdots\\\\x_n \end{bmatrix}=\begin{bmatrix} q_1^Tv\\\\q_2^Tv\\\\\vdots\\\\q_n^Tv \end{bmatrix} \end{equation} x1x2⋮xn = q1Tvq2Tv⋮qnTv

3.2 函数正交

我们知道，如果两个向量正交，表示的是两个向量对应元素的积后求和为0，用公式如下：
[ x 1 x 2 ⋯ x n ] [ y 1 y 2 ⋮ y n ] = x 1 y 1 + x 2 y 2 + ⋯ + x n y n = 0 \begin{equation} \begin{bmatrix} x_1&x_2&\cdots&x_n \end{bmatrix}\begin{bmatrix} y_1\\\\y_2\\\\\vdots\\\\y_n \end{bmatrix}=x_1y_1+x_2y_2+\cdots+x_ny_n=0 \end{equation} [x1x2⋯xn] y1y2⋮yn =x1y1+x2y2+⋯+xnyn=0

• 同理我们将向量x，y换成f,g，内积换成相乘，求和换成定积分，那就换成了关于两函数正交的公式
  ∫ a b f ( x ) g ( x ) d x = f 1 g 1 + f 2 g 2 + ⋯ + f n g n \begin{equation} \int_{a}^bf(x)g(x)\mathrm{d}x=f_1g_1+f_2g_2+\cdots+f_ng_n \end{equation} ∫abf(x)g(x)dx=f1g1+f2g2+⋯+fngn

3.3 傅里叶级数

我们现在在函数空间内，希望有一组函数基，能够像正交基样，任意两个子向量正交，这时就出现了傅里叶级数：
f ( x ) = a 0 + a 1 cos ⁡ ( x ) + b 1 sin ⁡ ( x ) + a 2 cos ⁡ ( 2 x ) + b 1 sin ⁡ ( 2 x ) + ⋯ + a n cos ⁡ ( n x ) + b n sin ⁡ ( n x ) + ⋯ \begin{equation} f(x)=a_0+a_1\cos(x)+b_1\sin(x)+a_2\cos(2x)+b_1\sin(2x)+\cdots+a_n\cos(nx)+b_n\sin(nx)+\cdots \end{equation} f(x)=a0+a1cos(x)+b1sin(x)+a2cos(2x)+b1sin(2x)+⋯+ancos(nx)+bnsin(nx)+⋯

• 化简可得：
  f ( x ) = a 0 + ∑ i = 1 + ∞ a n cos ⁡ ( n w 0 x ) + ∑ i = 1 + ∞ b n sin ⁡ ( n w 0 x ) \begin{equation} f(x)=a_0+\sum_{i=1}^{+\infty}a_n\cos(nw_0x)+\sum_{i=1}^{+\infty}b_n\sin(nw_0x) \end{equation} f(x)=a0+i=1∑+∞ancos(nw0x)+i=1∑+∞bnsin(nw0x)
• 我们用傅里叶函数f(x)和系数函数g(x)，因为正弦函数的周期性，整理可得：
  f T g = ∫ 0 2 π f ( x ) g ( x ) d x ; f ( x + 2 π ) = f ( x ) ; \begin{equation} f^Tg=\int_{0}^{2\pi}f(x)g(x)\mathrm{dx};f(x+2\pi)=f(x); \end{equation} fTg=∫02πf(x)g(x)dx;f(x+2π)=f(x);
• 因为周期为 2 π 2\pi 2π，所以可以只需要求 ( 0 , 2 π ) (0,2\pi) (0,2π)之间的定积分。
  f T g = ∫ 0 2 π f ( x ) g ( x ) d x ; f ( x + 2 π ) = f ( x ) ; \begin{equation} f^Tg=\int_{0}^{2\pi}f(x)g(x)\mathrm{dx};f(x+2\pi)=f(x); \end{equation} fTg=∫02πf(x)g(x)dx;f(x+2π)=f(x);
• 小结：
  若在整个数轴上
  f ( x ) = a 0 2 + ∑ n = 1 ∞ ( a n cos ⁡ ( n x ) + b n sin ⁡ ( n x ) ) \begin{equation} f(x)=\frac{a_0}{2}+\sum_{n=1}^{\infty}(a_n\cos(nx)+b_n\sin(nx)) \end{equation} f(x)=2a0+n=1∑∞(ancos(nx)+bnsin(nx))
  且等式右边级数一致收敛，则可以求得系数如下：
  a n = 1 π ∫ − π π f ( x ) cos ⁡ ( n x ) d x ; ( n = 0 , 1 , 2 , ⋯   ) \begin{equation} a_n=\frac{1}{\pi}\int_{-\pi}^{\pi}f(x)\cos(nx)\mathrm{dx};(n=0,1,2,\cdots) \end{equation} an=π1∫−ππf(x)cos(nx)dx;(n=0,1,2,⋯)
  b n = 1 π ∫ − π π f ( x ) sin ⁡ ( n x ) d x ; ( n = 1 , 2 , ⋯   ) \begin{equation} b_n=\frac{1}{\pi}\int_{-\pi}^{\pi}f(x)\sin(nx)\mathrm{dx};(n=1,2,\cdots) \end{equation} bn=π1∫−ππf(x)sin(nx)dx;(n=1,2,⋯)