本文总结线性方程组求解的相关算法，特别是共轭梯度法的原理及流程。
零、预修
0.1 LU分解
设
，若对于
，均有
，则存在下三角矩阵
和上三角矩阵
，使得
。
设
，若对于
，均有
，则存在唯一的下三角矩阵
和上三角矩阵
，使得
，并且
。
0.2 Cholesky分解
若
对称正定，则存在一个对角元均为正数的下三角矩阵
，使得
。
一、 总论：迭代法求解线性方程组的一般思路
对于非奇异矩阵
，
，使用迭代法 求解线性方程组
过程中，一般需要以下流程进行：
- 给定一个初始向量
； - 构造一个递推公式
； - 不断递推
，使其近似收敛于
；
下表列出了若干迭代算法的迭代公式。
|--------------------|----------------------------------------------------------------------------------------------------------------|-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|--------|
| 方法 | 
| 迭代公式 | 备注 |
| Jacobi迭代 | 非奇异 | 
| |
| Gausss-Seidel迭代 | 非奇异 | 
| |
| SOR迭代 | 非奇异 | 
| |
| Steepest Descent | 对称正定 | 
| |
| Conjugate Gradient | 对称正定 | 当
时 
当
时 
| |
二、Projection Method
投影法将线性方程组求解问题 转换成了最优值求解问题，是求解线性方程组的一大类方法。
在投影法中，令
，构造列满秩矩阵
与
，寻找
，满足Petrov-Galerkin条件 ，即
，均有
。
称为搜索空间，
称为约束空间。若
时，称为正投影算法 ，否则称为斜投影算法。
三、Krylov Subspace Method
Krylov子空间法 本质上也是一种投影法 ，其核心思想是在更小维度的Krylov子空间 内寻找满足精度要求的近似解。即令
，构造了
维Krylov子空间 
，使得
。
选择不同的
，就对应不同的Krylov子空间法。
3.1 Steepest Descent Method
3.2 Hestenes-Stiefel Conjugate Gradient Method
参考书籍
Golub G H , Loan C F V .Matrix Computations.Johns Hopkins University Press,1996.
Ford W .Numerical Linear Algebra with Applications using MATLAB. 2014.
徐树方. 数值线性代数(第二版). 北京大学出版社, 2010.
参考文献
Hestenes M R , Stiefel E L .Methods of Conjugate Gradients for Solving Linear Systems. Journal of Research of the National Bureau of Standards (United States), 1952.