数值线性代数: 共轭梯度法

本文总结线性方程组求解的相关算法,特别是共轭梯度法的原理及流程。

零、预修

0.1 LU分解

设,若对于,均有,则存在下三角矩阵和上三角矩阵,使得。

设,若对于,均有,则存在唯一的下三角矩阵和上三角矩阵,使得,并且。

0.2 Cholesky分解

若对称正定,则存在一个对角元均为正数的下三角矩阵,使得。

一、 总论:迭代法求解线性方程组的一般思路

对于非奇异矩阵,,使用迭代法 求解线性方程组过程中,一般需要以下流程进行:

  1. 给定一个初始向量;
  2. 构造一个递推公式;
  3. 不断递推,使其近似收敛于;

下表列出了若干迭代算法的迭代公式。

|--------------------|----------------------------------------------------------------------------------------------------------------|-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|--------|
| 方法 | | 迭代公式 | 备注 |
| Jacobi迭代 | 非奇异 | | |
| Gausss-Seidel迭代 | 非奇异 | | |
| SOR迭代 | 非奇异 | | |
| Steepest Descent | 对称正定 | | |
| Conjugate Gradient | 对称正定 | 当时 当时 | |

二、Projection Method

投影法将线性方程组求解问题 转换成了最优值求解问题,是求解线性方程组的一大类方法。

在投影法中,令,构造列满秩矩阵与,寻找,满足Petrov-Galerkin条件 ,即,均有。称为搜索空间,称为约束空间。若时,称为正投影算法 ,否则称为斜投影算法。

三、Krylov Subspace Method

Krylov子空间法 本质上也是一种投影法 ,其核心思想是在更小维度的Krylov子空间 内寻找满足精度要求的近似解。即令,构造了维Krylov子空间 ,使得。

选择不同的,就对应不同的Krylov子空间法。

3.1 Steepest Descent Method

3.2 Hestenes-Stiefel Conjugate Gradient Method

参考书籍

Golub G H , Loan C F V .Matrix Computations.Johns Hopkins University Press,1996.

Ford W .Numerical Linear Algebra with Applications using MATLAB. 2014.

徐树方. 数值线性代数(第二版). 北京大学出版社, 2010.

参考文献

Hestenes M R , Stiefel E L .Methods of Conjugate Gradients for Solving Linear Systems. Journal of Research of the National Bureau of Standards (United States), 1952.

相关推荐
老吴的商业笔记11 小时前
GEO源码部署的多平台分发架构:Python源码实现与调度设计
其他
在所不辞兄1 天前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
LSDlsdoo4 天前
冷却液与油污飞溅工况下,国产接近开关怎么选?五步工程化选型方法
其他·自动化
老吴的商业笔记5 天前
GEO推广: 杭州主要AI搜索优化服务商汇编(11月)
其他
H H.5 天前
Java企业级开发:从框架到工程化实战
java·开发语言·经验分享·其他·课程设计
老吴的商业笔记7 天前
GEO源码贴牌系统架构:多平台内容分发API对接的Python实现
其他
橙子家8 天前
gRPC 的本质,是 HTTP/2 上的一份「调用语义公约」
其他
老吴的商业笔记10 天前
GEO: 杭州主要GEO优化系统公司大全(11月)
其他
老吴的商业笔记12 天前
豆包推广: 杭州专业GEO源码部署公司汇总(11月)
其他
研邦新材料12 天前
高熵合金 PREP 粉末氧含量超标复盘 储存筛分环节污染排查
其他