数值线性代数: 共轭梯度法

本文总结线性方程组求解的相关算法,特别是共轭梯度法的原理及流程。

零、预修

0.1 LU分解

,若对于,均有,则存在下三角矩阵和上三角矩阵,使得

,若对于,均有,则存在唯一的下三角矩阵和上三角矩阵,使得,并且

0.2 Cholesky分解

对称正定,则存在一个对角元均为正数的下三角矩阵,使得

一、 总论:迭代法求解线性方程组的一般思路

对于非奇异矩阵,使用迭代法 求解线性方程组过程中,一般需要以下流程进行:

  1. 给定一个初始向量
  2. 构造一个递推公式
  3. 不断递推,使其近似收敛于

下表列出了若干迭代算法的迭代公式。

|--------------------|----------------------------------------------------------------------------------------------------------------|-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|--------|
| 方法 | | 迭代公式 | 备注 |
| Jacobi迭代 | 非奇异 | | |
| Gausss-Seidel迭代 | 非奇异 | | |
| SOR迭代 | 非奇异 | | |
| Steepest Descent | 对称正定 | | |
| Conjugate Gradient | 对称正定 | 当 | |

二、Projection Method

投影法将线性方程组求解问题 转换成了最优值求解问题,是求解线性方程组的一大类方法。

在投影法中,令,构造列满秩矩阵,寻找,满足Petrov-Galerkin条件 ,即,均有称为搜索空间,称为约束空间。若时,称为正投影算法 ,否则称为斜投影算法

三、Krylov Subspace Method

Krylov子空间法 本质上也是一种投影法 ,其核心思想是在更小维度的Krylov子空间 内寻找满足精度要求的近似解。即令,构造了Krylov子空间 ,使得

选择不同的,就对应不同的Krylov子空间法

3.1 Steepest Descent Method

3.2 Hestenes-Stiefel Conjugate Gradient Method

参考书籍

Golub G H , Loan C F V .Matrix Computations.Johns Hopkins University Press,1996.

Ford W .Numerical Linear Algebra with Applications using MATLAB. 2014.

徐树方. 数值线性代数(第二版). 北京大学出版社, 2010.

参考文献

Hestenes M R , Stiefel E L .Methods of Conjugate Gradients for Solving Linear Systems. Journal of Research of the National Bureau of Standards (United States), 1952.

相关推荐
草莓熊Lotso7 小时前
【数据结构初阶】--二叉树(二)
c语言·数据结构·经验分享·其他
先做个垃圾出来………1 天前
算子推理是什么
其他
Shining05962 天前
Datawhale AI 夏令营—科大讯飞AI大赛(大模型技术)—让大模型理解表格数据(列车信息表)
人工智能·学习·其他
草莓熊Lotso3 天前
【LeetCode刷题指南】--有效的括号
c语言·数据结构·其他·算法·leetcode·刷题
xiaobin889993 天前
PowerDesigner安装教程(附加安装包)PowerDesigner详细安装教程PowerDesigner 16.6 最新版安装教程
数据库·其他
JiNan.YouQuan.Soft4 天前
Windows下编译libarchive
其他
zenithdev14 天前
PyCharm安装教程(附加安装包)PyCharm详细安装教程PyCharm 2025 最新版安装教程
ide·python·其他·pycharm
草莓熊Lotso5 天前
【数据结构初阶】--树和二叉树先导篇
c语言·数据结构·经验分享·其他
不爱说话的采儿6 天前
UE5保姆级基础教程(第五章)
经验分享·其他·ue5·游戏引擎·课程设计
Shining05966 天前
Datawhale AI 夏令营-心理健康Agent开发学习-Task1
人工智能·学习·其他·agent