共轭梯度法求解线性方程组
1. 引言
共轭梯度法（Conjugate Gradient Method）是一种用于求解大型稀疏对称正定线性方程组的迭代算法。该方法结合了梯度下降法和共轭方向的概念，以达到更快速的收敛。共轭梯度法 是介于最速下降法与牛顿法之间的一个方法，它仅需利用一阶导数信息，但克服了最速下降法收敛慢的缺点，又避免了牛顿法需要存储和计算Hesse矩阵并求逆的缺点，在有限元求解中经常用到此方法求解椭圆问题。
2. 数学原理
2.1 问题描述
给定一个对称正定矩阵 ( A ) 和一个向量 ( b )，我们需要求解线性方程组 ( Ax = b )。
2.2 目标函数
我们可以通过最小化二次型函数来求解上述线性方程组：
f ( x ) = 1 2 x T A x − b T x f(x) = \frac{1}{2} x^T A x - b^T x f(x)=21xTAx−bTx
其梯度为：
∇ f ( x ) = A x − b \nabla f(x) = A x - b ∇f(x)=Ax−b
2.3 梯度下降法
梯度下降法的更新公式为：
x k + 1 = x k − α k ∇ f ( x k ) x_{k+1} = x_k - \alpha_k \nabla f(x_k) xk+1=xk−αk∇f(xk)
其中 α k \alpha_k αk 是步长。
2.4 共轭方向
共轭方向是一组特殊的搜索方向，满足以下条件：
p i T A p j = 0 for i ≠ j p_i^T A p_j = 0 \quad \text{for} \quad i \neq j piTApj=0fori=j.
2.5 共轭梯度法的迭代公式
- 初始化：选择初始点 x 0 x_0 x0，计算 r 0 = b − A x 0 r_0 = b - A x_0 r0=b−Ax0，并令 p 0 = r 0 p_0 = r_0 p0=r0.
- 迭代步骤：
- 计算步长 α k \alpha_k αk：
α k = r k T r k p k T A p k \alpha_k = \frac{r_k^T r_k}{p_k^T A p_k} αk=pkTApkrkTrk. - 更新解向量 x k + 1 x_{k+1} xk+1：
x k + 1 = x k + α k p k x_{k+1} = x_k + \alpha_k p_k xk+1=xk+αkpk. - 更新残差 r k + 1 r_{k+1} rk+1：
r k + 1 = r k − α k A p k r_{k+1} = r_k - \alpha_k A p_k rk+1=rk−αkApk. - 计算方向更新系数 β k \beta_k βk：
β k = r k + 1 T r k + 1 r k T r k \beta_k = \frac{r_{k+1}^T r_{k+1}}{r_k^T r_k} βk=rkTrkrk+1Trk+1. - 更新搜索方向 p k + 1 p_{k+1} pk+1：
p k + 1 = r k + 1 + β k p k p_{k+1} = r_{k+1} + \beta_k p_k pk+1=rk+1+βkpk.
- 计算步长 α k \alpha_k αk：
- 检查收敛：如果 r k + 1 r_{k+1} rk+1 足够小，则停止迭代。
3. MATLAB 实现
以下是详细的 MATLAB 程序实现共轭梯度法。
matlab
function [u,iter,res_norms] = conjugate_gradient(A, F, tol, maxIter)
%% 使用共轭梯度法求解 A * u = F
% A - 系数矩阵
% F - 右端向量
% tol - 收敛容差
% maxIter - 最大迭代次数
% 初始化解向量
u = zeros(size(F));
r = F - A * u; % 初始残差
p = r; % 初始方向向量
rsold = r' * r; % 初始残差范数
res_norms = zeros(maxIter, 1);
res_norms(1) = sqrt(rsold);
for iter = 1:maxIter
Ap = A * p;
alpha = rsold / (p' * Ap);
u = u + alpha * p; % 更新解
r = r - alpha * Ap; % 更新残差
rsnew = r' * r; % 新的残差范数
res_norms(iter+1) = sqrt(rsnew);
% 检查收敛性
if sqrt(rsnew) < tol
res_norms = res_norms(1:iter+1);
break;
end
p = r + (rsnew / rsold) * p; % 更新方向向量
rsold = rsnew;
end搞个 250000阶的大矩阵测试一下：
matlab
% 测试案例
n = 250000; % 矩阵规模
A = gallery('poisson', sqrt(n)); % 生成对称正定矩阵
b = rand(n, 1); % 生成右侧向量
% x0 = zeros(n, 1); % 初始解
tol = 1e-8;
max_iter = 100000;
% 调用共轭梯度法
[x, k, res_norms] = conjugate_gradient(A, b, tol, max_iter);
% 显示结果
fprintf('迭代次数 k: %d\n', k);
% 可视化结果
figure;
semilogy(res_norms, 'o-');
xlabel('迭代次数');
ylabel('残差范数');
title('共轭梯度法残差范数收敛曲线');
grid on;
set(gca,'FontName','Monospaced');画出收敛曲线：
残差设定 1 e − 8 1e-8 1e−8量级，几秒就能算出结果，效果不错！
续
如果读者有需求，我们将通过一系列博客展示数值分析课程相关的丰富内容，所有文章均有相应代码实现。请持续关注！
作者 ：计算小屋
个人主页 ： 计算小屋的主页