「最优化算法」共轭梯度法

共轭方向(Conjugate Direction)

设 $A\; A$A 为 $n\; n$n 阶对称正定矩阵 ，若有一组非令向量组 $u\; (\; 1\; )\; ,\; u\; (\; 2\; )\; ,\; \cdots \; \hspace{0.17em}\; ,\; u\; (\; n\; )\; \in \; R\; n\; u^\{(1)\},u^\{(2)\},\backslash cdots,u^\{(n)\}\; \backslash in\; \backslash mathbb\; R^n$u(1),u(2),⋯,u(n)∈Rn 满足
$$(\; u\; (\; i\; )\; )\; T\; A\; u\; (\; j\; )\; =\; 0\; (\; i\; \ne \; j\; ;\; i\; ,\; j\; =\; 1\; ,\; 2\; ,\; \cdots \; \hspace{0.17em}\; ,\; n\; )\; (u^\{(i)\})^\{\backslash text\; T\}Au^\{(j)\}=0\backslash quad(i\backslash neq\; j;\; \backslash quad\; i,j\; =\; 1,2,\backslash cdots,n)$$(u(i))TAu(j)=0(i=j;i,j=1,2,⋯,n)

则称该向量组为 $A\; A$A 共轭。若 $A\; =\; I\; A=I$A=I 则上述条件即为通常的正交条件。因此可以将 $A\; A$A 共轭的概念视为正交概念的推广。

若向量组 $u\; (\; 1\; )\; ,\; u\; (\; 2\; )\; ,\; \cdots \; \hspace{0.17em}\; ,\; u\; (\; n\; )\; u^\{(1)\},u^\{(2)\},\backslash cdots,u^\{(n)\}$u(1),u(2),⋯,u(n) 为 $A\; A$A 共轭的非零向量，则可证这一组向量线性独立。

$n\; n$n 阶对称正定矩阵 $A\; A$A 的特征向量组为 $A\; A$A 共轭。

比如

上图就是关于某一对称正定矩阵 $A\; A$A 共轭的两个向量 $u\; ,\; v\; u,v$u,v，记为 $⟨\; u\; ,\; v\; ⟩\; A\; \backslash langle\; u,v\; \backslash rangle\_A$⟨u,v⟩A。可以看出向量 $u\; ,\; v\; u,v$u,v 关于某条对称轴对称，则它们经过正交变换的向量 $A\; u\; ,\; A\; v\; Au,Av$Au,Av 也关于这条对称轴对称。这可能就是"共轭"的几何含义吧。

既然 $A\; A$A 的某一完备的共轭的向量组 $u\; 1\; ,\; u\; 2\; ,\; \cdots \; \hspace{0.17em}\; ,\; u\; n\; u\_\{1\},u\_\{2\},\backslash cdots,u\_\{n\}$u1,u2,⋯,un 线性无关，那么任一向量 $x\; \in \; R\; n\; \backslash mathbb\; x\; \backslash in\; \backslash mathbb\; R^n$x∈Rn 都可以用这组向量表示，有
$$x\; =\; \sum \; i\; =\; 1\; n\; \alpha \; i\; u\; (\; i\; )\; \backslash mathbb\; x\; =\; \backslash sum\_\{i=1\}^n\; \backslash alpha\_iu^\{(i)\}$$x=i=1∑nαiu(i)

将上式左右同乘 $u\; k\; T\; A\; u\_\{k\}^TA$ukTA，有
ukTAx=ukTAi=1∑nαiui=αkukTAuk

可得
$$\alpha \; k\; =\; u\; k\; T\; A\; x\; u\; k\; T\; A\; u\; k\; \backslash alpha\_k\; =\; \backslash frac\{u\_\{k\}^TA\backslash mathbf\; x\; \}\{u\_\{k\}^TAu\_\{k\}\}$$αk=ukTAukukTAx

进而可得 $x\; \backslash mathbb\; x$x 表达式
$$x\; =\; \sum \; i\; =\; 1\; n\; u\; i\; T\; A\; x\; u\; i\; T\; A\; u\; i\; u\; i\; \backslash mathbb\; x\; =\; \backslash sum\_\{i=1\}^n\; \backslash frac\{u\_\{i\}^TA\backslash mathbf\; x\}\{u\_\{i\}^TA\; u\_\{i\}\}u\_i$$x=i=1∑nuiTAuiuiTAxui

如果有方程组 $A\; x\; =\; b\; A\backslash mathbf\; x\; =\; b$Ax=b，且 $A\; A$A 存在共轭的向量组 $u\; 1\; ,\; u\; 2\; ,\; \cdots \; \hspace{0.17em}\; ,\; u\; n\; u\_\{1\},u\_\{2\},\backslash cdots,u\_\{n\}$u1,u2,⋯,un，那么对满足方程组的解 $x\; \backslash mathbf\; x$x，会有
$$x\; =\; \sum \; i\; =\; 1\; n\; u\; i\; T\; A\; x\; u\; i\; T\; A\; u\; i\; u\; i\; =\; \sum \; i\; =\; 1\; n\; u\; i\; T\; b\; u\; i\; T\; A\; u\; i\; u\; i\; \backslash mathbb\; x\; =\; \backslash sum\_\{i=1\}^n\; \backslash frac\{u\_\{i\}^TA\backslash mathbf\; x\}\{u\_\{i\}^TA\; u\_\{i\}\}u\_i\; =\; \backslash sum\_\{i=1\}^n\; \backslash frac\{u\_\{i\}^Tb\}\{u\_\{i\}^TA\; u\_\{i\}\}u\_i$$x=i=1∑nuiTAuiuiTAxui=i=1∑nuiTAuiuiTbui

共轭梯度法(Conjugate Gradient)

共轭梯度算法用于处理无约束的多元二次函数的极小值
$$f\; (\; x\; )\; =\; 1\; 2\; x\; T\; A\; x\; +\; b\; T\; x\; +\; c\; f(x)\; =\; \backslash frac\; 1\; 2x^\backslash text\; TAx+b^\backslash text\; Tx+c$$f(x)=21xTAx+bTx+c

其中 $x\; ,\; b\; \in \; R\; n\; x,b\backslash in\; \backslash mathbb\; R^n$x,b∈Rn；A为对称正定矩阵， $A\; \in \; R\; n\; \times \; n\; A\backslash in\; \backslash mathbb\; R^\{n\backslash times\; n\}$A∈Rn×n； $c\; c$c 为常数。

刚在接触这个算法的时候一脸懵逼，哪来的这么好的式子让我求解？哪来的刚好对称正定的方阵？要解释这个问题，以及这个式子代表着什么，还得联系着牛顿法，将两种方法串联起来。

说到牛顿法，这个问题我也想了好久，到底这个关键的二阶泰勒展开 到底是什么意思？到底能近似到什么程度？关于这个问题想要继续讨论，可以花些时间看一下 这个视频👈，简单来说
$$f\; (\; x\; )\; \approx \; f\; (\; x\; k\; )\; +\; f\; \prime \; (\; x\; k\; )\; (\; x\; -\; x\; k\; )\; +\; f\; \prime \; \prime \; (\; x\; k\; )\; 2\; (\; x\; -\; x\; k\; )\; 2\; f(x)\; \backslash approx\; f(x\_k)\; +\; f\text{'}(x\_k)(x-x\_k)\; +\; \backslash frac\; \{f\text{'}\text{'}(x\_\{k\})\}\{2\}(x-x\_k)^2$$f(x)≈f(xk)+f′(xk)(x−xk)+2f′′(xk)(x−xk)2

是在 $x\; k\; x\_k$xk 点附近关于 $f\; (\; x\; )\; f(x)$f(x) 的一阶以及二阶导数的大小变化进行提取，并且赋给一个二次曲线，这个二次曲线可以在某些区间内完美的模拟原函数 $f\; (\; x\; )\; f(x)$f(x) 的一、二阶导数的变化情况。当然，关于比较复杂的函数，这种低阶展开的对曲线的模拟效果不是很好，只能在展开点的附近才能有较小的误差。而关于牛顿法，因为牛顿法可以完美解决二次函数极小值的求解问题，所以牛顿法就需要用到目标函数 $f\; (\; x\; )\; f(x)$f(x) 的二阶泰勒展开啦。

再来看在 $x\; k\; x\_k$xk 点处二阶泰勒展开的矩阵形式
$$f\; (\; x\; )\; =\; f\; (\; x\; k\; )\; +\; \nabla \; f\; (\; x\; k\; )\; T\; (\; x\; -\; x\; k\; )\; +\; 1\; 2\; (\; x\; -\; x\; k\; )\; T\; H\; (\; x\; k\; )\; (\; x\; -\; x\; k\; )\; f(x)\; =\; f(x\_k)\; +\; \backslash nabla\; f(x\_k)^\backslash text\; T(x-x\_k)\; +\; \backslash frac\; 1\; 2\; (x-x\_k)^\backslash text\; TH(x\_\{k\})(x-x\_k)$$f(x)=f(xk)+∇f(xk)T(x−xk)+21(x−xk)TH(xk)(x−xk)

是不是很像共轭梯度法要解决的二次函数
$$f\; (\; x\; )\; =\; c\; +\; b\; T\; x\; +\; 1\; 2\; x\; T\; A\; x\; f(x)\; =\; c+b^\backslash text\; Tx+\backslash frac\; 1\; 2x^\backslash text\; TAx$$f(x)=c+bTx+21xTAx

其实牛顿法的本质就是用二次曲线来拟合目标函数的某一局部，并求出最优点 $x\; \ast \; x^*$x∗。而共轭梯度法可以被视作基于这一思想的另一种算法。海塞矩阵 $H\; H$H 正定可以保证 $f\; (\; x\; )\; f(x)$f(x) 存在极小点，这似乎可以解释为什么共轭梯度法上来就让我们算这么奇怪的式子。（别忘了，任何一个多元函数二次项都可以写成带有对称矩阵 $A\; A$A 的 $x\; T\; A\; x\; x^\backslash text\; TAx$xTAx 形式）

已知牛顿法的表达式
$$x\; k\; +\; 1\; =\; x\; k\; -\; H\; -\; 1\; (\; x\; k\; )\; \cdot \; \nabla \; f\; (\; x\; k\; )\; x\_\{k+1\}\; =\; x\_k\; -H^\{-1\}(x\_k)\; \backslash cdot\; \backslash nabla\; f(x\_k)$$xk+1=xk−H−1(xk)⋅∇f(xk)

都知道这个算法中 $-\; H\; -\; 1\; (\; x\; k\; )\; \cdot \; \nabla \; f\; (\; x\; k\; )\; -H^\{-1\}(x\_k)\; \backslash cdot\; \backslash nabla\; f(x\_k)$−H−1(xk)⋅∇f(xk) 计算困难，那么令 $d\; =\; H\; -\; 1\; (\; x\; k\; )\; \cdot \; \nabla \; f\; (\; x\; k\; )\; d\; =\; H^\{-1\}(x\_k)\; \backslash cdot\; \backslash nabla\; f(x\_k)$d=H−1(xk)⋅∇f(xk) ，则有
$$H\; (\; x\; k\; )\; \cdot \; d\; =\; -\; \nabla \; f\; (\; x\; k\; )\; H(x\_k)\backslash cdot\; d\; =\; -\backslash nabla\; f(x\_k)$$H(xk)⋅d=−∇f(xk)

如果有 $H\; H$H 的共轭的向量组 $u\; 1\; ,\; u\; 2\; ,\; \cdots \; \hspace{0.17em}\; ,\; u\; n\; u\_\{1\},u\_\{2\},\backslash cdots,u\_\{n\}$u1,u2,⋯,un，类比共轭方向解方程组，有
$$d\; =\; \sum \; i\; =\; 1\; n\; -\; u\; i\; T\; \nabla \; f\; (\; x\; k\; )\; u\; i\; T\; H\; u\; i\; u\; i\; d\; =\; \backslash sum\_\{i=1\}^n\; -\backslash frac\{u\_\{i\}^T\backslash nabla\; f(x\_k)\}\{u\_\{i\}^TH\; u\_\{i\}\}u\_i$$d=i=1∑n−uiTHuiuiT∇f(xk)ui

别忘了，我们现在求解的是二次函数，使用牛顿法一步就能就解决问题，有
x∗=x0−H−1∇f(x0)=x0+d=x0+i=1∑nuiTHuiuiT∇f(x0)ui

将式子展开
$$x\; \ast \; =\; x\; 0\; +\; \sum \; i\; =\; 1\; n\; u\; i\; T\; \nabla \; f\; (\; x\; 0\; )\; u\; i\; T\; H\; u\; i\; u\; i\; x^*\; =\; x\_0\; +\; \backslash sum\_\{i=1\}^n\; \backslash frac\{u\_\{i\}^T\backslash nabla\; f(x\_0)\}\{u\_\{i\}^TH\; u\_\{i\}\}u\_i$$x∗=x0+i=1∑nuiTHuiuiT∇f(x0)ui

上式也可以可以换一种表达形式：

假设有一组 $H\; H$H 的共轭的向量组 $u\; 1\; ,\; u\; 2\; ,\; \cdots \; \hspace{0.17em}\; ,\; u\; n\; u\_\{1\},u\_\{2\},\backslash cdots,u\_\{n\}$u1,u2,⋯,un，可以写出迭代式
$$x\; k\; =\; x\; 0\; +\; \beta \; 1\; u\; 1\; +\; \beta \; 2\; u\; 2\; +\; \cdots \; +\; \beta \; k\; u\; k\; x\_k\; =\; x\_0\; +\; \backslash beta\_1u\_1\; +\; \backslash beta\_2u\_2+\backslash dots+\backslash beta\_ku\_k$$xk=x0+β1u1+β2u2+⋯+βkuk

那么最优解就可以用 $n\; n$n 次迭代之后的迭代式来表示
$$x\; \ast \; =\; x\; 0\; +\; \beta \; 1\; u\; 1\; +\; \beta \; 2\; u\; 2\; +\; \cdots \; +\; \beta \; n\; u\; n\; x^*\; =\; x\_0\; +\; \backslash beta\_1u\_1\; +\; \backslash beta\_2u\_2+\backslash dots+\backslash beta\_nu\_n$$x∗=x0+β1u1+β2u2+⋯+βnun

上式如果除去 $x\; 0\; x\_0$x0 项明显是一个方程组，那么 $\beta \; k\; \backslash beta\_k$βk 可以用共轭向量法求解出来，有
$$\beta \; k\; =\; u\; k\; T\; H\; (\; x\; \ast \; -\; x\; 0\; )\; u\; k\; T\; H\; u\; k\; \backslash beta\_k\; =\; \backslash frac\{u\_\{k\}^TH(x^*-x\_0)\}\{u\_\{k\}^TH\; u\_\{k\}\}$$βk=ukTHukukTH(x∗−x0)

令 $x\; \ast \; -\; x\; 0\; =\; (\; x\; \ast \; -\; x\; k\; -\; 1\; )\; +\; (\; x\; k\; -\; 1\; -\; x\; 0\; )\; x^*-x\_0\; =\; (x^*-x\_\{k-1\})+(x\_\{k-1\}-x\_0)$x∗−x0=(x∗−xk−1)+(xk−1−x0)，则
ukTH(x∗−x0)=ukTH(x∗−xk−1)+ukTH(xk−1−x0)=ukTH(x∗−xk−1)+ukTH(β1u1+β2u2+⋯+βk−1uk−1)=ukTH(x∗−xk−1)

根据
$$f\; (\; x\; )\; =\; f\; (\; x\; k\; )\; +\; \nabla \; f\; (\; x\; k\; )\; T\; (\; x\; -\; x\; k\; )\; +\; 1\; 2\; (\; x\; -\; x\; k\; )\; T\; H\; (\; x\; -\; x\; k\; )\; f(x)\; =\; f(x\_k)\; +\; \backslash nabla\; f(x\_k)^\backslash text\; T(x-x\_k)\; +\; \backslash frac\; 1\; 2\; (x-x\_k)^\backslash text\; TH(x-x\_k)$$f(x)=f(xk)+∇f(xk)T(x−xk)+21(x−xk)TH(x−xk)

对其求导，并且将 $x\; \ast \; x^*$x∗ 代入式子中
$$\nabla \; f\; (\; x\; \ast \; )\; =\; \nabla \; f\; (\; x\; k\; )\; +\; H\; (\; x\; \ast \; -\; x\; k\; )\; =\; 0\; \backslash nabla\; f(x^*)\; =\; \backslash nabla\; f(x\_k)\; +H(x^*-x\_k)=0$$∇f(x∗)=∇f(xk)+H(x∗−xk)=0

将其代入 $u\; k\; T\; H\; (\; x\; \ast \; -\; x\; 0\; )\; u\_\{k\}^TH(x^*-x\_0)$ukTH(x∗−x0)，得
ukTH(x∗−x0)=ukTH(x∗−xk−1)=−ukT∇f(xk−1)

也那么
$$\beta \; k\; =\; u\; k\; T\; H\; (\; x\; \ast \; -\; x\; 0\; )\; u\; k\; T\; H\; u\; k\; =\; -\; u\; k\; T\; \nabla \; f\; (\; x\; k\; -\; 1\; )\; u\; k\; T\; H\; u\; k\; \backslash beta\_k\; =\; \backslash frac\{u\_\{k\}^TH(x^*-x\_0)\}\{u\_\{k\}^TH\; u\_\{k\}\}\; =\; -\backslash frac\{u\_\{k\}^T\backslash nabla\; f(x\_\{k-1\})\}\{u\_\{k\}^TH\; u\_\{k\}\}$$βk=ukTHukukTH(x∗−x0)=−ukTHukukT∇f(xk−1)

怎么回事？由于是同一组基，那么势必 $\alpha \; k\; =\; \beta \; k\; \backslash alpha\_k\; =\; \backslash beta\_k$αk=βk，那也就代表着
$$u\; k\; T\; \nabla \; f\; (\; x\; k\; -\; 1\; )\; =\; u\; k\; T\; \nabla \; f\; (\; x\; 0\; )\; u\_\{k\}^T\backslash nabla\; f(x\_\{k-1\})\; =\; u\_\{k\}^T\backslash nabla\; f(x\_0)$$ukT∇f(xk−1)=ukT∇f(x0)

我们可以将 $\nabla \; f\; (\; x\; k\; )\; \backslash nabla\; f(x\_k)$∇f(xk) 拆解
∇f(xk)=−H(x∗−xk)=−H(x∗−(xk−1+Hβkuk))=∇f(xk−1)+Hβkuk=∇f(xk−2)+Hβk−1uk−1+Hβkuk=...=∇f(x0)+Hi=1∑kβiui

这样我们就可以得出一个递推式，不仅能解决上面的问题，如果我们将 $\nabla \; f\; (\; x\; k\; )\; \backslash nabla\; f(x\_k)$∇f(xk) 左乘 $x\; k\; T\; x\_k^\backslash text\; T$xkT，会有
ukT∇f(xk)=ukT∇f(x0)+ukTHi=1∑kβiui=−ukTH(x∗−x0)+βkukTHuk=−βkukTHuk+βkukTHuk=0

也就是说，点 $x\; k\; x\_k$xk 处的梯度与第 $k\; k$k 次的搜索方向正交。

如果将 $f\; (\; x\; k\; )\; f(x\_k)$f(xk) 写成 $f\; (\; x\; k\; -\; 1\; +\; \beta \; k\; u\; k\; )\; f(x\_\{k-1\}+\backslash beta\_ku\_k)$f(xk−1+βkuk)，那么如果需要求在 $u\; k\; u\_k$uk 方向的最优步长，即
$$min\; \; \beta \; k\; f\; (\; x\; k\; -\; 1\; +\; \beta \; k\; u\; k\; )\; \backslash min\_\{\backslash beta\_k\}f(x\_\{k-1\}+\backslash beta\_ku\_k)$$βkminf(xk−1+βkuk)

需要对 $f\; (\; x\; k\; )\; f(x\_k)$f(xk) 求偏导
∂βk∂f(xk−1+βkuk)=ukT∇f(xk)=0

得到了同样的结论。在解释之前，先看下面一幅图

以目标函数 $f\; (\; x\; )\; =\; x\; 1\; 2\; +\; x\; 2\; 2\; f(x)\; =\; x\_1^2\; +\; x\_2^2$f(x)=x12+x22 为例，在沿着 $u\; 1\; u\_1$u1 方向搜索时，选择了在这个方向上的最优解，也就是 $min\; \; \beta \; 1\; f\; (\; x\; 0\; +\; \beta \; 1\; u\; 1\; )\; \backslash min\_\{\backslash beta\_1\}f(x\_0+\backslash beta\_1u\_1)$minβ1f(x0+β1u1)，这样也就注定点 $x\; 1\; x\_1$x1 处的斜率不会再 $u\; 1\; u\_1$u1 方向的分量上还有偏移。这与我们刚开始提出的方程组的结果 $\alpha \; \backslash alpha$α 不谋而合。

那么另一个问题出现了，上哪里去找一组关于 $H\; H$H 的共轭向量呢？在线性代数中有提到过一个向量正交化的过程：Gram-Schmidt 正交化

施密特正交化中的投影算子 是正交化的关键，投影算子 $proj\; u\; (\; v\; )\; \backslash text\{proj\}\_u(v)$proju(v) 来表示向量 $v\; v$v 在向量 $u\; u$u 方向上的分量
$$proj\; u\; (\; v\; )\; =\; ⟨\; v\; ,\; u\; ⟩\; ⟨\; u\; ,\; u\; ⟩\; u\; \backslash text\{proj\}\_u(v)\; =\; \backslash frac\{\backslash langle\; v,u\; \backslash rangle\}\{\backslash langle\; u,u\; \backslash rangle\}u$$proju(v)=⟨u,u⟩⟨v,u⟩u

这样，我们就可以根据一组向量 $v\; 1\; ,\; v\; 2\; ,\; \cdots \; \hspace{0.17em}\; ,\; v\; n\; v\_\{1\},v\_\{2\},\backslash cdots,v\_\{n\}$v1,v2,⋯,vn 来得到一组正交基 $u\; 1\; ,\; u\; 2\; ,\; \cdots \; \hspace{0.17em}\; ,\; u\; n\; u\_\{1\},u\_\{2\},\backslash cdots,u\_\{n\}$u1,u2,⋯,un：
u1u2u3⋯uk=v1=v2−⟨u1,u1⟩⟨v2,u1⟩u1=v3−⟨u1,u1⟩⟨v3,u1⟩u1−⟨u2,u2⟩⟨v3,u2⟩u2=vk−i=1∑k−1⟨ui,ui⟩⟨vk,ui⟩ui

上面这个过程我们应该很熟悉了。同样的，可以根据一组向量 $v\; 1\; ,\; v\; 2\; ,\; \cdots \; \hspace{0.17em}\; ,\; v\; n\; v\_\{1\},v\_\{2\},\backslash cdots,v\_\{n\}$v1,v2,⋯,vn 来得到一组关于 $A\; A$A 的共轭向量 $u\; 1\; ,\; u\; 2\; ,\; \cdots \; \hspace{0.17em}\; ,\; u\; n\; u\_\{1\},u\_\{2\},\backslash cdots,u\_\{n\}$u1,u2,⋯,un：
u1u2u3⋯uk=v1=v2−⟨u1,u1⟩A⟨v2,u1⟩Au1=v3−⟨u1,u1⟩A⟨v3,u1⟩Au1−⟨u2,u2⟩A⟨v3,u2⟩Au2=vk−i=1∑k−1⟨ui,ui⟩A⟨vk,ui⟩Aui

我们以 $f\; (\; x\; 0\; )\; f(x\_0)$f(x0) 的负梯度方向作为初始方向，有搜索方向的迭代式
$$u\; k\; =\; -\; \nabla \; f\; (\; x\; k\; -\; 1\; )\; +\; \sum \; i\; =\; 1\; k\; -\; 1\; \gamma \; i\; u\; i\; ,\; \gamma \; i\; k\; =\; ⟨\; \nabla \; f\; (\; x\; k\; -\; 1\; )\; ,\; u\; i\; ⟩\; H\; ⟨\; u\; i\; ,\; u\; i\; ⟩\; H\; u\_k\; =\; -\backslash nabla\; f(x\_\{k-1\})\; +\; \backslash sum\_\{i=1\}^\{k-1\}\backslash gamma\_iu\_i,\backslash quad\backslash gamma\_i^k\; =\backslash frac\{\backslash langle\; \backslash nabla\; f(x\_\{k-1\}),u\_i\; \backslash rangle\_H\}\{\backslash langle\; u\_i,u\_i\; \backslash rangle\_H\}$$uk=−∇f(xk−1)+i=1∑k−1γiui,γik=⟨ui,ui⟩H⟨∇f(xk−1),ui⟩H

这样还是有点太复杂了，随着迭代步数的增多，计算次数也会不断上涨，能不能再简化一下呢？

我们定义残差 $e\; k\; =\; x\; k\; -\; x\; \ast \; e\_k\; =\; x\_k-x^*$ek=xk−x∗，有
ek=xk−x∗=(x0+i=1∑kβiui)−(x0+i=1∑nβiui)=i=k+1∑nβiui

这样我们可以得出一个结论：前 $k\; k$k 步的搜索方向均与残差 $e\; k\; e\_k$ek 关于 $H\; H$H 共轭，即
$$u\; i\; T\; H\; e\; k\; =\; 0\; ,\; i\; =\; 1\; ,\; 2\; ,\; ...\; ,\; k\; u\_i^\backslash text\; THe\_k\; =\; 0,\backslash quad\; i=1,2,\backslash dots,k$$uiTHek=0,i=1,2,...,k

又因为 $H\; (\; x\; k\; -\; x\; \ast \; )\; =\; \nabla \; f\; (\; x\; k\; )\; H(x\_k-x^*)\; =\; \backslash nabla\; f(x\_k)$H(xk−x∗)=∇f(xk)，代入上式
0=uiTHek=uiT∇f(xk)=−∇f(xk)T∇f(xi)−j=1∑i−1γji∇f(xk)Tuj=−∇f(xk)T∇f(xi),i=1,2,...,k

这样我们就得出了第二个结论：梯度方向相互正交

在共轭梯度法迭代过程中有迭代式
$$x\; k\; =\; x\; k\; -\; 1\; +\; \beta \; k\; u\; k\; x\_\{k\}\; =\; x\_\{k-1\}+\backslash beta\_\{k\}u\_\{k\}$$xk=xk−1+βkuk

左右同减 $x\; \ast \; x^*$x∗ 再左乘 $H\; H$H，有
H(xk−x∗)∇f(xk)=H(xk−1−x∗)+βkHuk=∇f(xk−1)+βkHuk

那么
$$H\; u\; k\; =\; 1\; \beta \; k\; (\; \nabla \; f\; (\; x\; k\; )\; -\; \nabla \; f\; (\; x\; k\; -\; 1\; )\; )\; Hu\_k\; =\; \backslash frac\; 1\; \backslash beta\_k(\backslash nabla\; f(x\_k)\; -\; \backslash nabla\; f(x\_\{k-1\}))$$Huk=β1k(∇f(xk)−∇f(xk−1))

左乘 $\nabla \; f\; (\; x\; i\; )\; T\; \backslash nabla\; f(x\_i)^\backslash text\; T$∇f(xi)T，根据梯度方向相互正交，
∇f(xi)THuk=β1k(∇f(xi)T∇f(xk)−∇f(xi)T∇f(xk−1))=⎩ ⎨ ⎧−β1k∇f(xk−1)T∇f(xk−1),β1k∇f(xk)T∇f(xk),0,i=k−1i=kotherwise

我们再来看搜索方向的迭代式系数
$$\gamma \; i\; k\; =\; ⟨\; \nabla \; f\; (\; x\; k\; -\; 1\; )\; ,\; u\; i\; ⟩\; H\; ⟨\; u\; i\; ,\; u\; i\; ⟩\; H\; =\; \nabla \; f\; (\; x\; k\; -\; 1\; )\; T\; H\; u\; i\; u\; i\; T\; H\; u\; i\; \backslash gamma\_i^k\; =\backslash frac\{\backslash langle\; \backslash nabla\; f(x\_\{k-1\}),u\_i\; \backslash rangle\_H\}\{\backslash langle\; u\_i,u\_i\; \backslash rangle\_H\}\; =\; \backslash frac\{\backslash nabla\; f(x\_\{k-1\})^\backslash text\; THu\_i\}\{u\_i^\backslash text\; THu\_i\}$$γik=⟨ui,ui⟩H⟨∇f(xk−1),ui⟩H=uiTHui∇f(xk−1)THui

当 k<i−1 时， $\gamma \; i\; k\; =\; 0\; \backslash gamma\_i^k\; =\; 0$γik=0，那么
uk=−∇f(xk−1)+i=1∑k−1γikui=−∇f(xk−1)+γk−1kuk−1=−∇f(xk−1)+uk−1THuk−1∇f(xk−1)THuk−1uk−1=−∇f(xk−1)+βkuk−1THuk−1∇f(xk−1)T∇f(xk−1)uk−1

由此可以看出，根据 Gram-Schmidt 方法，第 $k\; k$k 个共轭向量只与第 $k\; -\; 1\; k-1$k−1 个共轭向量有关系，关于共轭向量的计算被大大的简化了。