共轭梯度法的基本原理及几何说明

共轭梯度法是共轭方向法中的一种，因为在该方法中每一个共轭向量都是依赖于迭代点处的负梯度而构造出来的，所以称作共轭梯度法。为了利用梯度求共轭方向，我们首先来研究共轭方向与梯度之间的关系。

考虑二次函数

从X^（k）点出发，沿G的某一共轭方向S^（k）作一维搜索，到达X^（k+1）点，即

X^（k+1）=X^（k）+α^（k）S^（k）

或

X^（k+1）-X^（k）=α^（k）S^（k）

而在X^（k）、X^（k+1）点处的梯度▽f（X^（k））、▽f（X^（k+1））分别为

▽f（X^（k））=GX^（k）+b

▽f（X^（k+1））=GX^（k+1）+b(www.xing528.com)

所以有

▽f（X^（k+1））-▽f（X^（k））=G（X^（k+1）-X^（k））=α^（k）GS^（k） （4-16）

若S^（j）和S^（k）对G是共轭的，则有（S^（j））^TGS^（k）=0

利用式（4-16）对两端左乘（S^（j））T即得

（S^（j））^T（▽f（X^（k+1））-▽f（X^（k）））=0 （4-17）

这就是共轭方向与梯度之间的关系。此式表明沿方向S^（k）迸行一维搜索，其终点X^（k+1）与始点X^（k）的梯度之差▽f（X^（k+1））-▽f（X^（k））与S^（k）的共轭方向S^（j）正交。共轭梯度法就是利用这个性质做到不必计算矩阵G就能求得共轭方向的。此性质的几何说明如图4-8所示。

图4-8 共轭梯度法的几何说明