牛顿法的优化实践

以二维问题为例，设目标函数f（X）为连续二阶可微，则在给定点X^k展开成泰勒二次近似式，即

这里，H（X^k）是函数f（X^k）的二阶偏导数矩阵（即黑塞矩阵）：

H（X^k）=▽²f（X^k）

为求得二次近似式ϕ（X）的极小点X^*，令▽ϕ（X）=0，即

▽ϕ（X）=▽f（X^k）+H（X^k）（X-X^k）=0

解之得

X_ϕ^*=X^k-[H（X^k）]^-1▽f（X^k）

在一般情况下，f（X）不一定是二次函数，因而所求得的极小点X_ϕ^*也不可能是原目标函数的真正极小点。但是由于在点X^k附近，函数ϕ（X）和f（X）是近似的，因而X_ϕ^*可作为f（X）的近似极小点。为求得满足精度要求的近似极小点，则可将X_ϕ^*作为下一次迭代的起始点X^k+1，即得

X^k+1=Xk-[H（X^k）]^-1▽f（X^k）

上式就是原始牛顿法的迭代公式。由此式可知，牛顿法所采用的搜索方向为

S^k=-[H（X^k）]^-1▽f（X^k）

此方向称为牛顿方向，可见原始牛顿法的步长因子恒取α^k=1。所以，原始牛顿法是一种定步长的迭代过程。

显然，如果目标函数f（X）是正定二次函数，则黑塞矩阵H（X）是常矩阵，二次近似式ϕ（X）变成了精确表达式。因而，由X^k出发，只需迭代一次即可求得f（X）的极小点。

例10-3 用牛顿法求f（x₁，x₂）=x²₁+25x²₂的极小值。

解：取初始点X⁰=[2 2]^T，则初始点处的函数梯度、黑塞矩阵及其逆阵分别是

这里，H（X^k）是函数f（X^k）的二阶偏导数矩阵（即黑塞矩阵）：

H（X^k）=▽²f（X^k）(www.xing528.com)

为求得二次近似式ϕ（X）的极小点X^*，令▽ϕ（X）=0，即

▽ϕ（X）=▽f（X^k）+H（X^k）（X-X^k）=0

解之得

X_ϕ^*=X^k-[H（X^k）]^-1▽f（X^k）

在一般情况下，f（X）不一定是二次函数，因而所求得的极小点X_ϕ^*也不可能是原目标函数的真正极小点。但是由于在点X^k附近，函数ϕ（X）和f（X）是近似的，因而X_ϕ^*可作为f（X）的近似极小点。为求得满足精度要求的近似极小点，则可将X_ϕ^*作为下一次迭代的起始点X^k+1，即得

X^k+1=Xk-[H（X^k）]^-1▽f（X^k）

上式就是原始牛顿法的迭代公式。由此式可知，牛顿法所采用的搜索方向为

S^k=-[H（X^k）]^-1▽f（X^k）

此方向称为牛顿方向，可见原始牛顿法的步长因子恒取α^k=1。所以，原始牛顿法是一种定步长的迭代过程。

显然，如果目标函数f（X）是正定二次函数，则黑塞矩阵H（X）是常矩阵，二次近似式ϕ（X）变成了精确表达式。因而，由X^k出发，只需迭代一次即可求得f（X）的极小点。

例10-3 用牛顿法求f（x₁，x₂）=x²₁+25x²₂的极小值。

解：取初始点X⁰=[2 2]^T，则初始点处的函数梯度、黑塞矩阵及其逆阵分别是

代入牛顿法迭代公式，得

代入牛顿法迭代公式，得

从而经过一次迭代即可求得极小点X^*=[0 0]及函数极小值f（X^*）=0。

从而经过一次迭代即可求得极小点X^*=[0 0]及函数极小值f（X^*）=0。