【摘要】：最速下降法逼近函数极小的过程是“之”字形。由复合函数求导数的法则，可得由此可得最速下降法在相邻两次迭代中，梯度方向是互相正交的。最速下降是仅在xk处具有最速下降的性质，但由于其走的是锯齿形路线，整体而言是慢速下降的。实际工程中常在求解的初始阶段采用最速下降法得到一个很好的初始点，后采用其他收敛快的方法进行求解。最速下降法在MATLAB中的程序实现如下所示：程序3.1
最速下降法（又称梯度法）是其迭代方向dk选择为xk处的负梯度方向，其计算步骤如下：
步骤1：选择初始点x0，误差ε＞0，令k=0；
步骤2：计算Δf（xk）。若‖Δf（xk）‖≤ε，停止计算。xk为近似最优解；
步骤3：取方向dk=-Δf（xk）；
步骤4：取线性最优步长求αk：
步骤5：令xk+1=xk+αk dk。令k=k+1，转回步骤2。
最速下降法在开始几次迭代时，步长较大，自变量的改变量和函数值的下降幅度都比较大，但当其接近最优点时，步长很小，故函数值下降很慢。最速下降法逼近函数极小的过程是“之”字形。(www.xing528.com)
事实上，因为
αk为函数
的极小点，即φ'（αk）=0。由复合函数求导数的法则，可得
由此可得最速下降法在相邻两次迭代中，梯度方向是互相正交的。最速下降是仅在xk处具有最速下降的性质，但由于其走的是锯齿形路线，整体而言是慢速下降的。且其收敛的快慢和变量的尺度关系很大，对于等值面偏心很大的函数将逐渐沿稳定的n维锯齿形路径移动，收敛很慢。但由于其程序简单，一次迭代工作量小，开始迭代式时收敛快，即使选择一个不好的初始点也能很快收敛到一个较好的迭代点。实际工程中常在求解的初始阶段采用最速下降法得到一个很好的初始点，后采用其他收敛快的方法进行求解。
最速下降法在MATLAB中的程序实现如下所示：
程序3.1 （最速下降法）
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
