最速下降法的终止条件

先看最速下降法的计算步骤：

这里着重说一下，第二步中的终止条件：x_k处的梯度的范数小于精度值，即可停止迭代，输出x_k作为计算结果。

为什么是范数？

是因为根据下面这个定理：

也就是说，我们最终如果到达了局部最优解的话，求出来的梯度值是为0的，也就是说该点梯度为0是该点是局部最优解的必要条件。

所以我们的终止条件就是到达某处的梯度为0，在一些条件不是太苛刻的情况下，我们也可以不让它严格为0，只是逼近于0即可。