问题预览/关键词
- 什么是梯度下降收敛？
- 哪些方法可以检测梯度下降是否收敛？
- 什么是学习曲线？
- 曲线上升代表什么？什么原因造成的？
- 如何检测梯度下降是否收敛？
- 多少次迭代，梯度下降会收敛？
- 什么是自动收敛测试？
笔记
1.梯度下降收敛
详见4.1。参数通过迭代逐渐更新，最终趋于稳定，达到或接近成本函数的最小值的过程。
2.检测收敛的方法。
- 画学习曲线图。
- 自动收敛测试。
3.学习曲线
横轴为梯度下降迭代次数，纵轴为成本函数值。有助于了解每次梯度下降迭代，成本函数的变化。
4.曲线上升
表示成本函数随迭代次数增加，通常学习率选择过大，或者代码有bug。
5.检测梯度下降收敛
迭代次数在400次，曲线接近变平，意味梯度下降已收敛。
6.多少次迭代会让梯度下降收敛
根据场景而定，有时需要迭代30次。有时需要迭代一千次或一万次。
7.自动收敛测试
选择一个ε值，如果梯度下降一次迭代中成本函数减小的值小于ε，则表示收敛。由于不好选择ε值，所以一般还是使用学习曲线图，更为直观。
总结
当梯度下降收敛时，意味着我们可以停止训练了。通过画出学习曲线图，我们能够直观的看到，当曲线变平时，就代表经过它对应的迭代次数时，梯度下降就可以收敛了。如果曲线有问题，我们可以从学习率过大或代码有问题两方面考虑。