(1)局部最优,就是在函数值空间的一个有限区域内寻找最小值;而全局最优,是在函数值空间整个区域寻找最小值问题。
(2)函数局部最小点是它的函数值小于或等于附近点的点,但是有可能大于较远距离的点。
(3)全局最小点是那种它的函数值小于或等于所有的可行点。
面试:你能解释一下梯度下降法及其在寻找全局最优解时的局限性吗?
- 梯度下降法通过迭代沿着目标函数的负梯度方向更新参数,以寻找最小值。
- 局限性:它可能会陷入局部最优,特别是在非凸函数中。此外,如果学习率设置不当,可能会导致收敛速度慢或者无法收敛。