优化方法

神经网络中的优化方法在之前的文章中介绍了神经网络中的损失函数。有了损失函数之后，就要求损失函数的最小值，并且需要求出参数（这个参数可能是神经网络中的 W W W或 b b b）在取什么值时，损失函数才能取到最小值。那么这个就是优化方法做的事情。这篇文章就来介绍一下神经网络中的优化方法。

高级优化理论与方法（十五）基本思路：沿用无约束优化问题中的迭代方法： x k + 1 = x k + α k d k x^{k+1}=x^k+\alpha^k d^k xk+1=xk+αkdk。但是问题在于如何使得迭代满足约束条件。

白云千载尽

优化理论复习——（一）接下来将从以下几个部分讲解最优化方法。这是一种最基本的数学方法，和概率方面的问题是不同源的，数学方法比较难，但是都是经常会用到的。基本概念线性规划无约束优化方法约束优化多目标优化

静静的喝酒

机器学习笔记之优化算法(七)线搜索方法(步长角度；非精确搜索；Wolfe Condition)上一节介绍了 Glodstein \text{Glodstein} Glodstein准则 ( Glodstein Condition ) (\text{Glodstein Condition}) (Glodstein Condition)及其弊端。本节将针对该弊端，介绍 Wolfe \text{Wolfe} Wolfe准则 ( Wolfe Condition ) (\text{Wolfe Condition}) (Wolfe Condition)。