一、处理单变量优化问题,单维度
1.迭代法:迭代规则产生一个迭代序列{xk},使得其收敛到极值点f(x)=0。(一维)
2.二分法:属于一维搜索
根据区间中点函数导数值正负判断极小值位于哪一个区间内,当中点导数值小于0,极小值点位于右边区间,当中点导数大于0,极小值点位于左区间。调用需要使用一阶导进行计算。
3.黄金分割法:(属于以为搜索算法)(搜索时可以分三个区间或者两个区间)
调用需要使用原函数。
二、处理多维度
梯度下降法:常用来求解多变量无约束最优问题的方法。
基本思想:沿着梯度方向迭代更新极值点。调用时需要使用梯度函数。
2.牛顿迭代法
类似于梯度下降法,收敛速度比梯度下降法快。实际上就是找到梯度为0的点,即可以求解f(x)=0,牛顿迭代法就是求解f(x)=0,