使用optimtool的牛顿修正法来应用学习

python 复制代码

pip install optimtool --upgrade
pip install optimtool>=2.4.2

optimtool包所依据的理论支撑中，还没有为二阶微分方法作邻近算子的近似与修正，所以二阶近似方法是研究无不可微项的可微函数的算子。

牛顿修正法的调用

python 复制代码

import optimtool.unconstrain as ou
newton_api = ou.newton.modified
print(newton_api(funcs, args, x_0)) # funcs, args, x_0

函数示例与算法可视化

Hager function ：
f ( x ) = ∑ i = 1 n ( exp ⁡ x i − i x i ) , x 0 = [ 1 , 1 , . . . , 1 ] . f(x)=\sum_{i=1}^{n}(\exp{x_i}-\sqrt{i}x_i), x_0=[1,1,...,1]. f(x)=i=1∑n(expxi−i xi),x0=[1,1,...,1].

python 复制代码

x = sp.symbols("x1:5")
f = (sp.exp(x[0]) - x[0]) + \
    (sp.exp(x[1]) - sp.sqrt(2) * x[1]) + \
    (sp.exp(x[2]) - sp.sqrt(3) * x[2]) + \
    (sp.exp(x[3]) - sp.sqrt(4) * x[3])
x_0 = (0.5, 0.5, 0.5, 0.5) # Random given

可视化图例：

在科学计算领域，没有牛顿修正法研究不了的可微函数，混合优化一般适用于大数据参数的自动学习，对一阶微分的多元点作邻近近似，以达到减弱训练集学习程度，并增加测试集，或由用户组设置或输入的数据的泛化与决策水平。