设计普遍逼近的深度神经网络:一阶优化方法

论文地址:https://ieeexplore.ieee.org/document/10477580

传统的基于优化的神经网络设计方法通常从一个具有显式表示的目标函数出发,采用特定的优化算法进行求解,再将优化迭代格式映射为神经网络架构,例如著名的 LISTA-NN 就是利用 LISTA 算法求解 LASSO 问题所得 [4],这种方法受限于目标函数的显式表达式,可设计得到的网络结构有限。一些研究者尝试通过自定义目标函数,再利用算法展开等方法设计网络结构,但他们也需要如权重绑定等与实际情况可能不符的假设。

论文提出的易于操作的网络架构设计方法从一阶优化算法的更新格式出发,将梯度或邻近点算法写成如下的更新格式:

再将梯度项替换为神经网络中的可学习模块 T,即可得到 L 层神经网络的骨架。

链接

相关推荐
铁手飞鹰几秒前
[深度学习]常用的库与操作
人工智能·pytorch·python·深度学习·numpy·scikit-learn·matplotlib
爱吃rabbit的mq4 分钟前
第10章:支持向量机:找到最佳边界
算法·机器学习·支持向量机
木非哲7 分钟前
AB实验高级必修课(四):逻辑回归的“马甲”、AUC的概率本质与阈值博弈
算法·机器学习·逻辑回归·abtest
青春不朽51220 分钟前
PyTorch 入门指南:深度学习的瑞士军刀
人工智能·pytorch·深度学习
JMchen12325 分钟前
AI编程范式转移:深度解析人机协同编码的实战进阶与未来架构
人工智能·经验分享·python·深度学习·架构·pycharm·ai编程
纤纡.29 分钟前
深度学习入门:从神经网络到实战核心,一篇讲透
人工智能·深度学习·神经网络
我和我导针锋相队33 分钟前
国自然5页纸装下“多机制复杂问题”:用“主线+支线”逻辑,把乱麻理成渔网
大数据·人工智能·机器学习
jiang_changsheng37 分钟前
工作流agent汇总分析 2
java·人工智能·git·python·机器学习·github·语音识别
落羽的落羽39 分钟前
【Linux系统】从零实现一个简易的shell!
android·java·linux·服务器·c++·人工智能·机器学习
我材不敲代码44 分钟前
机器学习入门 03逻辑回归part1—— 名字是回归但是却是分类算法的逻辑回归
机器学习·分类·回归