设计普遍逼近的深度神经网络:一阶优化方法

论文地址:https://ieeexplore.ieee.org/document/10477580

传统的基于优化的神经网络设计方法通常从一个具有显式表示的目标函数出发,采用特定的优化算法进行求解,再将优化迭代格式映射为神经网络架构,例如著名的 LISTA-NN 就是利用 LISTA 算法求解 LASSO 问题所得 [4],这种方法受限于目标函数的显式表达式,可设计得到的网络结构有限。一些研究者尝试通过自定义目标函数,再利用算法展开等方法设计网络结构,但他们也需要如权重绑定等与实际情况可能不符的假设。

论文提出的易于操作的网络架构设计方法从一阶优化算法的更新格式出发,将梯度或邻近点算法写成如下的更新格式:

再将梯度项替换为神经网络中的可学习模块 T,即可得到 L 层神经网络的骨架。

链接

相关推荐
宁大小白4 分钟前
pythonstudy Day31
python·机器学习
xiaoxiaoxiaolll7 分钟前
智能计算模拟:第一性原理+分子动力学+机器学习
人工智能·机器学习
我爱鸢尾花25 分钟前
第十四章聚类方法理论及Python实现
大数据·python·机器学习·数据挖掘·数据分析·聚类
aaaa_a1331 小时前
The lllustrated Transformer——阅读笔记
人工智能·深度学习·transformer
秋刀鱼 ..1 小时前
第二届光电科学与智能传感国际学术会议(ICOIS 2026)
运维·人工智能·科技·机器学习·制造
GIS数据转换器2 小时前
2025无人机遥感新国标解读
大数据·科技·安全·机器学习·无人机·智慧城市
海边夕阳20062 小时前
【每天一个AI小知识】:什么是大语言模型(LLM)?
人工智能·深度学习·神经网络·机器学习·语言模型·自然语言处理·llm
有Li2 小时前
医用图像配准中从基于模型到学习正则化的综合综述|文献速递-文献分享
论文阅读·深度学习·文献
BFT白芙堂3 小时前
Franka机械臂“举一反三”:LLM Trainer如何通过单次演示实现自动化数据生成与长程任务学习
人工智能·学习·机器学习·自动化·模型训练·具身智能·franka
listhi5203 小时前
使用Hopfield神经网络解决旅行商问题
人工智能·深度学习·神经网络