设计普遍逼近的深度神经网络:一阶优化方法

论文地址:https://ieeexplore.ieee.org/document/10477580

传统的基于优化的神经网络设计方法通常从一个具有显式表示的目标函数出发,采用特定的优化算法进行求解,再将优化迭代格式映射为神经网络架构,例如著名的 LISTA-NN 就是利用 LISTA 算法求解 LASSO 问题所得 [4],这种方法受限于目标函数的显式表达式,可设计得到的网络结构有限。一些研究者尝试通过自定义目标函数,再利用算法展开等方法设计网络结构,但他们也需要如权重绑定等与实际情况可能不符的假设。

论文提出的易于操作的网络架构设计方法从一阶优化算法的更新格式出发,将梯度或邻近点算法写成如下的更新格式:

再将梯度项替换为神经网络中的可学习模块 T,即可得到 L 层神经网络的骨架。

链接

相关推荐
nju_spy14 分钟前
论文阅读 - 深度学习端到端解决库存管理问题 - 有限时间范围内的多周期补货问题(Management Science)
人工智能·深度学习·动态规划·端到端·库存管理·两阶段pto·多周期补货问题
u***j32415 分钟前
深度学习实践
人工智能·深度学习
极客BIM工作室16 分钟前
LSTM门控结构:乘法设计的必然性分析
rnn·深度学习·lstm
r***d86518 分钟前
深度学习挑战
人工智能·深度学习
龙腾AI白云19 分钟前
国内外具身智能VLA模型深度解析(3)
深度学习·数据挖掘
道一云黑板报30 分钟前
大规模低代码系统推荐:知识图谱与 GNN 的性能优化策略
深度学习·神经网络·低代码·性能优化·知识图谱·推荐算法
武子康2 小时前
AI研究-129 Qwen2.5-Omni-7B 要点:显存、上下文、并发与成本
人工智能·深度学习·机器学习·ai·大模型·qwen·全模态
CoovallyAIHub2 小时前
基于SimCLR的自监督 YOLO:YOLOv5/8也能在低标注场景目标检测性能飙升
深度学习·算法·计算机视觉
S***t7142 小时前
深度学习迁移学习应用
人工智能·深度学习·迁移学习
晨非辰5 小时前
【数据结构初阶系列】归并排序全透视:从算法原理全分析到源码实战应用
运维·c语言·数据结构·c++·人工智能·python·深度学习