设计普遍逼近的深度神经网络:一阶优化方法

论文地址:https://ieeexplore.ieee.org/document/10477580

传统的基于优化的神经网络设计方法通常从一个具有显式表示的目标函数出发,采用特定的优化算法进行求解,再将优化迭代格式映射为神经网络架构,例如著名的 LISTA-NN 就是利用 LISTA 算法求解 LASSO 问题所得 [4],这种方法受限于目标函数的显式表达式,可设计得到的网络结构有限。一些研究者尝试通过自定义目标函数,再利用算法展开等方法设计网络结构,但他们也需要如权重绑定等与实际情况可能不符的假设。

论文提出的易于操作的网络架构设计方法从一阶优化算法的更新格式出发,将梯度或邻近点算法写成如下的更新格式:

再将梯度项替换为神经网络中的可学习模块 T,即可得到 L 层神经网络的骨架。

链接

相关推荐
量子-Alex1 小时前
【大模型思维链】RAP中如何通过提示词将LLM改造为世界模型
人工智能·深度学习·机器学习
上进小菜猪2 小时前
基于 YOLOv8 的石头剪刀布手势识别系统工程实践 [目标检测完整源码]
深度学习
砚边数影2 小时前
模型持久化(二):从 KingbaseES 加载模型,实现离线预测
数据库·机器学习·kingbase·模型推理·数据库平替用金仓·金仓数据库
硅谷秋水2 小时前
多智体机器人系统(MARS)挑战的进展与创新
深度学习·机器学习·计算机视觉·语言模型·机器人·人机交互
癫狂的兔子3 小时前
【Python】【机器学习】K-MEANS算法
算法·机器学习·kmeans
yunhuibin4 小时前
AlexNet网络学习
人工智能·python·深度学习·神经网络
算法黑哥4 小时前
Sharpness-Aware Minimization (SAM,锐度感知最小化)是让损失曲面变平坦,还是引导参数至平坦区域
深度学习·神经网络·机器学习
肾透侧视攻城狮5 小时前
《从fit()到分布式训练:深度解锁TensorFlow模型训练全栈技能》
人工智能·深度学习·tensorflow 模型训练·模型训练中的fit方法·自定义训练循环·回调函数使用·混合精度/分布式训练
索木木5 小时前
大模型训练CP切分(与TP、SP结合)
人工智能·深度学习·机器学习·大模型·训练·cp·切分
量子-Alex6 小时前
【大模型思维链】COT、COT-SC、TOT和RAP四篇经典工作对比分析
人工智能·深度学习·机器学习