设计普遍逼近的深度神经网络:一阶优化方法

论文地址:https://ieeexplore.ieee.org/document/10477580

传统的基于优化的神经网络设计方法通常从一个具有显式表示的目标函数出发,采用特定的优化算法进行求解,再将优化迭代格式映射为神经网络架构,例如著名的 LISTA-NN 就是利用 LISTA 算法求解 LASSO 问题所得 [4],这种方法受限于目标函数的显式表达式,可设计得到的网络结构有限。一些研究者尝试通过自定义目标函数,再利用算法展开等方法设计网络结构,但他们也需要如权重绑定等与实际情况可能不符的假设。

论文提出的易于操作的网络架构设计方法从一阶优化算法的更新格式出发,将梯度或邻近点算法写成如下的更新格式:

再将梯度项替换为神经网络中的可学习模块 T,即可得到 L 层神经网络的骨架。

链接

相关推荐
nebula-AI9 分钟前
人工智能导论:模型与算法(未来发展与趋势)
人工智能·神经网络·算法·机器学习·量子计算·automl·类脑计算
动物园猫9 分钟前
桥梁损伤目标检测数据集分享(适用于YOLO系列深度学习分类检测任务)
深度学习·yolo·目标检测
code_pgf12 分钟前
sVLM在资源受限环境中的应用案例
人工智能·深度学习·架构
灰灰勇闯IT13 分钟前
ops-math 的 ReduceSum:Tensor 归约为什么是计算热点
深度学习
陈天伟教授15 分钟前
图解人工智能(32)深度学习前沿
人工智能·深度学习
忆~遂愿43 分钟前
从文字应答到具象共情:Agent 交互的底层革新
人工智能·深度学习·目标检测·microsoft·机器学习·ar·交互
解局易否结局1 小时前
昇腾CANN上的FlashAttention工程实战:ops-transformer源码拆解
深度学习
Honey Ro1 小时前
浅析大模型 Agent 的记忆(Memory)机制
深度学习·语言模型·llm·rag
Zxc_2 小时前
逻辑回归:从Sigmoid到牛顿法,手写一个完整的概率分类器
机器学习
水木流年追梦2 小时前
大模型入门-预训练、SFT 有监督学习
人工智能·学习·机器学习