设计普遍逼近的深度神经网络:一阶优化方法

论文地址:https://ieeexplore.ieee.org/document/10477580

传统的基于优化的神经网络设计方法通常从一个具有显式表示的目标函数出发,采用特定的优化算法进行求解,再将优化迭代格式映射为神经网络架构,例如著名的 LISTA-NN 就是利用 LISTA 算法求解 LASSO 问题所得 [4],这种方法受限于目标函数的显式表达式,可设计得到的网络结构有限。一些研究者尝试通过自定义目标函数,再利用算法展开等方法设计网络结构,但他们也需要如权重绑定等与实际情况可能不符的假设。

论文提出的易于操作的网络架构设计方法从一阶优化算法的更新格式出发,将梯度或邻近点算法写成如下的更新格式:

再将梯度项替换为神经网络中的可学习模块 T,即可得到 L 层神经网络的骨架。

链接

相关推荐
sinat_2869451921 小时前
AI Coding 时代的 TDD:从理念到工程落地
人工智能·深度学习·算法·tdd
Zzj_tju21 小时前
大语言模型技术指南:Transformer 为什么能成为基础架构?核心模块与参数怎么理解
人工智能·语言模型·transformer
Rabbit_QL1 天前
【理论分析】信息熵的极值问题:什么时候最小?什么时候最大?
人工智能·深度学习
Z.风止1 天前
Large Model-learning(3)
人工智能·笔记·后端·深度学习
春末的南方城市1 天前
比肩顶尖闭源模型!京东开源240亿参数多模态模型JoyAI-Image:统一理解/生成/编辑,重塑AI图像编辑。
人工智能·深度学习·机器学习·计算机视觉·aigc
哥布林学者1 天前
深度学习进阶(七)Data-efficient Image Transformer
机器学习·ai
做cv的小昊1 天前
【TJU】应用统计学——第五周作业(3.1 假设检验的基本思想、3.2 单个正态总体参数的假设检验)
学习·线性代数·机器学习·数学建模·矩阵·概率论·tju
kyle-fang1 天前
大模型微调
人工智能·深度学习·机器学习
Zzj_tju1 天前
大语言模型和视觉语言模型技术指南:从 Transformer 到多模态系统,全景看懂主流路线
人工智能·语言模型·transformer
EmmaXLZHONG1 天前
Deep Learning With Pytorch Notes
人工智能·pytorch·深度学习