设计普遍逼近的深度神经网络:一阶优化方法

论文地址:https://ieeexplore.ieee.org/document/10477580

传统的基于优化的神经网络设计方法通常从一个具有显式表示的目标函数出发,采用特定的优化算法进行求解,再将优化迭代格式映射为神经网络架构,例如著名的 LISTA-NN 就是利用 LISTA 算法求解 LASSO 问题所得 [4],这种方法受限于目标函数的显式表达式,可设计得到的网络结构有限。一些研究者尝试通过自定义目标函数,再利用算法展开等方法设计网络结构,但他们也需要如权重绑定等与实际情况可能不符的假设。

论文提出的易于操作的网络架构设计方法从一阶优化算法的更新格式出发,将梯度或邻近点算法写成如下的更新格式:

再将梯度项替换为神经网络中的可学习模块 T,即可得到 L 层神经网络的骨架。

链接

相关推荐
芯片-嵌入式2 小时前
具身智能(3):有哪些AI模型
人工智能·深度学习·机器学习
汀沿河2 小时前
2 模型预训练、微调、强化学习的格式
人工智能·算法·机器学习
王侯相将3 小时前
Claude Code 是什么?
人工智能·深度学习
湘美书院--湘美谈教育3 小时前
湘美书院主理人:AI时代的文雅智能,赏花赏月赏秋香
人工智能·深度学习·神经网络·机器学习·ai写作
Dfreedom.4 小时前
从“阅读小说”到循环网络:一篇搞懂循环神经网络(RNN)
人工智能·rnn·深度学习·神经网络
沪漂阿龙4 小时前
DeepSeek-R1 深度解析:如何炼成最强推理大模型?
人工智能·深度学习·机器学习
AI_Auto5 小时前
【人工智能】- OpenClaw本地化安装
大数据·人工智能·机器学习·数据挖掘
wuxuand5 小时前
DIFT:用扩散模型+Transformer解决物联网入侵检测中的类别不平衡问题
深度学习·物联网·transformer
沃达德软件6 小时前
AI视频监控:智慧场馆安防升级
图像处理·人工智能·深度学习·目标检测·机器学习·计算机视觉·目标跟踪
嫂子开门我是_我哥6 小时前
心电域泛化研究从0入门系列 | 第七篇:全流程闭环与落地总结——系列终篇
人工智能·算法·机器学习