设计普遍逼近的深度神经网络:一阶优化方法

论文地址:https://ieeexplore.ieee.org/document/10477580

传统的基于优化的神经网络设计方法通常从一个具有显式表示的目标函数出发,采用特定的优化算法进行求解,再将优化迭代格式映射为神经网络架构,例如著名的 LISTA-NN 就是利用 LISTA 算法求解 LASSO 问题所得 [4],这种方法受限于目标函数的显式表达式,可设计得到的网络结构有限。一些研究者尝试通过自定义目标函数,再利用算法展开等方法设计网络结构,但他们也需要如权重绑定等与实际情况可能不符的假设。

论文提出的易于操作的网络架构设计方法从一阶优化算法的更新格式出发,将梯度或邻近点算法写成如下的更新格式:

再将梯度项替换为神经网络中的可学习模块 T,即可得到 L 层神经网络的骨架。

链接

相关推荐
shangjian00718 小时前
AI大模型-机器学习-算法-线性回归-优化方法
人工智能·算法·机器学习
嗯mua.18 小时前
【人工智能】机器学习基础概念
人工智能·机器学习
Yuer202518 小时前
状态不是变量:Rust 量化算子中的 State 工程语义
开发语言·后端·深度学习·机器学习·rust
光羽隹衡18 小时前
机器学习——词向量转化和评论判断项目分析
人工智能·学习·机器学习
啊巴矲18 小时前
小白从零开始勇闯人工智能:机器学习初级篇(词向量转换)
人工智能·机器学习
shangjian00718 小时前
AI大模型-机器学习-算法-逻辑回归
人工智能·算法·机器学习
njsgcs18 小时前
dqn为什么不能自动驾驶
人工智能·机器学习·自动驾驶
钮钴禄·爱因斯晨18 小时前
机器学习(一):机器学习概述
人工智能·机器学习
computersciencer18 小时前
一文快速理解线性回归的过程
算法·机器学习·回归·线性回归
computersciencer18 小时前
一文理解线性回归模型的评价指标
机器学习·线性回归·高等数学