设计普遍逼近的深度神经网络:一阶优化方法

论文地址:https://ieeexplore.ieee.org/document/10477580

传统的基于优化的神经网络设计方法通常从一个具有显式表示的目标函数出发,采用特定的优化算法进行求解,再将优化迭代格式映射为神经网络架构,例如著名的 LISTA-NN 就是利用 LISTA 算法求解 LASSO 问题所得 [4],这种方法受限于目标函数的显式表达式,可设计得到的网络结构有限。一些研究者尝试通过自定义目标函数,再利用算法展开等方法设计网络结构,但他们也需要如权重绑定等与实际情况可能不符的假设。

论文提出的易于操作的网络架构设计方法从一阶优化算法的更新格式出发,将梯度或邻近点算法写成如下的更新格式:

再将梯度项替换为神经网络中的可学习模块 T,即可得到 L 层神经网络的骨架。

链接

相关推荐
cskywit1 小时前
破解红外“魅影”难题:WMRNet 如何以频率分析与二阶差分重塑小目标检测?
人工智能·深度学习
旅途中的宽~1 小时前
【深度学习】通过nohup后台运行训练命令后,如何通过日志文件反向查找并终止进程?
linux·深度学习
zy_destiny2 小时前
【工业场景】用YOLOv26实现桥梁检测
人工智能·深度学习·yolo·机器学习·计算机视觉·目标跟踪
power 雀儿3 小时前
Transformer输入嵌入与绝对位置编码
人工智能·深度学习·transformer
(; ̄ェ ̄)。3 小时前
机器学习入门(十八)特征降维
人工智能·机器学习
薛不痒3 小时前
深度学习的补充:神经网络处理回归问题(人脸关键点识别)&自然语言处理的介绍
深度学习·神经网络·回归
m0_603888713 小时前
Toward Cognitive Supersensing in Multimodal Large Language Model
人工智能·机器学习·ai·语言模型·论文速览
GIS数据转换器4 小时前
基于AI的低空数联无人机智慧巡查平台
大数据·人工智能·机器学习·无人机·宠物
攒了一袋星辰4 小时前
Transformer词向量与自注意力机制
人工智能·深度学习·transformer
爱吃rabbit的mq4 小时前
第2章 机器学习的核心概念(上)
人工智能·机器学习