设计普遍逼近的深度神经网络:一阶优化方法

论文地址:https://ieeexplore.ieee.org/document/10477580

传统的基于优化的神经网络设计方法通常从一个具有显式表示的目标函数出发,采用特定的优化算法进行求解,再将优化迭代格式映射为神经网络架构,例如著名的 LISTA-NN 就是利用 LISTA 算法求解 LASSO 问题所得 [4],这种方法受限于目标函数的显式表达式,可设计得到的网络结构有限。一些研究者尝试通过自定义目标函数,再利用算法展开等方法设计网络结构,但他们也需要如权重绑定等与实际情况可能不符的假设。

论文提出的易于操作的网络架构设计方法从一阶优化算法的更新格式出发,将梯度或邻近点算法写成如下的更新格式:

再将梯度项替换为神经网络中的可学习模块 T,即可得到 L 层神经网络的骨架。

链接

相关推荐
tangjunjun-owen10 分钟前
DINOv3 demo
python·深度学习·机器学习
正经人_x34 分钟前
学习日记28:Run, Don’t Walk: Chasing Higher FLOPS for Faster Neural Networks
人工智能·深度学习·cnn
你们补药再卷啦1 小时前
识别手写数字(keras)
深度学习·机器学习·keras
python机器学习ML1 小时前
论文复现-以动物图像分类为例进行多模型性能对比分析
人工智能·python·神经网络·机器学习·计算机视觉·scikit-learn·sklearn
机器学习之心1 小时前
贝叶斯优化Transformer-LSTM的模型结构图
深度学习·lstm·transformer
m0_704887891 小时前
Day44
人工智能·深度学习·机器学习
cici158741 小时前
模式识别,非监督聚类分析分类方法
人工智能·机器学习·分类
木头左1 小时前
集成学习方法在LSTM交易预测中的应用多元入参的作用
机器学习·lstm·集成学习
byzh_rc1 小时前
[模式识别-从入门到入土] 拓展-KKT条件
人工智能·机器学习·支持向量机
weixin_409383121 小时前
强化lora训练后的 用qwen训练的虚拟自己模型 这次挺好 数据总量300多条 加了十几条正常对话聊天记录
人工智能·深度学习·机器学习·训练模型