设计普遍逼近的深度神经网络:一阶优化方法

论文地址:https://ieeexplore.ieee.org/document/10477580

传统的基于优化的神经网络设计方法通常从一个具有显式表示的目标函数出发,采用特定的优化算法进行求解,再将优化迭代格式映射为神经网络架构,例如著名的 LISTA-NN 就是利用 LISTA 算法求解 LASSO 问题所得 [4],这种方法受限于目标函数的显式表达式,可设计得到的网络结构有限。一些研究者尝试通过自定义目标函数,再利用算法展开等方法设计网络结构,但他们也需要如权重绑定等与实际情况可能不符的假设。

论文提出的易于操作的网络架构设计方法从一阶优化算法的更新格式出发,将梯度或邻近点算法写成如下的更新格式:

再将梯度项替换为神经网络中的可学习模块 T,即可得到 L 层神经网络的骨架。

链接

相关推荐
云雾J视界3 小时前
当算法试图解决一切:技术解决方案主义的诱惑与陷阱
算法·google·bert·transformer·attention·算法治理
哥布林学者7 小时前
吴恩达深度学习课程四:计算机视觉 第一周:卷积基础知识(三)简单卷积网络
深度学习·ai
菜鸟‍7 小时前
【论文学习】通过编辑习得分数函数实现扩散模型中的图像隐藏
人工智能·学习·机器学习
月亮月亮要去太阳8 小时前
基于机器学习的糖尿病预测
人工智能·机器学习
monster000w8 小时前
大模型微调过程
人工智能·深度学习·算法·计算机视觉·信息与通信
zhishidi8 小时前
推荐算法优缺点及通俗解读
算法·机器学习·推荐算法
Niuguangshuo8 小时前
交叉熵损失函数:深度学习分类任务的基石
人工智能·深度学习·分类
奥特曼_ it9 小时前
【机器学习】python旅游数据分析可视化协同过滤算法推荐系统(完整系统源码+数据库+开发笔记+详细部署教程)✅
python·算法·机器学习·数据分析·django·毕业设计·旅游
云霄星乖乖的果冻9 小时前
01引言——李沐《动手学深度学习》个人笔记
人工智能·笔记·深度学习
大千AI助手9 小时前
牛顿法:从最优化到机器学习的二阶收敛之路
人工智能·机器学习·优化算法·梯度下降·牛顿法·大千ai助手·二阶导