【AI学习】聊两句深度学习的目标函数

在阅读《动手学深度学习》一书中,看到这样一段话:

"导数的计算,这是⼏乎所有深度学习优化算法的关键步骤。

在深度学习中,我们通常选择对于模型参数可微的损失函数。简⽽⾔之,对于每个参数,如果我们把这个参数增加或减少⼀个⽆穷⼩的量,我们可以知道损失会以多快的速度增加或减少。"

前面的文章也提到:深度学习回答了什么样的神经网络可以训练出智能,包括多层神经网络和卷积神经网络,也回答了训练(学习)方法问题,包括受限玻尔兹曼机模型、反向传播算法、自编码模型等。

反向传播算法,也就是反向导数传播,通过计算损失函数的损失,利用损失函数对于模型参数的可微性,将损失调整转换为模型参数的导数传播。这差不多是深度学习关键方法。由此也让深度学习模型成为函数的万能逼近器。

那如何目标函数不可微,怎么办?一种就是重参数化,类似VAE论文中采用方法。另一种就是采用强化学习,类似RLHF的方法。

相关推荐
北京地铁1号线4 分钟前
机器学习面试题:逻辑回归Logistic Regression(LR)
人工智能·机器学习
云雾J视界7 分钟前
AI赋能与敏捷融合:未来电源项目管理者的角色重塑与技能升级——从华为实战看高技术研发项目的管理变革
人工智能·华为·项目管理·电源研发·敏捷项目·电源项目
canonical_entropy20 分钟前
不同的工作需要不同人格的AI大模型?
人工智能·后端·ai编程
老黄编程23 分钟前
--gpu-architecture <arch> (-arch)
linux·人工智能·机器学习
IT_陈寒30 分钟前
Vite 5.0 终极优化指南:7个配置技巧让你的构建速度提升200%
前端·人工智能·后端
点云SLAM42 分钟前
结构光三维重建原理详解(1)
人工智能·数码相机·计算机视觉·三维重建·结构光重建·gray 编码·标定校正
呵呵哒( ̄▽ ̄)"1 小时前
专项智能练习(行为主义学习理论)
学习
贝塔实验室1 小时前
两种常用的抗单粒子翻转动态刷新方法
论文阅读·经验分享·笔记·科技·学习·程序人生·fpga开发
你真的可爱呀2 小时前
5.Three.js 学习(基础+实践)
学习·three.js