【AI学习】聊两句深度学习的目标函数

在阅读《动手学深度学习》一书中,看到这样一段话:

"导数的计算,这是⼏乎所有深度学习优化算法的关键步骤。

在深度学习中,我们通常选择对于模型参数可微的损失函数。简⽽⾔之,对于每个参数,如果我们把这个参数增加或减少⼀个⽆穷⼩的量,我们可以知道损失会以多快的速度增加或减少。"

前面的文章也提到:深度学习回答了什么样的神经网络可以训练出智能,包括多层神经网络和卷积神经网络,也回答了训练(学习)方法问题,包括受限玻尔兹曼机模型、反向传播算法、自编码模型等。

反向传播算法,也就是反向导数传播,通过计算损失函数的损失,利用损失函数对于模型参数的可微性,将损失调整转换为模型参数的导数传播。这差不多是深度学习关键方法。由此也让深度学习模型成为函数的万能逼近器。

那如何目标函数不可微,怎么办?一种就是重参数化,类似VAE论文中采用方法。另一种就是采用强化学习,类似RLHF的方法。

相关推荐
赵钰老师13 分钟前
【Deepseek、ChatGPT】智能气候前沿:AI Agent结合机器学习与深度学习在全球气候变化驱动因素预测中的应用
人工智能·python·深度学习·机器学习·数据分析
AIGC-Lison13 分钟前
【CSDN首发】Stable Diffusion从零到精通学习路线分享
人工智能·ai·stable diffusion·aigc·sd
AI绘画咪酱14 分钟前
Stable Diffusion|Ai赋能电商 Inpaint Anything
人工智能·ai·ai作画·stable diffusion·sd·ai教程·sd教程
ruokkk15 分钟前
Spring AI MCP 客户端实战:轻松连接高德地图等工具
人工智能
_一条咸鱼_16 分钟前
AI Agent 工作原理深入剖析
人工智能
飞哥数智坊18 分钟前
AI编程实战:数据大屏生成初探
人工智能
蚝油菜花19 分钟前
Cua:Mac用户狂喜!这个开源框架让AI直接接管你的电脑,快速实现AI自动化办公
人工智能·开源
蚝油菜花20 分钟前
AutoAgent:无需编程!接入DeepSeek用自然语言创建和部署AI智能体!港大开源框架让AI智能体开发变成填空题
人工智能·开源
nuise_21 分钟前
李宏毅机器学习笔记06 | 鱼和熊掌可以兼得的机器学习 - 内容接宝可梦
人工智能·笔记·机器学习
代码AC不AC23 分钟前
【数据结构】队列
c语言·数据结构·学习·队列·深度讲解