【AI学习】聊两句深度学习的目标函数

在阅读《动手学深度学习》一书中,看到这样一段话:

"导数的计算,这是⼏乎所有深度学习优化算法的关键步骤。

在深度学习中,我们通常选择对于模型参数可微的损失函数。简⽽⾔之,对于每个参数,如果我们把这个参数增加或减少⼀个⽆穷⼩的量,我们可以知道损失会以多快的速度增加或减少。"

前面的文章也提到:深度学习回答了什么样的神经网络可以训练出智能,包括多层神经网络和卷积神经网络,也回答了训练(学习)方法问题,包括受限玻尔兹曼机模型、反向传播算法、自编码模型等。

反向传播算法,也就是反向导数传播,通过计算损失函数的损失,利用损失函数对于模型参数的可微性,将损失调整转换为模型参数的导数传播。这差不多是深度学习关键方法。由此也让深度学习模型成为函数的万能逼近器。

那如何目标函数不可微,怎么办?一种就是重参数化,类似VAE论文中采用方法。另一种就是采用强化学习,类似RLHF的方法。

相关推荐
虾球xz几秒前
游戏引擎学习第200天
学习·游戏引擎
蚝油菜花9 分钟前
DeepSite:基于DeepSeek的开源AI前端开发神器,一键生成游戏/网页代码
人工智能·开源
蚝油菜花10 分钟前
PaperBench:OpenAI开源AI智能体评测基准,8316节点精准考核复现能力
人工智能·开源
蚝油菜花13 分钟前
DreamActor-M1:字节跳动推出AI动画黑科技,静态照片秒变生动视频
人工智能·开源
MPCTHU14 分钟前
预测分析(三):基于机器学习的分类预测
人工智能·机器学习·分类
jndingxin21 分钟前
OpenCV 图形API(11)对图像进行掩码操作的函数mask()
人工智能·opencv·计算机视觉
Scc_hy30 分钟前
强化学习_Paper_1988_Learning to predict by the methods of temporal differences
人工智能·深度学习·算法
袁煦丞33 分钟前
【亲测】1.5万搞定DeepSeek满血版!本地部署避坑指南+内网穿透黑科技揭秘
人工智能·程序员·远程工作
大模型真好玩34 分钟前
理论+代码一文带你深入浅出MCP:人工智能大模型与外部世界交互的革命性突破
人工智能·python·mcp