李沐动手学习深度学习——3.6练习

本节直接实现了基于数学定义softmax运算的softmax函数。这可能会导致什么问题?提示:尝试计算exp(50)的大小。

可能存在超过计算机最大64位的存储,导致精度溢出,影响最终计算结果。

本节中的函数cross_entropy是根据交叉熵损失函数的定义实现的。它可能有什么问题?提示:考虑对数的定义域。

由于对数的定义域是(0, +无穷)。所以可能存在预测结果为0的情况,导致对数计算出错。

请想一个解决方案来解决上述两个问题。

使用归一化操作,可以解决softmax爆炸的问题。对于log函数后添加一个极小值防止计算错误。

返回概率最大的分类标签总是最优解吗?例如,医疗诊断场景下可以这样做吗?

不是的,本质上0.6或者0.4都是存在一定出现的概率,所以在医疗层面上不能使用最绝判断结果,需要阐述出现情况的概率。

假设我们使用softmax回归来预测下一个单词,可选取的单词数目过多可能会带来哪些问题?

当可选取的单词数目过多时,可能会导致模型参数数量过多,增加训练的复杂度。因为输出output的结果变多,模型计算量增大。

相关推荐
liuchangng10 分钟前
类Jev项目Kev从入门到实战(6):Jev / Kev / Laya 对比
人工智能·jev·kev
Rocky Ding*12 分钟前
深入浅出完整解析FLUX.2、Seedream(即梦)、Z-image、Qwen-Image、GLM-Image核心基础知识
论文阅读·人工智能·深度学习·机器学习·aigc·扩散模型·ai-native
能源革命17 分钟前
AI 日报 · 2026-10-05
人工智能
@codercjw20 分钟前
企业实战电机和传感器选型
学习
Ivanqhz27 分钟前
MLA、DSA、CSA、HCA
人工智能·算法·机器学习
网络毒刘28 分钟前
GPT-6.1 Sol 定位速读:成本效率型编码模型与「何时该换本地 Agent」
人工智能·gpt·openai·agent·cursor
后端小肥肠38 分钟前
Claude Opus 5.5 做视频:从口播稿到成片,全流程跑通
人工智能·aigc·agent
RockHopper20251 小时前
数字机制与未来企业运行模式(概要版)
人工智能·机器学习·智能体·agent 工程
星禾元亨1 小时前
同一件事有三份资料,AI 该信哪一份?冲突判定、优先级链与处置流程
前端·人工智能
zhangrelay1 小时前
用ROS2Lyrical实验报告册思路重做蓝桥云课ROS1实验并改进
linux·笔记·学习·ubuntu·机器人