李沐动手学习深度学习——3.6练习

本节直接实现了基于数学定义softmax运算的softmax函数。这可能会导致什么问题?提示:尝试计算exp(50)的大小。

可能存在超过计算机最大64位的存储,导致精度溢出,影响最终计算结果。

本节中的函数cross_entropy是根据交叉熵损失函数的定义实现的。它可能有什么问题?提示:考虑对数的定义域。

由于对数的定义域是(0, +无穷)。所以可能存在预测结果为0的情况,导致对数计算出错。

请想一个解决方案来解决上述两个问题。

使用归一化操作,可以解决softmax爆炸的问题。对于log函数后添加一个极小值防止计算错误。

返回概率最大的分类标签总是最优解吗?例如,医疗诊断场景下可以这样做吗?

不是的,本质上0.6或者0.4都是存在一定出现的概率,所以在医疗层面上不能使用最绝判断结果,需要阐述出现情况的概率。

假设我们使用softmax回归来预测下一个单词,可选取的单词数目过多可能会带来哪些问题?

当可选取的单词数目过多时,可能会导致模型参数数量过多,增加训练的复杂度。因为输出output的结果变多,模型计算量增大。

相关推荐
高光视点3 分钟前
2026年App热更新技术选型指南:安全与效率的平衡
运维·人工智能·安全
zzb15806 分钟前
系统提示词-System Prompt 动态组装
人工智能·后端·python·prompt
Henrybit9336811 分钟前
如何构建高质量Skills?
人工智能·agent
北京软秦科技有限公司12 分钟前
IA-Lab AI 检测报告生成助手:双碳目标驱动下的检测机构效率引擎,重塑报告生成与合规审核新模式
大数据·人工智能
falldeep14 分钟前
五分钟快速了解DPO
人工智能·机器学习
云烟成雨TD16 分钟前
Spring AI 1.x 系列【25】结构化输出案例演示
java·人工智能·spring
视***间16 分钟前
智赋机器人,算力启新程——视程空间以全栈算力方案,让智能机器人真正落地千行百业
人工智能·机器人·边缘计算·视程空间·高算力·2070tflops
鱼鳞_16 分钟前
Java学习笔记_Day23(HashMap)
java·笔记·学习
福客AI智能客服20 分钟前
电商客服机器人:AI智能客服系统如何提升电商运营效率
人工智能·机器人