李沐动手学习深度学习——3.6练习

本节直接实现了基于数学定义softmax运算的softmax函数。这可能会导致什么问题?提示:尝试计算exp(50)的大小。

可能存在超过计算机最大64位的存储,导致精度溢出,影响最终计算结果。

本节中的函数cross_entropy是根据交叉熵损失函数的定义实现的。它可能有什么问题?提示:考虑对数的定义域。

由于对数的定义域是(0, +无穷)。所以可能存在预测结果为0的情况,导致对数计算出错。

请想一个解决方案来解决上述两个问题。

使用归一化操作,可以解决softmax爆炸的问题。对于log函数后添加一个极小值防止计算错误。

返回概率最大的分类标签总是最优解吗?例如,医疗诊断场景下可以这样做吗?

不是的,本质上0.6或者0.4都是存在一定出现的概率,所以在医疗层面上不能使用最绝判断结果,需要阐述出现情况的概率。

假设我们使用softmax回归来预测下一个单词,可选取的单词数目过多可能会带来哪些问题?

当可选取的单词数目过多时,可能会导致模型参数数量过多,增加训练的复杂度。因为输出output的结果变多,模型计算量增大。

相关推荐
肾透侧视攻城狮3 分钟前
《Transformer模型PyTorch实现全攻略:架构拆解、代码示例与优化技巧》
深度学习·transformer·构建transformer模型·定义多头注意力模块·定义位置前馈网络·构建解/编码器模块·训练transformer模型
Yuer20255 分钟前
为什么说在真正的合规体系里,“智能”是最不重要的指标之一。
人工智能·edca os·可控ai
一切尽在,你来6 分钟前
1.4 LangChain 1.2.7 核心架构概览
人工智能·langchain·ai编程
爱吃大芒果9 分钟前
CANN ops-nn 算子开发指南:NPU 端神经网络计算加速实战
人工智能·深度学习·神经网络
聆风吟º10 分钟前
CANN ops-nn 实战指南:异构计算场景中神经网络算子的调用、调优与扩展技巧
人工智能·深度学习·神经网络·cann
蒸蒸yyyyzwd12 分钟前
分布式算法学习笔记1.1-1.4
笔记·学习
2601_9495936516 分钟前
CANN加速人脸检测推理:多尺度特征金字塔与锚框优化
人工智能
小刘的大模型笔记18 分钟前
大模型LoRA微调全实战:普通电脑落地,附避坑手册
人工智能·电脑
乾元18 分钟前
身份与访问:行为生物识别(按键习惯、移动轨迹)的 AI 建模
运维·网络·人工智能·深度学习·安全·自动化·安全架构
happyprince18 分钟前
2026年02月07日全球AI前沿动态
人工智能