李沐动手学习深度学习——3.6练习

本节直接实现了基于数学定义softmax运算的softmax函数。这可能会导致什么问题?提示:尝试计算exp(50)的大小。

可能存在超过计算机最大64位的存储,导致精度溢出,影响最终计算结果。

本节中的函数cross_entropy是根据交叉熵损失函数的定义实现的。它可能有什么问题?提示:考虑对数的定义域。

由于对数的定义域是(0, +无穷)。所以可能存在预测结果为0的情况,导致对数计算出错。

请想一个解决方案来解决上述两个问题。

使用归一化操作,可以解决softmax爆炸的问题。对于log函数后添加一个极小值防止计算错误。

返回概率最大的分类标签总是最优解吗?例如,医疗诊断场景下可以这样做吗?

不是的,本质上0.6或者0.4都是存在一定出现的概率,所以在医疗层面上不能使用最绝判断结果,需要阐述出现情况的概率。

假设我们使用softmax回归来预测下一个单词,可选取的单词数目过多可能会带来哪些问题?

当可选取的单词数目过多时,可能会导致模型参数数量过多,增加训练的复杂度。因为输出output的结果变多,模型计算量增大。

相关推荐
CDA数据分析师干货分享7 分钟前
【干货】CDA一级知识点拆解1:《CDA一级商业数据分析》第1章 数据分析思维
数据库·人工智能·数据分析·cda证书·cda数据分析师
梦梦代码精9 分钟前
开源、免费、可商用:BuildingAI一站式体验报告
开发语言·前端·数据结构·人工智能·后端·开源·知识图谱
Dingdangcat8611 分钟前
YOLOX-L在钢丝绳损伤检测中的应用:基于300轮训练与COCO数据集的智能分类系统详解
人工智能·分类·数据挖掘
AI营销快线19 分钟前
2026 GEO服务商评测:原圈科技如何定义AI营销终局?
人工智能
天翼云开发者社区23 分钟前
天翼云全栈赋能OpenClaw,打造会干活的专属AI!
人工智能·智能体·openclaw
百***787523 分钟前
Clawdbot 技术实战:基于一步 API 快速接入,打造本地化 AI 自动化助手
运维·人工智能·自动化
EnglishJun24 分钟前
数据结构的学习(二)---Makefile的使用
linux·运维·学习
阿正的梦工坊28 分钟前
Megatron中--train-iters和--max_epochs两个参数介绍
人工智能·深度学习·自然语言处理
人工智能AI技术29 分钟前
【C#程序员入门AI】向量数据库入门:C#集成Chroma/Pinecone,实现AI知识库检索(RAG基础)
人工智能·c#
jl486382134 分钟前
打造医疗设备的“可靠视窗”:医用控温仪专用屏从抗菌设计到EMC兼容的全链路解析
大数据·运维·人工智能·物联网·人机交互