李沐动手学习深度学习——3.6练习

本节直接实现了基于数学定义softmax运算的softmax函数。这可能会导致什么问题?提示:尝试计算exp(50)的大小。

可能存在超过计算机最大64位的存储,导致精度溢出,影响最终计算结果。

本节中的函数cross_entropy是根据交叉熵损失函数的定义实现的。它可能有什么问题?提示:考虑对数的定义域。

由于对数的定义域是(0, +无穷)。所以可能存在预测结果为0的情况,导致对数计算出错。

请想一个解决方案来解决上述两个问题。

使用归一化操作,可以解决softmax爆炸的问题。对于log函数后添加一个极小值防止计算错误。

返回概率最大的分类标签总是最优解吗?例如,医疗诊断场景下可以这样做吗?

不是的,本质上0.6或者0.4都是存在一定出现的概率,所以在医疗层面上不能使用最绝判断结果,需要阐述出现情况的概率。

假设我们使用softmax回归来预测下一个单词,可选取的单词数目过多可能会带来哪些问题?

当可选取的单词数目过多时,可能会导致模型参数数量过多,增加训练的复杂度。因为输出output的结果变多,模型计算量增大。

相关推荐
AI搅拌机1 分钟前
百度也正式加入开源社区,发布了 ERNIE-Image 模型,直接对标 ZImage 和 Klein
人工智能
电科一班林耿超1 分钟前
机器学习大师课 第 1 课:什么是机器学习?写出你的第一个 AI 程序
人工智能·机器学习
浪客川2 分钟前
UniFFI 网络接口实战:从阿里云 AI 到移动端集成
人工智能·阿里云·云计算
一只数据集2 分钟前
水稻叶片图像与SPAD值标注数据集-140张高质量图像-精准农业机器学习训练数据集
人工智能·深度学习·机器学习
AI技术增长3 分钟前
Pytorch图像去噪实战(一):从0复现DnCNN并解决训练不收敛问题(附完整工程+踩坑总结)
人工智能·pytorch·python
bst@微胖子4 分钟前
PyTorch深度学习框架之基于CNN的手机价格分类任务
pytorch·深度学习·cnn
AIminminHu6 分钟前
(AI篇)OpenGL渲染与几何内核那点事-(二-1-(12):给AI一副“身体”有多难?从“缸中之脑”到R2-D2,一文看透具身智能60年进化血泪史
人工智能·具身智能
三克的油8 分钟前
YOLOV5数据学习
人工智能·学习·yolo
海兰10 分钟前
【第22篇】Evaluation Example
人工智能·spring boot·log4j·alibaba·spring ai
zhangrelay12 分钟前
复盘《用智能大模型复盘课程博客停更案例》
笔记·学习