李沐动手学习深度学习——3.3练习

欢迎讨论

1. 如果将小批量的总损失替换为小批量损失的平均值,需要如何更改学习率?

找到相关的函数介绍nn.MSELoss

默认api nn.MSELoss中是小批量损失的平均值,所以学习率为0.03

拿到对应的batch loss细节如下:

当学习率为0.03,损失函数的值为小批量的总损失时候,发现不能够收敛了。

拿到对应的batch loss细节如下:

可以看到sum的loss大于mean的loss,所以对应的sum的学习率应该调整为0.003。

2. 查看深度学习框架文档,它们提供了哪些损失函数和初始化方法?用Huber损失代替原损失,即

百度即可:
pytorch框架损失函数
pytorch初始化方法

MeanLoss替换为SmoothL1Loss即可

3. 如何访问线性回归的梯度?
python 复制代码
print(net[0].weight.grad)

可以放在for循环里面计算每一步的梯度

相关推荐
路小雨~1 分钟前
Milvus 向量数据库的官方文档笔记
数据库·学习·milvus
mingo_敏1 分钟前
YOLO26 增加 LoRA 支持(参数高效微调 PEFT)
深度学习·神经网络·cnn
biuyyyxxx2 分钟前
Power Query功能区 - 主页
笔记·学习·excel
今儿敲了吗2 分钟前
DS-3 循环队列判断队满
数据结构·笔记·学习
ggabb4 分钟前
中文:承载文明,引领未来
大数据·人工智能
tobias.b5 分钟前
人工智能中的基础数学概念详解
人工智能
哈罗哈皮15 分钟前
trea也很强,我撸一个给你看(附教程)
前端·人工智能·微信小程序
木梯子15 分钟前
大数据+AI+人|扑兔AI打造企业智慧经营,落地全域获客
大数据·人工智能·数据挖掘
m0_6515625220 分钟前
2026.3.23搭建AI算法可视化部署演示学习笔记
笔记·学习