李沐动手学习深度学习——3.3练习

欢迎讨论

1. 如果将小批量的总损失替换为小批量损失的平均值,需要如何更改学习率?

找到相关的函数介绍nn.MSELoss

默认api nn.MSELoss中是小批量损失的平均值,所以学习率为0.03

拿到对应的batch loss细节如下:

当学习率为0.03,损失函数的值为小批量的总损失时候,发现不能够收敛了。

拿到对应的batch loss细节如下:

可以看到sum的loss大于mean的loss,所以对应的sum的学习率应该调整为0.003。

2. 查看深度学习框架文档,它们提供了哪些损失函数和初始化方法?用Huber损失代替原损失,即

百度即可:
pytorch框架损失函数
pytorch初始化方法

MeanLoss替换为SmoothL1Loss即可

3. 如何访问线性回归的梯度?
python 复制代码
print(net[0].weight.grad)

可以放在for循环里面计算每一步的梯度

相关推荐
李洛克071 天前
RDMA 编程完整学习路线图
学习·rdma·路线
aaaa_a1331 天前
The lllustrated Transformer——阅读笔记
人工智能·深度学习·transformer
jinxinyuuuus1 天前
文件格式转换工具:数据序列化、Web Worker与离线数据处理
人工智能·自动化
你想知道什么?1 天前
JNI简单学习(java调用C/C++)
java·c语言·学习
易天ETU1 天前
短距离光模块 COB 封装与同轴工艺的区别有哪些
网络·人工智能·光模块·光通信·cob·qsfp28·100g
秋刀鱼 ..1 天前
第二届光电科学与智能传感国际学术会议(ICOIS 2026)
运维·人工智能·科技·机器学习·制造
郭庆汝1 天前
(九)自然语言处理笔记——命名实体的识别
人工智能·自然语言处理·命名实体识别
TL滕1 天前
从0开始学算法——第十二天(KMP算法练习)
笔记·学习·算法
Oxo Security1 天前
【AI安全】拆解 OWASP LLM Top 10 攻击架构图
人工智能·安全