李沐动手学习深度学习——3.3练习

欢迎讨论

1. 如果将小批量的总损失替换为小批量损失的平均值,需要如何更改学习率?

找到相关的函数介绍nn.MSELoss

默认api nn.MSELoss中是小批量损失的平均值,所以学习率为0.03

拿到对应的batch loss细节如下:

当学习率为0.03,损失函数的值为小批量的总损失时候,发现不能够收敛了。

拿到对应的batch loss细节如下:

可以看到sum的loss大于mean的loss,所以对应的sum的学习率应该调整为0.003。

2. 查看深度学习框架文档,它们提供了哪些损失函数和初始化方法?用Huber损失代替原损失,即

百度即可:
pytorch框架损失函数
pytorch初始化方法

MeanLoss替换为SmoothL1Loss即可

3. 如何访问线性回归的梯度?
python 复制代码
print(net[0].weight.grad)

可以放在for循环里面计算每一步的梯度

相关推荐
说私域2 分钟前
AI智能名片S2B2C商城小程序在微商中的应用与影响
大数据·人工智能·小程序·流量运营
菜菜小狗的学习笔记2 分钟前
黑马程序员java web学习笔记--后端实战(六)登录认证--JWT令牌、Filter
笔记·学习
恒拓高科WorkPlus3 分钟前
BeeWorks SDK即将上线:快速构建企业级安全通讯体系
网络·人工智能·安全
沛沛老爹5 分钟前
Web开发者转型AI安全核心:Agent Skills沙盒环境与威胁缓解实战
java·前端·人工智能·安全·rag·web转型升级
薛不痒7 分钟前
计算机视觉opencv之图像透视转换&角点检测&sift特征检测&指纹识别
人工智能·opencv·计算机视觉
xian_wwq7 分钟前
【学习笔记】2026年网络安全进入 “强监管 + 高智能” 时代
笔记·学习·强监督·高智能
2501_944332167 分钟前
如何联系北京的金融业务流程外包服务商?
大数据·人工智能·金融
m0_466525297 分钟前
重新定义智能出行体验 东软与Cerence AI达成战略合作
人工智能·汽车
CHrisFC9 分钟前
环境第三方检测机构LIMS系统选型:从合规基础到效率制胜
java·大数据·人工智能
Ro Jace11 分钟前
A Real-Time Cross Correlator for Neurophysiological Research
人工智能·python·算法