李沐动手学习深度学习——3.3练习

欢迎讨论

1. 如果将小批量的总损失替换为小批量损失的平均值,需要如何更改学习率?

找到相关的函数介绍nn.MSELoss

默认api nn.MSELoss中是小批量损失的平均值,所以学习率为0.03

拿到对应的batch loss细节如下:

当学习率为0.03,损失函数的值为小批量的总损失时候,发现不能够收敛了。

拿到对应的batch loss细节如下:

可以看到sum的loss大于mean的loss,所以对应的sum的学习率应该调整为0.003。

2. 查看深度学习框架文档,它们提供了哪些损失函数和初始化方法?用Huber损失代替原损失,即

百度即可:
pytorch框架损失函数
pytorch初始化方法

MeanLoss替换为SmoothL1Loss即可

3. 如何访问线性回归的梯度?
python 复制代码
print(net[0].weight.grad)

可以放在for循环里面计算每一步的梯度

相关推荐
Raas1001 小时前
MAI Gateway(魔芋企业级AI网关)技术揭秘:AI网关支持哪些模型?从原理到落地
大数据·人工智能·网关·gateway·mai gateway·企业级产品
豪气的程序猿3 小时前
电商图片工作流怎么选?Lingko AI 对比折叠键盘主图与详情页
人工智能
小刘快学习3 小时前
把 AI 账单拆到部门:企业 AI 网关的精准分账思路
人工智能
米小虾4 小时前
你让监控模型读的思维链,可能是攻击者写好的剧本
人工智能
deepseek234 小时前
Iris 开源搜索智能体拆解:35B 与 397B 中文仅差 0.3 分,上下文管理胜过堆参数
人工智能·ai agent·开源模型
ai小陈4 小时前
CUDA Stream实战:让数据传输与GPU计算真正重叠
人工智能·深度学习·ai·pdf·云计算·gpu算力
residual_fan4 小时前
【学术论文】航空发动机故障诊断智能体:基于持续对比强化学习的动态优化方法
人工智能·算法·数据挖掘·数据分析
东风破_4 小时前
从 RAG 到 Agentic RAG:第二步,把复杂问题拆开再检索
人工智能
小弥儿4 小时前
GitHub今日热榜 | 2026-09-15:AI 智能体与本地生成工具领跑
学习·开源
dehuisun4 小时前
第07篇:RAG+Agent 部署架构、资源评估与私有化方案
人工智能