李沐动手学习深度学习——3.3练习

欢迎讨论

1. 如果将小批量的总损失替换为小批量损失的平均值,需要如何更改学习率?

找到相关的函数介绍nn.MSELoss

默认api nn.MSELoss中是小批量损失的平均值,所以学习率为0.03

拿到对应的batch loss细节如下:

当学习率为0.03,损失函数的值为小批量的总损失时候,发现不能够收敛了。

拿到对应的batch loss细节如下:

可以看到sum的loss大于mean的loss,所以对应的sum的学习率应该调整为0.003。

2. 查看深度学习框架文档,它们提供了哪些损失函数和初始化方法?用Huber损失代替原损失,即

百度即可:
pytorch框架损失函数
pytorch初始化方法

MeanLoss替换为SmoothL1Loss即可

3. 如何访问线性回归的梯度?
python 复制代码
print(net[0].weight.grad)

可以放在for循环里面计算每一步的梯度

相关推荐
我的username3 分钟前
极致简单的openclaw安装教程
人工智能
小锋java12349 分钟前
【技术专题】嵌入模型与Chroma向量数据库 - Chroma 集合操作
人工智能
七月丶9 分钟前
别再手动凑 PR 了:这个 AI Skill 会按仓库习惯自动建分支、拆提交、提 PR
人工智能·设计模式·程序员
用户51914958484532 分钟前
CVE-2024-10793 WordPress插件权限提升漏洞利用演示
人工智能·aigc
chaors44 分钟前
从零学RAG0x01之向量化
人工智能·aigc·ai编程
chaors1 小时前
从零学RAG0x02向量数据库
人工智能·aigc·ai编程
陈少波AI应用笔记1 小时前
硅谷龙虾大战技术拆解:当AI长出爪子
人工智能
冬奇Lab1 小时前
一天一个开源项目(第39篇):PandaWiki - AI 驱动的开源知识库搭建系统
人工智能·开源·资讯
大模型真好玩2 小时前
LangChain DeepAgents 速通指南(三)—— 让Agent告别混乱:Tool Selector与Todo List中间件解析
人工智能·langchain·trae
孟祥_成都2 小时前
【全网最通俗!新手到AI全栈开发必读】 AI 是如何进化到大模型的
前端·人工智能·全栈