pytorch 基础知识

手撸代码:https://zhuanlan.zhihu.com/p/666471085?utm_id=0

1.1dropout

1.2 pytorch中gather和scatter_区别

1.3 pytorch中torch.Tensor()和torch.tensor()的相同点和区别

1.4 pytorch中train和eval有什么不同

(1). model.train()------训练时候启用

启用 BatchNormalization 和 Dropout,将BatchNormalization和Dropout置为True

(2). model.eval()------验证和测试时候启用

不启用 BatchNormalization 和 Dropout,将BatchNormalization和Dropout置为False

train模式会计算梯度,eval模式不会计算梯度。

1.5 减小模型内存的方法?

模型剪枝、模型蒸馏、模型量化、模型结构优化

相关推荐
意念回复30 分钟前
从 RNN 到 GQA:自注意力与多头注意力机制全解析
人工智能·rnn·深度学习
2601_9679873737 分钟前
Python类变量和实例变量(类属性和实例属性)
python·类变量·实例变量·类属性·实例属性
Flynn Liang41 分钟前
AI Agent 分层记忆体系实战:用 Redis 五类结构构建可淘汰、可追溯的长短期记忆
数据库·人工智能·redis
CyrusYiVPP1 小时前
新用户第二周还剩几个?pandas做留存率cohort分析,数据分析实战第6期
人工智能·python
谙弆悕博士1 小时前
多智能体架构详解:网状去中心化架构(Mesh对等P2P)
人工智能·架构·去中心化·p2p·多智能体·智能体·langgraph
吴佳浩8 小时前
我把 HAMi 摆回一台双卡机器上跑了一遍:GPU 编排的性能账,到底记在谁头上
人工智能·gpu
岁月宁静10 小时前
五、《从零手撸 Agent》 — 什么是 Agent:从“会聊天”到“会做事”,差的就是一个循环
python·agent
梯度下降者11 小时前
Python - 函数
python·高阶函数·可调用对象·functools·嵌套作用域
forest_0911 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi