pytorch中的register_buffer

复制代码
今天在一个模型的init中遇到了self.register_buffer(‘running_mean’, torch.zeros(num_features))

register_buffer(self, name, tensor)是一个PyTorch中的方法,它的作用是向模块(module)中添加一个持久的缓冲区(buffer)

缓冲区是一种不被视为模型参数(model parameter)的张量(tensor),它不会在训练过程中更新梯度(gradient),但是会作为模块的状态(state)被保存和迁移

通常,缓冲区用于存储一些与模型相关但不需要学习的量,例如BatchNorm层的running_mean和running_var,它们是根据数据的统计信息计算得到的

缓冲区可以通过给定的名称作为属性(attribute)被访问,例如self.running_mean

参数name是一个字符串,表示缓冲区的名称。通过这个名称,可以从模块中获取缓冲区。

参数tensor是一个张量,表示缓冲区的初始值。当模块被创建时,缓冲区会被赋值为这个张量。

示例中,使用self.register_buffer('running_mean', torch.zeros(num_features))向模块中添加了一个名为running_mean的缓冲区,它的初始值是一个全零的张量,维度为num_features

缓冲区的创建和销毁是在什么时候?

相关推荐
熙客21 小时前
Cursor介绍与安装配置
人工智能·ai·ai编程
开心-开心急了21 小时前
Flask入门教程——李辉 第四章 静态文件 关键知识梳理 更新1次
后端·python·flask
Coovally AI模型快速验证21 小时前
IDEA研究院发布Rex-Omni:3B参数MLLM重塑目标检测,零样本性能超越DINO
人工智能·深度学习·yolo·目标检测·计算机视觉·目标跟踪
文火冰糖的硅基工坊1 天前
[人工智能-大模型-19]:GitHub Copilot:程序员的 AI 编程副驾驶
人工智能·github·copilot
shuououo1 天前
YOLOv4 核心内容笔记
人工智能·计算机视觉·目标跟踪
DO_Community1 天前
普通服务器都能跑:深入了解 Qwen3-Next-80B-A3B-Instruct
人工智能·开源·llm·大语言模型·qwen
WWZZ20251 天前
快速上手大模型:机器学习3(多元线性回归及梯度、向量化、正规方程)
人工智能·算法·机器学习·机器人·slam·具身感知
deephub1 天前
深入BERT内核:用数学解密掩码语言模型的工作原理
人工智能·深度学习·语言模型·bert·transformer
PKNLP1 天前
BERT系列模型
人工智能·深度学习·bert
应用市场1 天前
构建自定义命令行工具 - 打造专属指令体
开发语言·windows·python