Pytorch代码:打印模型每层的参数数量和总参数量

这个代码片段定义了一个函数 print_model_parameters,它的作用是打印每层的参数数量以及模型的总参数量。下面是对这个函数的详细解释,重点解释 named_parametersrequires_gradnumel 参数的含义:

python 复制代码
# 打印每层的参数数量和总参数量
def print_model_parameters(model):
    total_params = 0
    for name, param in model.named_parameters():
        if param.requires_grad:
            print(f"{name}: {param.numel()} parameters")
            total_params += param.numel()
            print(f"For now parameters: {total_params}")
    print(f"Total parameters: {total_params}")

具体步骤和解释

  1. 定义和初始化

    python 复制代码
    def print_model_parameters(model):
        total_params = 0

    这个函数接收一个模型对象 model,并初始化一个变量 total_params 用于累积总参数量。

  2. 遍历模型参数

    python 复制代码
    for name, param in model.named_parameters():

    这里使用了 model.named_parameters() 方法,该方法返回一个生成器,生成模型中所有参数的名称和参数张量。它返回的是 (name, parameter) 形式的元组。

    • named_parameters:这是一个PyTorch模型的方法,它返回模型中所有参数的名称和参数本身。参数的名称是字符串类型,而参数是一个 torch.Tensor 对象。
  3. 判断参数是否需要梯度更新

    python 复制代码
    if param.requires_grad:

    每个参数张量都有一个 requires_grad 属性,这个属性是一个布尔值。如果 requires_gradTrue,表示这个参数在训练过程中需要计算梯度并进行更新。

    • requires_grad:这是一个布尔值属性,表示该参数是否需要在训练过程中计算梯度。如果是 True,则该参数会在反向传播时计算并存储梯度。
  4. 打印参数数量并累加

    python 复制代码
    print(f"{name}: {param.numel()} parameters")
    total_params += param.numel()
    print(f"For now parameters: {total_params}")

    对于需要梯度的参数,打印其名称和参数数量,并将该参数的数量累加到 total_params 中。

    • numel:这是一个方法,返回张量中所有元素的数量。例如,一个形状为 (3, 4) 的张量调用 numel() 方法会返回 12,因为这个张量有12个元素。
  5. 打印总参数量

    python 复制代码
    print(f"Total parameters: {total_params}")

    最后,打印模型的总参数数量。

总结

这个函数通过 model.named_parameters() 遍历模型的所有参数,检查每个参数的 requires_grad 属性,只有在 requires_gradTrue 时才计算并打印参数数量,同时累加总参数量。 numel() 方法用于获取每个参数张量的元素数量,从而帮助统计参数数量。最后打印总参数量,提供了对模型规模的一个直观了解。

相关推荐
Green1Leaves3 小时前
pytorch学习-9.多分类问题
人工智能·pytorch·学习
摸爬滚打李上进9 小时前
重生学AI第十六集:线性层nn.Linear
人工智能·pytorch·python·神经网络·机器学习
HuashuiMu花水木9 小时前
PyTorch笔记1----------Tensor(张量):基本概念、创建、属性、算数运算
人工智能·pytorch·笔记
喝过期的拉菲1 天前
如何使用 Pytorch Lightning 启用早停机制
pytorch·lightning·早停机制
kk爱闹1 天前
【挑战14天学完python和pytorch】- day01
android·pytorch·python
Yo_Becky1 天前
【PyTorch】PyTorch预训练模型缓存位置迁移,也可拓展应用于其他文件的迁移
人工智能·pytorch·经验分享·笔记·python·程序人生·其他
xinxiangwangzhi_1 天前
pytorch底层原理学习--PyTorch 架构梳理
人工智能·pytorch·架构
FF-Studio1 天前
【硬核数学 · LLM篇】3.1 Transformer之心:自注意力机制的线性代数解构《从零构建机器学习、深度学习到LLM的数学认知》
人工智能·pytorch·深度学习·线性代数·机器学习·数学建模·transformer
盼小辉丶2 天前
PyTorch实战(14)——条件生成对抗网络(conditional GAN,cGAN)
人工智能·pytorch·生成对抗网络
Gyoku Mint2 天前
深度学习×第4卷:Pytorch实战——她第一次用张量去拟合你的轨迹
人工智能·pytorch·python·深度学习·神经网络·算法·聚类