深入理解 PyTorch .pth 文件和 Python pickle 模块:功能、应用及实际示例

深入理解 PyTorch .pth 文件和 Python pickle 模块:功能、应用及实际示例

在深入理解Python的pickle模块和PyTorch的.pth文件,以及pickle在.pth文件中的应用前,我们首先需要掌握序列化和反序列化的基本概念。

序列化和反序列化

序列化 是指将程序中的对象转换为一个字节序列的过程,这样就可以将其存储到磁盘上或通过网络传输到其他位置。反序列化是序列化的逆过程,即将字节序列恢复为原始对象。这两个过程是数据持久化和远程计算通信的基础。

Python的pickle模块

pickle是Python的标准库之一,提供了一个简单的方法用于序列化和反序列化Python对象结构。任何Python对象都可以通过pickle进行序列化,只要它们是pickle支持的类型。

核心功能:

  • pickle.dump(obj, file) :将对象obj序列化并写入到文件对象file中。
  • pickle.load(file) :从文件对象file中读取序列化的对象并反序列化。
  • pickle.dumps(obj) :将对象obj序列化为一个字节对象,不写入文件。
  • pickle.loads(bytes_object) :将字节对象bytes_object反序列化为一个Python对象。

pickle的序列化过程不仅包括对象当前的状态(例如,数字,字符串,或复杂对象的集合),也包括对象的类型信息和结构。

PyTorch的.pth文件

在PyTorch中,.pth文件扩展通常用于保存模型的权重或整个模型。这些文件通过使用torch.save()函数创建,它内部使用pickle来序列化对象。.pth文件通常包含模型的状态字典(state_dict),这是一个从每个层的参数名称映射到其张量值的字典。

核心用途:

  • 模型持久化:保存训练后的模型状态,以便将来可以重新加载和使用模型,不需要重新训练。
  • 模型迁移:将训练好的模型参数迁移到新的模型结构或平台上。

pickle在.pth文件中的应用

当使用torch.save()来保存一个PyTorch模型或张量时,pickle用于将对象和它的层次结构转换为一个字节流,然后这个字节流被写入到一个.pth文件中。在加载模型时,torch.load()使用pickle来反序列化这个字节流,重建模型或张量。

示例:

python 复制代码
import torch
import torchvision.models as models

# 实例化一个预训练的ResNet模型
model = models.resnet18(pretrained=True)

# 保存模型状态字典
torch.save(model.state_dict(), 'model_weights.pth')

# 加载模型状态字典
loaded_state_dict = torch.load('model_weights.pth')
new_model = models.resnet18(pretrained=False)
new_model.load_state_dict(loaded_state_dict)

# 打印以验证加载
print(new_model)

在这个示例中,torch.save()内部使用pickle来序列化model.state_dict(),并将其保存为model_weights.pth。然后,我们使用torch.load()来加载这个.pth文件,其中pickle负责反序列化文件内容,并恢复为Python对象(在这种情况下是模型的状态字典)。最后,状态字典被用于初始化一个新的模型实例。

通过这种方式,pickle在PyTorch的模型保存和加载过程中扮演了核心角色,使得模型的状态可以在不同的计算环境中被迁移和复用。

相关推荐
Bowen_J1 小时前
Apple Foundation Models:Apple AI核心框架
人工智能·ai编程·apple
如夏倾城1 小时前
VRRP(虚拟路由器冗余协议Virtual Router Redundancy Protocol)
网络·python·网络协议·安全·智能路由器·负载均衡·信息与通信
IT_陈寒1 小时前
Redis那个过期删除策略,差点让我线上崩了
前端·人工智能·后端
IvanCodes1 小时前
LangChain(04):Runnable 与 LCEL 的执行与组合机制
python·langchain·agent
阿里云大数据AI技术1 小时前
AI 原生大数据服务 ADA 快速入门:完成首次对话式数据分析
大数据·人工智能
特创数字科技2 小时前
纯本地离线运行的文档脱敏工具(技术分享)
前端·驱动开发·python
字节跳动开源2 小时前
小红书/抖音图文排版利器——一个杂志风skill
人工智能·开源·设计
Bacon2 小时前
我把 Codex 塞进了 Touch Bar:一个 30pt 高的额度与对话面板
人工智能
衡石科技2 小时前
企业级 BI 的安全治理:衡石如何贯通认证、数据权限与审计
大数据·人工智能·安全·商业智能
网易云信3 小时前
折叠屏适配,iPhone Duo 真机已交付:网易云信 IMUIKit Swift 的实践
人工智能