safetensor存取pytorch模型参数、玄数据简例

safetensors [1] 号称提供一种更安全的存数据方式,支持多种框架,见 [2]。不过在处理玄数据(metadata)时:

  • 只支持 Dict[str, str] 的形式,即值必须是字符串,而不能是 int、float 或嵌套 dict,而这些在 PyTorch 原先的 torch.save、torch.load 是支持的。考虑用 json.dumps 将 dict 转写成字符串,读时则用 json.loads 恢复回 dict。
  • 没有专门从 checkpoint 文件读出 metadata 的方法。考虑采用 [3] 中 Ok_Storage_1799 的回答所讲利用 safetensors.safe_open 的方法读 metadata。

下面是存、取 PyTorch 模型参数、metadata 的简例:

python 复制代码
import time, json, pprint
import torch
from safetensors import safe_open # to read metadata
from safetensors.torch import save_model, load_model

print("建模型")
model = torch.nn.Linear(2, 3)
# 初始参数值
for pn, p in model.named_parameters():
    print(pn, p)


print("存模型、metadata")
# 将模型参数置零 (模拟 training)
for p in model.parameters():
    p.data.zero_()
# 存模型
save_model(
    model,
    "ckpt.safetensors",
    # metadata 用 json 转写成 str
    {"metadata": json.dumps({
        "time": time.asctime(),
        "epoch": 57,
        "acc": 0.56,
        "args": {
            "debug": False,
            "dataset": "MNIST",
            "decay_steps": [10, 20]
        }
    })}
)


print("读模型")
load_model(model, "ckpt.safetensors")
# 验证更新(置零)后参数值
for pn, p in model.named_parameters():
    print(pn, p)


print("读 metadata")
with safe_open("ckpt.safetensors", framework="pt") as f:
    print(type(f), dir(f))
    print(list(f.keys())) # 模型参数的名字
    print(type(f.metadata())) # dict
    for k, v in f.metadata().items():
        print(k, v)
        # 用 json 恢复 metadata 成 dict
        if "metadata" == k:
            metadata = json.loads(v)

    pprint.pprint(metadata)

References

  1. huggingface/safetensors
  2. Python documentation
  3. How to get metadata from a safetensor file?
相关推荐
龙潜月七13 分钟前
Selenium 自动化测试中跳过机器人验证的完整指南:能用
python·selenium·机器人
蓝婷儿2 小时前
Python 机器学习核心入门与实战进阶 Day 1 - 分类 vs 回归
python·机器学习·分类
Devil枫3 小时前
Kotlin扩展函数与属性
开发语言·python·kotlin
.30-06Springfield3 小时前
利用人名语言分类案例演示RNN、LSTM和GRU的区别(基于PyTorch)
人工智能·pytorch·python·rnn·分类·gru·lstm
程序员阿超的博客4 小时前
Python 数据分析与机器学习入门 (八):用 Scikit-Learn 跑通第一个机器学习模型
python·机器学习·数据分析·scikit-learn·入门教程·python教程
xingshanchang5 小时前
PyTorch 不支持旧GPU的异常状态与解决方案:CUDNN_STATUS_NOT_SUPPORTED_ARCH_MISMATCH
人工智能·pytorch·python
费弗里8 小时前
Python全栈应用开发利器Dash 3.x新版本介绍(1)
python·dash
李少兄9 天前
解决OSS存储桶未创建导致的XML错误
xml·开发语言·python
就叫飞六吧9 天前
基于keepalived、vip实现高可用nginx (centos)
python·nginx·centos
Vertira9 天前
PyTorch中的permute, transpose, view, reshape和flatten函数详解(已解决)
人工智能·pytorch·python