大模型.safetensors文件

文章目录

.safetensors(安全张量)是大模型中的权重配置文件，本身是二进制，不可直接修改。

如果想看内容的话，txt打开可以看到头部内容便于理解。

如果直接修改了里面的内容，启动大模型会报错，因为二进制文件会损坏。

如果把模型比作一个人：

config.json 是这个人的骨架结构（身高、臂长、关节数）。
tokenizer 是这个人的语言能力（懂中文还是英文）。
.safetensors 就是这个人的"大脑"和"记忆"（所有的知识、经验、性格）。

生成示例文件

不太好找，直接用代码生成比较方便。
1、安装依赖：

bash 复制代码

pip install torch safetensors

2、用代码生成文件

python 复制代码

import torch
import os
from safetensors.torch import save_file


# 1. 创建一些模拟的模型权重数据
# 假设这是一个小型的神经网络，包含嵌入层和两个线性层
tensors = {
    # 嵌入层权重 (词汇表大小 1000, 隐藏层维度 128)
    "model.embed_tokens.weight": torch.randn(1000, 128, dtype=torch.float32),

    # 第一层线性变换 (输入 128, 输出 256)
    "model.layers.0.self_attn.q_proj.weight": torch.randn(256, 128, dtype=torch.float16),
    "model.layers.0.self_attn.q_proj.bias": torch.zeros(256, dtype=torch.float16),

    # 第二层线性变换 (输入 256, 输出 10)
    "model.lm_head.weight": torch.randn(10, 256, dtype=torch.float32),
}

# 2. 定义元数据 (可选，但推荐)
metadata = {
    "format": "pt",
    "created_by": "user_demo",
    "description": "这是一个用于演示的示例 safetensors 文件"
}

# 3. 保存文件
output_filename = "original_model.safetensors"
save_file(tensors, output_filename, metadata=metadata)

print(f"✅ 成功生成文件: {output_filename}")
print(f"📂 文件大小: {os.path.getsize(output_filename) / 1024:.2f} KB")

打印文件内容

代码：

python 复制代码

# 4. 验证：读取刚刚生成的文件
from safetensors import safe_open
output_filename="original_model.safetensors"
print("\n🔍 文件内容验证:")
with safe_open(output_filename, framework="pt", device="cpu") as f:
    for key in f.keys():
        tensor = f.get_tensor(key)
        print(f" - {key}: 形状 {tensor.shape}, 类型 {tensor.dtype}")

修改并保存示例

代码：

python 复制代码

from safetensors import safe_open
from safetensors.torch import save_file
import torch

# 1. 读取
tensors = {}
with safe_open("original_model.safetensors", framework="pt", device="cpu") as f:
    for key in f.keys():
        tensors[key] = f.get_tensor(key)

# 2. 修改 (例如：把第一层的权重全部乘以 2)
first_layer_key = list(tensors.keys())[0]
tensors[first_layer_key] = tensors[first_layer_key] * 2

# 3. 保存为新文件 (原文件不变，生成新文件)
save_file(tensors, "modified_model.safetensors")
print("修改完成！生成了新文件。")

调用之前的查看代码查看内容，记得替换文件名为modified_model.safetensors。