AI大模型随机初始化权重并打印网络结构方法（以Deepseekv3为例，单机可跑）

和猫君共建乌托邦~2025-02-11 10:55

背景

当前大模型的权重加载和调用，主要是通过在HuggingFace官网下载并使用transformer的库来加以实现；其中大模型的权重文件较大（部分>100GB），若只是快速研究网络结构和数据流变化，则无需下载权重。本文基于这个背景，做了如下尝试，实现了在无需下载权重的情况下打印模型结构和网络的输入输出。

一、基本介绍

1 HuggingFace的文件说明

一般而言，在HuggingFace官网，打开对应的模型，然后点击Files and versions，就会出现模型权重文件和一些相对应的代码和json文件。
config.json文件 ：模型的配置文件，包含模型的架构和参数配置信息。
configuration_deepseek.py文件 ：DeepSeekv3模型的配置脚本，定义了模型的具体配置和参数。
model-00001-of-000163.safetensors文件 ：模型的权重文件之一，存储了模型的部分参数（这里表示总共有163个权重文件，特别庞大）
model.safetensors.index.json文件 ：模型权重文件的索引文件，记录了各个权重文件的分片信息
modeling_deepseek.py文件 ：DeepSeekv3模型的实现脚本，包含模型的定义和相关函数
tokenizer.json文件 ：分词器的配置文件，定义了分词器的词汇表和相关参数
tokenizer_config.json文件 ：分词器的配置文件，包含分词器的配置信息

2 加载模型的Python库说明

这里展示一段加载模型权重并打印网络结构的代码示例

python 复制代码 
from transformers import AutoModelForCausalLM
model_path = "model.safetensors"
model = AutoModelForCausalLM.from_pretrained(model_path)
print(model)

其中，AutoModelForCausalLM 是 Hugging Face 的 transformers 库中的一个类，用于加载预训练的因果语言模型。以下是 AutoModelForCausalLM.from_pretrained 方法的入参说明

python 复制代码 
pretrained_model_name_or_path：预训练模型的名称或路径，可以是Hugging Face模型库中的模型名称，也可以是本地模型文件夹的路径。
config：自定义的模型配置对象，可以传入一个PretrainedConfig对象，用于手动配置模型。如果未提供，系统会从pretrained_model_name_or_path自动加载相应的配置。
state_dict：预加载的模型权重字典，用于初始化模型权重。
cache_dir：指定缓存目录，用于下载和存储模型文件。
from_tf：是否从TensorFlow模型加载权重。
force_download：是否强制重新下载模型权重。
resume_download：在下载过程中，如果发生中断，是否从中断点继续下载。

二、Deepseekv3的随机权重加载和网络结构分析

硬件说明：一台RTX4090显卡（24GB显存）

工程目录

其中，config.json、configuration_deepseek.py和modeling_deepseek.py都是从hugging face直接下载的。

2.1 编辑config.json

由于显存受限，因此这里将hidden_size、intermediate_size和moe_intermediate_size，使得61层的网络能够加载在单卡上。

hidden_size: 模型中隐藏层的维度，通常与模型的输入维度相同；原始为7168，现修改为256
intermediate_size: 模型中MLP的中间层维度；原始为18432，现修改为1024
moe_intermediate_size: 模型中MOE的中间层维度；原始为2048，现修改为128

2.2 编写py脚本

python 复制代码 
import torch
from configuration_deepseek import DeepseekV3Config
from modeling_deepseek import DeepseekV3ForCausalLM

device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")

config_file = "config.json"


model_config = DeepseekV3Config.from_pretrained(config_file)
model = DeepseekV3ForCausalLM(config=model_config).to(torch.float16).eval()
model = model.to(device)

# 打印模型结构
print(model)

dummy_input = torch.randint(low=0, high=129280, size=(4, 64), dtype=torch.long).to(device)
output = model(dummy_input)
# 打印输出张量的形状
print(output.logits.shape)

2.3 打印网络结构

显存占用情况

Deepseekv3网络结构和输入输出shape

python 复制代码 
DeepseekV3ForCausalLM(
  (model): DeepseekV3Model(
    (embed_tokens): Embedding(129280, 256)
    (layers): ModuleList(
      (0-2): 3 x DeepseekV3DecoderLayer(
        (self_attn): DeepseekV3Attention(
          (q_a_proj): Linear(in_features=256, out_features=1536, bias=False)
          (q_a_layernorm): DeepseekV3RMSNorm()
          (q_b_proj): Linear(in_features=1536, out_features=24576, bias=False)
          (kv_a_proj_with_mqa): Linear(in_features=256, out_features=576, bias=False)
          (kv_a_layernorm): DeepseekV3RMSNorm()
          (kv_b_proj): Linear(in_features=512, out_features=32768, bias=False)
          (o_proj): Linear(in_features=16384, out_features=256, bias=False)
          (rotary_emb): DeepseekV3YarnRotaryEmbedding()
        )
        (mlp): DeepseekV3MLP(
          (gate_proj): Linear(in_features=256, out_features=1024, bias=False)
          (up_proj): Linear(in_features=256, out_features=1024, bias=False)
          (down_proj): Linear(in_features=1024, out_features=256, bias=False)
          (act_fn): SiLU()
        )
        (input_layernorm): DeepseekV3RMSNorm()
        (post_attention_layernorm): DeepseekV3RMSNorm()
      )
      (3-60): 58 x DeepseekV3DecoderLayer(
        (self_attn): DeepseekV3Attention(
          (q_a_proj): Linear(in_features=256, out_features=1536, bias=False)
          (q_a_layernorm): DeepseekV3RMSNorm()
          (q_b_proj): Linear(in_features=1536, out_features=24576, bias=False)
          (kv_a_proj_with_mqa): Linear(in_features=256, out_features=576, bias=False)
          (kv_a_layernorm): DeepseekV3RMSNorm()
          (kv_b_proj): Linear(in_features=512, out_features=32768, bias=False)
          (o_proj): Linear(in_features=16384, out_features=256, bias=False)
          (rotary_emb): DeepseekV3YarnRotaryEmbedding()
        )
        (mlp): DeepseekV3MoE(
          (experts): ModuleList(
            (0-255): 256 x DeepseekV3MLP(
              (gate_proj): Linear(in_features=256, out_features=128, bias=False)
              (up_proj): Linear(in_features=256, out_features=128, bias=False)
              (down_proj): Linear(in_features=128, out_features=256, bias=False)
              (act_fn): SiLU()
            )
          )
          (gate): MoEGate()
          (shared_experts): DeepseekV3MLP(
            (gate_proj): Linear(in_features=256, out_features=128, bias=False)
            (up_proj): Linear(in_features=256, out_features=128, bias=False)
            (down_proj): Linear(in_features=128, out_features=256, bias=False)
            (act_fn): SiLU()
          )
        )
        (input_layernorm): DeepseekV3RMSNorm()
        (post_attention_layernorm): DeepseekV3RMSNorm()
      )
    )
    (norm): DeepseekV3RMSNorm()
  )
  (lm_head): Linear(in_features=256, out_features=129280, bias=False)
)
input shape: torch.Size([4, 64])
output shape: torch.Size([4, 64, 129280])

四、 参考链接

Deepseekv3权重路径
https://huggingface.co/deepseek-ai/DeepSeek-V3/tree/main

附：671B全量的Deepseekv3网络结构

python 复制代码 
DeepseekV3ForCausalLM(
  (model): DeepseekV3Model(
    (embed_tokens): Embedding(129280, 7168)
    (layers): ModuleList(
      (0-2): 3 x DeepseekV3DecoderLayer(
        (self_attn): DeepseekV3Attention(
          (q_a_proj): Linear(in_features=7168, out_features=1536, bias=False)
          (q_a_layernorm): DeepseekV3RMSNorm()
          (q_b_proj): Linear(in_features=1536, out_features=24576, bias=False)
          (kv_a_proj_with_mqa): Linear(in_features=7168, out_features=576, bias=False)
          (kv_a_layernorm): DeepseekV3RMSNorm()
          (kv_b_proj): Linear(in_features=512, out_features=32768, bias=False)
          (o_proj): Linear(in_features=16384, out_features=7168, bias=False)
          (rotary_emb): DeepseekV3YarnRotaryEmbedding()
        )
        (mlp): DeepseekV3MLP(
          (gate_proj): Linear(in_features=7168, out_features=18432, bias=False)
          (up_proj): Linear(in_features=7168, out_features=18432, bias=False)
          (down_proj): Linear(in_features=18432, out_features=7168, bias=False)
          (act_fn): SiLU()
        )
        (input_layernorm): DeepseekV3RMSNorm()
        (post_attention_layernorm): DeepseekV3RMSNorm()
      )
      (3-60): 58 x DeepseekV3DecoderLayer(
        (self_attn): DeepseekV3Attention(
          (q_a_proj): Linear(in_features=7168, out_features=1536, bias=False)
          (q_a_layernorm): DeepseekV3RMSNorm()
          (q_b_proj): Linear(in_features=1536, out_features=24576, bias=False)
          (kv_a_proj_with_mqa): Linear(in_features=7168, out_features=576, bias=False)
          (kv_a_layernorm): DeepseekV3RMSNorm()
          (kv_b_proj): Linear(in_features=512, out_features=32768, bias=False)
          (o_proj): Linear(in_features=16384, out_features=7168, bias=False)
          (rotary_emb): DeepseekV3YarnRotaryEmbedding()
        )
        (mlp): DeepseekV3MoE(
          (experts): ModuleList(
            (0-255): 256 x DeepseekV3MLP(
              (gate_proj): Linear(in_features=7168, out_features=2048, bias=False)
              (up_proj): Linear(in_features=7168, out_features=2048, bias=False)
              (down_proj): Linear(in_features=2048, out_features=7168, bias=False)
              (act_fn): SiLU()
            )
          )
          (gate): MoEGate()
          (shared_experts): DeepseekV3MLP(
            (gate_proj): Linear(in_features=7168, out_features=2048, bias=False)
            (up_proj): Linear(in_features=7168, out_features=2048, bias=False)
            (down_proj): Linear(in_features=2048, out_features=7168, bias=False)
            (act_fn): SiLU()
          )
        )
        (input_layernorm): DeepseekV3RMSNorm()
        (post_attention_layernorm): DeepseekV3RMSNorm()
      )
    )
    (norm): DeepseekV3RMSNorm()
  )
  (lm_head): Linear(in_features=7168, out_features=129280, bias=False)
)
相关推荐
赵钰老师27 分钟前
【Deepseek、ChatGPT】智能气候前沿：AI Agent结合机器学习与深度学习在全球气候变化驱动因素预测中的应用
人工智能·python·深度学习·机器学习·数据分析
AIGC-Lison27 分钟前
【CSDN首发】Stable Diffusion从零到精通学习路线分享
人工智能·ai·stable diffusion·aigc·sd
AI绘画咪酱28 分钟前
Stable Diffusion｜Ai赋能电商 Inpaint Anything
人工智能·ai·ai作画·stable diffusion·sd·ai教程·sd教程
ruokkk29 分钟前
Spring AI MCP 客户端实战：轻松连接高德地图等工具
人工智能
_一条咸鱼_30 分钟前
AI Agent 工作原理深入剖析
人工智能
飞哥数智坊32 分钟前
AI编程实战：数据大屏生成初探
人工智能
蚝油菜花33 分钟前
Cua：Mac用户狂喜！这个开源框架让AI直接接管你的电脑，快速实现AI自动化办公
人工智能·开源
蚝油菜花33 分钟前
AutoAgent：无需编程！接入DeepSeek用自然语言创建和部署AI智能体！港大开源框架让AI智能体开发变成填空题
人工智能·开源
nuise_35 分钟前
李宏毅机器学习笔记06 | 鱼和熊掌可以兼得的机器学习 - 内容接宝可梦
人工智能·笔记·机器学习
声网1 小时前
MiniMax 发布新 TTS 模型 Speech-02，轻松制作长篇有声内容；Meta 高端眼镜年底推出：售价上千美元丨日报
人工智能
热门推荐
01我决定放弃搞 Java 了02DeepSeek各版本说明与优缺点分析03如何在WPS和Word/Excel中直接使用DeepSeek功能04本地化部署AI知识库：基于Ollama+DeepSeek+AnythingLLM保姆级教程05苍穹外卖面试总结06从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑07循环神经网络RNN（含LSTM，GRU）小综述08RAG 实践- Ollama+RagFlow 部署本地知识库09如何本地部署AI智能体平台，带你手搓一个AI Agent10Android下HWC以及drm_hwcomposer普法(上)