模型加载时trust_remote_code 的作用

问题

在模型加载的时候,我们会观察到 trust_remote_code这个参数

复制代码
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto",
                                             torch_dtype=torch.bfloat16, 
                                             trust_remote_code=True)

从名字上看,就是相信远程代码.如果我们的模型是完全下载到本地的,哪里来的远程代码呢?

解释

我们使用Transformer加载模型的时候,一般下载的文件只有权重文件(.bin、 .safetensors)、配置(config.json)、tokenizer.json 等静态资源,不一定列出对应的自定义 modeling_*.py 源码文件

py文件用于指定模型是怎么运行的,如果是Transformer框架里面自带的类,就不需要另外下载远程py文件,

例子

一个典型例子就是你现在看的 Qwen3-30B-A3B 这类模型,它在仓库里自带了自定义的 Python 源码(例如自定义的 Qwen3MoeForCausalLM 模型类、注意力层、MoE 结构等),因此必须依赖 trust_remote_code=True 才能正常加载这些类。

但是我们通过浏览https://modelscope.cn/models/Qwen/Qwen3-30B-A3B/files

也没有发现对应的py文件,那是因为py文件并没有通过modelscope开放.

我们怎么看到py文件??

想看源码可以怎么做

在本地先用:

复制代码
AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-30B-A3B", trust_remote_code=True) 

载入一次模型。

​

载入完成后,到本机的缓存目录下(如 Hugging Face 对应

复制代码
~/.cache/huggingface/modules/transformers_modules/

,ModelScope 也有类似目录)去找包含 qwen3_moe、Qwen3MoeForCausalLM 等名字的 .py 文件,就能看到真正的实现。

​

在无网络机器部署

在没有外网的环境部署这类需要下载远程 Python 代码的模型,思路是:

​

在有网环境:

用 trust_remote_code=True 正常 from_pretrained 一次,把模型、tokenizer 和远程代码都拉进本机缓存。

然后用 save_pretrained()(或直接 git clone 模型仓库)把权重、配置和代码保存到你自己的目录或镜像仓库里。

复制代码
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "Qwen/Qwen3-30B-A3B"  # 也可以是 modelscope 对应的 id

tok = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)

save_dir = "./qwen3-30b-a3b-offline"
tok.save_pretrained(save_dir)
model.save_pretrained(save_dir)

在无网环境:

拷贝这个目录到离线机器。

用 from_pretrained("本地路径", trust_remote_code=True, local_files_only=True) 这样的方式加载,只从本地读文件,不再访问外网。

​

复制代码
from transformers import AutoModelForCausalLM, AutoTokenizer

local_dir = "/path/to/qwen3-30b-a3b-offline"

tok = AutoTokenizer.from_pretrained(
    local_dir,
    trust_remote_code=True,
    local_files_only=True,
)

model = AutoModelForCausalLM.from_pretrained(
    local_dir,
    trust_remote_code=True,
    local_files_only=True,
)

local_files_only=True 确保完全离线,如果少文件会直接报错而不是悄悄访问外网。

相关推荐
智联视频超融合平台3 小时前
视频 AI 的误报之战,正在从调参数卷到改架构
人工智能·大模型·边缘计算·视频监控·安防
水如烟3 小时前
孤能子视角:智能的边界不在算法强弱,在可形式化性——从概率法到因果推理,选择池的边界一直在那里
人工智能
万里侯5 小时前
日志聚类之后别把 noise 扔掉:降噪应该改变视图,不抹掉证据
人工智能·微服务·ai·容器·k8s
澹锦汐5 小时前
纯前端秋日银杏与枫叶落叶色板智能聚类器:基于 K-Means 色彩量化与直方图自动配方提取
前端·人工智能·ai·语言模型·vue·react·k-means
71777712 小时前
国内 AI 研发效能工具怎么选:2026 年基于公开信息的选型框架与 Gitee 实践
人工智能·gitee
Csvn13 小时前
换供应商要改一遍代码?把模型接入收进一层网关(C04)
人工智能·aigc·agent
孟健13 小时前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
翰墨之道13 小时前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
Maynor99614 小时前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音