【权重】离线环境怎么用预训练权重

在真实的生产环境中,模型加载往往不会像教程里那么"顺滑"。

  • 服务器无法访问外网(安全隔离环境)
  • 内网集群(HPC / 企业训练平台)
  • Docker 镜像需要预置模型
  • 推理服务必须离线启动

你会发现,torchvision 的"自动下载预训练权重"机制完全失效。这时候,就需要我们手动接管整个流程。

一、Step1: 在有网的机器上下好权重

python 复制代码
from torchvision import models
_ = models.vgg16(weights='IMAGENET1K_V1')   # 触发一次自动下载

​ 检查本地 cache 是否存在权重,如果没有 → 自动从官方 URL 下载,然后缓存到 ~/.cache/torch/hub/checkpoints/。

​ 但在离线环境,因为无法访问下载地址,自动流程直接失败,模型初始化被阻断。

二、Step2:定位权重文件

​ 下载完成后,权重会被存到 torch cache 中。

python 复制代码
import torch, os
from torchvision import models

weights = models.VGG16_Weights.IMAGENET1K_V1
filename = weights.url.split('/')[-1]        # vgg16-397923af.pth
src = os.path.join(torch.hub.get_dir(), 'checkpoints', filename)

三、Step3复制到目标机器

​ scp / 放进镜像 / 拷到内网,然后在无网机器上加载:

python 复制代码
state_dict = torch.load('/path/to/vgg16-397923af.pth', map_location='cpu')
model = models.vgg16(weights=None)          # 注意是 None,别触发下载
model.load_state_dict(state_dict)

​ 关键点 :weights=None 告诉 torchvision "只给我结构、别下载"。然后你手动 load_state_dict。

​ 这一套流程在 HuggingFace 的 transformers 里完全同构,学会一次到处能用。

相关推荐
网易云信2 小时前
折叠屏适配,iPhone Duo 真机已交付:网易云信 IMUIKit Swift 的实践
人工智能
Be for thing3 小时前
Pytorch【12】transforms进阶|图像数据增强实战,提升模型泛化能力
人工智能·pytorch·机器学习
十有八七3 小时前
手搓 Agent(一):先有大脑——大模型只会做一件事
前端·人工智能·后端
锋行天下3 小时前
「踩坑实录」给 LangGraph Agent 接两个 FastMCP,我被 langchain 偷偷改了工具名
前端·人工智能·后端
阿里云大数据AI技术3 小时前
穹彻智能 × MaxCompute:具身智能 UMI 数据产线的全模态计算实践
人工智能
联犀3 小时前
ai时代复杂项目的golang项目如何更好的与ai共舞:monorepo+gozero
开发语言·人工智能·golang
飞Link3 小时前
灵巧手是什么?从机械结构、驱动方式到控制原理,认识机器人的精细操作能力
人工智能·python·机器人
阿里云大数据AI技术3 小时前
从“扫文件”到“找数据行”:EMR Serverless StarRocks 支持 Paimon Global Index
人工智能
武子康4 小时前
AI通关了,游戏就算通过测试了吗?
人工智能·游戏·机器学习
Seiran4 小时前
CPU 突然打满,罪魁祸首是条用了三年的正则
人工智能