解决服务器连不上huggingface通用方案

碎碎念

国内要用hugging face最大的一个问题就是连不上外网。

我每次复现一个代码都喜欢记录一下遇到的问题,就举个最近的例子:

看看这几个问题:

  • 第一个问题,spacy下载模型的时候连不上github,下载不了。

  • 第二个问题,连不上网

一共没遇到几个问题,网络问题占了三分之一。

因为墙的原因,你的服务器没办法直接从抱抱脸上直接下载模型。所以我的建议是,两个办法:

  • 给你服务器上搞个梯子,开全局

  • 本地缓存模型,上传到服务器中

本文就是讲怎么本地缓存模型,上传到服务器中

这只是我的解决方法,如果大家有什么更好的办法速速教我,Thanks♪(・ω・)ノ

开搞

首先,在本地复现你的服务器版本库。

必要性:

我的问题列表里第三个问题(训练阶段的问题2)

之前这个方法屡试不爽,但是突然这次失灵了,后才我才发现是本地库的版本和服务器没对上,导致我缓存的模型服务器用不了。所以一定要确保本地和服务器的库能对上

一般不需要环境中的所有包都复现,你只要确保pytorchtransformershuggingface-hubdatasets能对上即可。

然后去你代码里找到from_pretrained的必要代码复制到本地,运行。

等他下载完模型,去hugging face缓存目录里找。如果你没修改过缓存地址,那么默认应该是在:

C:\Users\username\.cache\huggingface

将这个缓存文件夹替换你服务器根目录下的缓存目录。

服务器的默认缓存文件夹在在目录下,默认是:

~/.cache

如果你知道刚才下载的什么模型(你肯定知道的吧),你直接把你刚才缓存的内容挪过来,如果你不知道,你就直接整个文件夹覆盖。

为了防止下载的不够全,建议你下载完了之后再去hugging face上对照一下:

Hugging Face -- The AI community building the future.

搜索你需要的模型,把该有的config什么的看看却没缺。圈出来的这几个模型是对应不用框架的,pytorch的只需要.bin.safetensors即可。

实际操作一下

看一下下边这个报错,说的无非就是:

  • 连不上hugging face

  • 想找缓存,你也没有缓存

报错从下往上解决,所以我们解决最底下的TraceBack就够了。错误是从train_dreambooth_lora_sdxl.py里传出来的。打开这个文件,找到他这些from_pretrained,重新在本地搞个文件。

为什么只处理from_pretrained即可,因为需要from_pretrained的大都是训练模型,其中还有训练过程会消耗大量的算力,但是我们的目的只是缓存模型,所以只需要把从hugging face下载这个过程复刻即可。

给大家看几个我缓存模型数据集评价指标的示例,大家对照修改即可。

下载模型:

下载数据集:

下载评价指标:

相关推荐
qq_25294131686 分钟前
无人机目标检测数据集(UAV Detection Dataset)| 无人机检测 反无人机 低空安防5001期
人工智能·yolo·目标检测·计算机视觉·视觉检测·无人机·反无人机
Rocky Ding*6 分钟前
【三年面试五年模拟】2026-08-16_拼多多_笔试题与题解全解析
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·拼多多
饼饼学习空间智能10 分钟前
具身智能实训平台有哪些供应商?2026年机器人教学与仿真平台选型指南
运维·人工智能
OPEN-F11 分钟前
C++进阶教程:运算符重载与类型转换
java·c++·算法
luckystar513~13 分钟前
Hermes 工程化实战专栏:安装部署实战——从装好到跑通第一个任务
人工智能·agent·智能体·hermes·实战专栏·hermes安装配置
圆圆讲门店17 分钟前
实体获客团队|基础概念与核心要点整理
人工智能·python
宣宣猪的小花园.20 分钟前
【控制理论】稳定性为什么是一切控制的前提?
人工智能·嵌入式硬件·机器学习
牧杉-惊蛰24 分钟前
将数组对象根据自定义排列
java·开发语言·算法
光锥智能28 分钟前
OceanBase领跑数字政府数据库选型:产品能力、市场潜力、技术潜力均居首
数据库·人工智能·oceanbase
Zzj_tju31 分钟前
RAG Baseline:BM25、Embedding、Rerank 与引用评测
人工智能·语言模型·自然语言处理