国内高速下载huggingface上的模型

目录

前言

modelscope

huggingface安装

Windows设置环境变量

Linux设置环境变量

设置国内镜像

Windows(cmd.exe)

当前窗口有效

永久生效

Linux

当前窗口有效

永久生效

下载模型


前言

国内优先使用modelscope,hugging face镜像站下载还是不怎么稳定。

modelscope

modelscope:ModelScope - 模型列表页

找下有没有需要的模型,有的话拷贝下 <namespace>/<model-name>,如图:

使用git clone:

bash 复制代码
git lfs clone https://www.modelscope.cn/<namespace>/<model-name>.git 

比如我要下的是AI-ModelScope/stable-diffusion-xl-base-1.0,那么链接就是:

git lfs clone https://www.modelscope.cn/AI-ModelScope/stable-diffusion-xl-base-1.0.git


huggingface安装

Python版本至少是3.8

安装hugging face官方提供的下载工具

bash 复制代码
pip install -U huggingface_hub hf-transfer

Windows设置环境变量

在当前窗口设置临时环境变量(cmd.exe)

bash 复制代码
set HF_HUB_ENABLE_HF_TRANSFER 1

你也可以设置永久的环境变量(可能需要管理员权限)

bash 复制代码
setx HF_HUB_ENABLE_HF_TRANSFER 1

Linux设置环境变量

只是当前窗口下有效

bash 复制代码
export HF_HUB_ENABLE_HF_TRANSFER=1

设置国内镜像

Windows(cmd.exe)

当前窗口有效

bash 复制代码
set HF_ENDPOINT https://hf-mirror.com

永久生效

bash 复制代码
setx HF_ENDPOINT https://hf-mirror.com

Linux

当前窗口有效

bash 复制代码
export HF_ENDPOINT=https://hf-mirror.com

永久生效

bash 复制代码
# 配置环境变量
vim ~/.bashrc

# 在打开文件中的最后一行添加
export HF_ENDPOINT="https://hf-mirror.com"

下载模型

bash 复制代码
huggingface-cli download --token [访问令牌] --resume-download --local-dir-use-symlinks False [模型名] --local-dir [保存位置]

如果你使用的是conda,注意看下有没有切换对应的环境!!!

有些模型不需要token也能直接下载!!!把token选项去掉即可

访问令牌获取链接:https://huggingface.co/settings/tokens

比如我要下载ChatGLM的模型,操作如下:

命令如:

huggingface-cli download --resume-download --local-dir-use-symlinks False THUDM/chatglm3-6b --local-dir chatglm3-6b


参考文章


👍点赞,你的认可是我创作的动力 !

🌟收藏,你的青睐是我努力的方向!

✏️评论,你的意见是我进步的财富!

相关推荐
kyle~6 小时前
嵌入式 SoC 系统
linux·c++·嵌入式·计算系统
tianyuanwo7 小时前
PostgreSQL 部署运维实战总结:从安装踩坑到生产可用
运维·数据库·postgresql
Decay__7 小时前
SQLServer 优化案例集 —— 慢 SQL 优化、索引重构与参数调整收益对比
运维·数据库·sql·mysql·架构
人生!?8 小时前
Linux 从入门到进阶 | 基础语法
linux·笔记·教程
优化Henry9 小时前
LTE 站点 S1 链路反复闪断导致小区频闪退服故障排查
运维·网络·学习·信息与通信·tdd
心之王者7169 小时前
Linux 进程信号:从产生、阻塞到捕捉与子进程回收
linux·服务器·网络
AndreaYYmm9 小时前
日志里 grep 到 Fail 就判失败?这六个假阳性我全踩过
linux·shell
manageengine9 小时前
服务器 CPU 100% 怎么排查:8 条命令从现象定位到根因
运维·服务器·cpu
分布式存储与RustFS9 小时前
RustFS 分片上传怎么配:大文件断点续传的最小可验证流程
运维·云原生·开源·对象存储·分布式存储·s3·性能基准
赤生云电竞10 小时前
云游戏边缘节点部署:机房选址与网络拓扑优化实践 —— 从80ms时延预算看节点落位与Spine-Leaf组网
服务器·游戏·spine