在服务器中下载 HuggingFace 模型:终极指南

在使用 Hugging Face 上的模型时,我们经常需要将模型下载到服务器上,尤其是在 GPU 服务器或集群中部署深度学习任务时。本文将详细介绍如何使用 huggingface_hub 工具在服务器中高效、安全地下载 Hugging Face 模型,包括命令行工具的安装、登录认证、下载命令的使用方式,以及常见问题说明和优化建议。


一、背景说明:huggingface-cli 的更新

过去,Hugging Face 提供了一个独立的命令行工具包 huggingface-cli,用于模型下载、登录等操作。但现在该功能已 集成进了 huggingface_hub 包中。因此,如果你尝试:

复制代码
pip install huggingface-cli

会提示找不到该包。请使用以下命令安装最新版工具:

复制代码
pip install huggingface_hub

二、登录 Hugging Face CLI 工具

在使用 Hugging Face 的命令行工具下载私有模型或需要认证的资源前,必须登录。登录支持两种命令:

复制代码
huggingface-cli login

或

复制代码
huggingface_hub-cli login

输入你的 Hugging Face access token 后即可完成登录。

建议使用非浏览器服务器(如 SSH 登录的远程服务器)时选择 token 登录模式,避免跳转浏览器验证的复杂流程。


三、模型下载命令详解

完成登录后,即可使用以下命令下载模型:

bash 复制代码
huggingface-cli download --resume-download (模型名称) --local-dir (模型存放位置) --local-dir-use-symlinks False --resume-download

参数解释:

  • <模型名称>:模型 ID,如 THUDM/chatglm3-6b

  • <模型存放路径>:本地文件夹路径,建议提前创建好,如 /data1/models/chatglm3

  • --resume-download:支持断点续传(非常适合大模型)

  • --local-dir-use-symlinks False:禁用符号链接,确保完整复制模型到指定

正在下载模型权重


四、下载速度慢?试试这个技巧

相比直接在 Python 脚本或 Notebook 中加载模型,huggingface-cli download 命令 在服务器中更快更稳定。原因是它绕开了缓存机制、避免自动重定向,且支持多线程下载及断点续传。

如果你在中国大陆地区使用 Hugging Face,建议:

  1. 配置代理或科学上网

  2. 或尝试清华镜像(适用于开源模型):

    bash 复制代码
    pip install -i https://pypi.tuna.tsinghua.edu.cn/simple huggingface_hub
  3. 或使用 Hugging Face 镜像工具如 hf-mirror(非官方)


五、补充说明与建议

1. 如何查找模型名称?

访问 Hugging Face 模型页面(如 chatglm3-6b),复制 URL 中的模型 ID 即可。

2. 多人协作怎么办?

建议每位用户登录一次并配置自己的 token,也可配置环境变量:

bash 复制代码
export HUGGINGFACE_HUB_TOKEN=your_token_here

3. 下载多个模型怎么办?

你可以写一个简单的脚本,批量下载多个模型:

复制代码
#!/bin/bash
MODELS=("THUDM/chatglm3-6b" "facebook/opt-2.7b")

for MODEL in "${MODELS[@]}"; do
  huggingface-cli download --resume-download "$MODEL" --local-dir "./models/$(basename $MODEL)" --local-dir-use-symlinks False
done

六、总结

使用 huggingface_hub 提供的 CLI 工具,可以方便、安全、可控地在服务器中下载和管理 Hugging Face 模型资源。相比自动缓存方式,命令行工具支持断点续传、目录管理,并且更适合批量部署场景。合理配置登录和网络环境后,将大幅提升你的模型使用体验。


关键词:Hugging Face、模型下载、服务器部署、huggingface_hub、CLI、断点续传、模型加速、私有模型认证

如果你在使用过程中遇到问题,欢迎留言讨论或查阅 Hugging Face 官方文档:https://huggingface.co/docs/huggingface_hub

相关推荐
阳光九叶草LXGZXJ4 小时前
达梦数据库-报错-15-列【XXX】长度超出定义
linux·运维·数据库·sql·学习
怕浪猫4 小时前
RAG 面试 6 连问,从原理到优化全部覆盖
python·算法·面试
奔跑的大白啊4 小时前
多容器共享目录权限踩坑记
linux·ubuntu·共享目录·linux权限·docker 容器化部署
高洁015 小时前
具身智能中的世界模型训练
人工智能·python·深度学习·机器学习·transformer
无线通信科研笔记5 小时前
IEEE TVT 2026 论文精读与完整复现|相位误差如何重塑近场 RIS 的幅相响应
论文阅读·人工智能·python·算法·论文笔记
朝朝辞暮i5 小时前
VLA 系统学习第 1 课:VLA 到底在干什么?
人工智能·python·计算机视觉·vla
2601_962885726 小时前
如何用 Python 自动识别股票的支撑位与压力位?
开发语言·python
北冥有鱼被烹6 小时前
VCSEL全景解析:与光模块NPO CPO的关系、市场量化分析与产业链影响
python
caoerzhong6 小时前
中小企业上 WMS 该先上哪几块:JeeWMS 开源 Java 仓库管理系统的分批上线清单
java·python·开源
正在走向自律7 小时前
AI数据分析与可视化:从基础到应用实践
服务器·人工智能·python·机器学习·数据分析·pandas