window如何利用hfd下载huggingface模型

在 Windows 上使用 hfd(通常指的是 hfd.sh 脚本)下载 Hugging Face 模型,主要面临的挑战是 hfd.sh 是一个 Linux Shell 脚本,Windows 的原生 CMD 或 PowerShell 无法直接运行它。

不过,我们可以通过安装 Git Bash 来完美运行它。很多国内开发者使用 hfd.sh 是为了配合 hf-mirror(国内镜像站)来加速下载。以下是详细的图文级别操作步骤:

🛠️ 准备工作:安装必要环境

  1. 安装 Git for Windows (提供 Git Bash 环境)
  • 前往 Git 官网 下载并安装 Windows 版本。
  • 安装时一路默认 "Next" 即可。安装完成后,右键菜单中会出现 "Open Git Bash here" 的选项。
  1. 安装 aria2 (强烈推荐,用于多线程加速下载)
  • 前往 aria2 官网或 GitHub releases 下载 Windows 版本的压缩包(例如 aria2-xxx-win-64bit-build1.zip)。
  • 解压后,将包含 aria2c.exe 的文件夹路径添加到 Windows 的**系统环境变量 Path** 中。
  • 测试: 在命令行中输入 aria2c --version,如果不报错则说明配置成功。

🚀 详细下载步骤

第一步:打开 Git Bash

在你想要保存模型的文件夹中,右键空白处 ,选择 "Open Git Bash here"(如果你用的是 Win11,可能需要先点击"显示更多选项")。

第二步:下载 hfd.sh 脚本

在弹出的 Git Bash 终端中,输入以下命令下载脚本并赋予运行权限:

bash 复制代码
# 下载 hfd.sh 脚本
curl -O https://hf-mirror.com/hfd/hfd.sh

# 赋予执行权限
chmod +x hfd.sh
第三步:配置国内镜像加速(国内网络必做)

为了防止网络连接超时,强制让脚本走国内镜像站下载:

bash 复制代码
export HF_ENDPOINT=https://hf-mirror.com
第四步:开始下载模型

使用 ./hfd.sh 命令加上模型 ID 即可开始下载。强烈建议加上 --tool aria2c -x 4 来启用 4 线程加速。

通用命令格式:

bash 复制代码
./hfd.sh [模型ID] --tool aria2c -x 4

示例(例如下载 Qwen/Qwen1.5-0.5B-Chat):

bash 复制代码
./hfd.sh Qwen/Qwen1.5-0.5B-Chat --tool aria2c -x 4

下载完成后,当前目录下会生成一个名为 Qwen1.5-0.5B-Chat 的文件夹,里面就是完整的模型文件。


💡 进阶使用技巧

  • 下载数据集: 如果你要下载的是 Dataset 而不是 Model,需要加上 --dataset 参数。
bash 复制代码
./hfd.sh tatsu-lab/alpaca --dataset --tool aria2c -x 4
  • 下载包含 Gated(需要授权)或私有的模型:
    你需要先在 Hugging Face 官网获取 Access Token(在 Settings -> Access Tokens 中生成)。
    然后在命令中加上 --hf_username--hf_token
bash 复制代码
./hfd.sh meta-llama/Llama-2-7b-hf --hf_username 你的用户名 --hf_token 你的Token --tool aria2c -x 4

📌 替代方案提醒 (Windows 原生)

如果你觉得配置 Bash 和 aria2 比较麻烦,在 Windows 上最正统、最简单的替代方案其实是官方的 Python 库 huggingface-cli

  1. 安装:pip install -U huggingface_hub[cli]
  2. 设置镜像:在 PowerShell 中运行 $env:HF_ENDPOINT="https://hf-mirror.com"
  3. 下载:huggingface-cli download --resume-download Qwen/Qwen1.5-0.5B-Chat --local-dir ./qwen-model
相关推荐
进击切图仔10 天前
从零手写 RAG
python·huggingface·rag
itmrl24 天前
DeepInfra 加入 HuggingFace 推理提供商:统一入口背后的基础设施逻辑
huggingface·开源模型·ai基础设施·推理服务·deepinfra
AI自动化工坊1 个月前
Hugging Face ml-intern技术深度解析:AI机器学习工程师的工程实践
人工智能·机器学习·huggingface·ml-intern·ai机器学习
冬瓜神君1 个月前
Token 预估这件小事:使用HuggingFace Tokenizers精准预估上下文Tokens
node.js·huggingface·tiktoken·tokens预估
阿钱真强道2 个月前
02 SDXL:环境安装、模型下载与图片生成实战 ARM + Ubuntu 24 + RTX 4090
aigc·huggingface·sdxl·stablediffusion·diffusers·rtx4090
重生之我要成为代码大佬2 个月前
HuggingFace生态实战:从模型应用到高效微调
人工智能·python·大模型·huggingface·模型微调
Flying pigs~~2 个月前
基于huggingface库Trainer实现Bert文本分类实战
人工智能·自然语言处理·bert·文本分类·huggingface·trainer
摘星编程2 个月前
开源力量:GitCode+昇腾NPU 部署Mistral-7B-Instruct-v0.2模型的技术探索与经验总结
华为·开源·huggingface·gitcode·昇腾
von Neumann2 个月前
大模型从入门到应用——HuggingFace:Transformers-[AutoClass]
人工智能·深度学习·机器学习·ai·大模型·huggingface