Huggingface镜像网站下载语言模型方法

幽影相随2024-02-21 8:21

通常通过镜像网站下载https://hf-mirror.com/。

在链接页面有介绍方法，对于不大的模型可以直接下载。这里介绍比较常用且方便的下载方法。

使用huggingface 官方提供的 huggingface-cli 命令行工具

安装（huggingface_hub、hf_transfer安装可以使用-i命令从镜像网站下载）

shell 复制代码

pip install -U huggingface_hub hf_transfer

基本命令（每次打开远程链接都要输入）

shell 复制代码

export HF_HUB_ENABLE_HF_TRANSFER=1
export HF_ENDPOINT=https://hf-mirror.com

下载模型（下载NousResearch/Llama-2-13b-chat-hf，放在当前目录文件夹Llama-2-13b-chat-hf下）

shell 复制代码

huggingface-cli download --resume-download NousResearch/Llama-2-13b-chat-hf --local-dir Llama-2-13b-chat-hf --local-dir-use-symlinks False

携带参数下载

shell 复制代码

huggingface-cli download --token hf_*** --resume-download meta-llama/Llama-2-7b-hf --local-dir Llama-2-7b-hf --local-dir-use-symlinks False