下载Huggingface的大语言模型

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

前言

最近在研究大语言模型，找到了一个不用科学上网就能下载Huggingface的模型的方法。当然，科学上网也支持。

研究大模型的人都知道Huggingface是什么，是一个开源的LLM收录网站，在这里你不仅能下载到各种开源的大模型，还能下载到各种开源的数据集训练自己的LLM。

为了方便书写以下简称Huggingface为hf

以前hf下载模型是不需要登录的，现在需要注册账号了，有些特殊的模型还需要额外的认证，比如最近开源的google的gemma。今天就围绕着gemma来讲解怎么下载hf上的模型。

因为gemma需要额外认证，所以应该能覆盖所有hf的情形。

需要安装hf的下载工具，这里建议使用conda环境即可。

bash 复制代码

conda create -n hf python=3.9
conda activate hf
pip install -U huggingface_hub

理论上MacOS是继承自Unix，应该和Linux是一样的环境变量。

Linux

bash 复制代码

export HF_ENDPOINT=https://hf-mirror.com

Windows

bash 复制代码

$env:HF_ENDPOINT = "https://hf-mirror.com"

这一步是必须的，因为后面gemma需要token才能下载，其它模型可能也要token，我没有一个个试。

这一步可能需要科学上网
Huggingface官网

准备一个live或gmail的邮箱，QQ我没有试（有些外站不支持QQ邮箱），可以的话最好。

填邮箱密码，一步步来，我就不细讲了，会的都会，不会的...

基于上面注册成功后，这个时候还不能使用账号。hf会给你注册邮箱发送一份验证邮件，你点击链接激活账号就可以正常使用了。

主页找到Models->google/gemma-7b

点击进去会有个认证，点击认证并通过就行了。

主页->个人头像

这里要使用上面的token，使用上面安装的工具。

bash 复制代码

huggingface-cli download --token <你刚才复制的token> --resume-download google/gemma-7b --local-dir gemma-7b

等待下载完成就行了。

这个模式也有个缺点，有时候会不稳定。但也没关系，重试就行了，会自动断点续传！

1、总体来说还是方便的，不科学上网也能下载。

2、其它的模型复刻这种模式就行了。