三条命令快速配置Hugging Face

董董灿是个攻城狮2024-05-09 22:05

大家好啊，我是董董灿。

本文给出一个配置Hugging Face的方法，让你在国内可快速从Hugging Face上下在模型和各种文件。

1. 什么是 Hugging Face

Hugging Face 本身是一家科技公司，专注于自然语言处理（NLP）和机器学习领域。

最初以其聊天机器人应用闻名，后来逐渐转型，专注于开发和提供开源的人工智能模型和工具。

这家公司最著名的就是开发一个名为"Transformers"的库，这个库集成了很多比较先进的预训练模型，如BERT、GPT-2、GPT-3等等。

除此之外，Hugging Face 还有一个模型共享平台，类似于大模型界的Github,开发者可以在这个平台上下载训练好的大模型来使用。

官网在这：huggingface.co/

要学习与Transformer架构相关的知识，肯定要接触一些大模型，要接触大模型就免不了要从Hugging Face上下载一些模型和参数等文件。

但很多同学限于国外网站网速的问题，以及一些模型都很大（基本都是几个G起步），经常下载很长时间最终还是失败。

本节给出一个配置 Hugging Face镜像的方法，可以帮助你快速从Hugging Face上下载模型。

这里就不说原理了，按以下操作即可，在开发环境下安装以下库，执行命令：

arduino 复制代码

pip3 install -U huggingface_hub
pip install -U "huggingface_hub[cli]"

待上述命令执行完，导入一个环境变量：

arduino 复制代码

export HF_ENDPOINT=https://hf-mirror.com

之后访问Hugging Face就可以用该镜像网站访问，并且下载模型了，速度很快。

另外，如果你是在Linux 环境下做开发，建议将导入环境变量那条命令放在 ~/.bashrc 中，这样系统启动就会自动导入该环境变量，之后所有的开发就不用关心Hugging Face 有关的环境配置了。

本文首发于《transformer专栏》，点击专栏可查看所有内容。