三条命令快速配置Hugging Face

大家好啊,我是董董灿。

本文给出一个配置Hugging Face的方法,让你在国内可快速从Hugging Face上下在模型和各种文件。

1. 什么是 Hugging Face

Hugging Face 本身是一家科技公司,专注于自然语言处理(NLP)和机器学习领域。

最初以其聊天机器人应用闻名,后来逐渐转型,专注于开发和提供开源的人工智能模型和工具。

这家公司最著名的就是开发一个名为"Transformers"的库,这个库集成了很多比较先进的预训练模型,如BERT、GPT-2、GPT-3等等。

除此之外,Hugging Face 还有一个模型共享平台,类似于大模型界的Github,开发者可以在这个平台上下载训练好的大模型来使用。

官网在这:huggingface.co/

要学习与Transformer架构相关的知识,肯定要接触一些大模型,要接触大模型就免不了要从Hugging Face上下载一些模型和参数等文件。

但很多同学限于国外网站网速的问题,以及一些模型都很大(基本都是几个G起步),经常下载很长时间最终还是失败。

本节给出一个配置 Hugging Face镜像的方法,可以帮助你快速从Hugging Face上下载模型。

2、操作步骤

这里就不说原理了,按以下操作即可,在开发环境下安装以下库,执行命令:

arduino 复制代码
pip3 install -U huggingface_hub
pip install -U "huggingface_hub[cli]"

待上述命令执行完,导入一个环境变量:

arduino 复制代码
export HF_ENDPOINT=https://hf-mirror.com

之后访问Hugging Face就可以用该镜像网站访问,并且下载模型了,速度很快。

另外,如果你是在Linux 环境下做开发,建议将导入环境变量那条命令放在 ~/.bashrc 中,这样系统启动就会自动导入该环境变量,之后所有的开发就不用关心Hugging Face 有关的环境配置了。


本文首发于《transformer专栏》,点击专栏可查看所有内容。

相关推荐
重生之我是Java开发战士1 小时前
【动态规划】简单多状态dp问题:按摩师,打家劫舍,删除并获得点数,粉刷房子,买卖股票的最佳时机
算法·动态规划·哈希算法
KAU的云实验台2 小时前
单/多UAV、静/动态路径规划,基于PlatEMO平台的带约束多目标优化 本文核心内容:
算法·matlab·无人机
Liangwei Lin2 小时前
洛谷 P1807 最长路
数据结构·算法
会编程的土豆2 小时前
【数据结构与算法】二叉树从建立开始
数据结构·c++·算法
_日拱一卒2 小时前
LeetCode:最大子数组和
数据结构·算法·leetcode
计算机安禾3 小时前
【数据结构与算法】第22篇:线索二叉树(Threaded Binary Tree)
c语言·开发语言·数据结构·学习·算法·链表·visual studio code
算法鑫探3 小时前
解密2025数字密码:数位统计之谜
c语言·数据结构·算法·新人首发
计算机安禾3 小时前
【数据结构与算法】第21篇:二叉树遍历的经典问题:由遍历序列重构二叉树
c语言·数据结构·学习·算法·重构·visual studio code·visual studio
信奥胡老师3 小时前
P1255 数楼梯
开发语言·数据结构·c++·学习·算法
爱睡懒觉的焦糖玛奇朵4 小时前
【工业级落地算法之人员摔倒检测算法详解】
人工智能·python·深度学习·神经网络·算法·yolo·目标检测