linux系统下载huggingface文件教程

文章目录

准备工作

添加SSH Key

shell 复制代码
# 本地机器生成ssh key
# step1:安装git
brew install git 
# step2:验证git是否成功下载
git version
# git version 2.31.1
# step3:配置账号(如已经配置,直接跳到step5)
git config --global user.email "你的邮箱"
# 一路回车,就不需要每次记密码了
# step4:生成公共密钥
ssh-keygen -t rsa 
# step5:查看密钥
cat ~/.ssh/id_rsa.pub

复制上述生成的密钥在huggingface网站中配置,进入settings->SSH and GPG Keys->Add SSH Key,添加生成的密钥即可;查看ssh是否正常链接

python 复制代码
ssh -T git@hf.co
# Hi XXX, welcome to Hugging Face.

然后安装LFS:

shell 复制代码
git lfs install

生成Access Token

进入settings->Access Tokens生成个人的Acces Token;

模型下载

公开模型下载(bert-base-chinese为例)

bert-base-chinese为例:

shell 复制代码
# 先下载基础文件,跳过大文件
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/google-bert/bert-base-chinese
# 然后逐个下载LFS大文件,记得把链接中的blob更改成resolve
sudo wget https://huggingface.co/bert-base-chinese/resolve/main/pytorch_model.bin  


非公开模型下载(Llama3为例)

权限申请

  • 进入官网申请权限,审核通过后即可进行模型下载,会收到审核通知的邮件,以Meta Llama3为例;
    • 官网申请:进入官网Meta-Llama ,填写基本信息,没有国内的选项,填写其他国家和学校,就能够申请成功;
    • huggingface申请:Meta-Llama-3-8B,填写对应表单,会得到通知邮件;

官网预训练模型下载

shell 复制代码
#  * 下载Llama3仓库:https://github.com/meta-llama/llama3
git clone git@github.com:meta-llama/llama3.git
# 进入llama3
cd llama3
# 运行download脚本
bash download.sh
# 填写邮箱或官网提供的链接
# Enter the URL from email: 你的私密链接
# 填写要下载的模型链接
# Enter the list of models to download without spaces (8B,8B-instruct,70B,70B-instruct), or press Enter for all: 你要下载的预训练模型

huggingface仓库下载

  • hugginface安全性升级后,下载必须通过Access Token进行认证
python 复制代码
# 跳过大文件下载基础文件
GIT_LFS_SKIP_SMUDGE=1 git clone https://你的名字:你的accesstoken@huggingface.co/meta-llama/Meta-Llama-3-8B
# 逐个下载大文件
# 1. 账户密码的方式下载(已经不支持了)
# sudo wget https://你的名字:你的密码@huggingface.co/meta-llama/Meta-Llama-3-8B/resolve/main/model-00001-of-00004.safetensors
# 2. access token的方式,记得把blob改成resolve
wget --header="Authorization: Bearer 你的token" https://huggingface.co/meta-llama/Meta-Llama-3-8B/resolve/main/model-00001-of-00004.safetensors
相关推荐
kailp8 小时前
突破效率与质量边界:深入解析MiniMax-Remover视频物体移除方案
人工智能·ai·大模型·gpu算力·图片渲染
roshy11 小时前
MCP(模型上下文协议)入门教程1
人工智能·大模型·agent
胡耀超16 小时前
大模型架构演进全景:从Transformer到下一代智能系统的技术路径(MoE、Mamba/SSM、混合架构)
人工智能·深度学习·ai·架构·大模型·transformer·技术趋势分析
程序员鱼皮1 天前
扒了下 Cursor 的提示词,被狠狠惊艳到了!
计算机·ai·程序员·大模型·互联网·编程
bylander1 天前
【论文阅读】自我进化的AI智能体综述
人工智能·大模型·智能体
居7然2 天前
美团大模型“龙猫”登场,能否重塑本地生活新战局?
人工智能·大模型·生活·美团
Tadas-Gao2 天前
阿里云通义MoE全局均衡技术:突破专家负载失衡的革新之道
人工智能·架构·大模型·llm·云计算
bboyzqh3 天前
任务型Agent:prompt工程实践
大模型·prompt·上下文工程
love530love3 天前
【保姆级教程】阿里 Wan2.1-T2V-14B 模型本地部署全流程:从环境配置到视频生成(附避坑指南)
人工智能·windows·python·开源·大模型·github·音视频
nju_spy3 天前
Kaggle - LLM Science Exam 大模型做科学选择题
人工智能·机器学习·大模型·rag·南京大学·gpu分布计算·wikipedia 维基百科