修改HuggingFace模型默认缓存路径

huggingface模型的默认缓存路径是~/.cache/huggingface/hub/

通常修改为自己的路径会更为方便。

方式一:cache_dir 参数

可以通过from_pretrained函数中的 cache_dir 参数来指定,缺点,每次都需要手动指定,比较麻烦。

如:加载一个bert-base-uncased模型

python 复制代码
from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-uncased",cache_dir="路径")
model = AutoModelForMaskedLM.from_pretrained("google-bert/bert-base-uncased",cache_dir="路径")

方式二: 设置HF_HOME 环境变量

bash 复制代码
export HF_HOME=~/leo038/cache/
相关推荐
charlee441 小时前
在本地部署Qwen大语言模型全过程总结
大模型·cuda·qwen·量化
paid槮1 小时前
机器学习总结
人工智能·深度学习·机器学习
Hello123网站1 小时前
职得AI简历-免费AI简历生成工具
人工智能·ai工具
亚里随笔2 小时前
稳定且高效:GSPO如何革新大型语言模型的强化学习训练?
人工智能·机器学习·语言模型·自然语言处理·llm·rlhf
荼蘼2 小时前
机器学习之PCA降维
人工智能·机器学习
东方不败之鸭梨的测试笔记2 小时前
智能测试用例生成工具设计
人工智能·ai·langchain
失散134 小时前
深度学习——02 PyTorch
人工智能·pytorch·深度学习
图灵学术计算机论文辅导4 小时前
傅里叶变换+attention机制,深耕深度学习领域
人工智能·python·深度学习·计算机网络·考研·机器学习·计算机视觉
SuperherRo5 小时前
Web攻防-大模型应用&LLM安全&提示词注入&不安全输出&代码注入&直接间接&数据投毒
大模型·llm·提示词注入·不安全输出·直接·间接
重启的码农7 小时前
ggml 介绍(4) 计算图 (ggml_cgraph)
c++·人工智能