修改HuggingFace模型默认缓存路径

huggingface模型的默认缓存路径是~/.cache/huggingface/hub/

通常修改为自己的路径会更为方便。

方式一:cache_dir 参数

可以通过from_pretrained函数中的 cache_dir 参数来指定,缺点,每次都需要手动指定,比较麻烦。

如:加载一个bert-base-uncased模型

python 复制代码
from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-uncased",cache_dir="路径")
model = AutoModelForMaskedLM.from_pretrained("google-bert/bert-base-uncased",cache_dir="路径")

方式二: 设置HF_HOME 环境变量

bash 复制代码
export HF_HOME=~/leo038/cache/
相关推荐
优宁维生物14 分钟前
血液样本的分类与应用
人工智能·分类·数据挖掘
Blossom.11826 分钟前
基于深度学习的图像分类:使用DenseNet实现高效分类
人工智能·深度学习·目标检测·机器学习·分类·数据挖掘·迁移学习
慧星云31 分钟前
慧星云新增大模型服务 :多款大模型轻松调用
人工智能
蓝蜂物联网36 分钟前
边缘计算网关与 EMCP 物联网云平台:无缝协作,共筑智能生态
人工智能·物联网·边缘计算
鹿先森AI探索之路42 分钟前
本地部署Dify教程
人工智能·docker·ai
说私域1 小时前
基于定制开发开源AI智能名片S2B2C商城小程序源码的立减/立得类活动创新设计与应用研究
人工智能·开源
您的通讯录好友2 小时前
TechGPT2部署
linux·人工智能·python·大模型·techgpt
whaosoft-1432 小时前
51c视觉~3D~合集4
人工智能
思绪漂移2 小时前
工业缺陷检测的计算机视觉方法总结
人工智能·计算机视觉·缺陷检测