修改HuggingFace模型默认缓存路径

huggingface模型的默认缓存路径是~/.cache/huggingface/hub/

通常修改为自己的路径会更为方便。

方式一:cache_dir 参数

可以通过from_pretrained函数中的 cache_dir 参数来指定,缺点,每次都需要手动指定,比较麻烦。

如:加载一个bert-base-uncased模型

python 复制代码
from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-uncased",cache_dir="路径")
model = AutoModelForMaskedLM.from_pretrained("google-bert/bert-base-uncased",cache_dir="路径")

方式二: 设置HF_HOME 环境变量

bash 复制代码
export HF_HOME=~/leo038/cache/
相关推荐
AI日报派送佬6 分钟前
Ultralytics YOLO 模型训练技巧与最佳实践
人工智能·python·深度学习·yolo·机器学习·计算机视觉
2501_913981787 分钟前
Semtech与国产LoRa芯片对比:SX1276/SX1262/LR2021与ASR6601解析
人工智能·lora芯片
刻、苦铭心`8 分钟前
Tare使用:如何在虚拟环境中调试,(小白教程)
人工智能
zhaowangji14 分钟前
mujoco仿真(机械臂推动正方体到指定位置)
人工智能·python
AI分享猿15 分钟前
百智云联网智能生图电商商品图场景
人工智能
小宋102119 分钟前
OpenTelemetry GenAI可观测性实战:串起模型、工具、Token与错误
java·人工智能·算法·贪心算法
yichengerp25 分钟前
国内中小电子工厂用哪个erp系统好?
大数据·运维·人工智能·云计算·制造
q275513004226 分钟前
微纳代理 WN8034F 国产降噪音频方案
人工智能·语音识别
喜欢打篮球的普通人30 分钟前
MiniMind 学习笔记(二十二):数学 Cookbook——把概率空间、期望、似然一次讲明白
人工智能·笔记·学习
程序猿阿森32 分钟前
混合精度详解:FP16 vs BF16,Loss Scaling 与 PyTorch 实战
人工智能·pytorch·python