修改HuggingFace模型默认缓存路径

huggingface模型的默认缓存路径是~/.cache/huggingface/hub/

通常修改为自己的路径会更为方便。

方式一:cache_dir 参数

可以通过from_pretrained函数中的 cache_dir 参数来指定,缺点,每次都需要手动指定,比较麻烦。

如:加载一个bert-base-uncased模型

python 复制代码
from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-uncased",cache_dir="路径")
model = AutoModelForMaskedLM.from_pretrained("google-bert/bert-base-uncased",cache_dir="路径")

方式二: 设置HF_HOME 环境变量

bash 复制代码
export HF_HOME=~/leo038/cache/
相关推荐
ytttr8732 小时前
MATLAB实现经验模态分解(EMD)与希尔伯特变换获取能量谱
人工智能·python·matlab
AI浩2 小时前
MHAF-YOLO:用于精确目标检测的多分支异构辅助融合YOLO
人工智能·yolo·目标检测
智泊AI2 小时前
一文讲清:传统RAG和Agentic RAG实战差异
llm
YangYang9YangYan2 小时前
高职大数据技术专业学习与发展指南
大数据·人工智能·学习·数据分析
lybugproducer2 小时前
深度学习专题:模型训练的数据并行(二)
人工智能·深度学习·神经网络
学無芷境2 小时前
Large-Scale 3D Medical Image Pre-training with Geometric Context Priors
人工智能·3d
大模型服务器厂商2 小时前
适配的 GPU 服务器能让 AI 模型充分发挥算力优势
人工智能
AscendKing2 小时前
LandPPT - AI驱动的PPT生成平台
人工智能·好好学电脑·hhxdn.com
FreeCode2 小时前
LangChain1.0智能体开发:流输出组件
人工智能·langchain·agent
故作春风3 小时前
手把手实现一个前端 AI 编程助手:从 MCP 思想到 VS Code 插件实战
前端·人工智能