修改HuggingFace模型默认缓存路径

huggingface模型的默认缓存路径是~/.cache/huggingface/hub/

通常修改为自己的路径会更为方便。

方式一:cache_dir 参数

可以通过from_pretrained函数中的 cache_dir 参数来指定,缺点,每次都需要手动指定,比较麻烦。

如:加载一个bert-base-uncased模型

python 复制代码
from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-uncased",cache_dir="路径")
model = AutoModelForMaskedLM.from_pretrained("google-bert/bert-base-uncased",cache_dir="路径")

方式二: 设置HF_HOME 环境变量

bash 复制代码
export HF_HOME=~/leo038/cache/
相关推荐
飞哥数智坊7 小时前
我的“龙虾”罢工了!正好对比下GLM、MiniMax、Kimi 3家谁更香
人工智能
风象南8 小时前
很多人说,AI 让技术平权了,小白也能乱杀老师傅 ?
人工智能·后端
董董灿是个攻城狮9 小时前
大模型连载1:了解 Token
人工智能
RoyLin12 小时前
沉睡三十年的标准:HTTP 402、生成式 UI 与智能体原生软件的时代
人工智能
needn14 小时前
TRAE为什么要发布SOLO版本?
人工智能·ai编程
毅航14 小时前
自然语言处理发展史:从规则、统计到深度学习
人工智能·后端
前端付豪15 小时前
LangChain链 写一篇完美推文?用SequencialChain链接不同的组件
人工智能·python·langchain
ursazoo15 小时前
写了一份 7000字指南,让 AI 帮我消化每天的信息流
人工智能·开源·github
神秘的猪头17 小时前
🔌 把 MCP 装进大脑!手把手带你构建能“热插拔”工具的 AI Agent
langchain·llm·mcp
_志哥_18 小时前
Superpowers 技术指南:让 AI 编程助手拥有超能力
人工智能·ai编程·测试