修改huggingface 的cache缓存路径

使用hugging face 来跑代码时,往往会把模型缓存到系统目录下,比如我的ubuntu系统就缓存到~.cache目录下。由于自己的home空间不足,先需要修改缓存的 .cache目录,修改方法如下:

找到自己安装的huggingface_hub下的constants.py 文件,比如我的文件位置在 lib/python3.10/site-packages/huggingface_hub 下。然后修改constants.py代码:

python 复制代码
# default cache
default_home = os.path.join(os.path.expanduser("~"), ".cache")
HF_HOME = os.path.expanduser(
    os.getenv(
        "HF_HOME",
        os.path.join(os.getenv("XDG_CACHE_HOME", default_home), "huggingface"),
    )
)
hf_cache_home = HF_HOME  # for backward compatibility. TODO: remove this in 1.0.0

把 default_home 修改为自己需要保存的文件路径即可。

我这里修改为:

python 复制代码
# default cache
default_home = os.path.join(os.path.expanduser("/root/autodl-tmp"), ".cache")
相关推荐
金牛的技术笔记4 天前
HuggingFace本地调用GPT2:分词器、模型结构与采样参数
huggingface·模型结构·分词器·gpt2·采样参数
All The Way North-8 天前
Transformers 5.19.0 首发源码研读:Tokenizer.call() 核心机制与实战验证
huggingface·transformers·qwen·tokenizer·源码解读·autotokenizer·v 5.19
北风催呀催25 天前
HuggingFace下载镜像加速技巧
linux·huggingface
zh路西法1 个月前
【上手一只MicroDuck】:(一)从机器人结构到强化学习训练框架
python·强化学习·huggingface·ppo·mujoco·microduck
微软技术分享2 个月前
基于 HuggingFace Tokenizers 训练自定义分词器
python·ubuntu·大模型·huggingface
slacker-kian2 个月前
HuggingFace API加载模型超时:用 ModelScopeAPI 替代
人工智能·python·transformer·huggingface·blip·modelscope·blipprocessor
uncle_ll3 个月前
深入探索 Hugging Face核心组件及实践
llm·nlp·bert·huggingface·hf-mirror·hf
All The Way North-4 个月前
【Transformers 实战——特征提取】从 Tokenizer 编码到 BERT 四类返回值详解与 NER 选型避坑
bert·huggingface·transformers·tokenizer·特征提取·pooler_output·last_hidden
chen_zn955 个月前
Hugging Face 无法访问的解决方案
huggingface
baidu_392113505 个月前
window如何利用hfd下载huggingface模型
huggingface