修改huggingface 的cache缓存路径

使用hugging face 来跑代码时,往往会把模型缓存到系统目录下,比如我的ubuntu系统就缓存到~.cache目录下。由于自己的home空间不足,先需要修改缓存的 .cache目录,修改方法如下:

找到自己安装的huggingface_hub下的constants.py 文件,比如我的文件位置在 lib/python3.10/site-packages/huggingface_hub 下。然后修改constants.py代码:

python 复制代码
# default cache
default_home = os.path.join(os.path.expanduser("~"), ".cache")
HF_HOME = os.path.expanduser(
    os.getenv(
        "HF_HOME",
        os.path.join(os.getenv("XDG_CACHE_HOME", default_home), "huggingface"),
    )
)
hf_cache_home = HF_HOME  # for backward compatibility. TODO: remove this in 1.0.0

把 default_home 修改为自己需要保存的文件路径即可。

我这里修改为:

python 复制代码
# default cache
default_home = os.path.join(os.path.expanduser("/root/autodl-tmp"), ".cache")
相关推荐
weixin_404551249 天前
HUGGINGFACE NLP- MAIN NLP TASKS
人工智能·自然语言处理·nlp·huggingface·tasks
weixin_4045512412 天前
huggingface NLP-微调一个预训练模型
人工智能·自然语言处理·微调·nlp·huggingface·fine-train
HuggingFace16 天前
人工评估 | 基础概念
huggingface·人工评估
Tonyfield20 天前
Visual Code的Terminal (PowerShell)中下载huggingface模型
人工智能·深度学习·huggingface·modal·下载模型
阿正的梦工坊1 个月前
理解Parquet文件和Arrow格式:从Hugging Face数据集的角度出发
huggingface
阿正的梦工坊1 个月前
如何从 Hugging Face 数据集中随机采样数据并保存为新的 Arrow 文件
huggingface
GPUStack2 个月前
制作并量化GGUF模型上传到HuggingFace和ModelScope
大模型·huggingface·modelscope·genai·gguf
HyperAI超神经2 个月前
对标Hugging Face?GitHub Models新增OpenAI o1/Llama 3.2等, 新功能支持模型并排比较
人工智能·机器学习·github·llama·huggingface
HackerTom2 个月前
safetensor存取pytorch模型参数、玄数据简例
pytorch·python·json·huggingface·safetensors
会飞的Anthony2 个月前
基于Python的自然语言处理系列(34):Huggingface 自定义分词器与数据集
人工智能·分词·huggingface