修改huggingface的缓存路径

最近查了一下C盘爆满的原因,发现了huggingface的缓存文件这个罪魁祸首。

每次远程导入 模型数据集时,都会启用huggingface的缓存机制,将整个大文件下载至缓存目录中,从而保证下一次加载时非常快速。

我们可以发现,默认的缓存目录就是设置在C盘。

python 复制代码
# datasets缓存目录的查看
from datasets import config
print(config.HF_DATASETS_CACHE)
# D:\cache\huggingface\datasets

# transformers缓存目录的查看(不建议,非常麻烦,知道默认是哪就行)
from transformers import AutoModel
model = AutoModel.from_pretrained('bert-base-chinese')
cache_path = model.config.get_from_cache('bert-base-chinese')
print(cache_path)
# D:\cache\huggingface\transformers

下面是更改存放路径的方法:

  1. 代码更改(仅对当前python会话,下一次在新的环境中执行时就失效了)

    python 复制代码
    # datasets缓存目录的修改
    from datasets import config
    config.HF_DATASETS_CACHE = 'D:\cache\huggingface\datasets'
    
    # transformers缓存目录得在导入具体的模型时指定
    from transformers import AutoModel
    AutoModel.from_pretrained('bert-base-chinese', cache_dir='D:\cache\huggingface\transformers'
  2. 修改系统环境变量(Windows)

    1. 右键点击"此电脑"或"计算机",选择"属性"。
    2. 点击"高级系统设置"。
    3. 在"系统属性"窗口中,点击"环境变量"按钮。
    4. 在"用户变量"或"系统变量"下点击"新建"按钮。
    5. 对于transformers库, 输入变量名TRANSFORMERS_CACHE 和变量值为新路径 (例如 D:\cache\huggingface\transformers)。
    6. 对于datasets库, 输入变量名HUGGINGFACE_CACHE 和变量值为新路径 (例如 D:\cache\huggingface\datasets)。
    7. 点击"确定"保存。
相关推荐
shangyingying_13 小时前
关于小波降噪、小波增强、小波去雾的原理区分
人工智能·深度学习·计算机视觉
书玮嘎4 小时前
【WIP】【VLA&VLM——InternVL系列】
人工智能·深度学习
要努力啊啊啊4 小时前
YOLOv2 正负样本分配机制详解
人工智能·深度学习·yolo·计算机视觉·目标跟踪
Blossom.1185 小时前
机器学习在智能建筑中的应用:能源管理与环境优化
人工智能·python·深度学习·神经网络·机器学习·机器人·sklearn
m0_678693337 小时前
深度学习笔记29-RNN实现阿尔茨海默病诊断(Pytorch)
笔记·rnn·深度学习
苦夏木禾7 小时前
js请求避免缓存的三种方式
开发语言·javascript·缓存
胡耀超7 小时前
标签体系设计与管理:从理论基础到智能化实践的综合指南
人工智能·python·深度学习·数据挖掘·大模型·用户画像·语义分析
重庆小透明7 小时前
力扣刷题记录【1】146.LRU缓存
java·后端·学习·算法·leetcode·缓存
Java初学者小白9 小时前
秋招Day14 - Redis - 应用
java·数据库·redis·缓存
fzyz1239 小时前
Windows系统下WSL从C盘迁移方案
人工智能·windows·深度学习·wsl