修改huggingface的缓存路径

最近查了一下C盘爆满的原因,发现了huggingface的缓存文件这个罪魁祸首。

每次远程导入 模型数据集时,都会启用huggingface的缓存机制,将整个大文件下载至缓存目录中,从而保证下一次加载时非常快速。

我们可以发现,默认的缓存目录就是设置在C盘。

python 复制代码
# datasets缓存目录的查看
from datasets import config
print(config.HF_DATASETS_CACHE)
# D:\cache\huggingface\datasets

# transformers缓存目录的查看(不建议,非常麻烦,知道默认是哪就行)
from transformers import AutoModel
model = AutoModel.from_pretrained('bert-base-chinese')
cache_path = model.config.get_from_cache('bert-base-chinese')
print(cache_path)
# D:\cache\huggingface\transformers

下面是更改存放路径的方法:

  1. 代码更改(仅对当前python会话,下一次在新的环境中执行时就失效了)

    python 复制代码
    # datasets缓存目录的修改
    from datasets import config
    config.HF_DATASETS_CACHE = 'D:\cache\huggingface\datasets'
    
    # transformers缓存目录得在导入具体的模型时指定
    from transformers import AutoModel
    AutoModel.from_pretrained('bert-base-chinese', cache_dir='D:\cache\huggingface\transformers'
  2. 修改系统环境变量(Windows)

    1. 右键点击"此电脑"或"计算机",选择"属性"。
    2. 点击"高级系统设置"。
    3. 在"系统属性"窗口中,点击"环境变量"按钮。
    4. 在"用户变量"或"系统变量"下点击"新建"按钮。
    5. 对于transformers库, 输入变量名TRANSFORMERS_CACHE 和变量值为新路径 (例如 D:\cache\huggingface\transformers)。
    6. 对于datasets库, 输入变量名HUGGINGFACE_CACHE 和变量值为新路径 (例如 D:\cache\huggingface\datasets)。
    7. 点击"确定"保存。
相关推荐
cwn_1 小时前
自然语言处理NLP (1)
人工智能·深度学习·机器学习·自然语言处理
找不到、了1 小时前
Redis内存使用耗尽情况分析
数据库·redis·缓存
hzk的学习笔记2 小时前
Redis的事务和Lua之间的区别
数据库·redis·缓存
天天进步20153 小时前
Python全栈项目--基于深度学习的视频内容分析系统
python·深度学习·音视频
karlso4 小时前
深度学习:简介与任务分类总览
人工智能·深度学习·分类
go54631584655 小时前
基于LSTM和GRU的上海空气质量预测研究
图像处理·人工智能·深度学习·神经网络·算法·gru·lstm
go54631584656 小时前
基于YOLOP与GAN的图像修复与防御系统设计与实现
人工智能·深度学习·神经网络·机器学习·生成对抗网络·矩阵
SHIPKING3937 小时前
【机器学习&深度学习】DeepSpeed框架:高效分布式训练的开源利器
人工智能·深度学习·机器学习
CoovallyAIHub7 小时前
YotoR模型:Transformer与YOLO新结合,打造“又快又准”的目标检测模型
深度学习·算法·计算机视觉
停走的风7 小时前
Yolo底层原理学习--(第二篇)
深度学习·学习·yolo