修改huggingface的缓存路径

最近查了一下C盘爆满的原因,发现了huggingface的缓存文件这个罪魁祸首。

每次远程导入 模型、数据集时,都会启用huggingface的缓存机制,将整个大文件下载至缓存目录中,从而保证下一次加载时非常快速。

我们可以发现,默认的缓存目录就是设置在C盘。

python 复制代码
# datasets缓存目录的查看
from datasets import config
print(config.HF_DATASETS_CACHE)
# D:\cache\huggingface\datasets

# transformers缓存目录的查看(不建议,非常麻烦,知道默认是哪就行)
from transformers import AutoModel
model = AutoModel.from_pretrained('bert-base-chinese')
cache_path = model.config.get_from_cache('bert-base-chinese')
print(cache_path)
# D:\cache\huggingface\transformers

下面是更改存放路径的方法:

  1. 代码更改(仅对当前python会话,下一次在新的环境中执行时就失效了)

    python 复制代码
    # datasets缓存目录的修改
    from datasets import config
    config.HF_DATASETS_CACHE = 'D:\cache\huggingface\datasets'
    
    # transformers缓存目录得在导入具体的模型时指定
    from transformers import AutoModel
    AutoModel.from_pretrained('bert-base-chinese', cache_dir='D:\cache\huggingface\transformers'
  2. 修改系统环境变量(Windows)

    1. 右键点击"此电脑"或"计算机",选择"属性"。
    2. 点击"高级系统设置"。
    3. 在"系统属性"窗口中,点击"环境变量"按钮。
    4. 在"用户变量"或"系统变量"下点击"新建"按钮。
    5. 对于transformers库, 输入变量名TRANSFORMERS_CACHE 和变量值为新路径 (例如 D:\cache\huggingface\transformers)。
    6. 对于datasets库, 输入变量名HUGGINGFACE_CACHE 和变量值为新路径 (例如 D:\cache\huggingface\datasets)。
    7. 点击"确定"保存。
相关推荐
泓博3 小时前
Android仿写苹果缩放窗口
人工智能·gpt·深度学习
在所不辞兄4 小时前
【人工智能驱动的电催化研究-07】CSV文件、路径与可追溯记录
人工智能·深度学习·神经网络·机器学习·有限元·电化学·电催化
jay神7 小时前
基于 YOLOv8 的传送带异物检测系统(Web 版)
前端·人工智能·深度学习·yolo·计算机视觉·计算机毕业设计
普通人68 小时前
PHP多维数组排序完全指南
开发语言·php·1024程序员节
电科_银尘1 天前
【深度学习项目实战·33】自定义数据集:把自己的图片接入PyTorch
人工智能·pytorch·深度学习
武子康1 天前
单卡 A6000 跑 Qwen-Drive:怎样留下可比较的第一条基线?
linux·人工智能·深度学习
2501_933923251 天前
redis:string类型常见命令
数据库·redis·缓存
黄连木笛1 天前
Redis Insight 汉化教程:Windows / macOS / Linux 设置中文界面(附繁體、教程汉化、关闭自动更新)
数据库·redis·缓存
在所不辞兄1 天前
为什么在新能源汽车电驱与热管理开发中,AI驱动的数字孪生和数据驱动仿真正在部分替代对物理台架与实车标定的依赖?
人工智能·深度学习·神经网络·算法·机器学习
威嵌神州2 天前
嵌入式排故实录:高并发下串口数据“超时丢包”的根因剖析与架构优化
运维·服务器·嵌入式硬件·缓存