更改huggingface和pytorch的断点的默认下载位置

SiYuanFeng2024-10-12 10:11

更改huggingface和pytorch的断点的默认下载位置

更改huggingface的默认下载位置：
- 方法1：环境变量
- - 通过bash修改环境变量：
  - 通过python修改环境变量：
  - windows修改环境变量
  - [google colab修改环境变量：](#google colab修改环境变量：)
- 方法2：修改from_pretrained函数
更改pytorch断点的默认保存目录
笔者的代码中加了如下语句成功修改运行：
参考网址

更改huggingface的默认下载位置：

更改了默认下载位置，我们就能把本地下载的默认直接放入规定的位置读入了，也能避免默认下载到系统盘但系统盘容量不足的问题。

Ubuntu 系统中 Huggingface 模型等默认的下载位置如下：

py 复制代码

~\.cache\huggingface\hub

方法1：环境变量

通过bash修改环境变量：

py 复制代码

# 打开配置文件
vi ~/.bashrc
# 添加下述变量
export HF_HOME="目标地址"
# 使配置文件生效
source ~/.bashrc

通过python修改环境变量：

py 复制代码

import os
os.environ['HF_HOME'] = '/blabla/cache/'

windows修改环境变量

py 复制代码

set HF_HOME=E:\huggingface_cache

google colab修改环境变量：

py 复制代码

%env HF_HOME=/blabla/cache/

方法2：修改from_pretrained函数

py 复制代码

tokenizer = AutoTokenizer.from_pretrained("roberta-base", cache_dir="new_cache_dir/")

model = AutoModelForMaskedLM.from_pretrained("roberta-base", cache_dir="new_cache_dir/")

更改pytorch断点的默认保存目录

同样和上面类似，这里只举出python代码的解决办法：

py 复制代码

import os
os.environ['TORCH_HOME']=r"/root/autodl-tmp/torch-model"  #更改pytorch断点的默认保存目录

笔者的代码中加了如下语句成功修改运行：

py 复制代码

import os
os.environ['TORCH_HOME']=r"/root/autodl-tmp/torch-model"  #更改pytorch断点的默认保存目录
os.environ['TRANSFORMERS_CACHE'] = r'/root/autodl-tmp/huggingface'    #更改huggingface 的默认保存目录

参考网址

How to change huggingface transformers default cache directory
Huggingface 默认下载位置更改