更改huggingface和pytorch的断点的默认下载位置

更改huggingface和pytorch的断点的默认下载位置

更改huggingface的默认下载位置:

更改了默认下载位置,我们就能把本地下载的默认直接放入规定的位置读入了,也能避免默认下载到系统盘但系统盘容量不足的问题。

Ubuntu 系统中 Huggingface 模型等默认的下载位置如下:

py 复制代码
~\.cache\huggingface\hub

方法1:环境变量

通过bash修改环境变量:

py 复制代码
# 打开配置文件
vi ~/.bashrc
# 添加下述变量
export HF_HOME="目标地址"
# 使配置文件生效
source ~/.bashrc

通过python修改环境变量:

py 复制代码
import os
os.environ['HF_HOME'] = '/blabla/cache/'

windows修改环境变量

py 复制代码
set HF_HOME=E:\huggingface_cache

google colab修改环境变量:

py 复制代码
%env HF_HOME=/blabla/cache/

方法2:修改from_pretrained函数

py 复制代码
tokenizer = AutoTokenizer.from_pretrained("roberta-base", cache_dir="new_cache_dir/")

model = AutoModelForMaskedLM.from_pretrained("roberta-base", cache_dir="new_cache_dir/")

更改pytorch断点的默认保存目录

同样和上面类似,这里只举出python代码的解决办法:

py 复制代码
import os
os.environ['TORCH_HOME']=r"/root/autodl-tmp/torch-model"  #更改pytorch断点的默认保存目录

笔者的代码中加了如下语句成功修改运行:

py 复制代码
import os
os.environ['TORCH_HOME']=r"/root/autodl-tmp/torch-model"  #更改pytorch断点的默认保存目录
os.environ['TRANSFORMERS_CACHE'] = r'/root/autodl-tmp/huggingface'    #更改huggingface 的默认保存目录

参考网址

How to change huggingface transformers default cache directory
Huggingface 默认下载位置更改

相关推荐
jndingxin5 分钟前
OpenCV 图形API(10)用于执行标量除以矩阵的逐元素操作函数divRC()
人工智能·opencv
莓事哒7 分钟前
selenium和pytessarct提取古诗文网的验证码(python爬虫)
爬虫·python·selenium·测试工具·pycharm
www_pp_14 分钟前
图像处理中的高斯金字塔与直方图分析
图像处理·人工智能
sauTCc34 分钟前
N元语言模型的时间和空间复杂度计算
人工智能·语言模型·自然语言处理
q5673152338 分钟前
使用puppeteer库编写的爬虫程序
爬虫·python·网络协议·http
fantasy_arch42 分钟前
深度学习--softmax回归
人工智能·深度学习·回归
mosquito_lover143 分钟前
Python数据分析与可视化实战
python·数据挖掘·数据分析
eqwaak01 小时前
量子计算与AI音乐——解锁无限可能的音色宇宙
人工智能·爬虫·python·自动化·量子计算
SylviaW081 小时前
python-leetcode 63.搜索二维矩阵
python·leetcode·矩阵
Blossom.1181 小时前
量子计算与经典计算的融合与未来
人工智能·深度学习·机器学习·计算机视觉·量子计算