更改huggingface和pytorch的断点的默认下载位置

更改huggingface和pytorch的断点的默认下载位置

更改huggingface的默认下载位置:

更改了默认下载位置,我们就能把本地下载的默认直接放入规定的位置读入了,也能避免默认下载到系统盘但系统盘容量不足的问题。

Ubuntu 系统中 Huggingface 模型等默认的下载位置如下:

py 复制代码
~\.cache\huggingface\hub

方法1:环境变量

通过bash修改环境变量:

py 复制代码
# 打开配置文件
vi ~/.bashrc
# 添加下述变量
export HF_HOME="目标地址"
# 使配置文件生效
source ~/.bashrc

通过python修改环境变量:

py 复制代码
import os
os.environ['HF_HOME'] = '/blabla/cache/'

windows修改环境变量

py 复制代码
set HF_HOME=E:\huggingface_cache

google colab修改环境变量:

py 复制代码
%env HF_HOME=/blabla/cache/

方法2:修改from_pretrained函数

py 复制代码
tokenizer = AutoTokenizer.from_pretrained("roberta-base", cache_dir="new_cache_dir/")

model = AutoModelForMaskedLM.from_pretrained("roberta-base", cache_dir="new_cache_dir/")

更改pytorch断点的默认保存目录

同样和上面类似,这里只举出python代码的解决办法:

py 复制代码
import os
os.environ['TORCH_HOME']=r"/root/autodl-tmp/torch-model"  #更改pytorch断点的默认保存目录

笔者的代码中加了如下语句成功修改运行:

py 复制代码
import os
os.environ['TORCH_HOME']=r"/root/autodl-tmp/torch-model"  #更改pytorch断点的默认保存目录
os.environ['TRANSFORMERS_CACHE'] = r'/root/autodl-tmp/huggingface'    #更改huggingface 的默认保存目录

参考网址

How to change huggingface transformers default cache directory
Huggingface 默认下载位置更改

相关推荐
芯盾时代40 分钟前
安全大模型智驱网络和数据安全效能跃迁
网络·人工智能·安全·网络安全
彩讯股份3006341 小时前
打造多模态交互新范式|彩讯股份中标2025年中国移动和留言平台AI智能体研发项目
人工智能
思通数科大数据舆情2 小时前
工业安全零事故的智能守护者:一体化AI智能安防平台
人工智能·安全·目标检测·计算机视觉·目标跟踪·数据挖掘·知识图谱
AI360labs_atyun2 小时前
2025 高考:AI 都在哪些地方发挥了作用
人工智能·科技·ai·高考
Yxh181377845543 小时前
短视频矩阵系统技术saas源头6年开发构架
人工智能·矩阵
m0_634448894 小时前
图上合成:用于大型语言模型持续预训练的知识合成数据生成
人工智能·语言模型·自然语言处理
亚林瓜子4 小时前
AWS中国云的定时任务(AWS EventBridge+AWS Lambda)
python·云计算·aws·lambda·定时任务·event·cron
摆渡搜不到你4 小时前
某腾X视频下载器2.1
python·音视频
科雷软件测试4 小时前
Python格式化:让数据输出更优雅
python
非小号4 小时前
多模态分类案例实现
python·分类·数据挖掘