更改huggingface和pytorch的断点的默认下载位置

更改huggingface和pytorch的断点的默认下载位置

更改huggingface的默认下载位置:

更改了默认下载位置,我们就能把本地下载的默认直接放入规定的位置读入了,也能避免默认下载到系统盘但系统盘容量不足的问题。

Ubuntu 系统中 Huggingface 模型等默认的下载位置如下:

py 复制代码
~\.cache\huggingface\hub

方法1:环境变量

通过bash修改环境变量:

py 复制代码
# 打开配置文件
vi ~/.bashrc
# 添加下述变量
export HF_HOME="目标地址"
# 使配置文件生效
source ~/.bashrc

通过python修改环境变量:

py 复制代码
import os
os.environ['HF_HOME'] = '/blabla/cache/'

windows修改环境变量

py 复制代码
set HF_HOME=E:\huggingface_cache

google colab修改环境变量:

py 复制代码
%env HF_HOME=/blabla/cache/

方法2:修改from_pretrained函数

py 复制代码
tokenizer = AutoTokenizer.from_pretrained("roberta-base", cache_dir="new_cache_dir/")

model = AutoModelForMaskedLM.from_pretrained("roberta-base", cache_dir="new_cache_dir/")

更改pytorch断点的默认保存目录

同样和上面类似,这里只举出python代码的解决办法:

py 复制代码
import os
os.environ['TORCH_HOME']=r"/root/autodl-tmp/torch-model"  #更改pytorch断点的默认保存目录

笔者的代码中加了如下语句成功修改运行:

py 复制代码
import os
os.environ['TORCH_HOME']=r"/root/autodl-tmp/torch-model"  #更改pytorch断点的默认保存目录
os.environ['TRANSFORMERS_CACHE'] = r'/root/autodl-tmp/huggingface'    #更改huggingface 的默认保存目录

参考网址

How to change huggingface transformers default cache directory
Huggingface 默认下载位置更改

相关推荐
罗西的思考5 分钟前
【轻量化复现大模型 / KIMI K3】训练模块梳理 & Muon P2P 优化器
人工智能·深度学习·机器学习
lilihuigz12 分钟前
权限配置:WordPress 7.2 Abilities API 权限、输入验证与 JSON 输出指南
人工智能
杨凯凡18 分钟前
IT日报|2026-11-20:欧盟 AI 网络攻击、Valkey 9.2、GitHub 企业迁移
人工智能·github
JonaHu29 分钟前
关键词排名突然消失?用 Python、SQLite 和 SERP API 搭一套可解释的 SEO 监控
python·sqlite·seo·serp api
鲁邦通物联网1 小时前
机器人梯控到站状态机设计:楼层匹配、事件时序与任务判断
人工智能·机器人·机器人梯控·agv梯控·非侵入式采集·机器人乘梯·机器人自主乘梯
静水深码1 小时前
文生图提示词的工程师写法:把玄学话术拆成结构化模板
人工智能·后端·代码规范
Seiran1 小时前
Claude Fable 5.1写技术方案,ZEEKEAI提效实录
人工智能
prince_zxill1 小时前
把 17 个散文件装进一个文件夹:拆解 claude-plugins-official 的插件打包术(47,413 Star 实测)
python·github·agent·mcp·claude code
JonaHu1 小时前
GPT Image 2.6 多语言海报改版:保留商品细节,分离文案与图像验收
图像处理·人工智能·aigc
少司府1 小时前
嵌入式外设篇(三)GPIO·三:MCU系统结构、总线与统一编制
linux·python·stm32·单片机·嵌入式硬件·mcu·嵌入式软件