【问题解决】关于pip缓存,HUggingface缓存,HUggingface无法正常下载的问题解决

文章目录

  • [1 pip缓存](#1 pip缓存)
    • [1.1 位置](#1.1 位置)
    • [1.2 更改](#1.2 更改)
  • [2 Huggingface的缓存](#2 Huggingface的缓存)
    • [2.1 位置](#2.1 位置)
    • [2.2 更改](#2.2 更改)
      • [2.2.1 方式一](#2.2.1 方式一)
      • [2.2.2 方式二](#2.2.2 方式二)
  • [3 Hhuggingface无法访问下载模型](#3 Hhuggingface无法访问下载模型)

第一个问题

我在安装的pip install torch的时候,出现了C盘磁盘空间不够的问题

但是我的环境明明在E盘啊,给我整不会了!!!

后来发现是因为缓存的问题

感觉理解缓存相关机制可以更好debug~

先来回答缓存在哪里

1 pip缓存

1.1 位置

pip 的安装缓存在哪里

  • Windows 10:C:\Users\username\AppData\Local\pip\Cache
  • macOS:/Users/username/Library/Caches/pip
  • Linux:~/.cache/pip

如果我们想手动清除缓存,可以使用以下命令:

pip cache purge

这个命令会清除所有缓存,包括已下载但未安装的软件包和已安装但未被使用的缓存。

只想清除特定软件包的缓存,可以使用以下命令:

pip cache remove

其中,package-name 是你要清除缓存的软件包的名称。

所以更加理解了pip过程,首先会去缓存找对应包的对应版本,找到则直接用,找不到则从官网下载

这也解释了为什么感觉每次下载好多包之前下过还都需要重新下载,因为版本不一样

1.2 更改

想要更改pip缓存位置,用命令

pip config set global.cache-dir "XXX"

2 Huggingface的缓存

2.1 位置

一般来说HUggingfaceface如果调用from_pretrain什么的就是会先去缓存找,如果找不到的话则去huggingface上面下载

huggingface的缓存在哪里?

  • Linux:'~/.cache/huggingface/hub'

2.2 更改

2.2.1 方式一

可以通过from_pretrained函数中的 cache_dir 参数来指定,但是这样比较麻烦。

如:加载一个bert-base-uncased模型

python 复制代码
from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-uncased",cache_dir="路径")
model = AutoModelForMaskedLM.from_pretrained("google-bert/bert-base-uncased",cache_dir="路径")

2.2.2 方式二

看这里吧,感觉很清晰

不会修改HuggingFace模型下载默认缓存路径?一篇教会你!_huggingface缓存文件转移-CSDN博客

3 Hhuggingface无法访问下载模型

huggingface被墙了

huggingface无法链接,怎么办,可以下载模型到本地目录,然后换目录名,但有些时候不好用,也不能直接放缓存,因为缓存是哈希处理的

所以

用镜像站!!!!

用法

python 复制代码
import os
os.environ['HF_ENDPOINT']='https://hf-mirror.com'

注意要在import transformer库之前用~

我是SB

参考:

Windows下更改pip默认缓存目录的方法_appdata local pip-CSDN博客

【Python】pip安装库时存在缓存(及清除方法)_pip 清除缓存-CSDN博客

相关推荐
CodeWithMe4 小时前
【Note】《深入理解Linux内核》 Chapter 15 :深入理解 Linux 页缓存
linux·spring·缓存
大春儿的试验田6 小时前
高并发收藏功能设计:Redis异步同步与定时补偿机制详解
java·数据库·redis·学习·缓存
likeGhee6 小时前
python缓存装饰器实现方案
开发语言·python·缓存
C182981825756 小时前
OOM电商系统订单缓存泄漏,这是泄漏还是溢出
java·spring·缓存
西岭千秋雪_9 小时前
Redis性能优化
数据库·redis·笔记·学习·缓存·性能优化
en-route10 小时前
HTTP 缓存
网络协议·http·缓存
苦夏木禾1 天前
js请求避免缓存的三种方式
开发语言·javascript·缓存
重庆小透明1 天前
力扣刷题记录【1】146.LRU缓存
java·后端·学习·算法·leetcode·缓存
Java初学者小白1 天前
秋招Day14 - Redis - 应用
java·数据库·redis·缓存
奈斯ing1 天前
【Redis篇】数据库架构演进中Redis缓存的技术必然性—高并发场景下穿透、击穿、雪崩的体系化解决方案
运维·redis·缓存·数据库架构