【问题解决】关于pip缓存,HUggingface缓存,HUggingface无法正常下载的问题解决

文章目录

  • [1 pip缓存](#1 pip缓存)
    • [1.1 位置](#1.1 位置)
    • [1.2 更改](#1.2 更改)
  • [2 Huggingface的缓存](#2 Huggingface的缓存)
    • [2.1 位置](#2.1 位置)
    • [2.2 更改](#2.2 更改)
      • [2.2.1 方式一](#2.2.1 方式一)
      • [2.2.2 方式二](#2.2.2 方式二)
  • [3 Hhuggingface无法访问下载模型](#3 Hhuggingface无法访问下载模型)

第一个问题

我在安装的pip install torch的时候,出现了C盘磁盘空间不够的问题

但是我的环境明明在E盘啊,给我整不会了!!!

后来发现是因为缓存的问题

感觉理解缓存相关机制可以更好debug~

先来回答缓存在哪里

1 pip缓存

1.1 位置

pip 的安装缓存在哪里

  • Windows 10:C:\Users\username\AppData\Local\pip\Cache
  • macOS:/Users/username/Library/Caches/pip
  • Linux:~/.cache/pip

如果我们想手动清除缓存,可以使用以下命令:

pip cache purge

这个命令会清除所有缓存,包括已下载但未安装的软件包和已安装但未被使用的缓存。

只想清除特定软件包的缓存,可以使用以下命令:

pip cache remove

其中,package-name 是你要清除缓存的软件包的名称。

所以更加理解了pip过程,首先会去缓存找对应包的对应版本,找到则直接用,找不到则从官网下载

这也解释了为什么感觉每次下载好多包之前下过还都需要重新下载,因为版本不一样

1.2 更改

想要更改pip缓存位置,用命令

pip config set global.cache-dir "XXX"

2 Huggingface的缓存

2.1 位置

一般来说HUggingfaceface如果调用from_pretrain什么的就是会先去缓存找,如果找不到的话则去huggingface上面下载

huggingface的缓存在哪里?

  • Linux:'~/.cache/huggingface/hub'

2.2 更改

2.2.1 方式一

可以通过from_pretrained函数中的 cache_dir 参数来指定,但是这样比较麻烦。

如:加载一个bert-base-uncased模型

python 复制代码
from transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("google-bert/bert-base-uncased",cache_dir="路径")
model = AutoModelForMaskedLM.from_pretrained("google-bert/bert-base-uncased",cache_dir="路径")

2.2.2 方式二

看这里吧,感觉很清晰

不会修改HuggingFace模型下载默认缓存路径?一篇教会你!_huggingface缓存文件转移-CSDN博客

3 Hhuggingface无法访问下载模型

huggingface被墙了

huggingface无法链接,怎么办,可以下载模型到本地目录,然后换目录名,但有些时候不好用,也不能直接放缓存,因为缓存是哈希处理的

所以

用镜像站!!!!

用法

python 复制代码
import os
os.environ['HF_ENDPOINT']='https://hf-mirror.com'

注意要在import transformer库之前用~

我是SB

参考:

Windows下更改pip默认缓存目录的方法_appdata local pip-CSDN博客

【Python】pip安装库时存在缓存(及清除方法)_pip 清除缓存-CSDN博客

相关推荐
草履虫建模8 小时前
Redis:高性能内存数据库与缓存利器
java·数据库·spring boot·redis·分布式·mysql·缓存
程序猿ZhangSir10 小时前
Redis 缓存进阶篇,缓存真实数据和缓存文件指针最佳实现?如何选择?
数据库·redis·缓存
段帅龙呀18 小时前
Redis构建缓存服务器
服务器·redis·缓存
夜斗小神社1 天前
【黑马点评】(二)缓存
缓存
Hello.Reader2 天前
Redis 延迟监控深度指南
数据库·redis·缓存
Hello.Reader2 天前
Redis 延迟排查与优化全攻略
数据库·redis·缓存
在肯德基吃麻辣烫2 天前
《Redis》缓存与分布式锁
redis·分布式·缓存
先睡3 天前
Redis的缓存击穿和缓存雪崩
redis·spring·缓存
小石潭记丶3 天前
Django服务开发镜像构建
django·sqlite·pip
CodeWithMe3 天前
【Note】《深入理解Linux内核》 Chapter 15 :深入理解 Linux 页缓存
linux·spring·缓存