服务器根目录爆满导致 PyTorch 安装失败(Errno 28 No space left on device)

1. 问题背景

在远程 Linux 服务器上通过 pip 安装 PyTorch 时,安装过程突然中断并报错,安装其他的包都没有问题。观察发现下载时中断,pytorch包确实挺大的。

虽然数据盘(如 /data)有充足的剩余空间(1.0T+),但 MobaXterm 右下角监控显示磁盘使用率已达 97% ,一旦开始安装大型包,使用率瞬间飙升至 100% 并报错。

2. 报错信息

核心错误为 OSError: [Errno 28] No space left on device,具体堆栈如下:

复制代码
Exception ignored in: <function _TemporaryFileCloser.__del__ ...>
...
OSError: [Errno 28] No space left on device
ERROR: Exception:
Traceback (most recent call last):
  ...
  File ".../pip/_vendor/urllib3/response.py", line 455, in _error_catcher
    raise ProtocolError("Connection broken: %r" % e, e)
pip._vendor.urllib3.exceptions.ProtocolError: ("Connection broken: OSError(28, 'No space left on device')", ...)

3. 原因分析

  1. 分区误解 :服务器的 /data 目录虽然空间大,但它是独立挂载的分区。而用户的家目录(~)、缓存目录(~/.cache)以及系统临时目录(/tmp)通常位于**根分区(/)**下。可能由于服务器的分区策略给家目录分的内存已经爆满,因此无法存入。
  2. 默认行为pip 在安装过程中,会先将巨大的安装包下载到缓存目录,并在 /tmp 下进行解压和编译。PyTorch 包体积巨大,瞬间占满了根分区的剩余空间。
  3. 结果 :根分区(/)被写满,导致无法写入临时文件,从而抛出 Errno 28 错误。

4. 解决方案

通过清理缓存 + 重定向临时目录,将安装过程中的大文件操作指向空间充足的数据盘。

第一步:清理现有缓存(可选但推荐)

先释放一些根分区空间,确保能执行后续命令:

复制代码
rm -rf ~/.cache/pip
rm -rf ~/.cache/conda
# 若有权限且确认安全,可清理系统临时文件
# sudo rm -rf /tmp/* 

第二步:创建数据盘缓存目录

在空间充足的 /data 目录下创建专用文件夹:

复制代码
mkdir -p /data/你的用户名/pip_cache
mkdir -p /data/你的用户名/tmp

第三步:设置环境变量并安装(关键步骤)

利用 export TMPDIR 指定临时解压路径,配合 pip--cache-dir 参数,双管齐下避开根目录限制。

执行命令:

复制代码
# 1. 导出临时目录变量到数据盘
export TMPDIR=/data/你的用户名/tmp

# 2. 执行安装,指定缓存目录到数据盘
pip install torch==x.x.x torchvision==x.x.x --cache-dir=/data/你的用户名/pip_cache

注意 :请根据实际需要的 PyTorch 版本和 CUDA 版本调整 pip install 后的参数。

5. 后续处理与注意事项

  1. 恢复环境变量

    安装完成后,建议取消 TMPDIR 的设置,以免干扰其他依赖默认 /tmp(通常是内存盘,速度更快)的程序运行。

    • 方法一:直接关闭当前终端窗口,重新登录。
    • 方法二:在当前窗口执行 unset TMPDIRexport TMPDIR=/tmp
  2. 为何这样做有效?

    • --cache-dir:告诉 pip 把下载的安装包存在数据盘,不占根目录。
    • TMPDIR:告诉 Python 和系统工具,在解压、编译时的临时文件也存放在数据盘,防止 /tmp 爆满。
  3. 适用场景

    此方法不仅适用于安装 PyTorch,也适用于安装任何体积巨大、容易撑爆根目录的 Python 库或进行大型编译任务。

相关推荐
2301_7807896613 小时前
DDoS 攻击溯源:DNS 水印标记 + 区块链存证的双保险
运维·服务器·网络·云原生·ddos
手写码匠15 小时前
华为云Flexus+DeepSeek征文|Dify 多智能体协同编排实战:R1 规划 + V3 执行,构建企业 Agent 团队
人工智能·深度学习·算法·aigc
Lee_jerome17 小时前
python神经网络编程入门(二十五)——IMDB 数据集预处理与词汇表构建
rnn·深度学习·词频统计·文本预处理·imdb数据集·词表构建·nlp入门
指尖的爷17 小时前
RKNN转化环境搭建(rknn_toolkit2新版本)
嵌入式硬件·深度学习·物联网·目标检测
我命由我1234519 小时前
匈牙利命名法
java·服务器·后端·学习·java-ee·kotlin·学习方法
小田的博客19 小时前
SAP MM 供应商银行主数据更新报错!message R1228!
android·java·服务器
牢姐与蒯19 小时前
Linux基本指令及知识点(二)
linux·运维·服务器
去伪存真202519 小时前
数字样机、态势推演与3D汇报场景下的平台选型对比
运维·服务器
HyperAI超神经19 小时前
在线教程|ProteinGym 第一名!VenusREM 用「检索增强」预测蛋白突变影响,加速蛋白质设计
人工智能·深度学习·生物信息学·大模型推理·生物医学
一碗白开水一21 小时前
入门实践工程四:基于 PyTorch 的手写数字识别(MNIST 图像分类)|附:环境依赖环境及工程源码
人工智能·pytorch·分类