写个管道就被 BrokenPipeError 打爆？先看 CPython 把 SIGPIPE 藏哪了

TL;DR

Celery 4.0.2 升级后 worker 集体报 BrokenPipeError: [Errno 32] Broken pipe，每几秒断连重连一次，最终把 RabbitMQ 最大连接数打爆。这个报错不是 Celery 的锅，也不是你的业务代码问题------它是 CPython 解释器把 SIGPIPE 信号改成忽略后，写入已关闭 socket 的错误从「进程被静默杀死」变成「可捕获的 BrokenPipeError 异常」 的必然结果。理解这条链路：signalmodule.c 忽略 SIGPIPE → write() 返回 -1/EPIPE → errors.c 转 OSError → exceptions.c errnomap 映射为 BrokenPipeError，才能设计出正确的重连策略。

一、真实事故现场：Couldn't ack, reason: BrokenPipeError(32, 'Broken pipe')

celery/celery#3773（2017-01-19 提交，47 👍，93 评论，至今 open）报告了一个典型生产事故。升级 Celery 4.0.2 后，worker 日志开始刷这条 CRITICAL：

[2017-01-19 04:07:57,411: CRITICAL/MainProcess] Couldn't ack 461, reason:BrokenPipeError(32, 'Broken pipe')
Traceback (most recent call last):
  File ".../kombu/message.py", line 130, in ack_log_error
    self.ack(multiple=multiple)
  File ".../kombu/message.py", line 125, in ack
    self.channel.basic_ack(self.delivery_tag, multiple=multiple)
  File ".../amqp/channel.py", line 1408, in basic_ack
    spec.Basic.Ack, argsig, (delivery_tag, multiple),
  File ".../amqp/abstract_channel.py", line 64, in send_method
    conn.frame_writer(1, self.channel_id, sig, args, content)
  File ".../amqp/method_framing.py", line 174, in write_frame
    write(view[:offset])
  File ".../amqp/transport.py", line 269, in write
    self._write(s)
BrokenPipeError: [Errno 32] Broken pipe

事故的核心危害在 issue 描述里一句话点破："This causes the worker to reset it's connection to RabbitMQ every few seconds, and sometimes leads to hitting the max connection limit allowed on the RabbitMQ server."------worker 每几秒断连重连，直到打爆 RabbitMQ 最大连接数，整个消息系统雪崩。

注意这个 traceback 的形态：它不是业务代码抛的，是 kombu 在给 RabbitMQ 发送 AMQP 回执（basic_ack）时，底层的 self._write(s) 写 socket 失败。写失败发生在 Celery 框架内部的消息确认路径上------这解释了为什么「看起来什么都没干就崩」。

二、CPython C 层机制链：为什么 Python 会抛 BrokenPipeError 而不是被 SIGPIPE 杀死

在写任何 Python 排障文之前，先建立一个 Unix 常识：当进程向一个「读端已关闭」的管道/socket 写入时，操作系统默认会向进程发送 SIGPIPE 信号，进程默认行为是直接终止。

如果你在 shell 里跑 yes | head -1，yes 进程不会抛什么 BrokenPipeError------它直接被 SIGPIPE 杀掉了（shell 显示 yes: standard output: Broken pipe 是 yes 自己处理的结果，不是信号杀之前打的）。那为什么 Python 程序收到的是异常而不是死亡？

2.1 第一层：signalmodule.c------解释器启动时把 SIGPIPE 设为忽略

看 CPython 3.13 源码 Modules/signalmodule.c 的 signal_install_handlers()：

// Modules/signalmodule.c，约 1910 行
static int
signal_install_handlers(void)
{
    ...
#ifdef SIGPIPE
    PyOS_setsig(SIGPIPE, SIG_IGN);   // ← 关键：SIGPIPE 被设为忽略
#endif
#ifdef SIGXFZ
    PyOS_setsig(SIGXFZ, SIG_IGN);
#endif
#ifdef SIGXFSZ
    PyOS_setsig(SIGXFSZ, SIG_IGN);
#endif

CPython 解释器在启动时就主动把 SIGPIPE 设置为 SIG_IGN（忽略）。设计意图：Python 程序员不该因为「管道下游关了」就被静默杀死------他们应该收到一个能捕获、能处理的 Python 异常。

但忽略信号有副作用：write() 系统调用不再被信号打断返回成功，而是直接返回 -1，errno 设为 EPIPE（32）。异常从「进程死」变成了「系统调用失败」。

2.2 第二层：errors.c------PyErr_SetFromErrno 把 errno 包成 OSError

socket 层代码（Modules/socketmodule.c 的 set_error）检测到 write 返回 -1 且 errno=EPIPE 后，调用 PyErr_SetFromErrno(PyExc_OSError)。

看 CPython 3.13 Python/errors.c：

// Python/errors.c，约 905 行
PyObject *
PyErr_SetFromErrno(PyObject *exc)
{
    return PyErr_SetFromErrnoWithFilenameObjects(exc, NULL, NULL);
}

它会取当前 errno 值、查 strerror(errno) 得到 "Broken pipe" 消息文本，构造一个 OSError 实例。到此为止异常类型还是笼统的 OSError ------真正变成 BrokenPipeError 在下一层。

2.3 第三层：exceptions.c------errnomap 把 errno 映射成具体子类

CPython 的 OSError 在 __new__ 里会查一张 errno → 异常子类的映射表。看 Objects/exceptions.c：

// Objects/exceptions.c，约 1867 行
if (state->errnomap && (PyObject *)type == PyExc_OSError) {
    ...
    newtype = PyDict_GetItemWithError(state->errnomap, myerrno);
    // myerrno=32 → 查到 BrokenPipeError

这张表在建表时注册：

// Objects/exceptions.c，约 3733 行
ADD_ERRNO(BrokenPipeError, EPIPE);
ADD_ERRNO(BrokenPipeError, ESHUTDOWN);

ADD_ERRNO 宏（约 3715 行）把 EPIPE 这个 errno 值关联到 BrokenPipeError 类型。于是：

write() 返回 -1, errno=EPIPE(32)
  → PyErr_SetFromErrno(OSError)       [Python/errors.c]
  → OSError.__new__ 查 errnomap         [Objects/exceptions.c]
  → errno 32 命中 BrokenPipeError
  → 抛 BrokenPipeError: [Errno 32] Broken pipe

完整链路：signalmodule.c 忽略 SIGPIPE → write 失败返回 EPIPE → errors.c 转 OSError → exceptions.c errnomap 映射成 BrokenPipeError。

三、回到事故：Celery 场景里 BrokenPipeError 为什么反复出现

理解了 C 层机制，再看 celery/celery#3773 的场景就清楚了：

1. 连接已经被服务端断开：RabbitMQ 侧因心跳超时/网络抖动/broker 重启，把空闲连接判定为死连接并关闭。客户端不知道------它以为连接还活着；
2. worker 处理完任务后执行 basic_ack：kombu 把 AMQP 回执帧写入那个「已死」的 socket；
3. write() 返回 EPIPE：因为 CPython 忽略了 SIGPIPE，进程没死，而是抛出 BrokenPipeError；
4. kombu 捕获后重连：每次重连成功又断，每几秒循环一次 → 连接数暴涨 → 打爆 RabbitMQ 的 max connections。

关键认知：BrokenPipeError 是「连接已死」的迟到通知，不是故障本身。 故障在第一次断连时就发生了，BrokenPipeError 只是把「你还在往死连接写数据」这件事暴露出来。所以正确解法不是「消除 BrokenPipeError」（连接断是常态），而是「断连后正确退避、不要疯狂重连打爆 broker」。

Issue 里社区给出的偏方是 broker_heartbeat=0------关掉心跳。这能减少服务端主动断开，但治标不治本：任何一次网络抖动/重启仍会触发同样的重连风暴。正确方向是控制重连频率与退避策略。

3.1 本地实测：复现 BrokenPipeError 只需 10 秒

理解 C 层机制后，用一段小程序就能亲眼看到「忽略 SIGPIPE → 抛 BrokenPipeError」的完整过程（本机 Python 3.12/3.13 实测，输出与下方一致）：

# pipe_test.py：大量写 stdout，模拟生产脚本
import sys, os
try:
    for i in range(200000):
        sys.stdout.write("x" * 100 + "\n")
    sys.stdout.flush()
except BrokenPipeError as e:
    print(f"caught BrokenPipeError: {e}", file=sys.stderr)
    # 防二次报错：把 stdout 重定向到 /dev/null
    devnull = os.open(os.devnull, os.O_WRONLY)
    os.dup2(devnull, sys.stdout.fileno())
    sys.exit(141)

# head -1 读够 1 行就退出并关闭管道读端
python3 pipe_test.py | head -1

实测输出（stderr）：

xxxxxxxxxxxxxxxxxxxxxxxxxxxxx      ← head -1 输出第一行后退出
caught BrokenPipeError: [Errno 32] Broken pipe    ← 写端收到 EPIPE

对照实验 ：把 sys.stdout.write 换成同样代码但用 shell 跑 yes | head -1------yes 进程不会打印任何 Python 异常，它直接被 SIGPIPE 杀掉（shell 会提示）。同一个 EPIPE，C 程序默认死亡，Python 程序抛异常------差别就在 signalmodule.c 那一行 PyOS_setsig(SIGPIPE, SIG_IGN)。

四、五种生产级触发场景

场景 1：Celery/MQ 长连接被服务端断开后疯狂重连（本事故原场景）

❌ 错误做法：默认重连逻辑不设退避，断连后立即重连 → 打爆 broker 连接数。

✅ 正确做法：配置退避策略，例如 Celery broker_connection_max_retries + 自定义延迟，或重连失败指数退避（1s→2s→4s→...→上限）。同时给 worker 配 heartbeat 让双方及时发现死连接。

场景 2：命令行管道------脚本 stdout 接到提前退出的进程

python3 huge_log_processor.py | head -5

head 读够 5 行就退出并关闭管道读端，此时 python 进程继续写 stdout → EPIPE → BrokenPipeError。如果没有捕获，Python 会在 flush 时抛异常并打印 traceback（Exception ignored in: <_io.TextIOWrapper ...>）。

✅ 正确做法（脚本主动处理）：

import sys, os, signal

def main():
    # 你的逻辑，逐行输出
    for line in generate():
        print(line)
        sys.stdout.flush()   # flush 时可能抛 BrokenPipeError

if __name__ == "__main__":
    try:
        main()
    except BrokenPipeError:
        # 下游 head/awk 已退出，正常收场：把 stdout 指向 /dev/null 防二次报错
        devnull = os.open(os.devnull, os.O_WRONLY)
        os.dup2(devnull, sys.stdout.fileno())
        sys.exit(141)   # 128+13(SIGPIPE)，与 shell 惯例一致

场景 3：subprocess 向提前退出/已关闭 stdin 的子进程写数据

proc = subprocess.Popen(["head", "-1"], stdin=subprocess.PIPE, stdout=subprocess.PIPE)
proc.stdin.write(b"a\n")       # 正常
# 若子进程提前退出、stdin 管道读端已关：
proc.stdin.write(b"long data")  # → BrokenPipeError

✅ 正确做法：捕获 BrokenPipeError 并把子进程当作「已结束」处理；写大输出用 communicate() 而不是手动循环写。

场景 4：长连接池复用已被 RST 的 socket

数据库/缓存/MQ 客户端把连接放回池子后，对端因空闲回收已关闭（keep-alive 超时），池中复用时发送大报文 → 写失败。典型表现：BrokenPipeError 出现在「看起来运行很久的连接」上。

✅ 正确做法：连接池健康检查 + 发送前探测；捕获 BrokenPipeError 后丢弃该连接重建，不要复用。

场景 5：多进程/日志管道------父进程读端被回收

multiprocessing.Pipe、日志采集管道中，父进程崩溃或退出，子进程继续 write → BrokenPipeError。常见于 daemon 子进程往已死的父进程管道汇报。

✅ 正确做法：子进程捕获 BrokenPipeError 后主动退出或降级为写文件；监控父进程存活状态。

五、排障流程：遇到 BrokenPipeError 按这个顺序查

#	检查项	方法	判定
1	是「连接类」还是「管道类」场景	看 traceback 里写的是 socket/AMQP 还是 stdout/Popen	决定走 MQ 重连排查还是管道处理
2	连接是否早已断开	查 broker/对端日志心跳超时、ss -tnp 看连接状态	已断 → 问题在断连检测，不在 write
3	重连是否有退避	看客户端重连配置	无退避 → 打爆连接的根因
4	是 stdout 管道场景	是否被 head/awk/grep -q 消费	是 → 场景 2 的处理方式
5	连接池是否复用死连接	查 keep-alive 与池健康检查	复用 → 场景 4 的处理方式

核心心法：BrokenPipeError 是「结果」不是「原因」------先找连接是什么时候断的，再处理断连后的行为（重连/退避/收场），而不是盯着 write 本身。

六、常见误区 FAQ

Q1：BrokenPipeError 和 ConnectionResetError 有什么区别？ A：BrokenPipeError 对应 EPIPE------本端写 时发现对端读端已关闭（本地管道或 socket 关闭后残留状态）；ConnectionResetError 对应 ECONNRESET------对端主动 RST（对端进程崩溃/异常关闭）。两者都是 OSError 子类，都是「连接已死」的迟到通知，处理方式相同：丢弃连接、按场景收场。

Q2：为什么有时看到的是 Exception ignored in: <_io.TextIOWrapper...> 而不是 traceback？ A：解释器退出/GC 时自动 flush 缓冲区失败，异常发生在无主上下文，Python 只能打印一行警告。这通常意味着你的业务代码没有主动处理 stdout 写入失败------数据可能已部分丢失但程序「正常退出」了。

Q3：SIGPIPE 被忽略会不会有安全/行为问题？ A：这是 CPython 的刻意设计（C 层也这样做，如 Node.js 默认忽略 SIGPIPE）。代价是所有 Python 进程的管道写入失败都变成异常而不是进程死亡------你需要在自己代码里处理，但对库/框架而言「可捕获」远优于「静默被杀」。不要试图在 Python 里恢复 SIGPIPE 默认行为（signal.signal(SIGPIPE, SIG_DFL) 能改但会让整个进程容易被管道下游杀死，不推荐）。

Q4：为什么这个 issue 2017 年到现在还 open？ A：因为「连接断开后如何优雅重连」本质是应用层策略问题，框架难以给默认值------退避时长、重试上限、是否告警都依赖业务场景。issue 的价值在于它完整记录了症状（每几秒断连重连 → 打爆连接数），正确的重连策略需要你自己在客户端层实现。

六.1 同类家族速查：OSError 子类全谱系

BrokenPipeError 只是 CPython 把 errno 映射为 OSError 子类的家族成员之一。这张表帮你遇到任何 [Errno N] 报错时快速定位到「C 层机制 → 正确姿势」：

异常类	errno	触发场景	本质	正确姿势
BrokenPipeError	EPIPE(32)	写已关闭管道/socket	连接已死的迟到通知	找断连时间点，处理重连/收场
ConnectionResetError	ECONNRESET(104)	对端 RST（进程崩溃/异常关闭）	对端异常	丢弃连接重建，别复用
ConnectionRefusedError	ECONNREFUSED(111)	端口无人监听	服务没起来/地址错	查服务状态与地址
ConnectionAbortedError	ECONNABORTED(103)	连接被本地中止	超时/策略中止	查超时与中间设备
TimeoutError	ETIMEDOUT(110)	建连/读写超时	网络不通/对端慢	查网络与对端负载
FileNotFoundError	ENOENT(2)	文件/路径不存在	路径错/文件没生成	查路径与生成时序
PermissionError	EACCES(13)/EPERM(1)	权限不足	权限/属主/只读	查权限与挂载选项
IsADirectoryError	EISDIR(21)	对目录做文件操作	类型错配	查路径类型
NotADirectoryError	ENOTDIR(20)	路径中间段是文件	类型错配	查路径层级
FileExistsError	EEXIST(17)	创建已存在文件	竞争/未清理	加 exist_ok 或先删

规律 ：所有 [Errno N] 报错都可以用同一套路排查------① 查 errno 含义（python3 -c "import errno; print(errno.errorcode[32])"）；② 判断是「迟到通知」（连接/文件早死了）还是「即时失败」（现在就不通）；③ 迟到通知往前查断点，即时失败查当前状态。

七、写在最后

BrokenPipeError 是 Python 生产环境最常见的「伪故障」：它看起来是错误，实际是系统在告诉你一个更早发生的事实------连接已经死了。排查它的正确姿势是往时间轴前看：连接什么时候断的？为什么没被发现？断后为什么疯狂重连？

三个必须记住的认知：

1. CPython 启动时忽略 SIGPIPE（signalmodule.c），所以管道/socket 写失败不会杀进程，而是变成可捕获的 BrokenPipeError；
2. errno=EPIPE 经过 errors.c + exceptions.c 的 errnomap 映射成 BrokenPipeError，这是 C 层自动完成的，不是 Python 代码抛的；
3. 看到 BrokenPipeError 先问「连接什么时候断的」，再处理断连行为------退避重连、池健康检查、管道场景优雅收场。

排查顺序永远先找断连时间点，再查重连策略，最后才怀疑 write 代码本身。

这套「C 层机制 → 真实事故 → 可复现实验」的排障思路，适用于所有 [Errno N] 报错：先弄清这个 errno 在 CPython 里是怎么从系统调用变成异常的，再回到你的业务场景找断点------多数时候你会发现，错误本身只是冰山一角，真正的故障早就发生了。

原始出处 ：本文事故现场来自 celery/celery Issue #3773（2017-01-19，47 👍、93 评论、open 至今，含完整 traceback 与「打爆 RabbitMQ 最大连接数」影响描述）；CPython 源码引用基于 v3.13.0 官方源码：Modules/signalmodule.c signal_install_handlers()（PyOS_setsig(SIGPIPE, SIG_IGN)）、Python/errors.c PyErr_SetFromErrno()（约 905 行）、Objects/exceptions.c OSError.__new__ errnomap 查找（约 1867 行）与 ADD_ERRNO(BrokenPipeError, EPIPE) 注册（约 3733 行），均经官方源码文件核对。