Mosquitto 持久化消息积压导致网关内存耗尽的排查

一次 Mosquitto 持久化消息积压导致网关内存耗尽的排查

背景

某 Orange Pi Zigbee 网关运行一段时间后出现内存紧张。etah-mqtt 服务已经停止,但网关依然卡顿,无法通过停止业务服务恢复内存。

本文记录这次问题的定位过程、根因和最终处理方式。

现象

执行 top 时,网关总内存约 1 GB,可用内存仅约 51 MB,Swap 约 500 MB 几乎耗尽:

text 复制代码
KiB Mem : 1023516 total, 36116 free, 942140 used, 45260 buff/cache
KiB Swap: 511756 total, 32 free, 511724 used, 52392 avail Mem

按 RSS 排序进程后,发现问题不在 etah-mqtt,而在 MQTT Broker:

bash 复制代码
ps -eo pid,ppid,user,comm,rss,vsz,%mem --sort=-rss | head -20
text 复制代码
PID  USER       COMMAND      RSS      %MEM
769  mosquitto  mosquitto    702140   68.6

mosquitto 单进程占用约 686 MB 内存,是 Swap 被耗尽的直接原因。

定位过程

先重启 Mosquitto:

bash 复制代码
systemctl restart mosquitto
free -h

重启后可用内存恢复到约 678 MB,Swap 使用量也从约 500 MB 降至约 14 MB。 这确认了内存压力来自 Mosquitto,而不是系统缓存或 etah-mqtt 残留进程。

继续检查持久化文件:

bash 复制代码
ls -lh /var/lib/mosquitto/mosquitto.db

结果如下:

text 复制代码
-rw------- 1 mosquitto mosquitto 921M mosquitto.db

根因

Mosquitto 开启了持久化:

conf 复制代码
persistence true
persistence_location /var/lib/mosquitto/

mosquitto.db 会保存持久客户端会话、离线 QoS 消息和 Retain 保留消息。 数据库增长到约 921 MB 后,Mosquitto 在运行或重启加载数据时占用了大量内存, 最终导致网关物理内存和 Swap 耗尽。

网关还配置了同一主题的双向 QoS 1 桥接:

conf 复制代码
topic zigbee2mqtt/# out 1
topic zigbee2mqtt/# in  1

该配置本身不必然导致问题,但在上游不可用、客户端离线、消息高频或桥接消息回流时, 会增加 QoS 消息积压和持久化数据增长的风险。

最终处理

1. 清除历史持久化数据库

停止 Mosquitto 后直接清除旧数据库,再启动服务:

bash 复制代码
systemctl stop mosquitto
rm -f /var/lib/mosquitto/mosquitto.db
systemctl start mosquitto

该操作会清除以下历史数据:

  • Retain 保留消息;
  • 持久客户端会话;
  • 等待离线客户端接收的 QoS 消息。

生产环境更推荐先移动文件而非直接删除,确认业务正常后再清理备份:

bash 复制代码
systemctl stop mosquitto
mv /var/lib/mosquitto/mosquitto.db \
  /var/lib/mosquitto/mosquitto.db.bak-$(date +%F-%H%M%S)
systemctl start mosquitto

2. 保留持久化并增加保护限制

不建议仅为避免文件增长而关闭持久化。对于设备离线后仍需补发 QoS 消息、保留 设备最后状态或恢复客户端会话的场景,persistence true 仍然有必要。

本次在 Mosquitto 配置中加入以下两项:

conf 复制代码
max_queued_messages 50
message_size_limit 262144
  • max_queued_messages 50:每个客户端最多积压 50 条 QoS 消息。
  • message_size_limit 262144:限制单条 MQTT 消息最大为 256 KB。

修改后重启并确认服务正常:

bash 复制代码
systemctl restart mosquitto
systemctl status mosquitto --no-pager

后续建议

  1. 定期监控持久化数据库和 Broker 内存:

    bash 复制代码
    du -h /var/lib/mosquitto/mosquitto.db
    ps -eo pid,user,comm,rss,%mem --sort=-rss | head -10
    free -h
  2. 若数据库再次快速增长,优先检查离线客户端、上游桥接状态、Retain 消息数量和 zigbee2mqtt/# 双向桥接是否存在不必要的全量同步。

  3. Mosquitto 当前版本为 1.4.15,建议在维护窗口升级到受支持版本,以获得更完善的 队列治理和安全修复。

  4. MQTT 连接密码不应写入技术文档、截图或日志;如曾暴露,应立即在服务端更换并同步 更新网关配置。

总结

本次问题并非普通的 Linux 缓存占用,而是 Mosquitto 持久化数据库过大,导致 Broker 占用大量物理内存和 Swap。短期通过重启释放内存,最终通过清除历史数据库并限制每个 客户端的队列数量、单条消息大小恢复稳定。持久化可以保留,但需要持续限制积压来源并 监控数据库增长。

相关推荐
木头左2 小时前
【浏览器自动化】用 CDP 接管本机 Chrome:从一个宿主迁到另一个宿主的设计与踩坑
node.js·浏览器自动化·cdp·技能化·踩坑实践
cpolar技术支持18 小时前
把 agent-autoloop 装在 Mac 上:用本机 Node 实跑一次「接活—提问—拍板—接着干」,再用 cpolar 把它的状态页开给不在工位的自己
node.js·内网穿透·cpolar·ai agent·agent-autoloop
SEO_juper1 天前
Node.js 全站 SEO 体检报告生成器:一次查完标题、描述、canonical、H1、图片
开发语言·前端·node.js·html·bash
木头左2 天前
【Node.js】Markdown 转带图片 Word 文档实战:docx 库转换器设计与 5 个踩坑
node.js·word·markdown·文档自动化
思特奇时空智能2 天前
大规模点要素地图渲染性能优化实践
vue.js·arcgis·性能优化·node.js·html·gis·webgl
w3296362714 天前
飞书接单到月度结算:我用一个 DSH 插件跑通鞋类采购 WMS,附 22 项验收
pdf·node.js·飞书·后端开发·ai agent
濮水大叔5 天前
Cabloy/Vona 为什么不需要 NestJS 的 Dynamic Module
typescript·node.js·nestjs
匠云创新5 天前
读完一万段要两分钟:我们把标书读取从 WPS 对象模型搬到了 docx 解析
性能优化·node.js
某哈压力大5 天前
SSH 突然 Connection reset?不是密钥坏了,是 OpenSSL 把 sshd 干趴了
前端·node.js·命令行
回眸&啤酒鸭5 天前
【回眸】Node.js 新手从零到一实战指南
node.js