celery 结合 rabbitmq 使用时,celery 消费者执行时间太久发送 ack 消息失败

celery 5.3.6 结合 rabbitmq 使用时,celery 消费者执行时间超过 30 分钟,执行完成后向 rabbitmq 发起确认消费完成的 ack 消息时,提示 Connection reset by peer,rabbitmq 客户端连接已经断开了,这会导致同一个执行时间比较久的任务不断重复消费而且每次都无法成功发送 ack 消息。

这种情况下,添加对执行结果的 redis 缓存,每次执行消费任务时先检查结果是否已经存在(由唯一键来确定是同一个任务),每次执行完消费任务将结果添加进 redis 缓存再发送 ack 消息,这样来避开同一个执行时间比较久的任务不断重复消费。

相关推荐
Smoothcloud润云4 小时前
PyTorch大模型权重加载与启动耗时优化实战:定位磁盘、内存与显存瓶颈
人工智能·pytorch·python·深度学习·gpu算力
databook4 小时前
从循环到向量化:NumPy提速的7个关键思维
python·数据分析·numpy
棉猴5 小时前
玩游戏学Python1-Python和pgzero库的安装
python·pygame·玩游戏·pgzero·pgzrun
诺伦5 小时前
GEO优化数据实证:78%引用流向官网的机制拆解与小品牌三步管线实战教程 | RiseClaw玄策
python·seo·geo·内容营销·ai搜索
oooost5 小时前
pytorch学习笔记1
python·学习方法
数字融合6 小时前
透明化视频孪生虚实映射一体化融合技术
人工智能·python·数码相机
jack186896 小时前
Lovable.Dev 全栈应用快速落地实战指南
python
此时不提桶,更待何时6 小时前
06-23-A-RabbitMQ生态集成详解
分布式·rabbitmq
华研前沿标杆游学6 小时前
【标杆研学】走进茅台集团|对标学习长期主义与匠心精神
python
GitFun7 小时前
KDJ vs RSI:11年数据实测,金叉死叉输了48个点
python·股票·量化交易