不能直接 for range channel 拉消息,因为其只检测通道关闭而不等待 worker 完成;主 goroutine 退出会导致正在处理的 worker 被强制终止,引发数据丢失或 panic;必须用 sync.WaitGroup 显式管理生命周期,并配合 context 控制长连接退出。为什么不能直接 for range channel 拉消息就完事因为 RabbitMQ 或 Redis 消费者拉到的消息是流式的,for range 只管"通道关了没",不管"worker 是否还在处理"。主 goroutine 一退出,所有正在 time.Sleep、DB 写入、HTTP 调用的 worker 全被杀掉,日志只打印一半,消息看似"消费了"实则丢了。常见错误现象:Worker 2 processing task 7: data-7 打到一半程序静默退出;或者 panic: send on closed channel 来自某个 worker 想写结果回 channel 时发现已被关闭。必须用 sync.WaitGroup 显式计数:每个 worker 启动前 wg.Add(1),结束前 defer wg.Done()生产者(比如 RabbitMQ 的 msgs 接收循环)负责单点 close(ch),消费者只读,绝不关若消费者是长连接(如监听 Kafka topic),就不能依赖 close,得换 context.Context 控制退出batchProcessor 怎么写才不丢数据、不爆内存批量处理的核心不是"攒够 N 条就发",而是"要么全成功,要么全重试",否则 ES 写一半失败、MySQL 插一半回滚,状态就撕裂了。Golang 里最稳的方式是让每个 batch 在单个 goroutine 内串行执行,天然避免锁竞争。使用场景:RabbitMQ 消费后批量写 Elasticsearch、Redis Stream 消费后批量更新缓存、Kafka 消息聚合后触发风控规则。立即学习"go语言免费学习笔记(深入)";BatchSize 别硬设成 100 ------ 实际要看下游吞吐:ES bulk 推荐 5--20MB / request,换算下来常是 500--2000 条/批;MySQL 批量 INSERT 则建议 ≤ 1000 行超时控制必须用 time.Timer,别用 time.After:后者在 select 循环里会持续创建新 timer,导致 goroutine 和内存泄露每批处理完要手动 Ack(RabbitMQ)或 XAck(Redis Stream),不能靠自动确认------否则处理失败时消息已丢prefetch count 和 Workers 数怎么配才不堆积RabbitMQ 的 prefetch count 和 Golang 里的 Workers 数量不是一回事,但协同不好就会一边疯狂积压 Ready 消息,一边 Unacked 卡死一堆。 Tellers AI Tellers是一款自动视频编辑工具,可以将文本、文章或故事转换为视频。
相关推荐
小Ti客栈1 小时前
MySQL 常用函数速查(完整篇)TomEval2 小时前
【测AI】第26篇:线上模型监控与告警体系 — 测试不是终点隔窗听雨眠2 小时前
高可用不止于数据库的全栈工程实践prince_zxill2 小时前
PEP 751 pylock.toml 实测:pip 26.3 装 6 个包版本全钉死,但 [web] 选不中任何东西Thanks_ks4 小时前
Python 的垃圾回收——引用计数撑起日常,分代回收收拾残局CyrusYiVPP4 小时前
实测 uv 0.13.7:同一套包,pip 装 94 秒,它只用 19 秒nice_lcj5204 小时前
MySQL 主从复制与读写分离:从库怎么跟着主库走yiangL_4 小时前
Python 学习笔记:递归、turtle绘图、字符串与函数tianyuanwo5 小时前
PostgreSQL 部署运维实战总结:从安装踩坑到生产可用