消息队列

一条泥憨鱼11 天前
java·后端·kafka·消息队列·rabbitmq
【消息队列】ACK确认了什么:消息队列可靠投递的完整链路👋 关于作者你好,这里是一条泥憨鱼 | 专注于 后端开发、AI 前沿技术与计算机基础 。🏠 个人主页:一条泥憨鱼
我不会起名字32214 天前
redis·消息队列·go·stream·pub/sub
Redis 从 0 到 1(十八):List、Pub/Sub、Stream 为什么生产只用 Stream?Go 实操我不会起名字322 · 后端 / 算法 / 数据库📘 技术栈 | 🧩 力扣 Hot100 | 🐹 Go 项目 | 🟥 Redis | 🐬 MySQL
千里达景区票务系统14 天前
kafka·消息队列·rabbitmq·rocketmq
消息队列选型对比:RabbitMQ vs RocketMQ vs Kafka做后端开发的,几乎没有不用消息队列的。解耦、异步、削峰,这三大作用谁都知道。但真到了选型的时候,到底选哪个?RabbitMQ、RocketMQ还是Kafka?
Sayai15 天前
大数据·运维·分布式·flink·kafka·消息队列·高可用
Kafka 跨数据中心日志同步实战:MirrorMaker 2 选型对比 + Flink 中继任务落地(双中心互备与消费者组隔离避坑)做日志平台迟早会遇到一个需求:两个数据中心(或两地三中心的"两地")都要有全量日志。监管审计要求容灾侧数据完整、故障切换时查询不中断、或者干脆是"总行一套、灾备一套"的硬性架构约束——这时候单中心自产自销的 Kafka + Elasticsearch 就不够用了,跨中心的日志同步必须安排上。
IT规划师15 天前
redis·消息队列·.net
Redis 数据类型全解 - List:用对是队列用错是灾难(二)List 是 Redis 里最容易被"想当然地用错"的类型——很多人觉得它不就是个链表嘛,LPUSH+RPOP 就是队列,BRPOP 就是阻塞队列,结果线上踩了阻塞连接不释放、消费者重复消费、大 List 阻塞、阻塞超时丢消息等一连串坑却不知道根因。
螺蛳粉 螺蛳粉18 天前
物联网·zookeeper·kafka·消息队列·parcel·cdh集成·csd
CDH第七篇:CDH 集成 Kafka 实战:CSD + Parcel 组合拳,先装 ZooKeeper 是铁律目录 一、为什么 Kafka 要"外挂"进 CDH 二、集成前必懂:CSD 与 Parcel 的分工 三、4 步完成 Kafka 集成 四、小内存救命调参:Broker 堆改 256M 五、功能验证:建 Topic 收发消息 六、结语与系列预告 一、为什么 Kafka 要"外挂"进 CDH 在物联网架构案例里,海量设备上报数据先打进消息队列削峰,再落存储、进计算。Kafka 是这一层的标准选择。
我不会起名字32222 天前
kafka·消息队列·幂等·排查
Kafka 重复消费:自动提交位点与手动提交的 3 个错位我不会起名字322 · 后端 / 算法 / 数据库📘 技术栈 | 🧩 力扣 Hot100 | 🐹 Go 项目 | 🟥 Redis | 🐬 MySQL
爱好曙光22 天前
消息队列·幂等·ack·jetstream·nats
NATS JetStream 消费者 ack 与重投递:重复消费治理实战团队把 Kafka 换成 NATS JetStream 之后,第一周最常见的事故不是丢消息,而是同一笔订单被下游处理两次。JetStream 默认是至少一次投递。消费者崩溃、ack 超时、Nak 重试,都会让消息再次出现。如果不把 ack 语义和业务幂等绑在一起,重复消费就是必然事件。
我不会起名字32224 天前
kafka·消息队列·顺序·排查
Kafka 顺序消息为什么乱了:分区数变化与重试的 3 类原因我不会起名字322 · 后端 / 算法 / 数据库📘 技术栈 | 🧩 力扣 Hot100 | 🐹 Go 项目 | 🟥 Redis | 🐬 MySQL
Sayai25 天前
大数据·运维·分布式·kafka·消息队列
Kafka 磁盘空间治理实战:retention 保留策略、log.dirs 在线扩容、分区跨盘迁移与不停机整体换盘消息队列 Kafka 用得越久,磁盘水位告警来得越勤:日志类 topic 日增几十 GB、大分区全挤在一块盘上、系统盘被 server.log 慢慢吃光。本文把生产环境沉淀的四类存储治理手段整理成一套完整 SOP——保留策略让数据"删得快"、数据目录扩容让集群"装得下"、分区跨盘迁移让磁盘"搬得平"、整体换盘让硬件"换得走",全部支持滚动操作不停机,附踩坑清单。命令在 Kafka 2.5 与 3.9 集群上均验证过。
张彦峰ZYF1 个月前
后端·kafka·消息队列·rabbitmq·isr·解耦与削峰·丢失与重复
一条消息的丢与重:Kafka 与 RabbitMQ 可靠投递的确认、位点、死信与幂等全链路目录一、消息为什么会丢、也会重(一)一条消息要跨过的三段旅程(二)三种投递语义:不丢与不重为何不可兼得
做个文艺程序员1 个月前
架构·消息队列·wpf·事件驱动架构·ai-native·cqrs
MQ第12篇:AI原生消息架构演进:从MQ到事件驱动的全链路设计摘要:这是「MQ消息队列从入门到AI原生实战」系列的收尾篇。全文以一张知识地图回顾12篇文章的完整脉络,深入事件驱动架构的三大核心模式——Event Sourcing(事件溯源)、CQRS(命令查询职责分离)、Saga(分布式事务编排),梳理消息队列从"系统解耦工具"到"AI原生异步引擎"的三阶段演进路径,并展望MQ + AI + Serverless的融合方向。全文包含知识地图、模式对比表、演进路线图和可运行的Spring Boot代码,适合希望系统掌握MQ技术栈、并跟上AI原生架构趋势的Java开发者
我不会起名字3221 个月前
kafka·消息队列·调优·分区
Kafka 分区数到底设几个:吞吐量、顺序性与 rebalance 代价的取舍我不会起名字322 · 后端 / 算法 / 数据库📘 技术栈 | 🧩 力扣 Hot100 | 🐹 Go 项目 | 🟥 Redis | 🐬 MySQL
我不会起名字3221 个月前
kafka·消息队列·go·sarama
Go 写 Kafka 消费者:sarama 的 3 个坑与优雅退出写法我不会起名字322 · 后端 / 算法 / 数据库📘 技术栈 | 🧩 力扣 Hot100 | 🐹 Go 项目 | 🟥 Redis | 🐬 MySQL
j7~1 个月前
服务器·网络·数据库·消息队列·交换机·交换机数据管理·sqlite回调原理
【仿 RabbitMQ 项目】发布订阅消息队列 (篇八):交换机数据管理模块,分层类设计、SQLite 回调原理与代码实现这节内容我们来实现交换机板块的内容,先大致看一下这个类的组成部分:a. 交换机名称b. 交换机类型c. 是否持久化标志
做个文艺程序员1 个月前
spring·消息队列·activemq·java-activemq·jms
MQ第04篇:ActiveMQ深度解析:JMS规范、Spring JMS整合与企业级异步通信实战摘要:本文系统讲解ActiveMQ的核心架构与JMS规范体系,用“电话交换机”类比帮你理解Connection、Session、Destination的关系,然后通过Spring Boot搭建完整的JMS异步通信链路。全文深度对比Spring JMS与Spring AMQP的设计差异,分析ActiveMQ在金融、保险等传统企业系统中的典型场景,并给出2026年ActiveMQ Classic与Artemis分裂后的选型决策框架。适合需要维护存量ActiveMQ系统或正在评估企业级消息中间件选型的Java开
做个文艺程序员1 个月前
分布式·消息队列·rabbitmq·死信队列·延迟队列
MQ第03篇:RabbitMQ进阶实战:Topic路由+死信队列+延迟消息,SaaS订单超时取消完整方案摘要:上一篇我们用RabbitMQ搭建了“订单创建→库存扣减”的消息链路,但遗留了三个关键问题:消费失败的消息去了哪里?如何实现订单超时自动取消?怎样用Topic交换机实现SaaS多租户的精准路由?本文用死信队列(DLX)解决消息兜底问题,用延迟交换机插件实现30分钟订单超时取消的完整方案,并深入对比TTL+DLX方案中致命的“队头阻塞”问题。全文包含可直接运行的Spring Boot代码和架构图,适合正在生产环境使用RabbitMQ的Java开发者。
吴爃1 个月前
中间件·容量规划·消息队列·sre
小微企业 SRE 稳定性建设(四):消息链路与消费积压上一篇讨论了数据安全与生命周期管理。数据从接收到最终入库,中间往往还经过消息队列和异步消费:设备上报需要解析入库,业务事件需要更新统计,日志需要经过处理后才能检索。