消息中间件

予枫的编程笔记2 天前
java·kafka·死信队列·消息中间件·消息重试·dlq·java业务开发
【Kafka高级篇】避开Kafka原生重试坑,Java业务端自建DLQ体系,让消息不丢失、不积压做Java消息中间件开发的同学,大概率都踩过Kafka重试的坑——相较于RabbitMQ丰富的原生重试机制,Kafka的重试支持显得十分简陋,一旦消息消费失败,要么反复重试导致系统雪崩,要么直接丢弃造成数据丢失。今天就手把手教大家,在Java业务端通过自建“重试Topic”和“死信Topic”,打造一套闭环的消息异常容错体系,彻底解决Kafka消息消费的兜底难题。
Javatutouhouduan3 天前
java·消息队列·rocketmq·java面试·消息中间件·后端开发·java程序员
RocketMQ是怎么保存偏移量的?对消息队列来说,偏移量是一个非常重要的概念,如果偏移量保存失败,可能会造成消息丢失、消息重复消费等问题。今天来聊一聊 RocketMQ 是怎么保存消息偏移量的。
予枫的编程笔记5 天前
kafka·消息中间件·分布式系统·kafka底层原理·kafka日志存储·kafka索引机制·java中间件
【Kafka进阶篇】深入Kafka内部:日志存储的设计思路,藏着中间件高性能的真相做分布式开发的同学,几乎都用过Kafka,但多数人只停留在“生产者发消息、消费者收消息”的表层使用,很少深究:百万级消息并发下,Kafka如何快速定位目标消息?底层的.log、.index、.timeindex文件各司其职,又是如何配合实现高效读写的?今天就从物理层面拆解Kafka日志存储与索引机制,吃透这部分,不仅能搞定面试难点,更能在生产环境中精准优化Kafka性能。
Prince-Peng1 个月前
分布式·中间件·架构·kafka·零拷贝·消息中间件·填谷削峰
技术架构系列 - 详解Kafka首先,我们通过一张总览图来建立对Kafka生态系统的整体认知。这张图描绘了数据从生产到消费的完整路径,以及各核心组件之间的协作关系:
短剑重铸之日1 个月前
后端·rocketmq·springcloud·消息中间件·事务消息
《SpringCloud实用版》Stream + RocketMQ 实现可靠消息 & 事务消息大家好,Spring Cloud 系列第九篇消息重磅! 上一期《微服务统一认证授权:Spring Authorization Server + OAuth2 + JWT》帮大家筑牢安全防线,今天我们深入微服务“通信神经”——事件驱动:Spring Cloud Stream + RocketMQ 实现可靠消息 & 事务消息!
Haooog2 个月前
分布式·后端·面试·rabbitmq·消息中间件
RabbitMQ面试题(不定时更新)可以参考之前的rabbitmq的全部内容博客rabbitmq💡 知识点解析:想象成寄快递:Producer(生产者): 寄件人。
huisheng_qaq3 个月前
rocketmq·消息中间件·集群同步·普通消息·broker存储位置
【RocketMq源码篇-04】rocketmq的普通消息详解(broker存储位置,集群同步情况)RocketMq源码核心篇整体栏目如需转载,请附上链接: https://blog.csdn.net/zhenghuishengq/article/details/155679428
poemyang3 个月前
kafka·零拷贝·消息中间件
从硬盘I/O到网络传输:Kafka与RocketMQ读写模型及零拷贝技术深度对比消息写读 在Kafka的数据存储架构中,一个主题由一个或多个分区组成。在物理存储上,每个主题-分区都对应着硬盘上的一个独立目录,而消息数据则以日志段文件(Log Segment)的形式存储在这些目录中。随着数据的不断写入,当一个日志段文件达到预设的大小(例如1GB)或时间阈值时,它会被关闭并变为只读,同时一个新的可写日志段文件会被创建。这个过程称为日志滚动(Log Rolling)。 从单个分区的微观视角看,所有消息都是以追加(Append-only)的方式顺序写入当前活跃的日志段文件。顺序写入几乎消除了
言一木3 个月前
springboot·国产化·消息中间件
【国产化】金蝶MQ验证本次验证金蝶MQ使用,验证结果将同步该文档 验证点: 1.金蝶MQ是否适配JDK8和JDK17 2.金蝶MQ是否适配现有MQ场景(目前内部主要是采用了rabbitMQ的主题模式) 3.是否支持队列模式、订阅模式、广播模式、延时队列、事物消息、以及广播模式下消息消费是否支持幂等 4.死信队列/延时队列验证 5.业务服务接入验证是否通过
poemyang4 个月前
高并发·消息中间件
从同步耦合到异步解耦:消息中间件如何重塑系统间的通信范式?当成百上千的服务需要相互协作时,它们之间的通信模式变得至关重要。如果服务间采用紧密耦合的同步调用,一个服务的延迟或故障,就可能引发连锁反应,导致系统性的“雪崩”。 消息中间件正是为了打破这种刚性依赖而生。它在服务之间建立了一个异步的通信渠道,通常是一个消息队列。生产者服务只需将任务(即“消息”)投递到队列中便可完成工作,而无需等待消费者服务的实时响应。 使用场景 消息中间件常见的使用场景,包括不限于解耦、有序性、异步处理、削峰填谷等。
zyh200504304 个月前
分布式·消息队列·rabbitmq·消息中间件·amqp
RabbitMQ概述Rabbit,兔子的意思互联网行业很多公司,喜欢用动物命名产品,或者作为公司logo,吉祥物。Rabbit也是一个公司名,MQ(message queue)消息队列的意思,RabbitMQ是Rabbit企业下的一个消息队列产品
Javatutouhouduan4 个月前
java·spring·rabbitmq·消息中间件·后端开发·java程序员·java八股文
我用ChatGPT,给RabbitMQ加了个连接池上次我把 RabbitMQ 集成到项目中,但是每次使用 RabbitMQ 时都去 New 一个连接,导致并发起不来,所以这次我们就给 RabbitMQ 加一个连接池。
励志成为糕手6 个月前
分布式·架构·kafka·消息中间件·数据流处理
Kafka架构:构建高吞吐量分布式消息系统的艺术🌟 你好,我是 励志成为糕手 ! 🌌 在代码的宇宙中,我是那个追逐优雅与性能的星际旅人。 ✨ 每一行代码都是我种下的星光,在逻辑的土壤里生长成璀璨的银河; 🛠️ 每一个算法都是我绘制的星图,指引着数据流动的最短路径; 🔍 每一次调试都是星际对话,用耐心和智慧解开宇宙的谜题。 🚀 准备好开始我们的星际编码之旅了吗?
庄小焱6 个月前
大数据·kafka·消息中间件
大数据存储域——Kafka设计原理本文主要介绍了Kafka的架构原理、消息订阅模式以及在金融风控等领域的应用。Kafka作为数据中转站,可同步不同系统数据,支持事件驱动架构,广泛应用于金融支付与风控场景。其架构包括Producer、Broker、Topic、Partition、Replication、Message、Consumer和Consumer Group等组件,依赖Zookeeper保存元信息。Kafka的消息订阅模式包括点对点、发布-订阅、分区级订阅、静态订阅和动态订阅等,每种模式都有其特点和适用场景。此外,还探讨了Kafka与
要开心吖ZSH6 个月前
微服务·中间件·消息中间件
java八股文-中间件-参考回答XXL-JOB 在执行器集群场景下,一共提供了 10 种路由策略,可分为「单节点路由」「集群负载路由」「故障&忙碌转移」「并行分片」四大类,配置时直接在调度中心任务编辑页 “路由策略” 下拉框选取即可。
墨鸦_Cormorant6 个月前
mqtt·中间件·消息中间件
MQTT(轻量级消息中间件)基本使用指南MQTT(Message Queuing Telemetry Transport,消息队列遥测传输)是一种轻量级的发布 / 订阅模式(Pub/Sub) 消息传输协议,专为低带宽、不稳定网络环境设计,广泛应用于物联网(IoT)、移动设备、传感器网络等场景(如空气净化器、智能家居设备的远程控制)。
逸Y 仙X10 个月前
分布式·中间件·kafka·消息中间件
适合java程序员的Kafka消息中间件实战我们在学习kafka时,都是基于大数据的开发而进行的讲解,这篇文章为java程序员为核心,助力大家掌握kafka实现。
南客先生10 个月前
java·面试·kafka·rabbitmq·rocketmq·消息中间件
互联网大厂Java面试:RocketMQ、RabbitMQ与Kafka的深度解析面试官:马架构,您好!欢迎参加我们的面试。今天我们将围绕消息中间件展开讨论,尤其是RocketMQ、RabbitMQ和Kafka。您有十年的Java研发和架构设计经验,相信对这些技术一定非常熟悉。我们希望通过今天的交流,了解您对这些技术的理解和实际应用经验。
码熔burning10 个月前
分布式·rabbitmq·消息中间件
【MQ篇】RabbitMQ初体验!🌟我的其他文章也讲解的比较有趣😁,如果喜欢博主的讲解方式,可以多多支持一下,感谢🤗!🌟了解 MQ 请看 : 【MQ篇】初识MQ!
言小乔.10 个月前
java·消息队列·消息中间件
202526 | 消息队列MQ调用流程对比: