消息队列

014-code2 天前
java·spring boot·kafka·消息队列
Kafka + Spring Boot 实战入门业务层面实现幂等:相同 key 发送到相同分区:
Chan169 天前
java·spring boot·分布式·spring·java-ee·kafka·消息队列
从生产到消费:Kafka 核心原理与实战指南摘要:本文详解 Kafka 核心架构、生产消费全流程,剖析分区、副本、Offset 管理等核心机制,及高性能、高可用的优化策略与实践方案。
茶杯梦轩15 天前
服务器·后端·消息队列
从零起步学习RabbitMQ || 第二章:RabbitMQ 深入理解概念 Producer、Consumer、Exchange、Queue 与企业实战案例本文以通俗且实战的方式讲解 RabbitMQ 的核心概念(Producer、Consumer、Exchange、Queue、Broker、Exchange Types),并在最后结合电商订单处理的企业级案例给出实践建议与示例代码(Java 原生 client + Spring Boot)。
初次攀爬者17 天前
spring boot·kafka·消息队列
Kafka 基础介绍Apache Kafka 是一个分布式流式平台,最初由 LinkedIn 开发,后成为 Apache 顶级项目。其核心特性包括:
初次攀爬者17 天前
后端·消息队列·rocketmq
RocketMQ 消息可靠性保障与堆积处理消息丢失可能发生在「生产者发送」「Broker 存储」「主从同步」「消费者消费」四个核心环节生产者发送消息后,因网络异常、超时、客户端崩溃等原因,消息未能成功写入 Broker,而生产者误以为发送成功。
初次攀爬者18 天前
后端·消息队列·rocketmq
RocketMQ 集群介绍RocketMQ 集群的核心价值在于通过多节点部署实现高可用、高吞吐和数据一致性,其集群设计围绕「Broker 主从」和「NameServer 无状态集群」展开,核心分为传统主从模式和基于 Raft 协议的 Dledger 自动容灾模式。本文详细讲解集群部署方式、选主机制、核心配置、优缺点及脑裂防护方案。
初次攀爬者18 天前
后端·消息队列·rocketmq
RocketMQ 基础学习Apache RocketMQ 是阿里巴巴研发并捐赠给 Apache 基金会的开源分布式消息中间件,定位为云原生、金融级消息引擎,核心特性为高吞吐、低延迟、高可用、强一致性,是分布式系统异步通信的核心组件。
初次攀爬者19 天前
后端·消息队列·rabbitmq
RabbitMQ的消息模式和高级特性RabbitMQ 是基于 AMQP(高级消息队列协议)实现的开源消息中间件,采用 Erlang 语言开发。其核心作用是实现系统间的异步通信、解耦、削峰填谷。它广泛应用于分布式系统、微服务架构中,作为连接不同服务的"神经中枢",有效避免因系统间直接调用导致的耦合过高、峰值压力过大及单点故障问题。
DemonAvenger21 天前
性能优化·kafka·消息队列
Kafka性能调优:从参数配置到硬件选择的全方位指南在现代分布式系统中,Kafka以其高吞吐、低延迟和高可靠性的特性,成为了消息队列和流处理的首选中间件。无论是电商平台处理海量订单,还是金融系统实时分析交易数据,Kafka都扮演着数据流通的“高速公路”角色。然而,当业务规模扩大,性能瓶颈开始显现:消息堆积、延迟升高,甚至服务宕机。这些问题不仅影响用户体验,还可能直接导致业务损失。
Javatutouhouduan23 天前
java·消息队列·rocketmq·java面试·消息中间件·后端开发·java程序员
RocketMQ是怎么保存偏移量的?对消息队列来说,偏移量是一个非常重要的概念,如果偏移量保存失败,可能会造成消息丢失、消息重复消费等问题。今天来聊一聊 RocketMQ 是怎么保存消息偏移量的。
DemonAvenger23 天前
性能优化·kafka·消息队列
深入理解Kafka分区策略:实现数据均衡分布的最佳实践想象一条繁忙的高速公路,成千上万辆汽车(消息)正飞驰向各自的目的地。如果没有清晰的车道和交通规则,必然陷入混乱——某些路段拥堵不堪,而其他路段空空如也。在Apache Kafka中,分区(Partition)就是这些车道,一个精心设计的分区策略能确保消息顺畅流动,让系统负载均衡。无论你是构建实时分析管道还是高吞吐的物联网平台,掌握Kafka的分区策略都是释放其性能与扩展性的关键。
予枫的编程笔记24 天前
人工智能·kafka·消息队列·exactly-once·分布式消息·kafka幂等性·kafka事务消息
【Kafka进阶篇】Kafka消息重复消费?Exactly-Once语义落地指南,PID+事务消息吃透在分布式系统中,消息可靠性是后端开发者绕不开的坎——消息丢失会导致数据不一致,重复消费会引发业务异常,而Exactly-Once(精确一次)语义,正是解决这一痛点的终极方案。作为主流的分布式消息队列,Kafka如何实现Exactly-Once?幂等性和事务消息到底是怎么工作的?今天就带大家从底层原理到核心细节,彻底吃透Kafka的消息可靠性保障,再也不用为重复消费、消息丢失头疼。
切糕师学AI25 天前
消息队列·死信队列·mq
什么是死信队列(Dead Letter Queue)?下面我们从多个方面详细介绍死信队列。在消息队列中,消息通常按照正常流程从生产者发送到交换机,然后路由到队列,最后被消费者消费。但在某些情况下,消息可能无法被正常处理,例如:
切糕师学AI25 天前
微服务·消息队列·rabbitmq
RabbitMQ 是什么?下面从核心概念、工作原理、主要特性、使用场景以及与其他消息队列的对比等方面详细介绍 RabbitMQ。
予枫的编程笔记1 个月前
kafka·消息队列·consumer消费机制·consumer group·offset提交·pull模型·大数据实战
【Kafka基础篇】Kafka Consumer Group设计哲学拆解:为什么它能支撑高并发消费?作为大数据领域主流的消息队列,Kafka的高吞吐、高可用特性被广泛应用于日志收集、消息分发、流式处理等场景。而Consumer(消费者)作为Kafka消息流转的终点,其消费机制直接决定了消息处理的可靠性、效率与扩展性。其中,Consumer Group(消费组)更是Kafka分布式消费的核心设计,Offset(位移)提交则关乎消息是否会重复消费、漏消费。本文将从设计哲学、核心机制到实战细节,带你彻底吃透Kafka Consumer消费机制与Consumer Group,建议收藏备用,避免踩坑!
予枫的编程笔记1 个月前
java·kafka·消息队列·高可用·分布式系统·isr机制·ack策略
【Kafka基础篇】Kafka高可用核心:ISR机制与ACK策略详解,吃透可靠性与吞吐量权衡在分布式消息队列中,高可用与数据可靠性是核心诉求,而Kafka作为主流组件,其ISR机制与Producer的ACK策略正是实现这一诉求的关键。很多开发者在配置acks参数时盲目追求吞吐量或可靠性,却忽略了二者的权衡关系;对AR、ISR、OSR的概念模糊,导致生产环境出现数据丢失、同步异常等问题。本文从核心概念入手,拆解ISR动态调整逻辑,详解acks三种配置的利弊,帮你精准把握高可用与性能的平衡。
何中应1 个月前
分布式·后端·消息队列
RabbitMQ安装及简单使用说明:RabbitMQ(官网:rabbitmq.com/)是一门异步通讯技术,使用异步通讯技术,可解决同步通讯的一些问题。
何中应1 个月前
分布式·后端·消息队列
SpringAMQP消息转化器说明:使用SpringAMQP中的RabbitMQ,发送的消息如果是对象的话,会被Spring序列化进行传输,序列化后的java对象,内容会变得很长,导致本来只有十几个字节的对象数据变成几百字节。这个问题可以通过自定义的消息转化器替换掉Spring默认的消息转换器,使消息以json数据的形式传输,不进行序列化。
渣瓦攻城狮1 个月前
java·redis·spring·微服务·消息队列·面试指南·程序员面试
互联网大厂Java面试:Spring、微服务与消息队列技术详解在某互联网大厂面试现场,面试官老王正面试一位应聘者——绰号“谢飞机”的程序员。这场面试围绕音视频场景技术展开,共分为3轮,每轮包括3-5个问题。老王严肃认真,谢飞机则表现得略显搞笑。
予枫的编程笔记1 个月前
java·kafka·消息队列·分布式消息·producer发送机制·kafka核心原理·消息发送优化
【Kafka基础篇】Kafka Producer发送机制全链路拆解:从拦截器到网络发送一文吃透做分布式开发的同学,大概率都遇到过这样的问题:Producer发送消息时而快时而慢、偶尔丢消息,却找不到问题根源?其实核心原因,就是没吃透Producer的全链路发送机制——从消息产生到最终投递,拦截器、序列化器、分区器、消息累加器、Sender线程环环相扣,每一个环节都藏着影响性能和可靠性的关键。今天就带大家从宏观到微观,彻底拆解Producer发送的完整流程,吃透所有核心细节~