kafka

喝醉酒的小白

Kafka 集群应急故障排查手册⚠️ 重要提示: 本手册包含的高危操作可能导致数据丢失或服务中断。请在执行前仔细阅读风险说明，并确保已完成备份。

【西瓜带你学Kafka | 第八期】 Kafka的主从同步、消息可靠性、流处理与顺序消费（文含图解）用 Kafka 做基础消息收发并不难，但真正上生产之后，一连串棘手的问题就来了：消息怎么就丢了？消费者明明活着却不干活？多个业务共用一个集群怎么互不影响？消息顺序怎么就乱了？

kafka笔记一、部署示例docker-compose.yml1、创建topic，并开始发送消息2、消费者接收消息二、概念和原理

Kafka 消息过期时间设置与清理机制全解析在消息中间件的实际应用中，消息过期是一个绕不开的话题。无论是日志数据的定期清理、业务事件的临时存储，还是磁盘空间的合理管控，都需要一个完善的消息过期机制。Kafka 作为高吞吐的分布式消息系统，提供了灵活而强大的消息过期策略，让开发者可以根据业务需求精细化管理数据生命周期。

SkyWalking - Kafka _ RabbitMQ 消息链路追踪支持👋 大家好，欢迎来到我的技术博客！ 📚 在这里，我会分享学习笔记、实战经验与技术思考，力求用简单的方式讲清楚复杂的问题。 🎯 本文将围绕SkyWalking这个话题展开，希望能为你带来一些启发或实用的参考。 🌱 无论你是刚入门的新手，还是正在进阶的开发者，希望你都能有所收获！

滴滴二面：你项目为什么选择 RocketMQ，而不是 Kafka? 我：支支吾吾....在线 Java 面试刷题（已更新239题，图文并茂）：https://www.quanxiaoha.com/java-interview

Kafka - 日志刷盘策略优化：sync.ms、flush.messages配置👋 大家好，欢迎来到我的技术博客！ 💻 作为一名热爱 Java 与软件开发的程序员，我始终相信：清晰的逻辑 + 持续的积累 = 稳健的成长。 📚 在这里，我会分享学习笔记、实战经验与技术思考，力求用简单的方式讲清楚复杂的问题。 🎯 本文将围绕Kafka这个话题展开，希望能为你带来一些启发或实用的参考。 🌱 无论你是刚入门的新手，还是正在进阶的开发者，希望你都能有所收获！

Java-219 RocketMQ Spring Boot 集成指南：生产者与消费者实战本文将详细介绍如何在 Spring Boot 项目中集成 Apache RocketMQ，实现消息的生产与消费。通过本教程，你将快速掌握 RocketMQ 与 Spring Boot 的整合方式。

清平乐的技术专栏

【Kafka笔记】（一）认识 KafkaKafka 是一款分布式、高吞吐、低延迟、持久化的消息队列/流处理平台。通俗的讲Kafka 就是一个“实时数据中转站+数据蓄水池”

清平乐的技术专栏

【Kafka笔记】（四）Kafka 三种消费模式数据一定能消费成功，可能重复消费。不会重复消费，可能丢失数据。不丢不重，精准消费，企业生产唯一标准。实现依赖：Flink Checkpoint + Kafka 手动 Offset 提交

清平乐的技术专栏

一文读懂Kafka中的“消费”（对标MySQL数据库）消费 = 读取数据 + 执行业务处理 + 记录读取位置 Kafka存了一堆实时数据，Flink/程序把这些数据拿出来、读一遍、做计算处理，这个全过程就叫消费。

清平乐的技术专栏

【Kafka笔记】（二）核心架构与专属名词解释Kafka 的服务节点，一个 Kafka 集群由多个 Broker 组成。大白话：一台 Kafka 服务器就是一个 Broker。

清平乐的技术专栏

【Kafka笔记】（三）常用命令整理partitions：分区数replication-factor：副本数

大厂Java面试实战：Spring Boot微服务、Redis缓存、Kafka消息队列与Spring AI RAG面试地点：某互联网大厂（电商 + 内容社区 + AIGC 智能客服一体化业务）。角色：规则：一共 3轮，每轮 3-5个问题，问题围绕同一业务链路逐步加深。

互联网大厂 Java 面试实录：JVM、Spring Boot、MyBatis、Redis、Kafka、Spring AI、K8s 全链路追问小Y场景：某互联网大厂在面试「智能客服 + 电商订单系统」后端 Java 岗位。角色：严肃面试官 / 搞笑的水货程序员小Y。目标：从基础到业务落地，再到云原生和 AI 升级，看看小Y到底是真会还是“会一点点”。

倒流时光三十年

第12篇 Rebalance 深度解析系列：Kafka × Spring Boot：参数精讲与生产落地实战本篇关键词：Rebalance · Stop-The-World · CooperativeStickyAssignor · 分区分配策略 · 优雅停机

基于 Outbox 事务表 + Canal 监听+kafka+多级缓存：高并发社交关注系统全链路架构设计在社交类业务系统中，用户关注与取关是访问量极高、并发压力大且对数据一致性要求严苛的核心场景，不仅需要应对用户高频点击、恶意刷接口等流量问题，还要解决消息丢失、重复消费、缓存与数据库数据偏差、粉丝关注计数不准等一系列线上常见难题。传统直接发送消息队列的开发模式，极易出现业务入库成功但消息投递失败，最终引发业务数据不一致的隐患。为此我基于实际业务场景，设计并落地了一套限流防护 + 多级缓存 + 本地事务事件表 + Canal 异步转发的完整高并发社交关系架构，通过前置流量拦截、事务保障事件可靠落地、分层缓存提

Kafka重平衡机制深度解析消费者组重平衡（Rebalance）是Kafka中确保分区分配公平和容错的核心机制。当消费者加入或离开组、订阅主题变化、分区数量变更时，触发重平衡以重新分配分区所有权。

从零学习Kafka：调优在这个系列的结尾篇，我们来聊一下 Kafka 有哪些调优策略。在开始之前，我们先明确一下调优的目标：对 Kafka 来说，通常是在高吞吐、低延迟、高可靠这三点之间找到一个平衡。

从零学习Kafka：消费者组重平衡本文我们一起来学习消费者组重平衡相关的知识。先解决前面留下的问题：如果生产者已经发送了大量消息，但在最后提交之前突然宕机，事务协调器会如何处理这个未完成的事务呢？