kafka

KafkaProducer 加载元数据：一条 MetadataRequest 的完整旅程摘要：第二篇讲了 waitOnMetadata 怎么阻塞、为什么等 60 秒。这篇补上另一面——Sender 线程到底发了什么请求、Broker 返回了什么、客户端怎么把响应变成 Cluster 对象。bootstrap.servers 只是敲门地址，全集群拓扑是一条 MetadataRequest 拉回来的。

【Kafka 源码手记】04 客户端如何找到 Broker上一篇结尾留下了一条悬念：Producer 「查元数据缓存」查到的那些 Leader 位置，最初是从哪来的？bootstrap.servers 明明只写了一个地址，客户端怎么找齐了整个集群？

Linux实战笔记

记一次消息队列选型对比线上排查：Kafka/RabbitMQ/Pulsar 技术选型<p style="text-align:center"><img src="https://platform-outputs.agnes-ai.space/images/t2i/task_P6XkEZpiWIIilp5Sokq2yFRlHEjjBKFA/output_6b9cee5cb2a24f13b96a04b6b0995f67.png" alt="封面图" style="max-width:100%;height:auto" /></p>

Kafka Connect 与 Flink CDC 写入 Iceberg：Upsert 的代价，以及 S3 Tables 的真正价值把数据库变更同步到 Iceberg，真正困难的不是把一条新记录写成 Parquet，而是处理一条 UPDATE 或 DELETE：

一条消息的丢与重：Kafka 与 RabbitMQ 可靠投递的确认、位点、死信与幂等全链路目录一、消息为什么会丢、也会重（一）一条消息要跨过的三段旅程（二）三种投递语义：不丢与不重为何不可兼得

我不会起名字322

Kafka 分区数到底设几个：吞吐量、顺序性与 rebalance 代价的取舍我不会起名字322 · 后端 / 算法 / 数据库📘 技术栈｜ 🧩 力扣 Hot100 ｜ 🐹 Go 项目｜ 🟥 Redis ｜ 🐬 MySQL

深度拆解 Kafka 源码：Producer 构造器装配了哪些核心组件摘要：一行 new KafkaProducer(props) 背后，是配置校验、序列化器/分区器/拦截器装配、32MB 发送缓冲、事务管理器与一条 Sender 守护线程的完整启动，却没有发起任何一次网络请求。本文基于 kafka-clients 3.9.x 源码，逐段拆解初始化全过程，并给出生产环境排查清单。

我不会起名字322

Go 写 Kafka 消费者：sarama 的 3 个坑与优雅退出写法我不会起名字322 · 后端 / 算法 / 数据库📘 技术栈｜ 🧩 力扣 Hot100 ｜ 🐹 Go 项目｜ 🟥 Redis ｜ 🐬 MySQL

【Kafka 源码手记】02 Kafka 的核心哲学：Everything Is A Log上一篇结尾我留了三个问题：这一篇主要回答第三个问题。第三个问题答完，前两个问题也能得到一半答案：快，是因为 Log 的写路径从头到尾只有顺序追加，这一半放在本篇说；另一半（Page Cache 与 Zero Copy）和「凭什么敢留」（retention 怎么删）分别在后面存储引擎部分展开。所以本篇的任务就一个：把 Log 这个抽象本身搞清楚。

Kafka 2.8→3.9.1 跨大版本升级实战：ZooKeeper 同步升级、数据目录迁移与回滚预案全流程一套跑了多年的日志平台 Kafka 集群（2.8.0，外置 ZooKeeper 3.5）要升级到 3.9.1。跨这么多大版本、还是 ZooKeeper 模式，滚动升级的路基本走不通——本文记录一次停机窗口内全量升级的完整实战：升级路线选择、停止顺序、Kafka 与 ZooKeeper 的数据目录/配置全量迁移、启动验证清单、以及随时可退的回滚预案。文中命令全部来自真实升级过程，IP、路径已做脱敏替换。

kafka重复消费目录1、生产者重复发送消息生产者幂等性生产者事务消息2、消费者重复消费消息导致重复消费的情况1、生产者重复发送消息

开源数据库管理工具 CloudDM 4.4.0 发布，新增 Kafka、SAP HANA 数据源CloudDM 是一款免费且开源的团队化数据库管理工具，提供统一 Web 数据库访问、权限控制、数据脱敏、SQL 审核、流程协同和数据库 CI/CD 等能力。

【Kafka 源码手记】01 从消息队列到 Event Streaming写这个系列之前，我觉着有必要先搞清楚一件事：Kafka 出现之前，世界是什么样的。2010 年 LinkedIn 着手做 Kafka 的时候，ActiveMQ 已经是 Apache 顶级项目，RabbitMQ 从 2007 年发布算起也已流行数年，两个都是久经考验的消息中间件，LinkedIn 内部也并非没有这类系统可用。一家公司明明有现成的消息中间件，还要再造一个，通常说明旧东西在某些场景下真的不好用了。

深入剖析：GCP Pub/Sub 与 Apache Kafka 对消息处理延迟与消费者卡死的处理机制异同在设计分布式事件驱动架构（EDA）或有状态实时流计算系统（如 Apache Flink、Spark Streaming）时，有一条不可动摇的物理定律：网络必然会抖动，消费者必然会发生停顿、甚至可能发生毫无预警的悄然死亡。

笔墨登场说说

centos 8 使用 kafka_2.13-4.3.1.tgz 安装kafka在 CentOS 8 上安装 Kafka 4.3.1（kafka_2.13-4.3.1.tgz）需要特别注意，因为从 Kafka 3.3.x 开始，官方已逐步弃用 ZooKeeper，并在后续版本中全面转向 ‌KRaft（Kafka Raft）‌ 模式。Kafka 4.x 版本默认且推荐以 KRaft 模式运行，不再依赖独立的 ZooKeeper 服务。

kafka一直restarting,报错InconsistentClusterIdException问题截图日志docker logs -f kafka1之前的操作步骤# 停止旧服务docker compose -f docker-compose-kafka.yml down

今年下半年

【消息队列】Spring Boot 集成 Kafka 消息队列：确保消费完成（手动提交偏移量+幂等判断+失败重试机制）Kafka 消费者的偏移量（offset）提交方式决定了消息的投递语义：本项目要的是「不能丢单」：订单消息必须先成功写入 MySQL，才允许提交偏移量。自动提交做不到这一点，因此必须：

此时不提桶，更待何时

06-14-A-Kafka集群运维与迁移实战详解️ 关键词：集群规划 · Partition 重分配 · 副本均衡 · MirrorMaker2 · 跨集群迁移 · 双集群容灾 · 滚动升级 · KRaft 迁移 · 配额 Quota · 安全认证 SASL

Acceldata ODP（Open Data Platform）3.3.6.4（RHEL9）保姆级完整安装手册Acceldata ODP（Open Data Platform）3.3.6.4（RHEL9）保姆级完整安装手册

用户149448481320

Raft 为什么取代了 Paxos？从 DLedger 和 KRaft 的技术选型聊起上篇拆了 DLedger 的选主流程和日志复制机制，也对比了它和 Kafka KRaft 的差异。但有一件事我一直没有深入讲——为什么 DLedger 和 KRaft 都选择了 Raft，而不是 Paxos？