kafka

Kafka源码深度剖析：消息有异常是如何处理的摘要：用了这么久 KafkaProducer，你真的清楚 send() 到底什么时候抛异常、什么时候走回调？为什么有些错误业务代码永远 catch 不到？这篇从源码级别梳理 Producer 端六类异常的产生、分类、传递路径和重试决策。

Kafka写数据入口：消息进了Broker之后交给谁摘要：网络层把 Produce 请求解析完、RequestHandler 按 apiKey 路由之后，消息真正落盘的第一站是 ReplicaManager.appendRecords。这篇进入存储层，讲清楚写数据的调用链、appendRecords 内部五步、acks 三种分支，以及 acks=all 时请求为什么不会把业务线程堵死。

螺蛳粉螺蛳粉

CDH第七篇：CDH 集成 Kafka 实战：CSD + Parcel 组合拳，先装 ZooKeeper 是铁律目录一、为什么 Kafka 要"外挂"进 CDH 二、集成前必懂：CSD 与 Parcel 的分工三、4 步完成 Kafka 集成四、小内存救命调参：Broker 堆改 256M 五、功能验证：建 Topic 收发消息六、结语与系列预告一、为什么 Kafka 要"外挂"进 CDH 在物联网架构案例里，海量设备上报数据先打进消息队列削峰，再落存储、进计算。Kafka 是这一层的标准选择。

物联网时序数据乱序问题全链路治理：从设备到存储的五层实战（附 Flink/Kafka/IoTDB 配置级代码）关键词：IoT、时序数据、乱序、乱序治理、Flink、Watermark、事件时间、Kafka、幂等生产者、IoTDB、顺乱序分离、迟到数据、EMQX、allowedLateness

Kafka响应发送：字节是怎么真正写回客户端的摘要：上一篇讲了响应的准备工作——NetworkSend 注册了 OP_WRITE。这篇讲最后一公里：poll 返回可写事件后怎么写字节、一次写不完的半包怎么续传、写完之后怎么处理回调和解除背压。

三大主流消息队列架构设计思想剖析：从 RabbitMQ 到 RocketMQ 的改造实践本博文主要分为两个方面，第一部分是介绍，包括三大MQ架构设计思想和主要组件；第二部分是实践，在实际工作遇到rabbitmq改造成rocketmq的例子。

Boot4升后Kafka retry属性怎么改升 Boot4 后 Kafka 重试退避键 backoff.random 已移除：改写 backoff.jitter，对照 Changelog 后验收绑定与启动。

KafkaProducer 源码深度剖析：处理粘包问题的完美方案TCP 是面向流的协议，只有字节流概念，没有"消息"边界。Producer 连续发三个请求，接收方一次 read 可能只读到第一个的一半（半包），也可能把三个全读进来（粘包），甚至是前两个完整加第三个的一半。

我给自己写了个 Kafka 桌面客户端：MrWindKafkaClient一个原生桌面窗口，基于 PySide6（Qt6）构建，Kafka 能力全部由 confluent-kafka（librdkafka）提供。

KafkaProducer 源码深度剖析：与 Broker 建立连接前面讲网络设计时提到，Kafka 用一个 Selector 管理所有 Broker 连接。但连接不是一开始就有的——Producer 启动时不建连，第一次发消息时才触发。

我不会起名字322

Kafka 重复消费：自动提交位点与手动提交的 3 个错位我不会起名字322 · 后端 / 算法 / 数据库📘 技术栈｜ 🧩 力扣 Hot100 ｜ 🐹 Go 项目｜ 🟥 Redis ｜ 🐬 MySQL

Kafka 消费者重试与死信：Spring for Apache Kafka 的边界设计假设你维护一个订单履约系统：订单服务把“订单已支付”事件写进 Kafka 主题 order-paid，履约服务订阅这个主题，收到消息后调用库存服务扣减库存、再写一条履约记录。某天库存服务因为一次发布短暂不可用，履约服务消费到的消息在扣库存时抛出异常。这时候你必须回答四个问题：

我不会起名字322

Kafka 顺序消息为什么乱了：分区数变化与重试的 3 类原因我不会起名字322 · 后端 / 算法 / 数据库📘 技术栈｜ 🧩 力扣 Hot100 ｜ 🐹 Go 项目｜ 🟥 Redis ｜ 🐬 MySQL

每天一道题

Kafka 是如何工作的？从 Broker、Partition、Offset 到 Consumer Group在微服务系统中，Kafka 经常和 Redis、MySQL 一起出现。例如一个电商系统，用户支付成功之后，除了需要修改订单状态，还可能需要发送短信、更新销售统计、记录用户行为。

还在用命令行管理 Kafka？开源 CloudDM 让操作更简单在日常开发和运维中，查看 Kafka Topic、消费消息、排查数据问题，都是常见操作。如果这些工作能直接在 Web 界面完成，会方便不少。

Kafka 磁盘空间治理实战：retention 保留策略、log.dirs 在线扩容、分区跨盘迁移与不停机整体换盘消息队列 Kafka 用得越久，磁盘水位告警来得越勤：日志类 topic 日增几十 GB、大分区全挤在一块盘上、系统盘被 server.log 慢慢吃光。本文把生产环境沉淀的四类存储治理手段整理成一套完整 SOP——保留策略让数据"删得快"、数据目录扩容让集群"装得下"、分区跨盘迁移让磁盘"搬得平"、整体换盘让硬件"换得走"，全部支持滚动操作不停机，附踩坑清单。命令在 Kafka 2.5 与 3.9 集群上均验证过。

ChatGPT、Codex排查实录：Kafka消费者日志明明显示处理成功，为什么同一条消息还是被重复消费？。这类故障的关键，不是简单地关闭自动提交，而是弄清楚数据库事务、Offset提交和业务幂等之间的关系。

KafkaProducer 源码深度剖析：batch 发送的条件前面讲 Sender 线程时提到，Sender 每轮调用 accumulator.ready() 获取有可发送批次的 Broker 集合，然后 drain() 拉取。但 ready() 到底怎么判断一个 batch “可以发了”？这个判断逻辑直接决定了延迟和吞吐的平衡。

JVS私有化部署运维避坑指南：Kafka容灾、ES冷热分离、RabbitMQ可观测性三实战检查项JVS作为企业级开源低代码平台，其生产就绪性高度依赖底层开源中间件的正确配置与持续治理。Nacos服务发现、SkyWalking链路追踪、Redisson分布式锁、Kafka流程消息总线、RabbitMQ异步任务队列、ElasticSearch审计日志检索——这些组件均非‘部署即完成’的黑盒，而是需按生产环境SLA主动调优、监控与故障闭环的基础设施。

KafkaProducer 源码深度剖析：支撑高吞吐的数据结构设计很多人写 Producer 封装会用 ConcurrentHashMap<TopicPartition, Queue<ProducerRecord>>——每来一条消息塞进去，后台线程消费。功能上没问题，但性能差一个数量级。