kafka

用户361058862612

深度拆解 Kafka 源码：Producer 构造器装配了哪些核心组件摘要：一行 new KafkaProducer(props) 背后，是配置校验、序列化器/分区器/拦截器装配、32MB 发送缓冲、事务管理器与一条 Sender 守护线程的完整启动，却没有发起任何一次网络请求。本文基于 kafka-clients 3.9.x 源码，逐段拆解初始化全过程，并给出生产环境排查清单。

知识搬运临时工

Kafka 发 1 GiB 数据，用户态 CPU 只花 0.016 秒，总耗时反而慢了 11%先说结论再解释：用 FileChannel.transferTo 把 1 GiB 缓存文件发出去，用户态 CPU 从 0.093 秒掉到 0.016 秒，降到六分之一。但墙钟时间从 0.60 秒变成 0.67 秒，慢了 11%。

一条泥憨鱼

【消息队列】ACK确认了什么：消息队列可靠投递的完整链路👋 关于作者你好，这里是一条泥憨鱼　|　专注于后端开发、AI 前沿技术与计算机基础。🏠 个人主页：一条泥憨鱼

斯普信专业组

Kafka 消费者 poll() 流程与原理详解Kafka 消费者采用 Pull（拉取）模式，由消费者主动向 Broker 拉取消息，而不是由 Broker 主动推送。

幂等消费者与重试副作用：Kafka 端点接入时的去重边界假设你所在团队有一个存量订单库，业务部门希望把 Kafka 中不断流入的“订单变更事件”同步到旧系统的客户积分表里。Kafka 主题里同一条事件可能不止出现一次：生产者发送超时后重发、消费者处理完但提交位点前进程崩溃、再均衡后分区被重新分配，都会让同一业务事件再次进入你的处理逻辑。你要完成的任务不是“把 Kafka 教程再读一遍”，而是：让这条 Camel 路由在重复投递时只产生一次业务效果，并且能说清楚哪些重复它能挡住、哪些挡不住。

容器 RUNNING，为什么中间件仍不可用？ActiveMQ 与 Kafka／ZooKeeper 恢复实录一套分阶段启动工具在基础设施就绪检查中反复超时。SSH 可连接，Docker 能响应，容器也显示 RUNNING，但 ActiveMQ 的 61616 与两个 Kafka broker 的 9092 未开放。排查最终落到了两个不同层面：ActiveMQ 的 KahaDB 恢复位置问题，以及 Kafka 启动失败与 ZooKeeper 从节点视图不一致。

斯普信专业组

Kafka 3.9.1 三节点集群部署方案（ZooKeeper 模式）本文采用 ZooKeeper 模式部署 Kafka 三节点集群：集群元数据（Topic、分区、副本分配、ACL、controller 归属）存放在独立 ZooKeeper 集群的 znode 下。

Kafka 怎么保证消费只消费一次的？先说结论：Kafka 默认只能保证 At Least Once（至少一次，不丢但可能重复），“只消费一次”需要开发者在消费端做额外设计。

Hadoop+zookeeper+HBase+Kafka集群搭建全流程本文档仅用于流程参考。如有错误请联系我进行修改。行文比较粗糙，还请见谅。请善用AI进行辅助。简述大概流程：首先创建第一台虚拟机，然后搭建单机伪分布式Hadoop，并使用自带的wordcount进行验证。然后修改为1主2从分布式集群，逐步引入zookeeper、HBase、Kafka，最后使用自动化脚本进行快速启动集群、停止集群、重启集群、查看集群状态。

后台模板学习

Kafka 与 RabbitMQ 在用户认证与权限管理场景在现代分布式系统中，消息队列技术已成为处理异步通信、解耦服务组件和保障高并发能力的重要基础设施。特别是在用户认证与权限管理这一场景中，消息队列的可靠性、性能及扩展性对系统整体稳定性有着直接影响。

真上帝的左手

12. 消息队列-Kafka进阶每个 Java 开发者心里都有个"Kafka 情结"：一听就高大上，一用就心里没底。它就像一家口碑两极分化的快递公司——配置得当，包裹一个不落、飞快送达；配置一错，丢件、重派、乱序三连击，能把你的线上系统折腾到半夜。

千里达景区票务系统

消息队列选型对比：RabbitMQ vs RocketMQ vs Kafka做后端开发的，几乎没有不用消息队列的。解耦、异步、削峰，这三大作用谁都知道。但真到了选型的时候，到底选哪个？RabbitMQ、RocketMQ还是Kafka？

Kafka 跨数据中心日志同步实战：MirrorMaker 2 选型对比 + Flink 中继任务落地（双中心互备与消费者组隔离避坑）做日志平台迟早会遇到一个需求：两个数据中心（或两地三中心的"两地"）都要有全量日志。监管审计要求容灾侧数据完整、故障切换时查询不中断、或者干脆是"总行一套、灾备一套"的硬性架构约束——这时候单中心自产自销的 Kafka + Elasticsearch 就不够用了，跨中心的日志同步必须安排上。

从零设计一个 Agent 安全沙箱：Docker 隔离、三级风控与 Kafka 审计Agent 不仅可以生成文本，还可以调用 Shell 工具完成文件处理、项目构建和脚本执行。例如：但如果直接在宿主机执行模型生成的命令，可能出现误删除、凭证泄露、资源耗尽等问题：

一条泥憨鱼

【Kafka】零基础学习教程👋 关于作者你好，这里是一条泥憨鱼　|　专注于后端开发、AI 前沿技术与计算机基础。 🏠 个人主页：一条泥憨鱼

补打一条卡，为什么要从前一天重新算：人工补录与实时重算业务复盘摘要：考勤管理员补录一条漏卡，表面上只是新增一个时间点，实际却要完成可信身份覆盖、批量原子写入、跨日重算范围计算、分析任务去重、任务落库和 Kafka 实时通知。恢复这条链路时最反直觉的发现是：补录时间为凌晨 05:12，并不意味着只重算当天；系统把分析开始时间向前扩一天，以便重新判断它究竟属于前一天夜班的下班卡，还是当天的上班卡。本文同时复盘一个常见误区：afterCommit 能防止回滚后误发消息，却不能消除数据库与 Kafka 的双写窗口。

【Kafka 源码手记】05 Broker 网络层与请求处理（中）：Processor 事件循环与线上的字节上篇我们详细看了 Acceptor 的工作流程，也对 Processor 有了一些简单了解，最后收在安全握手：listener 的身份在 Processor 构造时变成了 ChannelBuilder，握手在事件循环里逐 poll 推进，ready() 之前业务字节一个不读。这一篇接着往下走——连接就绪之后，Processor 的七步循环怎么流转、一条连接为什么同一时刻只能有一个在途请求、线上的字节怎么被切成一帧一帧的请求、双方又怎么对表版本，以及这整件事为什么没有交给 Netty 去做。

Kafka13-自定义分区器1-走自定义分区器发送消息：走 partitionKafkaTemplate：带 key 按 key 的 hash 选分区，不带 key 随机选分区 2-代码仓库：https://gitee.com/enzoism/springboot-kafka-verify -b kafka-noauth

Kafka请求进门口：Processor是怎么把请求读上来的摘要：上一篇讲 Processor 怎么启动、怎么把新连接注册到 Selector。但连接注册完只是第一步——真正的问题是：Producer 发过来的字节，Processor 是怎么读上来、怎么解析成一个完整 Request 的？这篇从 poll 到入队，把请求接收全链路讲透。