kafka

IoT DC3 消息总线：六适配器可插拔设计消息队列选型的主要成本不在中间件本身，而在耦合：业务代码中散落的发送方、消费方与序列化逻辑一旦绑定特定客户端 SDK，更换队列就意味着大规模重构。

消费者活着、心跳正常、日志干净，但它七天没拉过一条消息本文首发于我的博客：消费者活着、心跳正常、日志干净，但它七天没拉过一条消息八月初的一个周一，我在 Kafka 控制台巡检一个跑了很久的消费组。这个 topic 有 12 个分区，12 个副本的消费服务一一对应，平时安静得没什么存在感。

SpringBoot 整合 Avro 与 Kafka优质博文：IT-BLOG-CN【需求】：生产者发送数据至 kafka 序列化使用 Avro，消费者通过 Avro 进行反序列化，并将数据通过 MyBatisPlus 存入数据库。### 一、环境介绍【1】Apache Avro 1.8；【2】Spring Kafka 1.2；【3】Spring Boot 1.5；【4】Maven 3.5； <?xml version="1.0" encoding="UTF-8"?> 4.0.0 com.codenotfound spring-kafka-avro 0.0.

本地极简安装kafka**安装方式：**macOS/Windows + Docker Desktop + Apache 官方镜像 + KRaft + SASL/PLAIN 用户密码认证的单节点开发环境

ZCBUS实时计算

信创混合存储架构落地实战｜基于 ZCBUS 实时计算构建证券高可用实时风控数仓在证券两融、场外交易等核心业务场景中，风控系统需要基于实时资产、客户动态画像快速识别风险，传统 T+1 离线数仓无法满足业务时效要求。而在信创改造的过渡阶段，项目架构面临多重难点：

Kafka 去 ZooKeeper 实战评估：KRaft 模式架构解析与生产落地决策指南Kafka 4.0 已经彻底移除了 ZooKeeper，但生产上还有大量集群跑在 ZK 模式上——要不要迁 KRaft、什么时候迁、迁了会踩什么坑？本文基于一次内部技术评估整理：架构原理对比、九个维度逐项评估、核心配置示例、版本演进时间线，最后给出一棵"上不上 KRaft"的决策树。结论先行：新集群直接上，存量集群从 3.6 开始规划迁移，测试环境今天就该用起来。

StarRocks x Fluss x Paimon 湖流一体方案：构建秒级响应、湖流一体的实时数据引擎StarRocks x Fluss x Paimon 湖流一体方案通过将 Apache Fluss（面向分析场景的实时流存储）与 Apache Paimon（高性能湖格式表）深度融合，以 StarRocks 作为统一查询入口，构建了一套具备秒级新鲜度、十倍成本降低、一份数据一次查询的全新实时数据引擎。本文将介绍该方案的核心架构、技术优势、查询模式以及实现原理。

数智启示录

实时数据湖 flink CDC + Kafka +Doris 【企业级实战】Checkpoint、Offset、事务与幂等如何闭环 06Source 与 Sink 在同一个 Job，但普通 JDBC Commit 仍不受 Flink 两阶段提交协调，因此语义是：

数智启示录

实时数据湖 Flink CDC + Kafka +Doris 【企业级实战】之Kafka 事件缓冲层【附核心源码】 04在当前项目中，Kafka 不只是消息队列，而是：这四种职责决定了 Kafka 层不能只写一句 producer.send(json)。

数智启示录

实时数据湖 flink CDC + Kafka +Doris 【企业级实战】性能调优与生产运维闭环 09第一版主要面对：第二版加入 Kafka 后，又增加：任何一段到达上限，调高其他段都不会提升整体吞吐。第一版已经证明，表分组不能走两个极端。第二版应继续演进为按权重分组：

python3 使用canal监听后，kafka数据同步从mysql到clickhouse数据库完整复盘python3 使用canal监听后，kafka数据同步从mysql到clickhouse数据库完整复盘

Kafka 集群开机自启动配置指南本文档描述如何通过 systemd 为 Kafka KRaft 三节点集群配置开机自启动服务。配置完成后，三台机器在重启后 Kafka 服务将自动启动，无需人工干预。

Kafka（七）集成Apache Avro+Apicurio Schema Registry以保障生产者与消费者的消息兼容性在Kafka（二）将邮件发送从业务系统中解耦之消息系统设计这篇博文中，介绍了我们的邮件系统从业务系统中拆分的设计思路。随着邮件系统上线，并且越来越多的发邮件的场景集成到邮件系统中，出现了下面的问题

阿里云云原生

企业级实时数据平台建设：利用存算分离 Kafka 实现低成本、高可靠入湖作者：费红健本文整理自 Apache 2026 技术分享《实时湖仓管道：分离式 Kafka 中的原生入湖与内嵌计算》。

JAVA面经实录917

Kafka面试题标准答案（面试背诵版）(1)高吞吐高性能：依托顺序磁盘写入、操作系统页缓存、零拷贝技术、批量消息发送与压缩机制，极大减少IO损耗，单机可支撑几十万QPS，吞吐能力远超传统消息中间件。

阿里云云原生

深入解析存算分离 Kafka：如何实现从 Topic 到 Iceberg Table 的原生入湖？作者：费红健本文整理自 Apache 2026 技术分享《实时湖仓管道：分离式 Kafka 中的原生入湖与内嵌计算》。

SpringBoot 接入 Kafka 完整实操步骤SpringBoot2.x：推荐 spring-boot-starter-kafka；SpringBoot3.x 直接使用 spring-kafka（starter 已移除），不用写版本，父工程自动管理兼容版本

Kafka 集群开启 SASL 认证实战（二）：外置 ZooKeeper 之 kafka 与 zk 间认证很多场景下 Kafka broker 对内网客户端可以不加认证，但 kafka 与 ZooKeeper 之间的通道必须锁——zk 里存着 broker 元数据和消费者位移，谁都能连上去 rmr / 一键清空。本篇讲外置 ZooKeeper 场景下只做 kafka↔zk 间 SASL 认证的最小配置，不动 broker 对客户端的协议，业务应用零改造。配置在 ZooKeeper 3.6.3 + Kafka 2.5.1 生产集群验证通过。

Kafka 集群开启 SASL 认证实战（一）：内置 ZooKeeper 场景，JAAS 配置全流程Kafka 集群开启 SASL 认证实战（一）：内置 ZooKeeper 场景，JAAS 配置全流程# Kafka 集群开启 SASL 认证实战（一）：内置 ZooKeeper 场景，JAAS 配置全流程

Kafka 集群开启 SASL 认证实战（三）：外置 ZooKeeper 完整版，quorum 认证 + ACL 访问控制本系列终章。前两篇分别解决了"内置 zk 全套认证"和"外置 zk 只锁通道"两个场景，这一篇把安全等级拉满：kafka↔zk 认证 + zk ACL 白名单 + kafka 客户端认证三层一起上，做到 zk 连不上、kafka 进不去、topic 动不了。配置在 ZooKeeper 3.6.3 + Kafka 2.5.1 生产集群完整验证。