kafka

ZCBUS实时计算

信创混合存储架构落地实战｜基于 ZCBUS 实时计算构建证券高可用实时风控数仓在证券两融、场外交易等核心业务场景中，风控系统需要基于实时资产、客户动态画像快速识别风险，传统 T+1 离线数仓无法满足业务时效要求。而在信创改造的过渡阶段，项目架构面临多重难点：

Kafka 去 ZooKeeper 实战评估：KRaft 模式架构解析与生产落地决策指南Kafka 4.0 已经彻底移除了 ZooKeeper，但生产上还有大量集群跑在 ZK 模式上——要不要迁 KRaft、什么时候迁、迁了会踩什么坑？本文基于一次内部技术评估整理：架构原理对比、九个维度逐项评估、核心配置示例、版本演进时间线，最后给出一棵"上不上 KRaft"的决策树。结论先行：新集群直接上，存量集群从 3.6 开始规划迁移，测试环境今天就该用起来。

StarRocks x Fluss x Paimon 湖流一体方案：构建秒级响应、湖流一体的实时数据引擎StarRocks x Fluss x Paimon 湖流一体方案通过将 Apache Fluss（面向分析场景的实时流存储）与 Apache Paimon（高性能湖格式表）深度融合，以 StarRocks 作为统一查询入口，构建了一套具备秒级新鲜度、十倍成本降低、一份数据一次查询的全新实时数据引擎。本文将介绍该方案的核心架构、技术优势、查询模式以及实现原理。

数智启示录

实时数据湖 flink CDC + Kafka +Doris 【企业级实战】Checkpoint、Offset、事务与幂等如何闭环 06Source 与 Sink 在同一个 Job，但普通 JDBC Commit 仍不受 Flink 两阶段提交协调，因此语义是：

数智启示录

实时数据湖 Flink CDC + Kafka +Doris 【企业级实战】之Kafka 事件缓冲层【附核心源码】 04在当前项目中，Kafka 不只是消息队列，而是：这四种职责决定了 Kafka 层不能只写一句 producer.send(json)。

数智启示录

实时数据湖 flink CDC + Kafka +Doris 【企业级实战】性能调优与生产运维闭环 09第一版主要面对：第二版加入 Kafka 后，又增加：任何一段到达上限，调高其他段都不会提升整体吞吐。第一版已经证明，表分组不能走两个极端。第二版应继续演进为按权重分组：

python3 使用canal监听后，kafka数据同步从mysql到clickhouse数据库完整复盘python3 使用canal监听后，kafka数据同步从mysql到clickhouse数据库完整复盘

Kafka 集群开机自启动配置指南本文档描述如何通过 systemd 为 Kafka KRaft 三节点集群配置开机自启动服务。配置完成后，三台机器在重启后 Kafka 服务将自动启动，无需人工干预。

Kafka（七）集成Apache Avro+Apicurio Schema Registry以保障生产者与消费者的消息兼容性在Kafka（二）将邮件发送从业务系统中解耦之消息系统设计这篇博文中，介绍了我们的邮件系统从业务系统中拆分的设计思路。随着邮件系统上线，并且越来越多的发邮件的场景集成到邮件系统中，出现了下面的问题

阿里云云原生

企业级实时数据平台建设：利用存算分离 Kafka 实现低成本、高可靠入湖作者：费红健本文整理自 Apache 2026 技术分享《实时湖仓管道：分离式 Kafka 中的原生入湖与内嵌计算》。

JAVA面经实录917

Kafka面试题标准答案（面试背诵版）(1)高吞吐高性能：依托顺序磁盘写入、操作系统页缓存、零拷贝技术、批量消息发送与压缩机制，极大减少IO损耗，单机可支撑几十万QPS，吞吐能力远超传统消息中间件。

阿里云云原生

深入解析存算分离 Kafka：如何实现从 Topic 到 Iceberg Table 的原生入湖？作者：费红健本文整理自 Apache 2026 技术分享《实时湖仓管道：分离式 Kafka 中的原生入湖与内嵌计算》。

SpringBoot 接入 Kafka 完整实操步骤SpringBoot2.x：推荐 spring-boot-starter-kafka；SpringBoot3.x 直接使用 spring-kafka（starter 已移除），不用写版本，父工程自动管理兼容版本

Kafka 集群开启 SASL 认证实战（二）：外置 ZooKeeper 之 kafka 与 zk 间认证很多场景下 Kafka broker 对内网客户端可以不加认证，但 kafka 与 ZooKeeper 之间的通道必须锁——zk 里存着 broker 元数据和消费者位移，谁都能连上去 rmr / 一键清空。本篇讲外置 ZooKeeper 场景下只做 kafka↔zk 间 SASL 认证的最小配置，不动 broker 对客户端的协议，业务应用零改造。配置在 ZooKeeper 3.6.3 + Kafka 2.5.1 生产集群验证通过。

Kafka 集群开启 SASL 认证实战（一）：内置 ZooKeeper 场景，JAAS 配置全流程Kafka 集群开启 SASL 认证实战（一）：内置 ZooKeeper 场景，JAAS 配置全流程# Kafka 集群开启 SASL 认证实战（一）：内置 ZooKeeper 场景，JAAS 配置全流程

Kafka 集群开启 SASL 认证实战（三）：外置 ZooKeeper 完整版，quorum 认证 + ACL 访问控制本系列终章。前两篇分别解决了"内置 zk 全套认证"和"外置 zk 只锁通道"两个场景，这一篇把安全等级拉满：kafka↔zk 认证 + zk ACL 白名单 + kafka 客户端认证三层一起上，做到 zk 连不上、kafka 进不去、topic 动不了。配置在 ZooKeeper 3.6.3 + Kafka 2.5.1 生产集群完整验证。

【Kafka进阶6】顺序消费深度解析Kafka 的顺序保证建立在分区（Partition）这一核心概念之上。消费者组生产者Topic: ORDER_TOPIC

Anthropic把Claude Code 2.1.236及以上版本的Fable 5会话新智元报道Claude一夜变笨，全网吵翻了！就在昨天，开发者argofowl花了整整一个下午，差点把Claude Code翻了个底朝天。

kafka学习笔记-概念总集判断分区数不足的核心信号是消费者持续Lag、Broker CPU/网络长期超70%或消费者大量闲置；分区数建议设为Broker数量的整数倍（通常23倍），单Broker分区总数控制在100200个（上限4000）；扩充分区数无需删除原Topic，直接在线增加即可。

kafka broker迁移此脚本可实现旧 Broker 1～5 → 新 Broker 6～9 的健康分区批量迁移，真正支持中断恢复，可以按 10/20 个 Partition 一批执行，直到旧 Broker 的 ReplicaCount 全部降到 0