kafka

从内容社区到AI智能客服：Spring Boot + Spring Cloud + Spring AI 全栈实战面试拆解场景：某互联网大厂，业务是「内容社区 + UGC + AIGC」，正在招聘 Java 后端开发。角色：

Kafka 消费倾斜死锁与 Partition 掉队：我用 Rust 写了个“数据管道物理哨兵”，比 Grafana 报警快了 18 秒在海量数据实时计算（Flink/Spark Streaming）与日志管道（ELK/Vector）架构中，Apache Kafka 是支撑高吞吐数据流转的核心引擎。然而，当遭遇 Key 设计不均引发的消费倾斜（Data Skew）、慢消费节点拖垮整个 Consumer Group，或 Partition 偏移量（Offset）提交超时导致的 Rebalance 死锁时，消费延迟（Lag）会呈现指数级飙升。

Kafka消费者offset提交auto.commit是出事的根源。它的机制是消费者每隔auto.commit.interval.ms自动提交当前poll的最大offset，但提交的是"已拉取"的offset而非"已处理"的offset。消费者poll下来500条，处理到第200条时触发自动提交，提交了第500条的offset。此时如果崩溃，第201到500条直接丢失。反过来，如果处理完了但还没到提交间隔就rebalance，新消费者从上次提交点重新消费，201到500条重复处理。

TDengine （老段）

TDengine 第三方工具 — Telegraf、Kafka Connect、Flink、Spark分类：14.生态 | 篇章：04 第三方工具免费详情TDengine 通过 InfluxDB 兼容协议、JDBC、连接器等方式与主流数据生态对接。本文汇总 Telegraf、Kafka Connect、Flink、Spark、Logstash 等工具的集成方式。

基于Canal实现mysql数据同步到消息队列（RabbitMQ/Kafka）详细操作教程由于网络网闸问题，目前采用canal进行解析mysql，然后推送到mq，再次进行消费写入数据库。以下基于 arm64 linux ubuntu24、mysql 8.0、 docker部署、canal-server v1.1.8、kafka v3.9.0、rabbitmq v4.3.2

liudashuang2017

Kafka Producer 隐藏深坑：Sender 线程自阻塞（自死锁）导致 BufferExhaustedException 完整复盘线上订单推送链路出现大量 BufferExhaustedException: Available memory: 0，Disruptor 订单工作线程长时间阻塞，最终定位根因并非单纯缓冲区打满，而是一处极易踩坑的Sender 线程自阻塞（Self-Deadlock，自死锁）。

ELK企业级日志分析平台3——ES数据备份 & 集群监控 & ELFK+Kafka 架构部署nfs 服务端配置ES节点配置server2和server3同上滚动重启 ES集群重启之后恢复默认值

富士康质检员张全蛋

Kafka 的Log-Log Compaction前段消息其实是已经别压缩过的，而后面的部分是没有被压缩过的，97是下次写消息进来的时候保存的offset。

富士康质检员张全蛋

Kafka 事物幂等性是无法保证分区之间是生效的，但是有了事务可以解决跨分区写入消息，通过原子性。生产者给0分区发送消息失败了，失败了1分区就不需要发了。

Kafka 消费者心跳正常，为什么还会被踢出组？拆清 max.poll.interval.ms有一类消费延迟问题很绕：进程没挂，网络也通，监控里的心跳看着还算正常，但消费者还是反复重平衡，最后在提交 offset 时撞上了 CommitFailedException。

成为你的宁宁

【Kafka KRaft 集群】提示：本文原创作品，良心制作，干货为主，简洁清晰，一看就会Kafka 作为主流的分布式消息中间件，被广泛应用于日志收集、异步解耦、流量削峰等业务场景。自 Kafka 2.8.0 版本正式推出 KRaft 内置 Raft 协议后，彻底移除了 ZooKeeper 依赖，简化架构、提升集群稳定性与性能。为帮助快速掌握新版 Kafka，本文先系统讲解 Kafka 核心基础原理，再手把手完成 KRaft 模式三节点集群搭建与测试，实现原理理解与工程落地一体化

地球或逃逸到相对安全的日心轨道北京时间8月5日14时35分，一枚在太空中漂泊了近19个月SpaceX猎鹰9号火箭第二级残骸，以每秒约2.4公里（约7倍音速）的速度撞击月球西侧的爱因斯坦陨石坑附近区域，完成了它最终的宿命。

Kafka深入刨析-Consumer为什么 Kafka Consumer 的并发模型值得深入研究？大多数 Java 并发库的答案是 synchronized 或 ReentrantLock + Condition。Kafka Consumer 走了完全不同的路线：它刻意不支持多线程并发访问，用 CAS 做归属检查而非做同步，用 Wakeup 做 "唯一后门" 而非给所有 API 加并发安全。

基于 DrissionPage 与 Xvfb 的分布式无头爬虫架构该脚本的设计目标是实现一个在无 GUI 环境（Linux）中运行的高可靠性网页采集器。整体架构采用了“控制流与日志流彻底分离”、“单线程严格物理超时熔断”、“多实例端口级精准隔离”以及“网络数据包拦截与 DOM 节点反向注入”等核心设计模式。

java1234_小锋

【免费】基于Spark实时医疗健康数据监测与疾病预测系统(Java版本+可视化大屏+Kafka+SpringBoot+Vue3) 锋哥原创出品，必属精品大家好，我是Java1234_小锋老师，分享一套锋哥原创的基于Spark实时医疗健康数据监测与疾病预测系统(Java版本+可视化大屏+Kafka+SpringBoot+Vue3)

flink和kafka常见面试题1. Kafka 为什么吞吐量这么高？ Kafka 之所以吞吐量高，主要依赖以下几个设计：首先，Kafka 采用顺序写磁盘，消息以追加方式写入 Log 文件，避免随机 I/O 带来的性能损耗，使磁盘写入效率非常高。

菜地里的小菜鸟

k8s部署单节点 Kafka（KRaft 模式）并启用 SASL 认证https://www.cnblogs.com/Leonardo-li/p/18796443https://www.cnblogs.com/Leonardo-li/p/18813140

Volunteer Technology

Kafka的消费全流程我们接着继续去理解最后这条消息是如何被消费者消费掉的。其中最核心的有以下内容。1、多线程安全问题2、群组协调

Kafka 消费者卡死排查：一个 topic 堵了 18 小时，监控全绿没人发现Kafka 消费者卡死的一次真实故障复盘：LAG 一直涨、CURRENT-OFFSET 不动、消费者被反复踢出组，而告警群里一条消息都没有。凶手是三个单独看都"没毛病"的设计叠在一起。文末第六节是可直接照抄的 5 步排查清单（含 kafka-consumer-groups.sh / jstack 命令），遇到"消息不动了但不报错"照着走一遍就能定性。

敲个大西瓜

Kafka一百道核心面试题Kafka 面试题 100 道（对标阿里 P6 级别）说明：本题集覆盖Kafka核心原理、源码机制、性能调优、故障排查、架构设计等维度，对标阿里P6（高级工程师）面试深度。题目按难度渐进排列，每道题均需掌握底层原理而非常识性记忆。