kafka

小江的记录本

【Kafka核心】Kafka高性能的四大核心支柱：零拷贝、批量发送、页缓存、压缩本文全方位、结构化拆解Kafka高性能的四大核心支柱，从顶层设计逻辑、单特性深度原理、多特性协同机制、全链路闭环、场景化调优到避坑指南，构建完整的系统性知识体系。

Docker部署Kafka持久化遇到的各种问题及解决方案最近在项目中使用 docker-compose 部署 Kafka 时，遇到一个问题：执行 docker-compose down && docker-compose up -d 后，之前创建的所有 Topic 和消息全部丢失。

Kafka | 学习笔记目标：以后复习 Kafka 面试时，只看这一份讲义，就能快速回忆起 Kafka 的核心概念、底层机制、生产者、Broker、消费者、可靠性、事务、Offset、消息积压、生产调优和常见面试回答。

小江的记录本

【Kafka核心】架构模型：Producer、Broker、Consumer、Consumer Group、Topic、Partition、Replica本文基于Kafka最新稳定版（3.x+，含KRaft架构），围绕Producer、Broker、Consumer、Consumer Group、Topic、Partition、Replica七大核心实体，构建从顶层设计→核心实体拆解→全链路协同→核心机制→设计哲学→落地实践的完整知识体系，实现全方位、结构化的知识闭环。

Kafka ：存储、复制与可靠性本章从底层解释 Kafka 为什么吞吐高、为什么能容错，以及什么配置会影响丢消息和重复消息。Kafka 的 partition 本质是追加日志。每个 partition 在磁盘上对应一个目录，目录中有多个日志段文件。

构建企业级实时数据管道：Kafka + Flink 最佳实践在当下的数据驱动型企业中，实时数据管道已经从“可选的附加组件”晋升为“核心基础设施”。无论是实时风控、运营实时大屏、推荐系统特征实时拼接，还是数据库的 CDC 同步，底层都离不开消息队列和流计算引擎的紧密配合。Apache Kafka 和 Apache Flink 几乎成为了这对组合的事实标准。

Spring Boot Kafka 项目 Demo：订单事件系统专家知识、源码阅读路线与面试题项目目录：这个 demo 模拟“订单服务发送订单事件，消费者处理并保存处理结果”的完整链路，覆盖生产项目最常见能力：

Kafka 基础：从消息队列到事件流平台Kafka 是一个分布式事件流平台。它表面上像消息队列，但核心模型不是“把消息投递给某个消费者后立刻删除”，而是“把事件追加写入一个可持久化、可分区、可复制的日志中，消费者按 offset 自己读取”。

Kafka Streams、Connect 与生态Kafka 不只是消息中间件，还包含流处理、数据集成和跨集群复制生态。本章覆盖：Kafka Streams 是 Kafka 官方 Java 流处理库。它不是独立集群，而是嵌入你的应用进程。

从 0 到 1：PG WAL → Debezium → Kafka → Spring Boot → RedisPostgreSQL 表更新 → Kafka 有事件 → Spring Boot 消费 → Redis Key 被删除

【西瓜带你学Kafka | 第六期】Kafka 生产确认、消费 API 与分区分配策略（文含图解）用 Kafka 的第一步通常是把消息发出去、消费回来，看起来很简单。但稍微深入就会遇到一连串的选择题：acks 设 0 还是 -1？用 High-level API 还是 Sample API？分区副本怎么就自动散落到不同机器上了？

【西瓜带你学Kafka | 第七期】Kafka 日志存储体系：保留清理、消息格式与分段刷新策略（文含图解）前面几篇聊了 Kafka 的副本同步、ACK 确认、消费模型这些"数据流转"层面的机制。但有一个更底层的问题一直没展开——消息写到 Broker 之后，到底是怎么存的？存多久？文件怎么组织？什么时候从内存落到磁盘？

消息队列（MQ）技术全景科普：从选型到AI+未来消息队列（Message Queue，MQ）是分布式系统的"神经系统"，承担着异步通信、流量削峰、系统解耦的核心职责。无论是电商大促的订单洪峰，还是实时数仓的海量日志采集，消息队列都是现代架构中不可或缺的基础设施。本文将从主流产品对比、高可用架构、集群部署、集成实践到AI+未来趋势，为你构建完整的MQ知识体系。

运维老司机

Kafka 单节点部署（Docker Compose + 数据持久化）👉 原因：Kafka 容器默认使用 UID 1000（appuser）👉 示例输出：👉 记下来，后面要用

JAVA面经实录917

如何选择适合项目的「限流 / 熔断 / 降级」方案AI 项目特点：大模型响应慢、外部 API 不稳定、文件上传耗资源 → 熔断 + 限流必须同时要有表格

Kafka Docker 部署持久化避坑指南：解决重启后 Cluster ID 不匹配问题在前两篇系列文章中，我们完成了 Kafka 的 Docker Compose 基本部署，并解决了监听器（Listener）配置与客户端连接的问题。然而，当你准备将这套环境用于日常开发时，会发现一个致命缺陷：执行 docker-compose down && docker-compose up -d 后，Kafka 之前创建的所有 Topic 和消息全部丢失。更严重的是，即使只是添加了数据卷映射、让数据目录持久化到宿主机，Kafka 也会陷入无限重启，日志中反复出现如下错误：

小张小张爱学习

Kafka面试题实现方式： Kafka 使用 Java NIO 的 FileChannel.transferTo() 方法，底层调用 Linux 的 sendfile 系统调用。

大厂Java面试实录：Spring Boot/Cloud + Redis/Kafka + JWT + RAG/Agent（小Y翻车版）你面试的是一家互联网大厂的“电商内容社区 + AIGC 智能客服”团队：面试官（严肃、逻辑强）VS 程序员小Y（搞笑、基础能答，复杂就开始“艺术化表达”）。

从零学习Kafka：生产者分区机制在前面的文章中，我们主要学习了 Kafka 服务端的相关知识。从本文开始，我们将视角转到客户端。在从零学习Kafka：集群架构和基本概念一文中，我们了解了 Kafka 中分区的概念，它的主要作用一个是支持系统的可伸缩性，另一个是负载均衡。

从一次 Kafka 启动失败，深挖本地服务间通信的“隐形陷阱”“我的 Kafka 怎么起不来了？”——这可能是大数据领域开发者最常遇到的“入门级”难题之一。今天要分享的，正是这样一个看似简单，却让我和团队耗费数小时才根除的“幽灵问题”。