kafka

Kafka消息中间件（超大数据吞吐量）使用在分布式系统中，Kafka绝对是“明星组件”——日志收集、消息解耦、流式数据处理，几乎所有中大型项目都离不开它。很多同学学Kafka时，容易陷入“原理抽象看不懂，配置繁多不会选”的困境。这篇博客就从实际场景出发，先把Kafka核心原理讲明白（结合真实业务场景拆解），再聚焦实战配置分析（告诉你不同场景下该怎么配），帮你真正把Kafka学透、用会。

Kafka: 基于 NestJS 的问卷系统配置与业务实现核心目标：动态读取模板配置，支持多环境路径适配与模板激活管理。1 ) 方案1配置类结构定义关键配置说明

太阳伞下的阿呆

kafka高吞吐持久化方案（2）文章主要针对上篇中方案3的进阶进行升级对比介绍使用 WeakHashMap + ReentrantLock 实现按 Key（如 uid_cid）自动回收的锁池（Lock Pool），适用于需要对不同 key 粒度加锁，又希望避免内存泄漏的场景。

Chasing__Dreams

kafka--基础知识点--19--消息重复acks = 1 或 -1，当消息已经写入leader或ISR中的folloer后，brocker给生产者发送确认响应后发送网络抖动或leader崩溃又崩溃重启，生产者发现没有确认响应再次发送，导致消息brocker中出现了两条重复的消息，重复发送导致。

[kafka]伪集群搭建,各个节点配置文件中listeners参数的配置各个节点的 listeners 配置必须不同，因为它们是绑定到不同的端口上的。在一台电脑上部署 Kafka 伪集群时：

SQL深度分页问题案例实战执行流程：执行流程：说明：⚠️ 需要注意的问题：✅ 推荐做法：

【MQ】Kafka与RocketMQ深度对比很多人问：Kafka 和 RocketMQ 到底该选哪个？这篇文章我们就来深入对比一下这两个消息队列的架构差异、功能特性和性能表现，帮你做出更好的技术选型。

Cloudera CDP7、CDH5、CDH6 在华为鲲鹏 ARM 麒麟KylinOS做到无缝切换平缓迁移过程Cloudera CDP7、CDH5、CDH6 在华为鲲鹏 ARM 麒麟KylinOS做到无缝切换平缓迁移过程

Easyoole 使用rdkafka 进行kafka的创建topic创建删除以及数据发布订阅开发环境 Linux首先我们需要下载安装librdkafkahttps://github.com/confluentinc/librdkafka/tags?after=v2.10.0-RC2

基于Docker搭建kafka集群在单台服务器上使用 Docker Compose 部署 Kafka 3.7 KRaft 集群（3 节点）。所有 3 个 Kafka 节点（combined mode：broker + controller）运行在同一台物理机上，通过不同端口区分，适用于开发、测试或轻量级生产场景。

基于 Docker 部署 Kafka（KRaft + SASL/PLAIN 认证）生产者能生成消息，但消费者消费不了，好奇怪！版本：Apache Kafka 3.7.0 | 模式：KRaft（无 ZooKeeper）| 安全：SASL/PLAIN 用户名密码认证

设计模式——责任链模式实战，优雅处理Kafka消息Kafka接收消息，需要A，B，C...多种策略做处理，再通过http请求发送给下游。多种策略混在一起很难维护，通过责任链模式把每种策略的代码收敛到自己的Handler中

Kafka详解提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档1.1 Kafka定义 Kafka（传统）分布式的基于发布/订阅模式的消息队列（Message Queue），应用于大数据实时处理领域。（发布/订阅：消息的发布者不会将消息直接发布给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息。）

搭建kafka集群(安装包 + docker方式)PS : 本地SpringBoot服务连接kafka集群的时候需要把advertised.listeners的内网IP改成公网IP

青春不流名

如何在Kafka中使用SSL/TLS证书认证在 Kafka 中配置 SSL/TLS 证书认证（核心是双向认证，客户端验证 broker、broker 验证客户端）需完成证书准备、Broker 配置、客户端配置三大核心步骤，以下是详细实操指南（基于 Kafka 2.8+，JKS 格式证书）。

青春不流名

Kafka 的认证机制Kafka 的认证机制主要围绕客户端与 broker、broker 与 broker、broker 与 Controller、工具类（如 kafka-console-producer）与 broker 之间的身份验证展开，官方及社区主流支持的认证方式可分为六大类，涵盖从简单的用户名密码到强安全的证书认证，以下是详细说明：

ZooKeeper+Kafka目录一、Zookeeper1.1 Zookeeper 概述1.2 Zookeeper 工作机制1.3 ZooKeeper 特点

Kafka 安全加固实践指南（可直接落地）Kafka 作为分布式消息队列，核心安全风险集中在未授权访问、数据传输泄露、权限滥用、元数据泄露等场景。以下从网络隔离、认证授权、数据加密、配置加固、日志审计、运维管理 6 大维度，提供可直接执行的加固方案，含配置示例和操作步骤。

Chasing__Dreams

kafka--基础知识点--6.4--LSO个人理解，可能有误，仅供参考LSO: LastStableOffset，分区中第一个未完成事务的起始偏移量，或如果没有未完成事务则为HW。