Apache Kafka 4.0.0 版本发布，带来了众多新功能和改进。该版本是第一个完全不依赖 Apache ZooKeeper 运行的主要版本，默认以 KRaft 模式运行，简化了部署和管理。此外，还引入了新的消费者组协议、提供对 Queues for Kafka 的早期访问、更新了 Java 版本要求、移除了一些旧的 API 和功能等。
1、重要特性说明
-
无 ZooKeeper 运行：
Apache Kafka 4.0 标志着第一个完全没有 Apache ZooKeeper 运行的主要版本。默认以 KRaft 模式运行，简化了部署和管理，降低了运营开销，增强了可扩展性并简化了管理任务。
-
新消费者组协议：
Kafka 4.0 带来了 KIP-848 的全面可用性，引入了强大的新消费者组协议，显著提高再平衡性能，减少停机时间和延迟，增强了消费者组的可靠性和响应能力。
-
Queues for Kafka：
提供对 Queues for Kafka（KIP-932）的早期访问，使 Kafka 能够直接支持传统的队列语义，扩展了 Kafka 的多功能性。
-
Java 版本要求更新：
Kafka 4.0 中，Kafka Clients 和 Kafka Streams 需要 Java 11，而 Kafka Brokers、Connect 和 Tools 现在需要 Java 17。
-
Kafka Streams 改进：
KIP-1104 允许在 KTable 连接中从键和值中提取外键；KIP-1112 允许自定义处理器包装；KIP-1065 为 ProductionExceptionHandler 添加 "retry" 选项；KIP-1091 改进了 Kafka Streams 运算符指标。
2、使用新特性的注意点
ZooKeeper 依靠自己强一致性的特点，一直在分布式届延续着自己的传奇，很多软件都会选择它作为分布式集群的载体，如之前的4.0之前的Kafka、spark、hadoop、dubbo的注册中心等。但是Kafka在以强大推吐量著称，强依赖强一致性的ZooKeeper，势必带来一定的性能瓶颈。ZooKeeper 增加了系统的复杂性,维护和管理 ZooKeeper 集群需要额外的资源和专业知识。KRaft作为Kafka内部的算法机制直接替代ZooKeeper，使得部署和维护都变得简单了许多。
Raft 协议被用于分布式存储系统中，以确保数据在多个节点间的一致性和可用性。例如，分布式键值存储（如 etcd、Consul）和分布式数据库（如 TiKV）都采用了 Raft 协议。KRaft则是用户Kafka内部的专属协议。
新消费者组协议的核心就是增量式重平衡，不再依赖全局同步屏障，而是由组协调器（GroupCoordinator）驱动。将凭屏障的颗粒度有全局编程局部，细粒度的控制消费者。只有更改的消费者和分区变化时只会触发对应的屏障，其他不受影响。这也明显的提高处理的速度。
Kafka 4.0 通过引入共享组 (Share Group) 机制提供了类似队列的功能。不过，它并非真正意义上的队列，而是利用 Kafka 已有的主题（Topic）和分区（Partition）机制，结合新的消费模式和记录确认机制来实现类似队列的行为。
Kafka 4.0对JDK也有要求，Kafka 客户端和 Kafka Streams 需要 Java 11，Kafka Brokers、Connect工具需要 Java 17。你还在坚持着JDK你发任你发，我用JAVA8的态度么，如果这样，Kafka 4.0的新特性也将无法尝试。
3、小结
各种软件都在拥抱新的变化，不断地兼容新的产品。我们是不是也要去迭代自己的知识库，去学习这些新的东西，要不然就被时代遗弃了。
关注我的公众号：【编程朝花夕拾】，获取首发内容。