什么是 kafka

Kafka 是一个由 Apache 软件基金会开发的开源流处理平台，具有高吞吐量、低延迟和可扩展性等特点。

Kafka 的基本原理

● 生产者-消费者模型: 生产者将消息发布到主题，消费者订阅主题并消费消息。生产者通过 push 操作将数据发送到 broker，消费者通过 pull 操作从 broker 获取数据。

● 分布式协调: Kafka 使用 Zookeeper 作为分布式协调框架，管理生产者和消费者的订阅关系，确保系统的可用性和负载均衡。

Kafka 的特点

1. 高吞吐量: Kafka 每秒可以处理几十万条消息，延迟最低只有几毫秒。

2. 持久性和可靠性: 消息被持久化到本地磁盘，并支持数据备份，防止数据丢失。

3. 可扩展性: Kafka 集群支持热扩展，能够通过增加节点来提高处理能力。

4. 容错性: 允许集群中节点失败，若副本数量为 n，则允许 n-1 个节点失败。

5. 高并发支持: 支持数千个客户端同时读写。

Kafka 的架构

● Broker: 负责消息的存储和转发，支持水平扩展。

● Zookeeper: 用于协调和管理 Kafka 集群中的元数据。

● Producer: 负责将消息发送到 Kafka 集群。

● Consumer: 负责从 Kafka 集群中消费消息。

应用场景

● 日志聚合: Kafka 常用于收集和处理大量日志数据，支持实时分析和离线分析。

● 事件驱动架构: 作为事件源，Kafka 可以用于构建事件驱动的应用程序，支持复杂的业务逻辑处理。