kafka的工作原理与常见问题定义 kafka是一个分布式的基于发布/订阅模式的消息队列(message queue),主要应用于大数据的实时处理领域 消息队列工作原理 kafka的组成结构 kafka的基础架构主要有broker、生产者、消费者组构成,还包括zookeeper. 生产者负责发送消息 broker负责缓冲消息,存储在磁盘的,所以数据不易丢失,broker中可以创建topic,每个topic又有partition和replication的概念 消费者组负责处理消息,同一个消费者组的中消费者不能消费同一个partition