Zookeeper

[kafka通过 ack 应答机制来保证数据的可靠性](#kafka通过 ack 应答机制来保证数据的可靠性)

分布式系统管理框架，主要用来解决分布式应用集群中应用系统的数据一致性问题相当于各种分布式应用的注册中心+文件系统+通知机制

本质：用于注册各种分布式应用，存储和管理这些分布式应用的元数据，如果应用或服务本身状态发送变化就会通知客户端

第一次leader选举：比较服务器节点的myid，谁的myid最大就获取其它节点的选票，当选票超过服务器节点数量的半数则当选leader，其它节点为follower，即使以后再有其它myid更大的节点加入集群也不会影响之前的选举结果。

非第一次选举：如果是非leader节点故障，替换新的节点继续作follower，与现存的leader节点建立连接并同步数据

如果是leader节点故障，则需要重新选举新的leader，先比较每个存活节点的epoch（参与选举的次数），如由epoch最大的节点则直接当选leader

若epoch有相同的节点，再比较zxid（写操作的事务id），如由zxid最大的节点则直接当选leader

若zxid也有相同的节点，继续比较sid（等同于myid），由sid最大的节点当选leader

中间件实现应用解耦、异步处理

Web应用型（代理服务器）：Nginx Haproxy Tomcat PHP

消息队列型（MQ）：Redis Kafka RabbitMQ RocketMQ ActiveMQ

消息队列的好处：应用解耦、异步处理、数据缓冲、流量削峰、可恢复等

消息队列的模式：

点对点模式：一对一，一个消息只能有一个消费者能够消费，消息者消费完消息后会清除消息

发布/订阅模式（观察者模式）：一对多，数据生产后会推送给所有消费者，消费者消费完消息后不会清除消息

Kafka 是一个分布式的基于发布/订阅模式的消息队列。主要应用于大数据实时处理领域和日志收集。

Broker kafka服务器节点

Producer 生产者，发布消息到topic

Consumer 消费者

Consumer Group 消息者组，是消息的实际订阅者，一个消费者组包含一个或多个消费者，且组内成员不能重复消费同一个Partition数据

Producer -> Topic消息队列 -> 一个或多个partition分区 -> 一个或多个replica副本（leader负责数据读写，follower只负责同步复制leader的数据）

Consumer -> offset偏移量（用来记录消费者上一次消费到的位置）

Zookeeper 存储和管理kafka集群的元数据，生产者和消费者的动作都需要zk的管理和支持。

比如生产者推送数据到kafka需要先通过zk寻找到kafka集群节点的位置，消费者可以从zk获取offset记录的上一次消费的位置再继续往后消费。

kafka-topics.sh --zookeeper IP1:2181,IP2:2181,IP3:2181 --create --topic 队列名 --partitions 分区数 --replication-factor 副本数 #创建topic

kafka-topics.sh --zookeeper IP1:2181,IP2:2181,IP3:2181 --list #查看topic列表

kafka-topics.sh --zookeeper IP1:2181,IP2:2181,IP3:2181 --discribe --topic 队列名 #查看topic详细信息

kafka-topics.sh --zookeeper IP1:2181,IP2:2181,IP3:2181 --alter --topic 队列名 --partitions 分区数(只能增不能减) #修改topic分区配置

kafka-topics.sh --zookeeper IP1:2181,IP2:2181,IP3:2181 --delete --topic 队列名 #删除topic

kafka-console-producer.sh --broker-list IP1:9092,IP2:9092,IP3:9092 --topic 队列名 #向topic推送消息

kafka-console-consumer.sh --bootstrap-server IP1:9092,IP2:9092,IP3:9092 --topic 队列名 $--from-beginning$ #从topic拉取消息

在 producer.properties 配置文件中设置 request.required.ack 参数

acks 参数设置 0，代表生产者不等kafka确认就会发送下一条消息。此机制性能最高，可靠性最低，当leader的broker故障可能会丢失数据

1，代表生产者会等leader接收到数据并确认后才会发送下一条数据、此机制性能其次，可靠性一般，当follower同步完成前leader故障可能会导致数据丢失

-1|all，代表生产者需要等所有的follower都同步完成并确认后才会发送下一条数据。此机制性能最低，可靠性最高