点一下关注吧！！！非常感谢！！持续更新！！！
目前已经更新到了：
- Hadoop（已更完）
- HDFS（已更完）
- MapReduce（已更完）
- Hive（已更完）
- Flume（已更完）
- Sqoop（已更完）
- Zookeeper（已更完）
- HBase（已更完）
- Redis （已更完）
- Kafka （正在更新...）
章节内容
上节我们完成了如下的内容：
- Redis高可用 CAP-AP
- Redis主从模式
- Redis一主一从 一主多从
- Redis哨兵模式
- Redis哨兵模式 docker-compose测试
终于！我们更新完了Redis！现在我们开始更新Kafka。
Kafka介绍
Kafka最初是由Linkedin公司开发，是一个分布式、分区的、多副本、多生产者、多消费者、基于ZK的。
常见用于 Nginx 日志、消息服务。在2010年贡献给了Apache基金会成为顶级开源项目。
Kafka主要设计目标如下：
- 以时间复杂度为O(1)的方式提供消息持久化的能力，即使TB级数据也能保证常数访问。
- 高吞吐率，即使在非常廉价的机器上也可以有每秒100K条消息的传输
- 支持KafkaServer间的消息分区，及分布式消费，同时保证每个Partition内的消息顺序传输。
- 同时支持离线数据处理和实时数据处理
- 支持在线水平扩展
生产消费图
消息模式
主流的消息传递有两种方式：点对点和发布订阅，Kafka属于 发布-订阅 模式的一种
对于消息中间件，消息会分为：拉、推。Kafka消息只有拉取，没有推送。（可以用轮询实现推送）
- Kafka在一个或多个可以跨域多个数据中心的服务器上作为集群运行
- Kafka集群按照主题分类管理，一个主题可以多个分区，一个分区可以有多个副本分区
- 每个记录由一个键，一个值和一个时间戳组成。
核心API
- ProducerAPI：允许应用程序记录流发布到一个或者多个Kafka主题
- ConsumerAPI：允许应用程序订阅一个或多个主题并处理并生成记录流
- StreamAPI：允许应用程序充当流处理器，使用一个或多个主题的输入流，并生成一个或者多个输出流。从而有效的将输入流转换为输出流。
- ConnectorAPI：允许构建和运行将Kafka主题连接到现有应用程序或数据系统的可重用生产者或使用者
Kafka优势
- 高吞吐：单机每秒处理几十百万的消息量，即使存储了TB消息，也能够稳定运行
- 高性能：单节点支持上千个客户端，并保证零停机和零数据丢失。
- 持久化数据存储：将消息持久化，通过数据持久化到磁盘以及replication防止数据丢失。
- 分布式系统，易于向外扩展。所有Producer和Consumer等都可以有多个，分布式的，无需停机扩展。
- Kafka是分布式、分区、复制、容错的
- 客户端状态维护：消息被处理的状态在Consumer端维护，而不是由Server维护，失败能够自动平衡
- 支持online和offline场景
- 支持多种语言
应用场景
- 日志收集：可以用Kakfa进行日志的收集
- 消息系统：解耦生产者和消费者
- 用户活动跟踪：用户行为被记录到Kafka中，消费者取到之后对用户的数据进行分析处理
- 运营指标：记录运营监控数据、报警和报告
- 流式处理：比如SparkStream、Storm
基本架构
消息和批次
- Kafka的数据单元称为消息，可以把消息看成是数据库里的一个数据行或者一条记录。消息由字节组组成。
- 消息由键，键也是一个字节数组，当消息以一种可控的方式写入不同的分区时，会用到键。
- 为了提高效率，消息被分批写入Kafka，批次就是一组消息，这些消息属于同一个主题和分区。
- 把消息分批次可以减少网络开销，批次越大，单位时间内处理的消息就越多，单个消息传输的时间久越长。
消息模式
- 消息模式（schema）有很多可用的选项。如 JSON、XML，他们缺乏强类型的处理能力。
- Kafka的开发者喜欢使用ApacheAvro，提供了一种紧凑序列格式化，模式和消息体分开。当模式发生变化时，不需要重新生成代码，它还支持强类型和模式进化。
- 数据格式一致性对Kafka很重要，因为它消除了消息读写操作之间的耦合性。
主题和分区
Kafka的消息通过主题进行分类，主题可比数据库表或者文件系统里的文件夹。主题可以被分为若干区域，一个主题通过分区分布于Kafka集群中，提供了横向扩展的能力。
生产和消费者
生产者创建消息，消费者消费消息。
生产者在默认的情况下会把消息均衡的发布到主题的所有分区上：
- 直接指定消息的分区
- 根据消息的key散列取模得出分区
- 轮询指定分区
消费者通过偏移量来区分已经读过的消息，从而消费消息。
消费者是消费组的一部分，消费组保证每个分区只有一个消费者使用，避免重复消费。
Broker 和 集群
一个独立的Kafka服务器成为Broker，Broker接受来自生产者的消息，为消息设置偏移量，并提交到磁盘进行保存。
Broker为消费者提供服务，对读取分区的请求做出响应，返回已提交到磁盘上的消息。
单个Broker可以轻松处理数千个分区以及每秒百万的消息量。
每一个集群都有一个Broker是集群控制器（自动从集群的活跃成员中选举出来）
控制器负责管理工作：
- 将分区分配给Broker
- 监控Broker
集群中一个分区属于一个Broker，该Broker称为分区首领。
- 一个分区可以分配给多个Broker，此时会发生分区复制。
- 分区的复制提高了消息冗余、高可用。
- 副本分区不负责处理消息的读写。