Kafka开篇

前言

从本篇开始对个人Kafka学习做一个总结, 目标有这么几个。

  1. 从概念架构角度, 对消息中间件形成概要认知;
  2. 从使用角度, 掌握其常见用法;
  3. 从性能角度, 探究其高性能实现机制;

消息中间件的用途

  1. 从消息生产和消费的角度, 平衡消费者和消费者的速率差。基于该点可以做到削峰填谷, 比如流量突发, 日志处理等。
  2. 从系统解耦的角度, 解耦生产者和消费者的时空耦合。基于该点可以解耦系统依赖, 进而实现异步化处理。

消息中间件的概念架构

  1. 消息中间件类似于消息的临时中转站;
  2. 中转站需要接收生产者发送的消息, 并将消息以某种形式发送给消费者;
  3. 如果QoS级别要做到不丢失消息, 中转站则必须支持持久化存储;
  4. 如果中间件工作于分布式系统中, 则需要考虑可用性和伸缩性问题, 涉及集群元数据和存储数据;

Kafka的概念架构

  1. Kafka工作在分布式环境下;
  2. 输入消息和输出消息都通过broker来完成;
  3. Kafka通过topic和partion两级颗粒度管理消息;
  4. 元数据的高可用和伸缩通过Zookeeper来保证, 高版本中移除了Zookeeper的依赖, 由每个存储节点来维护;
  5. 存储数据的高可用和伸缩通过Partion和Replicaton Set来保证;

小结

本文作为Kafka系列的开篇, 介绍消息中间件的场景用途和概念架构,Kafka的顶层架构。后续会对整个过程相关的对象, 以及收发过程中存在的问题做更进一步的介绍, 感谢您的阅读。

相关推荐
CodeWithMe1 小时前
【Note】《Kafka: The Definitive Guide》 第8章: Cross-Cluster Data Mirroring
分布式·kafka
Alaia.1 小时前
【kafka 3.9.1】单机版集群部署并配置kafka的SASL认证
分布式·kafka
亲爱的非洲野猪17 小时前
Kafka消息积压的多维度解决方案:超越简单扩容的完整策略
java·分布式·中间件·kafka
亲爱的非洲野猪1 天前
Kafka “假死“现象深度解析与解决方案
分布式·kafka
CodeWithMe1 天前
【Note】《Kafka: The Definitive Guide》第三章: Kafka 生产者深入解析:如何高效写入 Kafka 消息队列
分布式·kafka
虾条_花吹雪1 天前
2、Connecting to Kafka
分布式·ai·kafka
亲爱的非洲野猪1 天前
Kafka消息积压全面解决方案:从应急处理到系统优化
分布式·kafka
prince052 天前
Kafka 生产者和消费者高级用法
分布式·kafka·linq
菜萝卜子2 天前
【Project】基于kafka的高可用分布式日志监控与告警系统
分布式·kafka
csdn_aspnet2 天前
在 Windows 上安装和运行 Apache Kafka
windows·kafka