kafka介绍

Apache Kafka 是一个分布式流处理平台,通常用作消息中间件。它提供了消息持久化、高吞吐量、分区和复制等功能。以下是 Kafka 的一些关键特性:

1.发布/订阅架构:Kafka 允许生产者发布消息到主题(topics),消费者订阅这些主题来获取消息。

2.分区:Kafka 将主题进一步分割成多个分区,每个分区都是一个有序的、不可变的消息列表,存储在集群中。

3.偏移量管理:消费者控制他们消费消息的位置(偏移量),可以选择从哪里开始消费。

4.持久性:Kafka 将消息持久化到磁盘,即使集群宕机也不会丢失数据。

5.可扩展性:Kafka 集群可以在需要时增加更多节点,以增加容量和冗余。

6.实时数据流处理:Kafka 可以用来构建实时数据流处理应用。

7.数据集成:Kafka 广泛用于日志聚合和数据流处理,作为不同系统间的集成层。

8.容错性:Kafka 的设计允许集群中的节点失败而不影响整个系统。

Kafka 的主要用途是处理实时数据流和构建实时数据流处理系统,它的设计理念与传统的消息队列不同,更注重于大数据和实时处理。

相关推荐
太阳伞下的阿呆17 小时前
kafka高吞吐持久化方案(2)
分布式·kafka·高并发·重入锁
Chasing__Dreams1 天前
kafka--基础知识点--19--消息重复
分布式·kafka
import_random2 天前
[kafka]伪集群搭建,各个节点配置文件中listeners参数的配置
kafka
Mr.朱鹏3 天前
SQL深度分页问题案例实战
java·数据库·spring boot·sql·spring·spring cloud·kafka
山沐与山3 天前
【MQ】Kafka与RocketMQ深度对比
分布式·kafka·rocketmq
yumgpkpm3 天前
Cloudera CDP7、CDH5、CDH6 在华为鲲鹏 ARM 麒麟KylinOS做到无缝切换平缓迁移过程
大数据·arm开发·华为·flink·spark·kafka·cloudera
树下水月3 天前
Easyoole 使用rdkafka 进行kafka的创建topic创建 删除 以及数据发布 订阅
分布式·kafka
Cat God 0073 天前
基于Docker搭建kafka集群
docker·容器·kafka
Cat God 0073 天前
基于 Docker 部署 Kafka(KRaft + SASL/PLAIN 认证)
docker·容器·kafka