kafka

Kafka的优势

Kafka就是一个分布式的用于消息存储的消息队列。一般用于大数据的流式处理中。

一些常见的中间件:ActiveMQ,IBMMQ,RabbitMQ,ZMQ 但都不是分布式的。

Apache Kafka与传统消息系统相比,有以下不同:

它是分布式系统,易于向外扩展。

它同时为发布和订阅提供高吞吐量。

它支持多订阅者,当失败时能自动平衡消费者。

它将消息持久化到磁盘,因此可用于批量消费,允许多个消费者消费数据

Kafka的特性

  1. 高吞吐量、低延迟:kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒,每个topic可以分多个partition, consumer group 对partition进行consume操作。
    (2)可扩展性:kafka集群支持热扩展。
    (3)持久性、可靠性:消息被持久化到本地磁盘,并且支持数据备份防止数据丢失。
    (4)容错性:允许集群中节点失败(若副本数量为n,则允许n-1个节点失败)。
    (5)高并发:支持数千个客户端同时读写。

  2. 基本概念:Kafka是分布式发布 - 订阅消息系统,由LinkedIn开发后成为Apache项目。它有高吞吐量、可扩展等优势,支持点对点和发布订阅两种消息队列模式。其角色包括Broker、Producer、Consumer等,消息默认保存7天,由Zookeeper管理。安装需先准备JDK和Zookeeper,下载安装包解压、配置并分发到集群节点。

相关推荐
微三云 - 廖会灵 (私域系统开发)1 小时前
供应链系统实战:多渠道订单聚合与分布式库存一致性方案总结
开发语言·分布式·php
她说可以呀2 小时前
Docker 镜像的两种创建方式
java·分布式·docker
杭州领祺科技7 小时前
分布式光伏『四可』接入改造:绿电直连场景下的二次系统通信与安全架构(27 号令 4 区落位 + 7 产品边界)
分布式·安全·安全架构·光伏·电力·绿电直连·二次系统
SparklingTheo7 小时前
【Zookeeper】源码阅读
分布式·zookeeper·云原生
棣廷8 小时前
初识Hadoop
大数据·hadoop·分布式
2603_9547083110 小时前
如何进一步优化微能网协调控制箱的架构优势
大数据·数据库·人工智能·分布式·架构
一条大祥脚1 天前
【CS336】lecture7 多卡|通信架构|集合通信|NCCL|通信原语|torch.distributed
分布式·架构·nccl·多机多卡·集合通信
程序员梅雨1 天前
ZooKeeper面经总结
java·大数据·linux·分布式·后端·zookeeper·中间件
我是人✓1 天前
Git入门:从零开始掌握分布式版本控制
分布式·git
guo_wen_qiang1 天前
redis持久化
数据库·redis·分布式