kafka 消息队列

消息队列的使用场景

同步和异步处理

流量控制

服务解耦

发布订阅

高并发缓存

概念

broker服务器

生产消费者

点对点的模型

顺序保证

ack确认机制(保存到磁盘 副本)

消息的持久化

框架

分区落在不同的broker 3个副本 只从leader中读取

同一主题不同分区 offset不同的

水平扩展:增加新的节点

分区策略:

轮询策略

随机策略

按消息键保存 key相同落在同一个分区

一个分区不支持多个消费者(同一个组)

分区分配策略:

1.RangeAssignor策略 导致消费者 分配不均匀 主题分区数可以整除消费者

2.轮询策略: 消费者订阅相同的主题

3.stickyAssignor:保持上一次分配 均匀分配 将删除的消费者分区进行轮询

相关推荐
山河亦问安6 小时前
基于Kafka+ElasticSearch+MongoDB+Redis+XXL-Job日志分析系统(学习)
mongodb·elasticsearch·kafka
理智的煎蛋9 小时前
基于 Celery 的分布式文件监控系统
redis·分布式·python·mysql·mongodb
失散1312 小时前
分布式专题——22 Kafka集群工作机制详解
java·分布式·云原生·架构·kafka
Lansonli14 小时前
大数据Spark(六十五):Transformation转换算子groupByKey和filter
大数据·分布式·spark
拾忆,想起14 小时前
RabbitMQ死信交换机:消息的“流放之地“
开发语言·网络·分布式·后端·性能优化·rabbitmq
沐浴露z15 小时前
一篇文章入门RabbitMQ:基本概念与Java使用
java·分布式·rabbitmq
失散1315 小时前
分布式专题——24 Kafka功能扩展
java·分布式·云原生·架构·kafka
从零开始学习人工智能15 小时前
分布式 WebSocket 架构设计与实现:跨节点实时通信解决方案
分布式·websocket·网络协议
qyt198852015 小时前
Python脚本(Kafka生产者+消费者)
分布式·kafka
RunningShare18 小时前
大数据消息中间件选型终极指南:深度解析Kafka、Pulsar、RocketMQ架构与性能
大数据·kafka·rocketmq·pulsar