kafka入门

文章目录

主题

kafka中的消息存在topic中,也就是主题,类似于数据库中的表,通常我们将相同类型的消息存放在一个主题中。数据库的表是结构化,而topic是半结构化,某些情况下我们也可以将不同类型的消息存放在同一个topic中。

分区

主题可以包含多个分区,kafka是分布式的消息系统,可以将不同的分区存到不同的服务器上,这样就使得kafka具有拓展性。可调整分区的数量和kafka节点的数量来进行拓展。

分区是线性增长的,当消息存到kafka分区里,就不可变更,kafka会为每个消息分配一个偏移量,也就是offset,offset会记录每条消息的位置,kafka可通过偏移量对消息进行提取,但没法对消息的内容进行检索和查询。偏移量在每个分区中是唯一的,不可重复,递增的。不同的分区之间偏移量可以重复。

kafka中的消息 record是以键值对的形式进行存储的,不指定key,那key的值就是空。

key值为空,kafka会以轮询的方式讲消息写到不同的分区中。

如果我们指定了key,那么相同key的消息会被写入相同的分区。

副本

kafka通过副本机制来保证消息的可靠性。

消息代理

Broker负责消息的读写请求,并将数据写入到磁盘中。

相关推荐
WnHj32 分钟前
kafka的数据消费通过flinksql 入数到Doris的报错(Connection timed out)
分布式·kafka
哥不是小萝莉4 小时前
Kafka监控工具 EFAK-AI 介绍
ai·kafka
Java战神11 小时前
Hadoop
大数据·hadoop·分布式
不会写代码的加加14 小时前
告别重构噩梦:基于 Oinone 实现单体到微服务的平滑演进
spring boot·分布式
1.01^100014 小时前
[7-01-02].第05节:环境搭建 - 基础环境
kafka
szxinmai主板定制专家15 小时前
RK3588+AI算力卡替代英伟达jetson方案,大算力,支持FPGA自定义扩展
arm开发·人工智能·分布式·fpga开发
Pota-to成长日记17 小时前
Redisson 看门狗机制深度解析:分布式锁的守护者
分布式·wpf
wangtianlang091220 小时前
深入理解Java多线程编程中的锁机制与性能优化策略
分布式
熊文豪21 小时前
Windows安装RabbitMQ保姆级教程
windows·分布式·rabbitmq·安装rabbitmq
Amy187021118231 天前
分布式光纤传感:照亮每一个角落的“温度感知神经”
分布式