什么是 Kafka 中的消息?它由哪些部分组成

在 Apache Kafka 中,消息是其核心数据单元,是生产者(Producer)和消费者(Consumer)之间传递信息的载体。它是一个分布式的流处理平台,旨在提供高吞吐量、可扩展和可靠的消息系统。 每一条发布到 Kafka 集群的消息都有一个类别,这个类别被称为主题(Topic)。

Kafka 消息的组成部分

一个 Kafka 消息由多个部分组成,主要包括:

  • 键(Key): 消息的键,是一个可选的字节数组。 如果生产者在发送消息时指定了键,那么 Kafka 会根据键的哈希值将消息路由到特定分区,这可以保证具有相同键的消息总是被发送到同一个分区中,从而确保了消息的顺序性。

  • 值(Value): 消息的实际内容,也是一个字节数组。 这是消息的主要数据载体,生产者可以根据需要选择合适的序列化方式对消息内容进行编码。

  • 时间戳(Timestamp): 消息的时间戳,可以由生产者在创建消息时设置,也可以在消息被写入到 Kafka Broker 时由系统自动添加。

  • 头部信息(Headers): 消息的头部信息,允许用户添加一些自定义的元数据,以键值对的形式存在。

  • 元数据(Metadata): 除了上述核心部分,Kafka 消息在存储和传输过程中还会附加一些元数据,包括:

    • 偏移量(Offset): 一个唯一的序列号,用于标识消息在分区中的位置。
    • 分区(Partition): 消息所属的分区编号。
    • 魔数(Magic Byte): 用于标识消息格式版本的字节。
    • 校验码(CRC32): 用于验证消息完整性的循环冗余校验码。
    • 属性(Attributes): 用于存储一些消息属性,例如压缩类型、时间戳类型等。

一定要注意的是,为了提高效率,生产者可以将多条消息打包成一个批次(Batch)进行发送。 在这种情况下,批次本身也会包含一些元数据,例如起始偏移量、批次长度等。

相关推荐
爱吃提升14 小时前
python 分布式爬虫、爬虫合规与综合实战项目
分布式·爬虫·python
ZENERGY-众壹17 小时前
跨品牌逆变器升级:华为锦浪德业 API 对接的 7 个坑
分布式·华为·数据归一化·光伏运维·逆变器api
薛定谔的猫198221 小时前
LLaMA-Factory +DeepSpeed 分布式多卡训练实战全解
分布式·deepspeed·zero·多卡训练·多卡分布式训练
稚南城才子,乌衣巷风流21 小时前
RabbitMQ 消息队列:从入门到实战
分布式·rabbitmq
AI人工智能+电脑小能手1 天前
【大白话说Java面试题 第194题】【08_Kafka篇】第10题:简述 Kafka 的 Rebalance 机制?
java·kafka·消费者组·rebalance·分布式消息队列
Database_Cool_1 天前
单机 MySQL 迁移到分布式数据库方便吗?阿里云 PolarDB-X 100% MySQL 协议兼容零改造平滑迁移
数据库·分布式·mysql
肥胖小羊2 天前
解决企业微信 AccessToken 刷新并发冲突的分布式锁机制实践
分布式·企业微信
AI人工智能+电脑小能手2 天前
【大白话说Java面试题 第192题】【08_Kafka篇】第8题:死信队列是什么?延时队列是什么?
java·kafka·消息队列·死信队列·延时队列
AI人工智能+电脑小能手3 天前
【大白话说Java面试题 第190题】【08_Kafka篇】第6题:消息队列有什么作用?
java·kafka·消息队列·系统设计·分布式架构
风中凌乱3 天前
kafka新版本集群的安装与部署
分布式·kafka