什么是 Kafka 中的消息?它由哪些部分组成

在 Apache Kafka 中,消息是其核心数据单元,是生产者(Producer)和消费者(Consumer)之间传递信息的载体。它是一个分布式的流处理平台,旨在提供高吞吐量、可扩展和可靠的消息系统。 每一条发布到 Kafka 集群的消息都有一个类别,这个类别被称为主题(Topic)。

Kafka 消息的组成部分

一个 Kafka 消息由多个部分组成,主要包括:

  • 键(Key): 消息的键,是一个可选的字节数组。 如果生产者在发送消息时指定了键,那么 Kafka 会根据键的哈希值将消息路由到特定分区,这可以保证具有相同键的消息总是被发送到同一个分区中,从而确保了消息的顺序性。

  • 值(Value): 消息的实际内容,也是一个字节数组。 这是消息的主要数据载体,生产者可以根据需要选择合适的序列化方式对消息内容进行编码。

  • 时间戳(Timestamp): 消息的时间戳,可以由生产者在创建消息时设置,也可以在消息被写入到 Kafka Broker 时由系统自动添加。

  • 头部信息(Headers): 消息的头部信息,允许用户添加一些自定义的元数据,以键值对的形式存在。

  • 元数据(Metadata): 除了上述核心部分,Kafka 消息在存储和传输过程中还会附加一些元数据,包括:

    • 偏移量(Offset): 一个唯一的序列号,用于标识消息在分区中的位置。
    • 分区(Partition): 消息所属的分区编号。
    • 魔数(Magic Byte): 用于标识消息格式版本的字节。
    • 校验码(CRC32): 用于验证消息完整性的循环冗余校验码。
    • 属性(Attributes): 用于存储一些消息属性,例如压缩类型、时间戳类型等。

一定要注意的是,为了提高效率,生产者可以将多条消息打包成一个批次(Batch)进行发送。 在这种情况下,批次本身也会包含一些元数据,例如起始偏移量、批次长度等。

相关推荐
严肃小白兔10 小时前
Cloudflare Durable Objects 支持自动重试:分布式调用如何避免重复执行?
分布式
用户36105886261211 小时前
深度拆解 Kafka 源码:Producer 构造器装配了哪些核心组件
kafka
方方洛11 小时前
ray教程-27-附录F-RayClient与runtime_env与多语言
人工智能·分布式·机器学习
知识搬运临时工1 天前
Kafka 发 1 GiB 数据,用户态 CPU 只花 0.016 秒,总耗时反而慢了 11%
后端·kafka
方方洛1 天前
ray教程-25-附录E-端到端实战案例
人工智能·分布式·机器学习
一条泥憨鱼2 天前
【消息队列】ACK确认了什么:消息队列可靠投递的完整链路
java·后端·kafka·消息队列·rabbitmq
斯普信专业组2 天前
Kafka 消费者 poll() 流程与原理详解
kafka·流程图
迅翼SwiftWing3 天前
编队系列(二)|固定翼如何依靠邻居信息保持队形?一致性控制、通信拓扑与分布式仿真实现,附仿真代码
分布式
ly76893 天前
幂等消费者与重试副作用:Kafka 端点接入时的去重边界
分布式·kafka·linq·apache camel·幂等消费者·重试副作用·去重边界