什么是 Kafka 中的消息?它由哪些部分组成

在 Apache Kafka 中,消息是其核心数据单元,是生产者(Producer)和消费者(Consumer)之间传递信息的载体。它是一个分布式的流处理平台,旨在提供高吞吐量、可扩展和可靠的消息系统。 每一条发布到 Kafka 集群的消息都有一个类别,这个类别被称为主题(Topic)。

Kafka 消息的组成部分

一个 Kafka 消息由多个部分组成,主要包括:

  • 键(Key): 消息的键,是一个可选的字节数组。 如果生产者在发送消息时指定了键,那么 Kafka 会根据键的哈希值将消息路由到特定分区,这可以保证具有相同键的消息总是被发送到同一个分区中,从而确保了消息的顺序性。

  • 值(Value): 消息的实际内容,也是一个字节数组。 这是消息的主要数据载体,生产者可以根据需要选择合适的序列化方式对消息内容进行编码。

  • 时间戳(Timestamp): 消息的时间戳,可以由生产者在创建消息时设置,也可以在消息被写入到 Kafka Broker 时由系统自动添加。

  • 头部信息(Headers): 消息的头部信息,允许用户添加一些自定义的元数据,以键值对的形式存在。

  • 元数据(Metadata): 除了上述核心部分,Kafka 消息在存储和传输过程中还会附加一些元数据,包括:

    • 偏移量(Offset): 一个唯一的序列号,用于标识消息在分区中的位置。
    • 分区(Partition): 消息所属的分区编号。
    • 魔数(Magic Byte): 用于标识消息格式版本的字节。
    • 校验码(CRC32): 用于验证消息完整性的循环冗余校验码。
    • 属性(Attributes): 用于存储一些消息属性,例如压缩类型、时间戳类型等。

一定要注意的是,为了提高效率,生产者可以将多条消息打包成一个批次(Batch)进行发送。 在这种情况下,批次本身也会包含一些元数据,例如起始偏移量、批次长度等。

相关推荐
小江的记录本2 小时前
【Kafka核心】架构模型:Producer、Broker、Consumer、Consumer Group、Topic、Partition、Replica
java·数据库·分布式·后端·搜索引擎·架构·kafka
身如柳絮随风扬10 小时前
多数据源切换实战:从业务场景到3种实现方案全解析
java·分布式·微服务
AIMath~11 小时前
雪花算法+ZooKeeper解决方案+RPC是什么
分布式·zookeeper·云原生
KmSH8umpK11 小时前
Redis分布式锁从原生手写到Redisson高阶落地,附线上死锁复盘优化方案进阶第六篇
数据库·redis·分布式
空中海13 小时前
Kafka :存储、复制与可靠性
分布式·kafka·linq
渣渣盟13 小时前
构建企业级实时数据管道:Kafka + Flink 最佳实践
分布式·flink·kafka
KmSH8umpK14 小时前
Redis分布式锁从原生手写到Redisson高阶落地,附线上死锁复盘优化方案进阶第四篇
数据库·redis·分布式
KmSH8umpK14 小时前
Redis分布式锁从原生手写到Redisson高阶落地,附线上死锁复盘优化方案进阶第五篇
数据库·redis·分布式
卧室小白15 小时前
ceph-分布式存储
分布式
aXin_ya15 小时前
微服务第九天 分布式缓存(Redis)
分布式·缓存·微服务