什么是 Kafka 中的消息?它由哪些部分组成

在 Apache Kafka 中,消息是其核心数据单元,是生产者(Producer)和消费者(Consumer)之间传递信息的载体。它是一个分布式的流处理平台,旨在提供高吞吐量、可扩展和可靠的消息系统。 每一条发布到 Kafka 集群的消息都有一个类别,这个类别被称为主题(Topic)。

Kafka 消息的组成部分

一个 Kafka 消息由多个部分组成,主要包括:

  • 键(Key): 消息的键,是一个可选的字节数组。 如果生产者在发送消息时指定了键,那么 Kafka 会根据键的哈希值将消息路由到特定分区,这可以保证具有相同键的消息总是被发送到同一个分区中,从而确保了消息的顺序性。

  • 值(Value): 消息的实际内容,也是一个字节数组。 这是消息的主要数据载体,生产者可以根据需要选择合适的序列化方式对消息内容进行编码。

  • 时间戳(Timestamp): 消息的时间戳,可以由生产者在创建消息时设置,也可以在消息被写入到 Kafka Broker 时由系统自动添加。

  • 头部信息(Headers): 消息的头部信息,允许用户添加一些自定义的元数据,以键值对的形式存在。

  • 元数据(Metadata): 除了上述核心部分,Kafka 消息在存储和传输过程中还会附加一些元数据,包括:

    • 偏移量(Offset): 一个唯一的序列号,用于标识消息在分区中的位置。
    • 分区(Partition): 消息所属的分区编号。
    • 魔数(Magic Byte): 用于标识消息格式版本的字节。
    • 校验码(CRC32): 用于验证消息完整性的循环冗余校验码。
    • 属性(Attributes): 用于存储一些消息属性,例如压缩类型、时间戳类型等。

一定要注意的是,为了提高效率,生产者可以将多条消息打包成一个批次(Batch)进行发送。 在这种情况下,批次本身也会包含一些元数据,例如起始偏移量、批次长度等。

相关推荐
Eloudy13 分钟前
ASTRA-sim 3.0:通过高保真GPU和基础设施建模进行下一级分布式机器学习模拟
人工智能·分布式·机器学习
泡海椒1 小时前
JQuick-SQL 模块架构:从 SQL AST 到分布式执行
分布式·sql·架构
starzy19901 小时前
深度拆解 Kafka 源码:Producer 构造器装配了哪些核心组件
分布式·kafka
我不会起名字3222 小时前
Go 写 Kafka 消费者:sarama 的 3 个坑与优雅退出写法
kafka·消息队列·go·sarama
程序员大阳2 小时前
副队长大数据教程(7)--Hadoop 集群角色配置逻辑详解
大数据·hadoop·分布式·集群·配置·角色·逻辑
蓝胖的四次元口袋3 小时前
RabbitMQ知识梳理(2)
分布式·rabbitmq
xianyuCcCcCCCcc18 小时前
Ceph 分布式存储:核心架构与集群部署
分布式·ceph·架构
真上帝的左手19 小时前
10. 软件设计&架构-分布式文件存储系统
分布式·架构·应用架构
Thomas.Sir1 天前
第30课:分布式事务解决方案 & Seata最终一致性实战
分布式·spring cloud·seata
donk13141 天前
React Native for OpenHarmony 实战:三方库 react-native-circular-action-menu 的鸿蒙化适配指南
javascript·分布式·react native·react.js·wpf·harmonyos