kafka中消息key作用与分区规则关系

在 kafka 2.0.0 的 java sdk 中

复制代码
<dependency>
	<groupId>org.apache.kafka</groupId>
	<artifactId>kafka_2.12</artifactId>
	<version>2.0.0</version>
</dependency>

ProducerRecord 中类注释如下

A key/value pair to be sent to Kafka. This consists of a topic name to which the record is being sent, an optional partition number, and an optional key and value.

If a valid partition number is specified that partition will be used when sending the record. If no partition is specified but a key is present a partition will be chosen using a hash of the key. If neither key nor partition is present a partition will be assigned in a round-robin fashion.

The record also has an associated timestamp. If the user did not provide a timestamp, the producer will stamp the record with its current time. The timestamp eventually used by Kafka depends on the timestamp type configured for the topic.

If the topic is configured to use CreateTime, the timestamp in the producer record will be used by the broker.

If the topic is configured to use LogAppendTime, the timestamp in the producer record will be overwritten by the broker with the broker local time when it appends the message to its log.

In either of the cases above, the timestamp that has actually been used will be returned to user in RecordMetadata

说明了 key 与分区编号的关系

KafkaProducer 中会进行如下操作

partition 合法性校验

分区id大于等于集群中指定的主题的总数,抛出异常

分区计算

分区编号获取规则

如果 ProducerRecord 中 partition 字段不为空,则取对应的变量值,否则调用 Partitioner 的实现类 DefaultPartitioner 中进行分区id获取。

DefaultPartitioner 中分区id计算办法

如果 key 为 null,有两种情况

当前 topic 的可用分区数大于0

获取当前 topic 的计数器累加后的数字与可用分区数进行 mod 运算获取分区id。

当前 topic 的可用分区数小于等于0

获取当前 topic 的计数器累加后的数字与分区数进行 mod 运算获取分区id。即返回一个不可用的分区。看到这里的做法,也能理解,毕竟没有可用分区了,只能返回一个不可用分区了。

如果 key 不为 null

通过32bit的murmur2哈希算法生成一个分区编号与分区数量进行 mod 运算。

整理的流程图
kafka生产者消息分区规则

https://www.volcengine.com/theme/746069-K-7-1

https://zhuanlan.zhihu.com/p/485957664

相关推荐
筑梦之人1 天前
Elasticsearch 9.x 从入门到精通(5/7):集群、分布式与运维
运维·分布式·elasticsearch
kiwixing2 天前
GaussDB|集中式还是分布式?三把尺子选型
分布式·gaussdb
真上帝的左手2 天前
30. 技术专题-‌应用框架组件-分布式架构
分布式·架构·系统架构·分布式架构
zixu_star3 天前
从单机到分布式:定时任务如何处理大量数据与执行失败?
分布式
lsc_blog4 天前
听到优化风声,先准备能由自己掌控的事
数据库·分布式·中间件·职场和发展·重构
Lansonli5 天前
大数据Spark(八十七):Spark-Submit 参数详解
大数据·分布式·spark
qq_452396235 天前
第二篇:《CommitLog + ConsumeQueue:一条日志解决 Kafka 多分区随机写的难题》
分布式·kafka
Alluxio6 天前
Alluxio + OCI:为 AI 工作负载实现亚毫秒访问延迟与可扩展吞吐
运维·数据库·人工智能·分布式·缓存·ai·语言模型
阿卡好可爱6 天前
Lua 热更新不生效:改完文件线上仍是旧逻辑,package.loaded 与 upvalue 重绑定详解
数据结构·分布式·后端·架构·lua
我不会起名字3227 天前
消费回调固定 return nil:错误传播与 Kafka 位点提交的区别
后端·mongodb·kafka·go·im·故障排查