kafka C++ 和 java端计算分区ID不一致排查

生产端使用C++,将std:string key 传入,parititon设为-1,表示让kafka自动计算分区id

java端拿到反序列化后的key string,通过murmur2 算法计算出的分区id和kafka分配的分区id不一致

根本原因:C++的kafka使用CRC32 计算hash,Java端使用Murmur2

Key Difference: Hashing Algorithms

Java clients use the Murmur2 hash function by default.

C/C++ clients (which use the librdkafka library) use the CRC32 hash function by default.

只需要在java端也使用CRC32 计算key的hash就行了

相关推荐
侠客行031719 小时前
Mybatis连接池实现及池化模式
java·mybatis·源码阅读
蛇皮划水怪19 小时前
深入浅出LangChain4J
java·langchain·llm
老毛肚21 小时前
MyBatis体系结构与工作原理 上篇
java·mybatis
风流倜傥唐伯虎21 小时前
Spring Boot Jar包生产级启停脚本
java·运维·spring boot
Yvonne爱编码21 小时前
JAVA数据结构 DAY6-栈和队列
java·开发语言·数据结构·python
Re.不晚21 小时前
JAVA进阶之路——无奖问答挑战1
java·开发语言
你这个代码我看不懂1 天前
@ConditionalOnProperty不直接使用松绑定规则
java·开发语言
fuquxiaoguang1 天前
深入浅出:使用MDC构建SpringBoot全链路请求追踪系统
java·spring boot·后端·调用链分析
琹箐1 天前
最大堆和最小堆 实现思路
java·开发语言·算法
__WanG1 天前
JavaTuples 库分析
java