AutoMQ 1.1.0-RC0 重磅更新:内核升级到 Apache Kafka 3.7.0

AutoMQ 在 2024.02 正式发布了基于 Apache Kafka 3.4.0 的云原生重构版本 1.0.0,AutoMQ 1.0.0 版本相比原版提供了 Serverless、自动负载均衡、秒级分区迁移和 All in 对象存储能力,让 Kafka 用户能充分利用云的弹性能力和廉价存储,实现十倍成本优势。

AutoMQ 基于 Apache Kafka 3.4.0 版本开始进行 Kafka 云原生重构,在此期间 Apache Kafka 社区在 trunk 分支上提交了 1700+ 个 Commits,版本也从 3.4.0 演进到 3.7.0,新增了大量的特性、优化和修复

AutoMQ 为了保障 100% 与 Apache Kafka 兼容,在 AutoMQ 1.0.0 版本稳定后,就立刻开始了对 Apache Kafka 最新代码的合并工作。得益于 AutoMQ 存算分离的架构,对 Apache Kafka 的修改主要限制在存储切面,存储代码仅占整个项目不到 2%,因此 AutoMQ 合并跟进 Apache Kafka 的代码成本很低。

3.7.0 代码合并后,经过评审、Chaos 测试和 500+ E2E 测试,我们很高兴宣布 AutoMQ 1.1.0-RC0 版本正式发布,内核版本从 3.4.0 升级到 3.7.0。

https://github.com/AutoMQ/automq/releases/tag/1.1.0-rc0

新特性&优化

Apache Kafka 内核从 3.4.0 升级到 3.7.0 新增重要的特性和优化如下:

Kafka Broker, Controller, Producer, Consumer

ꔷ KIP-881:消费者分区分配支持 Rack-aware,节省跨 AZ 流量费用(3.5.0)

ꔷ KIP-887:增加 EnvVarConfigProvider 支持从环境变量加载配置(3.5.0)

ꔷ KIP-900:kafka-storage.sh API 增加对 Kraft SCRAM 验证支持(3.5.0)

ꔷ KIP-890:事务消息服务端防御,避免特殊场景下的事务悬挂问题(3.6.0 / 3.7.0)

ꔷ KIP-797:IPv4/IPv6 支持绑定到相同端口(3.6.0)ꔷ KIP-863:CompletedFetch#parseRecord 内存拷贝优化(3.6.0)

ꔷ KIP-868:KRaft 支持以事务模式提交一系列 Records(3.6.0)

ꔷ KIP-714:新增多语言统一的客户端 Metrics,提供从服务端查询客户端 Metrics 的能力(3.7.0)

ꔷ KIP-848:(Early Access)下一代消费者重平衡协议(3.7.0)

ꔷ KIP-951:客户端分区 Leader 发现优化,降低发送/消费的时间(3.7.0)

ꔷ KIP-580:客户端指数退避重试(3.7.0)

Kafka Streams

ꔷ KIP-889:新增 Versioned State Stores 提升在乱序场景下的 join 准确性(3.5.0)

ꔷ KIP-923:为流表 Join 添加宽限期提升乱序处理能力(3.6.0)

ꔷ KIP-941:Range 查询上下界支持 null(3.6.0)

ꔷ KIP-925:Kafka Streams 支持 Rack aware 任务分配(3.7.0)

ꔷ KIP-954:扩展默认的 DSL 存储配置支持自定义类型(3.7.0)

ꔷ KIP-968:Versioned State Stores 新增 IQ 支持(3.7.0)

Kafka Connect

ꔷ KIP-710:MirrorMaker 2.0 支持分布式模式(3.5.0)

ꔷ KIP-898:Connect 插件服务发现能力增强(3.6.0)

ꔷ KIP-976:新增集群维度动态日志等级调节(3.7.0)

ꔷ KIP-980:支持创建停止状态的 Connectors(3.7.0)

参考资料

1\] [https://archive.apache.org/dist/kafka/3.5.0/RELEASE\\_NOTES.html](https://archive.apache.org/dist/kafka/3.5.0/RELEASE%5C_NOTES.html) \[2\] [https://archive.apache.org/dist/kafka/3.6.0/RELEASE\\_NOTES.html](https://archive.apache.org/dist/kafka/3.6.0/RELEASE%5C_NOTES.html) \[3\] [https://downloads.apache.org/kafka/3.7.0/RELEASE\\_NOTES.html](https://downloads.apache.org/kafka/3.7.0/RELEASE%5C_NOTES.html) \[4\] END **关于我们** 我们是来自 Apache RocketMQ 和 Linux LVS 项目的核心团队,曾经见证并应对过消息队列基础设施在大型互联网公司和云计算公司的挑战。现在我们基于对象存储优先、存算分离、多云原生等技术理念,重新设计并实现了 Apache Kafka 和 Apache RocketMQ,带来高达 10 倍的成本优势和百倍的弹性效率提升。 🌟 GitHub 地址: 💻 官网: 👀 B站:AutoMQ官方账号 🔍 视频号:AutoMQ 关注我们,一起学习更多云原生技术干货!

相关推荐
二二孚日1 分钟前
自用华为ICT云赛道Big Data第四章知识点-Flink流批一体分布式实时处理引擎
大数据·华为
xufwind1 小时前
spark standlone 集群离线安装
大数据·分布式·spark
AI数据皮皮侠2 小时前
中国区域10m空间分辨率楼高数据集(全国/分省/分市/免费数据)
大数据·人工智能·机器学习·分类·业界资讯
Kookoos2 小时前
ABP VNext + Tye:本地微服务编排与调试
微服务·云原生·架构·tye
亲爱的非洲野猪2 小时前
Kafka “假死“现象深度解析与解决方案
分布式·kafka
CodeWithMe2 小时前
【Note】《Kafka: The Definitive Guide》第三章: Kafka 生产者深入解析:如何高效写入 Kafka 消息队列
分布式·kafka
虾条_花吹雪2 小时前
2、Connecting to Kafka
分布式·ai·kafka
DeepSeek大模型官方教程3 小时前
NLP之文本纠错开源大模型:兼看语音大模型总结
大数据·人工智能·ai·自然语言处理·大模型·产品经理·大模型学习
大数据CLUB4 小时前
基于spark的奥运会奖牌变化数据分析
大数据·hadoop·数据分析·spark
Edingbrugh.南空4 小时前
Hadoop高可用集群搭建
大数据·hadoop·分布式