AutoMQ 1.1.0-RC0 重磅更新:内核升级到 Apache Kafka 3.7.0

AutoMQ 在 2024.02 正式发布了基于 Apache Kafka 3.4.0 的云原生重构版本 1.0.0,AutoMQ 1.0.0 版本相比原版提供了 Serverless、自动负载均衡、秒级分区迁移和 All in 对象存储能力,让 Kafka 用户能充分利用云的弹性能力和廉价存储,实现十倍成本优势。

AutoMQ 基于 Apache Kafka 3.4.0 版本开始进行 Kafka 云原生重构,在此期间 Apache Kafka 社区在 trunk 分支上提交了 1700+ 个 Commits,版本也从 3.4.0 演进到 3.7.0,新增了大量的特性、优化和修复。

AutoMQ 为了保障 100% 与 Apache Kafka 兼容,在 AutoMQ 1.0.0 版本稳定后,就立刻开始了对 Apache Kafka 最新代码的合并工作。得益于 AutoMQ 存算分离的架构,对 Apache Kafka 的修改主要限制在存储切面,存储代码仅占整个项目不到 2%,因此 AutoMQ 合并跟进 Apache Kafka 的代码成本很低。

3.7.0 代码合并后,经过评审、Chaos 测试和 500+ E2E 测试,我们很高兴宣布 AutoMQ 1.1.0-RC0 版本正式发布,内核版本从 3.4.0 升级到 3.7.0。

https://github.com/AutoMQ/automq/releases/tag/1.1.0-rc0

新特性&优化

Apache Kafka 内核从 3.4.0 升级到 3.7.0 新增重要的特性和优化如下:

Kafka Broker, Controller, Producer, Consumer

ꔷ KIP-881:消费者分区分配支持 Rack-aware,节省跨 AZ 流量费用(3.5.0)

ꔷ KIP-887:增加 EnvVarConfigProvider 支持从环境变量加载配置(3.5.0)

ꔷ KIP-900:kafka-storage.sh API 增加对 Kraft SCRAM 验证支持(3.5.0)

ꔷ KIP-890:事务消息服务端防御,避免特殊场景下的事务悬挂问题(3.6.0 / 3.7.0)

ꔷ KIP-797:IPv4/IPv6 支持绑定到相同端口(3.6.0)ꔷ KIP-863:CompletedFetch#parseRecord 内存拷贝优化(3.6.0)

ꔷ KIP-868:KRaft 支持以事务模式提交一系列 Records(3.6.0)

ꔷ KIP-714:新增多语言统一的客户端 Metrics,提供从服务端查询客户端 Metrics 的能力(3.7.0)

ꔷ KIP-848:(Early Access)下一代消费者重平衡协议(3.7.0)

ꔷ KIP-951:客户端分区 Leader 发现优化,降低发送/消费的时间(3.7.0)

ꔷ KIP-580:客户端指数退避重试(3.7.0)

Kafka Streams

ꔷ KIP-889:新增 Versioned State Stores 提升在乱序场景下的 join 准确性(3.5.0)

ꔷ KIP-923:为流表 Join 添加宽限期提升乱序处理能力(3.6.0)

ꔷ KIP-941:Range 查询上下界支持 null(3.6.0)

ꔷ KIP-925:Kafka Streams 支持 Rack aware 任务分配(3.7.0)

ꔷ KIP-954:扩展默认的 DSL 存储配置支持自定义类型(3.7.0)

ꔷ KIP-968:Versioned State Stores 新增 IQ 支持(3.7.0)

Kafka Connect

ꔷ KIP-710:MirrorMaker 2.0 支持分布式模式(3.5.0)

ꔷ KIP-898:Connect 插件服务发现能力增强(3.6.0)

ꔷ KIP-976:新增集群维度动态日志等级调节(3.7.0)

ꔷ KIP-980:支持创建停止状态的 Connectors(3.7.0)

参考资料

1 https://archive.apache.org/dist/kafka/3.5.0/RELEASE\_NOTES.html

2 https://archive.apache.org/dist/kafka/3.6.0/RELEASE\_NOTES.html

3 https://downloads.apache.org/kafka/3.7.0/RELEASE\_NOTES.html

4 https://www.confluent.io/blog/introducing-apache-kafka-3-7/

END

关于我们

我们是来自 Apache RocketMQ 和 Linux LVS 项目的核心团队,曾经见证并应对过消息队列基础设施在大型互联网公司和云计算公司的挑战。现在我们基于对象存储优先、存算分离、多云原生等技术理念,重新设计并实现了 Apache Kafka 和 Apache RocketMQ,带来高达 10 倍的成本优势和百倍的弹性效率提升。

🌟 GitHub 地址:https://github.com/AutoMQ/automq

💻 官网:https://www.automq.com

👀 B站:AutoMQ官方账号

🔍 视频号:AutoMQ

关注我们,一起学习更多云原生技术干货!

相关推荐
阿里云云原生15 小时前
AgentCore 支持 DeepSeek Harness 托管,加速企业生产化验证
云原生
2601_9679801116 小时前
Python 与云计算:AWS、GCP、Azure 实践
python·云计算·azure·aws·gcp
演艺大赏16 小时前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop
知行产研16 小时前
会感知、能协同,金科【钻孔】智能化路线 | bauma CHINA 2026
大数据·人工智能
linweidong16 小时前
RTX 4090 Ubuntu + ComfyUI + comfy-kitchen 0.2.41 完整部署文档
机器学习·云原生·conda·pandas·scikit-learn
演艺大赏16 小时前
RESTServer 起不来,日志只有一行:headerCacheSize 65536 exceeds maximum value of 65534
大数据·hadoop·hbase
Databend16 小时前
活动邀请函|AI 时代的湖仓实践,从应用场景到 Cloud Agent 上手
大数据·数据库·agent
Z21-X17 小时前
云原生运维学习笔记:从操作系统底层到 Kubernetes 集群的深度实践
运维·笔记·学习·云原生·kubernetes
cc5725026531 天前
云计算技术应用专业大学期间考证怎么安排?
云计算
阿里云云原生1 天前
决策模型 Jev 可以直接上生产?用实验和公式理解 logit 调优与训练要领
云原生