产品动态 | Kafka Linking 迁移工具上线、Table Topic发布、Azure开服

01

社区影响力

AutoMQ GitHub Star 正式突破 7,000!🌟

为什么越来越多的企业和开发者选择 AutoMQ?

  • **100% Kafka API 兼容:**平滑迁移,无供应商锁定,兼容 Kafka 全生态。
  • **Diskless 架构:**Broker 无状态,秒级扩缩容,弹性伸缩成本更低。
  • **Kubernetes 原生:**专为 Kubernetes 设计,深度兼容 Strimzi Operator 与 Bitnami Kafka Chart 等主流部署方案。
  • **零跨 AZ 成本:**共享存储架构,避免高额跨可用区流量费用。
  • **自动数据平衡:**内置 Self-Balancing,1 秒迁移分区,消除热点。

02

最新发布

  1. Kafka Linking 迁移工具

**零停机迁移:**AutoMQ允许数据从旧集群迁移到新集群,而不影响当前生产环境中运行的应用程序,确保无缝迁移。

**保持偏移量的迁移:**对于依赖 Kafka 消费者偏移量的数据基础架构(例如 Flink 作业),在集群迁移期间保留这些偏移量尤为重要。这使得用户无需对现有数据基础架构进行任何更改即可将 Kafka 迁移到 AutoMQ,从而显著简化集群迁移。

**同步所有数据:**Kafka集群的所有数据和元数据都会同步,包括Topic、Consumer Groups、Offsets。

  1. Table Topic

**开箱即用:**AutoMQ 的Table Topic 功能可以借助 S3 TABLE 自动将 Kafka Topics 转换为 Iceberg Tables,进行持续、实时的分析。

**内置 Schema 注册表:**Table Topic 利用已注册的 Schema 自动在目录服务(例如 AWS Glue)中创建 Iceberg 表,并支持自动 Schema 演化。

**无 ETL(提取、转换、加载):**借助 S3 的高吞吐量和 AutoMQ 的细粒度调度,Table Topic 可以实现每秒数 GiB 的实时数据提取,同时持续压缩小文件以优化查询性能,从而实现从 Kafka 到数据湖的真正零 ETL处理。

自动扩展: AutoMQ 具有无状态且弹性的架构,允许代理通过动态分区重新分配无缝地扩展或缩减规模。Table Topic 利用此框架轻松处理从数百 MiB/s 到数 GiB/s 的摄取速率。

无缝集成 AWS S3 Table: Table Topic 与 S3 Table 无缝集成,充分利用其数据目录和维护功能,例如压缩、快照管理和未引用文件删除。此集成还支持通过 AWS Athena 进行大规模数据分析。

  1. 运维通道

AutoMQ BYOC 环境支持 Ops Tunnel,允许用户创建安全、可信且可审计的运维通道。以便临时授予 BYOC 环境中 AutoMQ 技术人员的访问权限,从而定位和分析复杂问题。

  1. Azure 开服

Microsoft Azure 支持AutoMQ BYOC 部署。在 Azure 上,它可以利用 Azure 的底层存储(如 Blob Storage)和计算资源,实现按实际使用量付费,在流量低谷时自动缩容甚至降至零,为用户节省大量成本。

03

发布预告

AutoMQ Managed Connector 即将上线

(1)提供 Connector 一站式托管与维护,简化 ETL 链路维护。

(2)内置 S3、Debezium CDC、ElasticSearch 等主流插件,并支持用户上传自定义插件。

(3)完善的Metrics、Log观测能力,支持弹性伸缩与自动化运维。

AutoMQ BYOC 安装体验再升级

(1)优化安装流程和向导,支持 Docker 一键拉起Console,降低操作门槛 。

(2)一键下载 IAM 授权模板,优化授权范围、简化操作流程。

欢迎关注 AutoMQ!

AutoMQ BYOC 现推出 14 天免费试用,立即体验云原生 Kafka 的极致弹性。

👇 立刻试用

console.automq.cloud/?utm\\\\_so...

扫码进群,第一时间掌握最新产品动态。

相关推荐
阿里云大数据AI技术2 分钟前
全模态、多引擎、一体化,阿里云DLF3.0构建Data+AI驱动的智能湖仓平台
人工智能·阿里云·云计算
实时数据3 分钟前
通过大数据的深度分析与精准营销策略,企业能够有效实现精准引流
大数据
摇滚侠8 分钟前
阿里云安装的 Redis 在什么位置,如何找到 Redis 的安装位置
redis·阿里云·云计算
子榆.43 分钟前
CANN 性能分析与调优实战:使用 msprof 定位瓶颈,榨干硬件每一分算力
大数据·网络·人工智能
新芒1 小时前
暖通行业两位数下滑,未来靠什么赢?
大数据·人工智能
忆~遂愿1 小时前
CANN ATVOSS 算子库深度解析:基于 Ascend C 模板的 Vector 算子子程序化建模与融合优化机制
大数据·人工智能
艾莉丝努力练剑2 小时前
【Linux:文件】Ext系列文件系统(初阶)
大数据·linux·运维·服务器·c++·人工智能·算法
lili-felicity3 小时前
CANN异步推理实战:从Stream管理到流水线优化
大数据·人工智能
Zfox_4 小时前
CANN Catlass 算子模板库深度解析:高性能 GEMM 融合计算、Cube Unit Tiling 机制与编程范式实践
docker·云原生·容器·eureka
2501_933670794 小时前
2026 高职大数据专业考什么证书对就业有帮助?
大数据