产品动态 | Kafka Linking 迁移工具上线、Table Topic发布、Azure开服

01

社区影响力

AutoMQ GitHub Star 正式突破 7,000!🌟

为什么越来越多的企业和开发者选择 AutoMQ?

  • **100% Kafka API 兼容:**平滑迁移,无供应商锁定,兼容 Kafka 全生态。
  • **Diskless 架构:**Broker 无状态,秒级扩缩容,弹性伸缩成本更低。
  • **Kubernetes 原生:**专为 Kubernetes 设计,深度兼容 Strimzi Operator 与 Bitnami Kafka Chart 等主流部署方案。
  • **零跨 AZ 成本:**共享存储架构,避免高额跨可用区流量费用。
  • **自动数据平衡:**内置 Self-Balancing,1 秒迁移分区,消除热点。

02

最新发布

  1. Kafka Linking 迁移工具

**零停机迁移:**AutoMQ允许数据从旧集群迁移到新集群,而不影响当前生产环境中运行的应用程序,确保无缝迁移。

**保持偏移量的迁移:**对于依赖 Kafka 消费者偏移量的数据基础架构(例如 Flink 作业),在集群迁移期间保留这些偏移量尤为重要。这使得用户无需对现有数据基础架构进行任何更改即可将 Kafka 迁移到 AutoMQ,从而显著简化集群迁移。

**同步所有数据:**Kafka集群的所有数据和元数据都会同步,包括Topic、Consumer Groups、Offsets。

  1. Table Topic

**开箱即用:**AutoMQ 的Table Topic 功能可以借助 S3 TABLE 自动将 Kafka Topics 转换为 Iceberg Tables,进行持续、实时的分析。

**内置 Schema 注册表:**Table Topic 利用已注册的 Schema 自动在目录服务(例如 AWS Glue)中创建 Iceberg 表,并支持自动 Schema 演化。

**无 ETL(提取、转换、加载):**借助 S3 的高吞吐量和 AutoMQ 的细粒度调度,Table Topic 可以实现每秒数 GiB 的实时数据提取,同时持续压缩小文件以优化查询性能,从而实现从 Kafka 到数据湖的真正零 ETL处理。

自动扩展: AutoMQ 具有无状态且弹性的架构,允许代理通过动态分区重新分配无缝地扩展或缩减规模。Table Topic 利用此框架轻松处理从数百 MiB/s 到数 GiB/s 的摄取速率。

无缝集成 AWS S3 Table: Table Topic 与 S3 Table 无缝集成,充分利用其数据目录和维护功能,例如压缩、快照管理和未引用文件删除。此集成还支持通过 AWS Athena 进行大规模数据分析。

  1. 运维通道

AutoMQ BYOC 环境支持 Ops Tunnel,允许用户创建安全、可信且可审计的运维通道。以便临时授予 BYOC 环境中 AutoMQ 技术人员的访问权限,从而定位和分析复杂问题。

  1. Azure 开服

Microsoft Azure 支持AutoMQ BYOC 部署。在 Azure 上,它可以利用 Azure 的底层存储(如 Blob Storage)和计算资源,实现按实际使用量付费,在流量低谷时自动缩容甚至降至零,为用户节省大量成本。

03

发布预告

AutoMQ Managed Connector 即将上线

(1)提供 Connector 一站式托管与维护,简化 ETL 链路维护。

(2)内置 S3、Debezium CDC、ElasticSearch 等主流插件,并支持用户上传自定义插件。

(3)完善的Metrics、Log观测能力,支持弹性伸缩与自动化运维。

AutoMQ BYOC 安装体验再升级

(1)优化安装流程和向导,支持 Docker 一键拉起Console,降低操作门槛 。

(2)一键下载 IAM 授权模板,优化授权范围、简化操作流程。

欢迎关注 AutoMQ!

AutoMQ BYOC 现推出 14 天免费试用,立即体验云原生 Kafka 的极致弹性。

👇 立刻试用

console.automq.cloud/?utm\\\\_so...

扫码进群,第一时间掌握最新产品动态。

相关推荐
XINVRY-FPGA2 小时前
XCVU13P-2FLGA2577I Xilinx AMD VirtexUltraScale+ FPGA
嵌入式硬件·fpga开发·云计算·硬件工程·dsp开发·射频工程·fpga
Elastic 中国社区官方博客3 小时前
如何在 vscode 里配置 MCP 并连接到 Elasticsearch
大数据·人工智能·vscode·elasticsearch·搜索引擎·ai·mcp
计算机毕设残哥5 小时前
紧跟大数据技术趋势:食物口味分析系统Spark SQL+HDFS最新架构实现
大数据·hadoop·python·sql·hdfs·架构·spark
一只栖枝5 小时前
HCIE -云计算方向容易考过吗?该怎么准备考试?
华为·云计算·华为认证·hcie·备考·考证
CDA数据分析师干货分享6 小时前
【CDA干货】Excel 的 16类常用函数之计算统计类函数
大数据·数据挖掘·数据分析·excel·cda证书·cda数据分析师
秃头菜狗6 小时前
十、Hadoop 核心目录功能说明表
大数据·hadoop·分布式
秃头菜狗11 小时前
八、安装 Hadoop
大数据·hadoop·分布式
wanhengidc17 小时前
云手机和网盘之间的关系
网络·游戏·智能手机·架构·云计算