产品动态 | Kafka Linking 迁移工具上线、Table Topic发布、Azure开服

01

社区影响力

AutoMQ GitHub Star 正式突破 7,000!🌟

为什么越来越多的企业和开发者选择 AutoMQ?

  • **100% Kafka API 兼容:**平滑迁移,无供应商锁定,兼容 Kafka 全生态。
  • **Diskless 架构:**Broker 无状态,秒级扩缩容,弹性伸缩成本更低。
  • **Kubernetes 原生:**专为 Kubernetes 设计,深度兼容 Strimzi Operator 与 Bitnami Kafka Chart 等主流部署方案。
  • **零跨 AZ 成本:**共享存储架构,避免高额跨可用区流量费用。
  • **自动数据平衡:**内置 Self-Balancing,1 秒迁移分区,消除热点。

02

最新发布

  1. Kafka Linking 迁移工具

**零停机迁移:**AutoMQ允许数据从旧集群迁移到新集群,而不影响当前生产环境中运行的应用程序,确保无缝迁移。

**保持偏移量的迁移:**对于依赖 Kafka 消费者偏移量的数据基础架构(例如 Flink 作业),在集群迁移期间保留这些偏移量尤为重要。这使得用户无需对现有数据基础架构进行任何更改即可将 Kafka 迁移到 AutoMQ,从而显著简化集群迁移。

**同步所有数据:**Kafka集群的所有数据和元数据都会同步,包括Topic、Consumer Groups、Offsets。

  1. Table Topic

**开箱即用:**AutoMQ 的Table Topic 功能可以借助 S3 TABLE 自动将 Kafka Topics 转换为 Iceberg Tables,进行持续、实时的分析。

**内置 Schema 注册表:**Table Topic 利用已注册的 Schema 自动在目录服务(例如 AWS Glue)中创建 Iceberg 表,并支持自动 Schema 演化。

**无 ETL(提取、转换、加载):**借助 S3 的高吞吐量和 AutoMQ 的细粒度调度,Table Topic 可以实现每秒数 GiB 的实时数据提取,同时持续压缩小文件以优化查询性能,从而实现从 Kafka 到数据湖的真正零 ETL处理。

自动扩展: AutoMQ 具有无状态且弹性的架构,允许代理通过动态分区重新分配无缝地扩展或缩减规模。Table Topic 利用此框架轻松处理从数百 MiB/s 到数 GiB/s 的摄取速率。

无缝集成 AWS S3 Table: Table Topic 与 S3 Table 无缝集成,充分利用其数据目录和维护功能,例如压缩、快照管理和未引用文件删除。此集成还支持通过 AWS Athena 进行大规模数据分析。

  1. 运维通道

AutoMQ BYOC 环境支持 Ops Tunnel,允许用户创建安全、可信且可审计的运维通道。以便临时授予 BYOC 环境中 AutoMQ 技术人员的访问权限,从而定位和分析复杂问题。

  1. Azure 开服

Microsoft Azure 支持AutoMQ BYOC 部署。在 Azure 上,它可以利用 Azure 的底层存储(如 Blob Storage)和计算资源,实现按实际使用量付费,在流量低谷时自动缩容甚至降至零,为用户节省大量成本。

03

发布预告

AutoMQ Managed Connector 即将上线

(1)提供 Connector 一站式托管与维护,简化 ETL 链路维护。

(2)内置 S3、Debezium CDC、ElasticSearch 等主流插件,并支持用户上传自定义插件。

(3)完善的Metrics、Log观测能力,支持弹性伸缩与自动化运维。

AutoMQ BYOC 安装体验再升级

(1)优化安装流程和向导,支持 Docker 一键拉起Console,降低操作门槛 。

(2)一键下载 IAM 授权模板,优化授权范围、简化操作流程。

欢迎关注 AutoMQ!

AutoMQ BYOC 现推出 14 天免费试用,立即体验云原生 Kafka 的极致弹性。

👇 立刻试用

console.automq.cloud/?utm\\\\_so...

扫码进群,第一时间掌握最新产品动态。

相关推荐
Database_Cool_1 小时前
阿里云 RDS MySQL 降本增效实战:从规格选型到成本优化,月成本降低64%全攻略
mysql·阿里云·云计算
Linux-18748 小时前
分布式链路追踪系统之docker-compose安装skywalking
云原生·docker-compose·skywalking·分布式链路追踪系统·应用程序性能监控
大模型码小白10 小时前
【Python零基础教程】继承、多态与魔法函数:面向对象编程三大核心特性详解
java·大数据·开发语言·人工智能·python·ai编程
Smoothcloud润云11 小时前
国内GPU算力租赁平台横向测评:资源、成本、稳定性三维对比
人工智能·ai·云计算·gpu算力·gpu
延凡科技12 小时前
多场景落地复盘:端边云架构无人机智能巡检系统设计与实践
大数据·数据结构·人工智能·科技·架构·无人机·能源
ifenxi爱分析13 小时前
爱分析最新报告解读:AI数据基础设施与数据中台的区别
大数据·人工智能
品牌全球行14 小时前
共商共建共享 链接数字未来——“一带一路数字新城(深圳)会客厅筹备办”揭牌仪式在深圳隆重举行
大数据·人工智能
隔窗听雨眠14 小时前
Spring Boot在云原生时代的编程范式革新研究
spring boot·后端·云原生
Hui Baby16 小时前
K8S使用CRD和控制器简单应用
云原生·容器·kubernetes
数智化管理手记16 小时前
账龄分析手工统计易遗漏?自动账龄分析工具怎么搭建
大数据·网络·数据库·人工智能·数据挖掘