gcp

Kafka 迁移 AutoMQ 时 Flink 位点管理的挑战与解决方案编辑导读： AutoMQ 是一款与 Apache Kafka 100% 完全兼容的新一代 Kafka，可以做到至多 10 倍的成本降低和极速的弹性。凭借其与 Kafka 的完全兼容性可以与用户已有的 Flink 等大数据基础设施进行轻松整合。Flink 是重要的流处理引擎，与 Kafka 有着密切的关系。本文重点介绍了当用户需要将生产 Kafka 集群迁移到 AutoMQ 时，如何处理好 Flink 的位点来确保整体迁移的平滑过渡。

活动预告｜云原生创新论坛：知乎携手 AutoMQ、OceanBase、快猫星云的实践分享近年来，云原生技术迅猛发展，成为企业数字化转型的关键动力，云原生不仅极大地提升了系统的灵活性和可扩展性，还为企业带来了前所未有的创新机遇。

得物使用AutoMQ构建海量数据处理的新一代可观测性架构得物作为全球领先的潮流网购社区，日益增长的用户和数据带来了巨大的技术挑战。当前，得物的可观测性平台每天生成数PB级Trace数据和数万亿条Span记录，要求平台具备高效的实时处理能力和低成本的数据存储解决方案。

知乎启用AutoMQ替换Kafka，开辟成本优化与运维提效新纪元作者：知乎在线架构组王金龙知乎公司，成立于 2010 年 8 月 10 日，于 2011 年 1 月 26 日正式上线，是中文互联网的高质量问答社区和创作者聚集的原创内容平台。

就在今晚！亚马逊云科技数据开源软件-流式数据湖 Tech Talk等你来！7月24日19:00-21:00，本次亚马逊云科技数据开源软件-流式数据湖 Tech Talk 即将举行。

活动回顾 | AutoMQ 联合 GreptimeDB 共同探讨新能源汽车数据基础设施7 月 13 日，AutoMQ 携手 GreptimeDB“新能源汽车数据基础设施” 主题 meetup 在上海圆满落幕。本次论坛多角度探讨如何通过创新的数据管理和存储架构，提升汽车系统的性能、安全性和可靠性，从而驱动行业的持续发展和创新，涵盖 AutoMQ 多模态共享存储架构、长城汽车多云多活架构的实践与探索、GreptimeDB 边云一体化数据库介绍、小红书深度解读 AutoMQ 云原生及多云容灾架构、车载嵌入式时序数据库的技术挑战和方案等议题。本次主题活动现场氛围热烈，吸引了众多技术爱好者积极参与，

AutoMQ 生态集成 Redpanda Console通过 Kafka Web UI 更加便利地管理 Kafka/AutoMQ 集群随着大数据技术的飞速发展，Kafka 作为一种高吞吐量、低延迟的分布式消息系统，已经成为企业实时数据处理的核心组件。然而，Kafka 集群的管理和监控却并非易事。传统的命令行工具和脚本虽然功能强大，但对于开发者和运维人员来说，操作复杂且不直观。为了解决这些问题，Kafka Web UI 应运而生，为用户提供了一种更加便利和高效的 Kafka 集群管理方式。Apache Kafka 经过十多年的发展，在业内积累了非常丰富的生态。A

活动预告｜想更了解流式数据湖？亚马逊云科技数据开源软件-流式数据湖 Tech Talk来啦！活动介绍本次活动旨在探索在亚马逊云科技上构建和使用开源数据软件产品的一些最佳实践，特别关注流式数据湖的构建。活动将在线上举行，汇聚来自 AutoMQ Apache paimon和亚马逊云科技的顶尖专家，分享他们在这一领域的最新进展和实际经验。参与者将有机会深入了解如何利用这些工具来优化数据处理和存储流程，提升数据管理效率。无论您是数据工程师、架构师，还是对数据湖技术感兴趣的从业者，都能在本次活动中找到启发和实用的解决方案。课程亮点包括深入解析流式数据湖的核心概念与构建方法，详细展示如何在亚马逊云科技环境中

AutoMQ 中的元数据管理本文所述 AutoMQ 的元数据管理机制均基于 AutoMQ Release 1.1.0 版本 [1]。

PG大会周五于杭州举办；Pika发布4.0；阿里云MySQL上线Zero-ETL集成能力1. PostgreSQL中国技术大会举行12日（周五）于杭州举办，是PostgreSQL社区年度的大会，举办地点：杭州君尚云郦酒店（杭州市上城区临丁路1188号），感兴趣的可以考虑现场参加 ( [1] )

AutoMQ 与蚂蚁数科达成战略合作近期，AutoMQ 与蚂蚁数科正式签署战略合作协议，将和蚂蚁数科云原生 PaaS 平台 SOFAStack 在产品研发、生态集成、市场合作、技术社区影响力等多方面开展深度合作。

基于Netty的自研流系统缓存实现挑战: 内存碎片与OOM困境01前言Kafka 作为流处理平台，在实时流计算和在线业务场景，追尾读追求端到端低延迟。在离线批处理和削峰填谷场景，数据冷读追求高吞吐。两个场景都需要很好的数据缓存设计来支撑，Apache Kafka 的数据存储在本地文件，通过 mmap 将文件映射到内存中访问，天然就可以依托操作系统来完成文件的缓冲持久化、缓存加载和缓存驱逐。AutoMQ 采用存算分离的架构，将存储分离至对象存储，本地没有数据文件，因此无法像 Apache Kafka 一样直接使用数据文件 mmap 来进行数据缓存。这时候通常缓存对象存

AutoMQ vs Kafka: 来自小红书的独立深度评测与对比测试背景当前小红书消息引擎团队与 AutoMQ 团队正在深度合作，共同推动社区建设，探索云原生消息引擎的前沿技术。本文基于 OpenMessaging 框架，对 AutoMQ 进行了全面测评。欢迎大家参与社区并分享测评体验。

openGauss开发者大会、华为云HDC大会举行； PostgreSQL中国技术大会7月杭州开启1. openGauss Developer Day本周五于北京举行，大会聚集了相关行业专家、用户、伙伴和开发者，分享给予openGauss的联合创新成果和实践案例。([2] ) ；华为云 HDC 2024本周五于东莞松山湖举行，主题演讲主要覆盖鸿蒙、AI ([3] [29] )

Databricks超10亿美元收购Tabular；Zilliz 推出 Milvus Lite ；腾讯云支持Redis 7.01. Databricks超10亿美元收购Tabular，Databricks将增强 Delta Lake 和 Iceberg 社区合作，以实现 Lakehouse 底层格式的开放与兼容([1] [2])。

「布道师系列文章」众安保险王凯解析 Kafka 网络通信作者｜众安保险基础平台 Java 开发专家王凯引言今天给大家带来的是 Kafka 网路通信主要流程的解析（基于 Apache Kafka 3.7[2]）。同时引申分析了业界当前较火的AutoMQ基于Kafka在网络通信层面的优化和提升。

AutoMQ 自动化持续测试平台技术内幕01背景AutoMQ[1] 作为一款流系统，被广泛应用在客户的核心链路中，对可靠性的要求非常的高。所以我们需要一套模拟真实生产场景、长期运行的测试环境，在注入各种故障场景的前提下验证 SLA 的可行性，为新版本的发布和客户的使用提供信心保证。基于这样的考虑，我们研发了一套针对流系统的自动化持续测试平台 Marathon。在实现 Marathon 这套框架之前，我们提炼出三个设计原则：

AutoMQ 生态集成 Apache DorisApache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。本文将介绍如何使用 Apache Doris Routine Load 将 Auto

分层存储无法拯救 Kafka01引言Apache Kafka 自诞生之日起，就以其卓越的设计和强大的功能，成为了流处理领域的标杆。它不仅定义了现代流处理架构，更以其独特的分布式日志抽象，为实时数据流的处理和分析提供了前所未有的能力。Kafka 的成功，在于它能够满足各种规模企业对于高吞吐量、低延迟数据处理的需求，经过多年的发展铸就了极其丰富的 Kafka 生态，成为了事实上的行业标准。然而，随着云计算和云原生技术的飞速发展，Kafka 面临的挑战也日益严峻。传统的存储架构已难以适应云环境下用户对更优成本、弹性的诉求，这引发了大家对