gcp

就在今晚！亚马逊云科技数据开源软件-流式数据湖 Tech Talk等你来！7月24日19:00-21:00，本次亚马逊云科技数据开源软件-流式数据湖 Tech Talk 即将举行。

活动回顾 | AutoMQ 联合 GreptimeDB 共同探讨新能源汽车数据基础设施7 月 13 日，AutoMQ 携手 GreptimeDB“新能源汽车数据基础设施” 主题 meetup 在上海圆满落幕。本次论坛多角度探讨如何通过创新的数据管理和存储架构，提升汽车系统的性能、安全性和可靠性，从而驱动行业的持续发展和创新，涵盖 AutoMQ 多模态共享存储架构、长城汽车多云多活架构的实践与探索、GreptimeDB 边云一体化数据库介绍、小红书深度解读 AutoMQ 云原生及多云容灾架构、车载嵌入式时序数据库的技术挑战和方案等议题。本次主题活动现场氛围热烈，吸引了众多技术爱好者积极参与，

AutoMQ 生态集成 Redpanda Console通过 Kafka Web UI 更加便利地管理 Kafka/AutoMQ 集群随着大数据技术的飞速发展，Kafka 作为一种高吞吐量、低延迟的分布式消息系统，已经成为企业实时数据处理的核心组件。然而，Kafka 集群的管理和监控却并非易事。传统的命令行工具和脚本虽然功能强大，但对于开发者和运维人员来说，操作复杂且不直观。为了解决这些问题，Kafka Web UI 应运而生，为用户提供了一种更加便利和高效的 Kafka 集群管理方式。Apache Kafka 经过十多年的发展，在业内积累了非常丰富的生态。A

活动预告｜想更了解流式数据湖？亚马逊云科技数据开源软件-流式数据湖 Tech Talk来啦！活动介绍本次活动旨在探索在亚马逊云科技上构建和使用开源数据软件产品的一些最佳实践，特别关注流式数据湖的构建。活动将在线上举行，汇聚来自 AutoMQ Apache paimon和亚马逊云科技的顶尖专家，分享他们在这一领域的最新进展和实际经验。参与者将有机会深入了解如何利用这些工具来优化数据处理和存储流程，提升数据管理效率。无论您是数据工程师、架构师，还是对数据湖技术感兴趣的从业者，都能在本次活动中找到启发和实用的解决方案。课程亮点包括深入解析流式数据湖的核心概念与构建方法，详细展示如何在亚马逊云科技环境中

AutoMQ 中的元数据管理本文所述 AutoMQ 的元数据管理机制均基于 AutoMQ Release 1.1.0 版本 [1]。

PG大会周五于杭州举办；Pika发布4.0；阿里云MySQL上线Zero-ETL集成能力1. PostgreSQL中国技术大会举行12日（周五）于杭州举办，是PostgreSQL社区年度的大会，举办地点：杭州君尚云郦酒店（杭州市上城区临丁路1188号），感兴趣的可以考虑现场参加 ( [1] )

AutoMQ 与蚂蚁数科达成战略合作近期，AutoMQ 与蚂蚁数科正式签署战略合作协议，将和蚂蚁数科云原生 PaaS 平台 SOFAStack 在产品研发、生态集成、市场合作、技术社区影响力等多方面开展深度合作。

基于Netty的自研流系统缓存实现挑战: 内存碎片与OOM困境01前言Kafka 作为流处理平台，在实时流计算和在线业务场景，追尾读追求端到端低延迟。在离线批处理和削峰填谷场景，数据冷读追求高吞吐。两个场景都需要很好的数据缓存设计来支撑，Apache Kafka 的数据存储在本地文件，通过 mmap 将文件映射到内存中访问，天然就可以依托操作系统来完成文件的缓冲持久化、缓存加载和缓存驱逐。AutoMQ 采用存算分离的架构，将存储分离至对象存储，本地没有数据文件，因此无法像 Apache Kafka 一样直接使用数据文件 mmap 来进行数据缓存。这时候通常缓存对象存

AutoMQ vs Kafka: 来自小红书的独立深度评测与对比测试背景当前小红书消息引擎团队与 AutoMQ 团队正在深度合作，共同推动社区建设，探索云原生消息引擎的前沿技术。本文基于 OpenMessaging 框架，对 AutoMQ 进行了全面测评。欢迎大家参与社区并分享测评体验。

openGauss开发者大会、华为云HDC大会举行； PostgreSQL中国技术大会7月杭州开启1. openGauss Developer Day本周五于北京举行，大会聚集了相关行业专家、用户、伙伴和开发者，分享给予openGauss的联合创新成果和实践案例。([2] ) ；华为云 HDC 2024本周五于东莞松山湖举行，主题演讲主要覆盖鸿蒙、AI ([3] [29] )

Databricks超10亿美元收购Tabular；Zilliz 推出 Milvus Lite ；腾讯云支持Redis 7.01. Databricks超10亿美元收购Tabular，Databricks将增强 Delta Lake 和 Iceberg 社区合作，以实现 Lakehouse 底层格式的开放与兼容([1] [2])。

「布道师系列文章」众安保险王凯解析 Kafka 网络通信作者｜众安保险基础平台 Java 开发专家王凯引言今天给大家带来的是 Kafka 网路通信主要流程的解析（基于 Apache Kafka 3.7[2]）。同时引申分析了业界当前较火的AutoMQ基于Kafka在网络通信层面的优化和提升。

AutoMQ 自动化持续测试平台技术内幕01背景AutoMQ[1] 作为一款流系统，被广泛应用在客户的核心链路中，对可靠性的要求非常的高。所以我们需要一套模拟真实生产场景、长期运行的测试环境，在注入各种故障场景的前提下验证 SLA 的可行性，为新版本的发布和客户的使用提供信心保证。基于这样的考虑，我们研发了一套针对流系统的自动化持续测试平台 Marathon。在实现 Marathon 这套框架之前，我们提炼出三个设计原则：

AutoMQ 生态集成 Apache DorisApache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。本文将介绍如何使用 Apache Doris Routine Load 将 Auto

分层存储无法拯救 Kafka01引言Apache Kafka 自诞生之日起，就以其卓越的设计和强大的功能，成为了流处理领域的标杆。它不仅定义了现代流处理架构，更以其独特的分布式日志抽象，为实时数据流的处理和分析提供了前所未有的能力。Kafka 的成功，在于它能够满足各种规模企业对于高吞吐量、低延迟数据处理的需求，经过多年的发展铸就了极其丰富的 Kafka 生态，成为了事实上的行业标准。然而，随着云计算和云原生技术的飞速发展，Kafka 面临的挑战也日益严峻。传统的存储架构已难以适应云环境下用户对更优成本、弹性的诉求，这引发了大家对

量化交易学徒

阿里云详细介绍，与AWS和GCP比较阿里云（Alibaba Cloud），也被称为阿里巴巴云计算，是中国最大的云服务提供商，同时在全球范围内也具有显著的市场影响力。自2009年成立以来，阿里云已经发展成为一个提供全方位服务的云平台，包括云计算、数据库、人工智能、安全和网络服务等。它是阿里巴巴集团的一个重要部分，支持着阿里巴巴集团内外的广泛业务，从电子商务和支付到物流和媒体娱乐。

Kafka Exactly Once 语义实现原理：幂等性与事务消息在现代分布式系统中，确保数据处理的准确性和一致性是至关重要的。Apache Kafka，作为一个广泛使用的流处理平台，提供了强大的消息队列和流处理功能。随着业务需求的增长，Kafka 的事务消息功能应运而生，它允许应用程序以一种原子的方式处理消息，即要么所有消息都被正确处理，要么都不处理。本文将深入剖析 Kafka 的 Exactly-Once 语义实现原理，包括幂等性与事务消息的关键概念，以及它们是如何在 Kafka 中实现的。我们将探讨 Kafka 事务的流程，事务提供的 ACID 保证，以及在实际应

「布道师系列文章」小红书黄章衡：AutoMQ Serverless 基石-秒级分区迁移作者｜黄章衡，小红书消息引擎研发专家Apache Kafka 因存算一体化架构，分区迁移依赖大量数据同步的完成，以一个 100MB/s 流量的 Kafka 分区为例，运行一天产生的数据量约为 8.2T，如果此时需要将该分区迁移到其他 Broker，则需要对全量数据进行复制，即使对拥有 1 Gbps 带宽的节点，也需要小时级的时间来完成迁移，这使得 Apache Kafka 集群几乎不具备实时弹性能力。

云上如何实现 Autoscaling: AutoMQ 的实战经验与教训弹性是云原生、Serverless 的基础。AutoMQ 从软件设计之初即考虑将弹性作为产品的核心特质。对于 Apache Kafka 而言，由于其存储架构诞生于 IDC 时代，针对物理硬件设计，存储层强依赖本地存储，已不能很好地适应现在云的时代了。当然，这并不意味着我们要放弃 Kafka。Kafka 凭借极其优异的生态已经塑造了其在流处理领域不可撼动的地位，Kafka API 俨然已经成为流处理协议的事实标准。正是因为看到了这一点，AutoMQ 积极拥抱 Kafka 生态，在完全兼容其计算层的基础上，对