gcp

openGauss开发者大会、华为云HDC大会举行； PostgreSQL中国技术大会7月杭州开启1. openGauss Developer Day本周五于北京举行，大会聚集了相关行业专家、用户、伙伴和开发者，分享给予openGauss的联合创新成果和实践案例。([2] ) ；华为云 HDC 2024本周五于东莞松山湖举行，主题演讲主要覆盖鸿蒙、AI ([3] [29] )

Databricks超10亿美元收购Tabular；Zilliz 推出 Milvus Lite ；腾讯云支持Redis 7.01. Databricks超10亿美元收购Tabular，Databricks将增强 Delta Lake 和 Iceberg 社区合作，以实现 Lakehouse 底层格式的开放与兼容([1] [2])。

「布道师系列文章」众安保险王凯解析 Kafka 网络通信作者｜众安保险基础平台 Java 开发专家王凯引言今天给大家带来的是 Kafka 网路通信主要流程的解析（基于 Apache Kafka 3.7[2]）。同时引申分析了业界当前较火的AutoMQ基于Kafka在网络通信层面的优化和提升。

AutoMQ 自动化持续测试平台技术内幕01背景AutoMQ[1] 作为一款流系统，被广泛应用在客户的核心链路中，对可靠性的要求非常的高。所以我们需要一套模拟真实生产场景、长期运行的测试环境，在注入各种故障场景的前提下验证 SLA 的可行性，为新版本的发布和客户的使用提供信心保证。基于这样的考虑，我们研发了一套针对流系统的自动化持续测试平台 Marathon。在实现 Marathon 这套框架之前，我们提炼出三个设计原则：

AutoMQ 生态集成 Apache DorisApache Doris 是一个基于 MPP 架构的高性能、实时的分析型数据库，以极速易用的特点被人们所熟知，仅需亚秒级响应时间即可返回海量数据下的查询结果，不仅可以支持高并发的点查询场景，也能支持高吞吐的复杂分析场景。基于此，Apache Doris 能够较好的满足报表分析、即席查询、统一数仓构建、数据湖联邦查询加速等使用场景，用户可以在此之上构建用户行为分析、AB 实验平台、日志检索分析、用户画像分析、订单分析等应用。本文将介绍如何使用 Apache Doris Routine Load 将 Auto

分层存储无法拯救 Kafka01引言Apache Kafka 自诞生之日起，就以其卓越的设计和强大的功能，成为了流处理领域的标杆。它不仅定义了现代流处理架构，更以其独特的分布式日志抽象，为实时数据流的处理和分析提供了前所未有的能力。Kafka 的成功，在于它能够满足各种规模企业对于高吞吐量、低延迟数据处理的需求，经过多年的发展铸就了极其丰富的 Kafka 生态，成为了事实上的行业标准。然而，随着云计算和云原生技术的飞速发展，Kafka 面临的挑战也日益严峻。传统的存储架构已难以适应云环境下用户对更优成本、弹性的诉求，这引发了大家对

量化交易学徒

阿里云详细介绍，与AWS和GCP比较阿里云（Alibaba Cloud），也被称为阿里巴巴云计算，是中国最大的云服务提供商，同时在全球范围内也具有显著的市场影响力。自2009年成立以来，阿里云已经发展成为一个提供全方位服务的云平台，包括云计算、数据库、人工智能、安全和网络服务等。它是阿里巴巴集团的一个重要部分，支持着阿里巴巴集团内外的广泛业务，从电子商务和支付到物流和媒体娱乐。

Kafka Exactly Once 语义实现原理：幂等性与事务消息在现代分布式系统中，确保数据处理的准确性和一致性是至关重要的。Apache Kafka，作为一个广泛使用的流处理平台，提供了强大的消息队列和流处理功能。随着业务需求的增长，Kafka 的事务消息功能应运而生，它允许应用程序以一种原子的方式处理消息，即要么所有消息都被正确处理，要么都不处理。本文将深入剖析 Kafka 的 Exactly-Once 语义实现原理，包括幂等性与事务消息的关键概念，以及它们是如何在 Kafka 中实现的。我们将探讨 Kafka 事务的流程，事务提供的 ACID 保证，以及在实际应

「布道师系列文章」小红书黄章衡：AutoMQ Serverless 基石-秒级分区迁移作者｜黄章衡，小红书消息引擎研发专家Apache Kafka 因存算一体化架构，分区迁移依赖大量数据同步的完成，以一个 100MB/s 流量的 Kafka 分区为例，运行一天产生的数据量约为 8.2T，如果此时需要将该分区迁移到其他 Broker，则需要对全量数据进行复制，即使对拥有 1 Gbps 带宽的节点，也需要小时级的时间来完成迁移，这使得 Apache Kafka 集群几乎不具备实时弹性能力。

云上如何实现 Autoscaling: AutoMQ 的实战经验与教训弹性是云原生、Serverless 的基础。AutoMQ 从软件设计之初即考虑将弹性作为产品的核心特质。对于 Apache Kafka 而言，由于其存储架构诞生于 IDC 时代，针对物理硬件设计，存储层强依赖本地存储，已不能很好地适应现在云的时代了。当然，这并不意味着我们要放弃 Kafka。Kafka 凭借极其优异的生态已经塑造了其在流处理领域不可撼动的地位，Kafka API 俨然已经成为流处理协议的事实标准。正是因为看到了这一点，AutoMQ 积极拥抱 Kafka 生态，在完全兼容其计算层的基础上，对

开源布道共创生态——2024 AutoMQ 布道师计划启动！我们是来自 Apache RocketMQ 和 Linux LVS 项目的核心团队，曾经见证并应对过消息队列基础设施在大型互联网公司和云计算公司的挑战。基于对象存储优先、存算分离、多云原生等技术理念，我们重新设计并实现 Apache Kafka 和 Apache RocketMQ，带来高达10 倍的成本优势和百倍的弹性效率提升。

AutoMQ 1.1.0-RC0 重磅更新：内核升级到 Apache Kafka 3.7.0AutoMQ 在 2024.02 正式发布了基于 Apache Kafka 3.4.0 的云原生重构版本 1.0.0，AutoMQ 1.0.0 版本相比原版提供了 Serverless、自动负载均衡、秒级分区迁移和 All in 对象存储能力，让 Kafka 用户能充分利用云的弹性能力和廉价存储，实现十倍成本优势。

倒计时最后1天！AutoMQ x 阿里云云原生创新论坛精彩预告3月9日（本周六）“AutoMQ x 阿里云云原生创新论坛”就要与大家见面了，让我们一起来看看本次论坛都有哪些精彩的议题！文末附有参会交通指南和直播预约链接。

Google Cloud dataflow streaming job简介首先 gcp 的dataflow 是1个ETL 组件, 它是基于Apache beam的Apache beam 是1个较新的开源ETL 框架。对于我们常用的ETL tool Spring batch 有下面的区别