iceberg

StarRocks Lakehouse 快速入门——Apache Iceberg导读：StarRocks Lakehouse 快速入门旨在帮助大家快速了解湖仓相关技术，内容涵盖关键特性介绍、独特的优势、使用场景和如何与 StarRocks 快速构建一套解决方案。最后大家也可以通过用户真实的使用场景来了解 StarRocks Lakehouse 的最佳实践！

flink + iceberg 快速搭建指南the environment includes:First, To install Docker Engine, you need a maintained version of CentOS 7 or 8. Archived versions aren't supported or tested.

SelectDB技术团队

Apache Doris + Iceberg 快速搭建指南｜Lakehouse 使用手册（三）湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，能够更加便捷地满足各种数据处理分析的需求。Apache Doris 持续加深与数据湖的融合，已演进出一套成熟的湖仓一体解决方案。我们将通过一系列文章介绍 Apache Doris 与各类主流数据湖格式及存储系统的湖仓一体架构搭建指南，包括 Hudi、Paimon、Iceberg、OSS、Delta Lake、Kudu、BigQuery 等。

数据湖表格式 Hudi/Iceberg/DeltaLake/Paimon TPCDS 性能对比（Spark 引擎）当前，业界流行的集中数据湖表格式 Hudi/Iceberg/DeltaLake，和最近出现并且在国内比较火的 Paimon。我们现在看到的很多是针对流处理场景的读写性能测试，那么本篇文章我们将回归到大数据最基础的场景，对海量数据的批处理查询。本文主要介绍通过 TPC-DS 3TB 的数据的99个SQL，对这几种数据湖表格式的查询性能做一个全面的测试。

从数据仓库到数据湖(下)：热门的数据湖开源框架在上一篇从数据仓库到数据湖(上)：数据湖导论文章中，我们简单讲述了数据湖的起源、使用原因及其本质。本篇文章将着重介绍市面上热门的数据湖开源框架，并分享笔者对当前数据湖技术的理解和看法。

StarRocks分布式元数据源码解析https://github.com/StarRocks/starrocks/pull/44276/files

最笨的羊羊

Iceberg从入门到精通系列之二十二：Spark DDL要在 Spark 中使用 Iceberg，请首先配置 Spark 目录。 Iceberg 使用 Apache Spark 的 DataSourceV2 API 来实现数据源和目录。

最笨的羊羊

Iceberg从入门到精通系列之二十一：Spark集成IcebergIceberg的最新版本是1.4.3。Spark 是目前用于 Iceberg 操作的功能最丰富的计算引擎。建议您开始使用 Spark，通过示例了解 Iceberg 概念和功能。您还可以在多引擎支持页面下查看将 Iceberg 与其他计算引擎结合使用的文档。

Dreammmming Time

Iceberg: 列式读取Parquet数据BaseBatchReader支持以Batch + Vectorized的特性，读取底层的文件。通过VectorizedSparkParquetReaders::build Reader()静态方法创建的读取器，关键特性如下：

最笨的羊羊

Iceberg从入门到精通系列之十九：分区分区是一种通过在写入时将相似的行分组在一起来加快查询速度的方法。例如，从日志表中查询日志条目通常会包含一个时间范围，就像针对上午 10 点到 12 点之间的日志的查询一样：

【湖仓一体尝试】MYSQL和HIVE数据联合查询爬了两天大大小小的一堆坑，今天把一个简单的单机环境的流程走通了，记录一笔。先来个完工环境照：mysql+hadoop+hive+flink+iceberg+trino

Dreammmming Time

Iceberg: COW模式下的MERGE INTO的执行流程如上是一条MERGE INTO语句，经过Spark Analyzer解析时，会发现它是MERGE INTO命令，因此将解析target_table对应生成的SparkTable实例封装成RowLevelOperationTable的实例，它会绑定一个SparkCopyOnWriteOperation的实例，并且实现了创建ScanBuilder和WriteBuilder的方法。

flink sqlClient提交hiveIcebergsqlclient启动有两种方式，per-job、session。 session模式需先启动一个session，启动方式如下：

【大数据】数据湖：下一代大数据的发展趋势国内的大型互联网公司，每天都会生成几十、几百 TB，甚至几 PB 的原始数据。这些公司通常采用开源的大数据组件来搭建大数据平台。大数据平台经历过以 Hadoop 为代表的离线数据平台、Lambda 架构平台、Kappa 架构平台三个阶段。

最笨的羊羊

Iceberg从入门到精通系列之十八：一篇文章深入了解Flink对Iceberg的支持Apache Iceberg 支持 Apache Flink 的 DataStream API 和 Table API。