技术栈

metastore

IT成长日记
8 天前
hive·sql·spark·catalog·metastore
【Hive入门】Hive与Spark SQL深度集成:Metastore与Catalog兼容性全景解析目录引言1 元数据管理体系架构对比1.1 Hive Metastore架构解析1.2 Spark Catalog系统设计
Laurence
1 年前
hive·flink·hudi·catalog·元数据·metastore·共用表
Flink Catalog 解读与同步 Hudi 表元数据的最佳实践在当前的大数据格局中,Spark / Hive / Flink 是最为主流的 ETL 或 Streaming 引擎,元数据方面,Hive Metastore 可以视为事实上的 Data Catalog 标准,而在数据湖存储格式上,又有 Hudi、Iceberg 这类新晋的框架,在这种复杂的格局下,用户希望能它们之间能相互打通,以便能根据应用场景灵活地选择技术栈,同时又不会出现技术上的“隔离”,一个非常典型的例子是:当我们选择了 Hudi 作为数据湖的统一存储格式后,我们希望不管是 Flink 还是 Spa
Laurence
1 年前
hive·flink·集成·整合·connector·metastore
Flink 集成和使用 Hive MetastoreEMR 官方文档给出了具体脚本:https://docs.aws.amazon.com/emr/latest/ReleaseGuide/flink-configure.html,以下是以 EMR 6.15 ( Flink 1.17.1)版本为例修改后的脚本: