技术栈

catalog

IT成长日记
8 天前
hive·sql·spark·catalog·metastore
【Hive入门】Hive与Spark SQL深度集成:Metastore与Catalog兼容性全景解析目录引言1 元数据管理体系架构对比1.1 Hive Metastore架构解析1.2 Spark Catalog系统设计
颹蕭蕭
7 个月前
postgresql·flink·catalog
flink1.20 连接 postgrespostgres字段类型 timestamp 默认 timestamp(6),需要转换后才能作为水印字段
Laurence
1 年前
hive·flink·hudi·catalog·元数据·metastore·共用表
Flink Catalog 解读与同步 Hudi 表元数据的最佳实践在当前的大数据格局中,Spark / Hive / Flink 是最为主流的 ETL 或 Streaming 引擎,元数据方面,Hive Metastore 可以视为事实上的 Data Catalog 标准,而在数据湖存储格式上,又有 Hudi、Iceberg 这类新晋的框架,在这种复杂的格局下,用户希望能它们之间能相互打通,以便能根据应用场景灵活地选择技术栈,同时又不会出现技术上的“隔离”,一个非常典型的例子是:当我们选择了 Hudi 作为数据湖的统一存储格式后,我们希望不管是 Flink 还是 Spa
小何才露尖尖角
2 年前
数据仓库·hive·hadoop·pyspark·判断表是否存在·catalog
pyspark 判断 Hive 表是否存在pyspark.sql.Catalog.tableExists