catalog

智海观潮20 天前
大数据·人工智能·ai·iceberg·catalog
Unity Catalog与Apache Iceberg如何重塑Data+AI时代的企业数据架构在2025年Data+AI Summit上,Databricks发布了一系列重大更新,标志着企业数据治理进入新阶段。其中,Unity Catalog的增强功能和对Apache Iceberg的全面支持尤为引人注目。这些更新不仅强化了跨平台数据管理能力,还推动了开放数据生态的发展。本文将从技术演进、行业实践和未来趋势三个维度,分析这些创新如何重塑企业数据架构。 一、Unity Catalog:构建智能化的数据治理体系
IT成长日记3 个月前
hive·sql·spark·catalog·metastore
【Hive入门】Hive与Spark SQL深度集成:Metastore与Catalog兼容性全景解析目录引言1 元数据管理体系架构对比1.1 Hive Metastore架构解析1.2 Spark Catalog系统设计
颹蕭蕭10 个月前
postgresql·flink·catalog
flink1.20 连接 postgrespostgres字段类型 timestamp 默认 timestamp(6),需要转换后才能作为水印字段
Laurence1 年前
hive·flink·hudi·catalog·元数据·metastore·共用表
Flink Catalog 解读与同步 Hudi 表元数据的最佳实践在当前的大数据格局中,Spark / Hive / Flink 是最为主流的 ETL 或 Streaming 引擎,元数据方面,Hive Metastore 可以视为事实上的 Data Catalog 标准,而在数据湖存储格式上,又有 Hudi、Iceberg 这类新晋的框架,在这种复杂的格局下,用户希望能它们之间能相互打通,以便能根据应用场景灵活地选择技术栈,同时又不会出现技术上的“隔离”,一个非常典型的例子是:当我们选择了 Hudi 作为数据湖的统一存储格式后,我们希望不管是 Flink 还是 Spa
小何才露尖尖角2 年前
数据仓库·hive·hadoop·pyspark·判断表是否存在·catalog
pyspark 判断 Hive 表是否存在pyspark.sql.Catalog.tableExists