【Flink名称解释一】什么是cataLog

Catalog 提供了元数据信息,例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。

数据处理最关键的方面之一是管理元数据。 元数据可以是临时的,例如临时表、或者通过 TableEnvironment 注册的 UDF。 元数据也可以是持久化的,例如 Hive Metastore 中的元数据。Catalog 提供了一个统一的API,用于管理元数据,并使其可以从 Table API 和 SQL 查询语句中来访问。

CataLog类型:

  • GenericInMemoryCatalogGenericInMemoryCatalog 是基于内存实现的 Catalog,所有元数据只在 session 的生命周期内可用。

  • JdbcCatalog 使得用户可以将 Flink 通过 JDBC 协议连接到关系数据库。PostgresCatalog 是当前实现的唯一一种 JDBC Catalog。 参考 JdbcCatalog 文档 获取关于配置 JDBC catalog 的详细信息。

  • HiveCatalog 有两个用途:作为原生 Flink 元数据的持久化存储,以及作为读写现有 Hive 元数据的接口。 Flink 的 Hive 文档 提供了有关设置 HiveCatalog 以及访问现有 Hive 元数据的详细信息。

注意:Hive Metastore 以小写形式存储所有元数据对象名称。而 GenericInMemoryCatalog 区分大小写。

-----之后补充 如何创建 Flink 表并将其注册到 Catalog

相关推荐
Lx35230 分钟前
Hadoop与实时计算集成:Lambda架构实践经验
大数据·hadoop
武子康3 小时前
大数据-101 Spark Streaming 有状态转换详解:窗口操作与状态跟踪实战 附多案例代码
大数据·后端·spark
expect7g4 小时前
COW、MOR、MOW
大数据·数据库·后端
武子康20 小时前
大数据-98 Spark 从 DStream 到 Structured Streaming:Spark 实时计算的演进
大数据·后端·spark
阿里云大数据AI技术20 小时前
2025云栖大会·大数据AI参会攻略请查收!
大数据·人工智能
代码匠心1 天前
从零开始学Flink:数据源
java·大数据·后端·flink
Lx3521 天前
复杂MapReduce作业设计:多阶段处理的最佳实践
大数据·hadoop
武子康1 天前
大数据-100 Spark DStream 转换操作全面总结:map、reduceByKey 到 transform 的实战案例
大数据·后端·spark
expect7g1 天前
Flink KeySelector
大数据·后端·flink
阿里云大数据AI技术2 天前
StarRocks 助力数禾科技构建实时数仓:从数据孤岛到智能决策
大数据