Flink 集成和使用 Hive Metastore

想在 Flink 中使用 Hive Metastore 其实只需要将 Flink Hive Connector 以及 Hive Metastore 有关的 Jar 包部署到 `${FLINK_HOME}/lib` 下即可,稍后我们会介绍一下具体做法。但是,如果是 AWS EMR,会有所不同,主要是 EMR 中的默写包是改写过的,特别是和 Hive Metastore 的交互要多留心,因为 EMR 上还有另外一套 Metatstore:Glue Data Catalog,所以,简单的复制开源的 Jar 包可能会有问题,最好做法还是从 EMR 集群上拷贝本地带 `amzn` 后缀的 Jar 包。

EMR 官方文档给出了具体脚本:https://docs.aws.amazon.com/emr/latest/ReleaseGuide/flink-configure.html,以下是以 EMR 6.15 ( Flink 1.17.1)版本为例修改后的脚本:

bash 复制代码
sudo -u flink cp /usr/lib/hive/lib/antlr-runtime-3.5.2.jar /usr/lib/flink/lib 
sudo -u flink cp /usr/lib/hive/lib/hive-exec-3.1.3*.jar /usr/lib/flink/lib 
sudo -u flink cp /usr/lib/hive/lib/libfb303-0.9.3.jar /usr/lib/flink/lib 
sudo -u flink cp /usr/lib/flink/opt/flink-connector-hive_2.12-1.17.1-amzn-1.jar /usr/lib/flink/lib

部署好 Jar 包,如果是 Session 模式,需要重新启动新的 Session。在 Flink 中使用 Hive Metastore 的方法是:在 Flink Sql Client 中执行:

sql 复制代码
CREATE CATALOG hive WITH (
  'type' = 'hive',
  'hive-conf-dir' = '/etc/hive/conf'
);

USE CATALOG hive;

CREATE TABLE IF NOT EXISTS your_table (
...
);

如果是开源 Flink,需要根据 [https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/table/hive/overview/#dependencies\](https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/table/hive/overview/#dependencies) 提供的依赖项 (以 Flink 1.17.1 版本为例):

xml 复制代码
<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-connector-hive_2.12</artifactId>
  <version>1.17.1</version>
</dependency>

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-table-api-java-bridge_2.12</artifactId>
  <version>1.17.1</version>
</dependency>

<!-- Hive Dependency -->
<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-exec</artifactId>
    <version>3.1.3</version>
</dependency>

根据 《快速下载Jar包及其依赖Jar包的方法》 一文第2节介绍的方法制作出依赖包并部署于 ${FLINK_HOME}/lib 下即可。

参考:

https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/table/hive/hive_catalog/

相关推荐
晨航12 小时前
Flink本地模式安装详解
大数据·flink
sf_www12 小时前
flink 内存配置(五):网络缓存调优
大数据·网络·flink
我的K840916 小时前
Flink滑动窗口(Sliding)中window和windowAll的区别
flink
inori125616 小时前
FlinkSql读取外部Mysql和HBase数据库的方法(scala)
mysql·flink·hbase
houzhizhen16 小时前
HiveMetastore 的架构简析
hive
数据要素X1 天前
【数据仓库】Hive 拉链表实践
大数据·数据库·数据仓库·人工智能·hive·hadoop·安全
小强签名设计1 天前
Flink CDC 同步 Mysql 数据
大数据·mysql·flink
牧竹子1 天前
FLINK单机版安装部署入门-1
大数据·flink
sf_www1 天前
flink 内存配置(四):内存调优和问题处理
大数据·flink
静听山水1 天前
Flink-Kafka-Connector
flink