Flink 集成和使用 Hive Metastore

想在 Flink 中使用 Hive Metastore 其实只需要将 Flink Hive Connector 以及 Hive Metastore 有关的 Jar 包部署到 `${FLINK_HOME}/lib` 下即可,稍后我们会介绍一下具体做法。但是,如果是 AWS EMR,会有所不同,主要是 EMR 中的默写包是改写过的,特别是和 Hive Metastore 的交互要多留心,因为 EMR 上还有另外一套 Metatstore:Glue Data Catalog,所以,简单的复制开源的 Jar 包可能会有问题,最好做法还是从 EMR 集群上拷贝本地带 `amzn` 后缀的 Jar 包。

EMR 官方文档给出了具体脚本:https://docs.aws.amazon.com/emr/latest/ReleaseGuide/flink-configure.html,以下是以 EMR 6.15 ( Flink 1.17.1)版本为例修改后的脚本:

bash 复制代码
sudo -u flink cp /usr/lib/hive/lib/antlr-runtime-3.5.2.jar /usr/lib/flink/lib 
sudo -u flink cp /usr/lib/hive/lib/hive-exec-3.1.3*.jar /usr/lib/flink/lib 
sudo -u flink cp /usr/lib/hive/lib/libfb303-0.9.3.jar /usr/lib/flink/lib 
sudo -u flink cp /usr/lib/flink/opt/flink-connector-hive_2.12-1.17.1-amzn-1.jar /usr/lib/flink/lib

部署好 Jar 包,如果是 Session 模式,需要重新启动新的 Session。在 Flink 中使用 Hive Metastore 的方法是:在 Flink Sql Client 中执行:

sql 复制代码
CREATE CATALOG hive WITH (
  'type' = 'hive',
  'hive-conf-dir' = '/etc/hive/conf'
);

USE CATALOG hive;

CREATE TABLE IF NOT EXISTS your_table (
...
);

如果是开源 Flink,需要根据 [https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/table/hive/overview/#dependencies\](https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/table/hive/overview/#dependencies) 提供的依赖项 (以 Flink 1.17.1 版本为例):

xml 复制代码
<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-connector-hive_2.12</artifactId>
  <version>1.17.1</version>
</dependency>

<dependency>
  <groupId>org.apache.flink</groupId>
  <artifactId>flink-table-api-java-bridge_2.12</artifactId>
  <version>1.17.1</version>
</dependency>

<!-- Hive Dependency -->
<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-exec</artifactId>
    <version>3.1.3</version>
</dependency>

根据 《快速下载Jar包及其依赖Jar包的方法》 一文第2节介绍的方法制作出依赖包并部署于 ${FLINK_HOME}/lib 下即可。

参考:

https://nightlies.apache.org/flink/flink-docs-master/docs/connectors/table/hive/hive_catalog/

相关推荐
路由侠内网穿透2 小时前
本地部署开源流处理框架 Apache Flink 并实现外部访问
大数据·网络协议·tcp/ip·flink·服务发现·apache·consul
宝哥大数据5 小时前
Flinksql--订单宽表
大数据·flink
weixin_307779137 小时前
C#实现HiveQL建表语句中特殊数据类型的包裹
开发语言·数据仓库·hive·c#
一个天蝎座 白勺 程序猿18 小时前
大数据(4.2)Hive核心操作实战指南:表创建、数据加载与分区/分桶设计深度解析
大数据·hive·hadoop
一个天蝎座 白勺 程序猿19 小时前
大数据(4.3)Hive基础查询完全指南:从SELECT到复杂查询的10大核心技巧
数据仓库·hive·hadoop
weixin_3077791321 小时前
判断HiveQL语句为建表语句的识别函数
开发语言·数据仓库·hive·c#
酷爱码21 小时前
hive相关面试题以及答案
hive·分布式
Florian1 天前
Graph4Stream:基于图的流计算加速
flink·流计算·图计算·geaflow
宝哥大数据1 天前
flink 分组窗口聚合 与 窗口表值函数聚合 的区别
flink
珹洺2 天前
Java-servlet(十)使用过滤器,请求调度程序和Servlet线程(附带图谱表格更好对比理解)
java·开发语言·前端·hive·hadoop·servlet·html