生产环境下,应用模式部署flink任务,通过hdfs提交

前言

通过通过yarn.provided.lib.dirs配置选项指定位置,将flink的依赖上传到hdfs文件管理系统


1. 实践

(1)生产集群为cdh集群,从cm上下载配置文件,设置环境

bash 复制代码
export HADOOP_CONF_DIR=/home/conf/auth
export HADOOP_CLASSPATH=`hadoop classpath`

(2)上传flink的lib和plugins、自己的jar包到hdfs上

bash 复制代码
hdfs dfs -put lib/ /flink-dist
hdfs dfs -put plugins/ /flink-dist
hdfs dfs -put examples/FlinkTutorial-1.17-1.0-SNAPSHOT.jar  /flink-jars

(3)提交作业

bash 复制代码
bin/flink run-application -t yarn-application -Dyarn.provided.lib.dirs="hdfs://nameservice1/flink-dist" -c com.hex.wc.WordCountStreamUnboundedDemo  hdfs://nameservice1/flink-jars/FlinkTutorial-1.17-1.0-SNAPSHOT.jar

相关推荐
努力成为一个程序猿.9 分钟前
Flink集群部署以及作业提交模式详解
大数据·flink
努力成为一个程序猿.13 分钟前
【Flink】FlinkSQL-动态表和持续查询概念
大数据·数据库·flink
J-JunLiang3 小时前
Flink 实时开发:关键知识点
大数据·flink
yumgpkpm6 小时前
Doris在CMP7(类Cloudera CDP 7 404版华为Kunpeng)启用 Kerberos部署Doris
大数据·hive·hadoop·python·oracle·flink·cloudera
yumgpkpm9 小时前
CMP7(类Cloudera CMP 7 404版华为Kunpeng)用开源软件Label Studio做数据标注
hdfs·flink
expect7g12 小时前
Flink-To-Paimon 读取机制
大数据·后端·flink
门框研究员16 小时前
一次实时采集任务延迟问题的完整复盘(Flink CDC)
大数据·flink
Hello.Reader1 天前
Flink Table API & SQL 概念、常用 API 与工程落地
大数据·sql·flink