生产环境下,应用模式部署flink任务,通过hdfs提交

前言

通过通过yarn.provided.lib.dirs配置选项指定位置,将flink的依赖上传到hdfs文件管理系统


1. 实践

(1)生产集群为cdh集群,从cm上下载配置文件,设置环境

bash 复制代码
export HADOOP_CONF_DIR=/home/conf/auth
export HADOOP_CLASSPATH=`hadoop classpath`

(2)上传flink的lib和plugins、自己的jar包到hdfs上

bash 复制代码
hdfs dfs -put lib/ /flink-dist
hdfs dfs -put plugins/ /flink-dist
hdfs dfs -put examples/FlinkTutorial-1.17-1.0-SNAPSHOT.jar  /flink-jars

(3)提交作业

bash 复制代码
bin/flink run-application -t yarn-application -Dyarn.provided.lib.dirs="hdfs://nameservice1/flink-dist" -c com.hex.wc.WordCountStreamUnboundedDemo  hdfs://nameservice1/flink-jars/FlinkTutorial-1.17-1.0-SNAPSHOT.jar

相关推荐
大大大大晴天1 天前
深入理解Flink 算子链:原理机制与优化实践
flink
大大大大晴天️1 天前
深入理解Flink 算子链:原理机制与优化实践
大数据·flink
大大大大晴天2 天前
Flink集群跨机房容灾:HDFS 快照权限踩坑与实践
hadoop·flink
大大大大晴天️2 天前
Flink集群跨机房容灾:HDFS 快照权限踩坑与实践
大数据·hdfs·flink
勇哥的编程江湖4 天前
flink开发中根据环境加载不同配置踩坑
大数据·flink·flinkcdc
jiajia_lisa5 天前
助力国产化升级,全面提升道路监控效率
flink
渣渣盟6 天前
Flink并行数据源:ClickSource实现详解
flink·scala
渣渣盟6 天前
Flink单流转换算子实战解析
flink·scala
渣渣盟6 天前
Apache Flink物理分区算子全解析
大数据·flink·apache
csgo打的菜又爱玩6 天前
11.JobManager 启动流程总结
大数据·开发语言·qt·microsoft·flink