生产环境下，应用模式部署flink任务，通过hdfs提交

但行益事莫问前程2024-02-20 3:08

前言

通过通过yarn.provided.lib.dirs配置选项指定位置，将flink的依赖上传到hdfs文件管理系统

1. 实践

（1）生产集群为cdh集群，从cm上下载配置文件，设置环境

bash 复制代码

export HADOOP_CONF_DIR=/home/conf/auth
export HADOOP_CLASSPATH=`hadoop classpath`

（2）上传flink的lib和plugins、自己的jar包到hdfs上

bash 复制代码

hdfs dfs -put lib/ /flink-dist
hdfs dfs -put plugins/ /flink-dist
hdfs dfs -put examples/FlinkTutorial-1.17-1.0-SNAPSHOT.jar  /flink-jars

（3）提交作业

bash 复制代码

bin/flink run-application -t yarn-application -Dyarn.provided.lib.dirs="hdfs://nameservice1/flink-dist" -c com.hex.wc.WordCountStreamUnboundedDemo  hdfs://nameservice1/flink-jars/FlinkTutorial-1.17-1.0-SNAPSHOT.jar