生产环境下,应用模式部署flink任务,通过hdfs提交

前言

通过通过yarn.provided.lib.dirs配置选项指定位置,将flink的依赖上传到hdfs文件管理系统


1. 实践

(1)生产集群为cdh集群,从cm上下载配置文件,设置环境

bash 复制代码
export HADOOP_CONF_DIR=/home/conf/auth
export HADOOP_CLASSPATH=`hadoop classpath`

(2)上传flink的lib和plugins、自己的jar包到hdfs上

bash 复制代码
hdfs dfs -put lib/ /flink-dist
hdfs dfs -put plugins/ /flink-dist
hdfs dfs -put examples/FlinkTutorial-1.17-1.0-SNAPSHOT.jar  /flink-jars

(3)提交作业

bash 复制代码
bin/flink run-application -t yarn-application -Dyarn.provided.lib.dirs="hdfs://nameservice1/flink-dist" -c com.hex.wc.WordCountStreamUnboundedDemo  hdfs://nameservice1/flink-jars/FlinkTutorial-1.17-1.0-SNAPSHOT.jar

相关推荐
大大大大晴天2 天前
Flink生产问题排障-HBase NotServingRegionException
flink·hbase
大大大大晴天3 天前
Flink生产问题排障-Kryo serializer scala extensions are not available
大数据·flink
yumgpkpm7 天前
AI视频生成:Wan 2.2(阿里通义万相)在华为昇腾下的部署?
人工智能·hadoop·elasticsearch·zookeeper·flink·kafka·cloudera
后季暖7 天前
flink火焰图使用
大数据·flink
weixin_395448918 天前
cursor日志0224
eureka·flink·etcd
代码匠心8 天前
从零开始学Flink:Flink SQL 元数据持久化实战
大数据·flink·flink sql·大数据处理
Hello.Reader8 天前
Flink Metrics 实战自定义指标、系统指标、排障观测一把梭
大数据·flink
忙碌5448 天前
OpenTelemetry实战指南:构建云原生全链路可观测性体系
ios·flink·apache·iphone
大大大大晴天8 天前
Flink生产问题排障-HBaseSink超时
flink