生产环境下,应用模式部署flink任务,通过hdfs提交

前言

通过通过yarn.provided.lib.dirs配置选项指定位置,将flink的依赖上传到hdfs文件管理系统


1. 实践

(1)生产集群为cdh集群,从cm上下载配置文件,设置环境

bash 复制代码
export HADOOP_CONF_DIR=/home/conf/auth
export HADOOP_CLASSPATH=`hadoop classpath`

(2)上传flink的lib和plugins、自己的jar包到hdfs上

bash 复制代码
hdfs dfs -put lib/ /flink-dist
hdfs dfs -put plugins/ /flink-dist
hdfs dfs -put examples/FlinkTutorial-1.17-1.0-SNAPSHOT.jar  /flink-jars

(3)提交作业

bash 复制代码
bin/flink run-application -t yarn-application -Dyarn.provided.lib.dirs="hdfs://nameservice1/flink-dist" -c com.hex.wc.WordCountStreamUnboundedDemo  hdfs://nameservice1/flink-jars/FlinkTutorial-1.17-1.0-SNAPSHOT.jar

相关推荐
春风不会绿大地4 小时前
IDEA编写flinkSQL(快速体验版本,--无需配置环境)
sql·flink
SunTecTec4 小时前
Flink Docker Application Mode 命令解析 - 修改命令以启用 Web UI
大数据·前端·docker·flink
春风不会绿大地9 小时前
Flink+Hologres搭建实时数仓
大数据·flink
董可伦10 小时前
Flink HA 总结
大数据·flink
晴天彩虹雨15 小时前
Flink 消费 Kafka 数据流的最佳实践
数据仓库·flink·kafka·linq
24k小善16 小时前
FlinkJobmanager深度解析
java·大数据·flink·云计算
和算法死磕到底16 小时前
ubantu18.04(Hadoop3.1.3)之Flink安装与编程实践(Flink1.9.1)
大数据·flink
24k小善1 天前
FlinkUpsertKafka深度解析
java·大数据·flink·云计算
我爱刮刮乐2 天前
关于flink两阶段提交高并发下程序卡住问题
大数据·flink·linq
别这么骄傲2 天前
Flink概念-状态一致性的三种级别
大数据·flink