生产环境下,应用模式部署flink任务,通过hdfs提交

前言

通过通过yarn.provided.lib.dirs配置选项指定位置,将flink的依赖上传到hdfs文件管理系统


1. 实践

(1)生产集群为cdh集群,从cm上下载配置文件,设置环境

bash 复制代码
export HADOOP_CONF_DIR=/home/conf/auth
export HADOOP_CLASSPATH=`hadoop classpath`

(2)上传flink的lib和plugins、自己的jar包到hdfs上

bash 复制代码
hdfs dfs -put lib/ /flink-dist
hdfs dfs -put plugins/ /flink-dist
hdfs dfs -put examples/FlinkTutorial-1.17-1.0-SNAPSHOT.jar  /flink-jars

(3)提交作业

bash 复制代码
bin/flink run-application -t yarn-application -Dyarn.provided.lib.dirs="hdfs://nameservice1/flink-dist" -c com.hex.wc.WordCountStreamUnboundedDemo  hdfs://nameservice1/flink-jars/FlinkTutorial-1.17-1.0-SNAPSHOT.jar

相关推荐
陆小叁17 小时前
基于Flink CDC实现联系人与标签数据实时同步至ES的实践
java·elasticsearch·flink
专注API从业者1 天前
基于 Flink 的淘宝实时数据管道设计:商品详情流式处理与异构存储
大数据·前端·数据库·数据挖掘·flink
mask哥1 天前
详解flink java基础(一)
java·大数据·微服务·flink·实时计算·领域驱动
livemetee2 天前
Flink2.0学习笔记:Flink服务器搭建与flink作业提交
大数据·笔记·学习·flink
最初的↘那颗心2 天前
Flink Stream API 源码走读 - window 和 sum
大数据·hadoop·flink·源码·实时计算·窗口函数
青云交2 天前
Java 大视界 -- 基于 Java 的大数据可视化在城市交通拥堵治理与出行效率提升中的应用(398)
java·大数据·flink·大数据可视化·拥堵预测·城市交通治理·实时热力图
还是大剑师兰特3 天前
Flink面试题及详细答案100道(1-20)- 基础概念与架构
大数据·flink·大剑师·flink面试题
sleetdream3 天前
Flink Sql 按分钟或日期统计数据量
sql·flink
阿Paul果奶ooo3 天前
Flink中基于时间的合流--双流联结(join)
大数据·flink
Direction_Wind4 天前
Flinksql bug: Heartbeat of TaskManager with id container_XXX timed out.
大数据·flink·bug