生产环境下,应用模式部署flink任务,通过hdfs提交

前言

通过通过yarn.provided.lib.dirs配置选项指定位置,将flink的依赖上传到hdfs文件管理系统


1. 实践

(1)生产集群为cdh集群,从cm上下载配置文件,设置环境

bash 复制代码
export HADOOP_CONF_DIR=/home/conf/auth
export HADOOP_CLASSPATH=`hadoop classpath`

(2)上传flink的lib和plugins、自己的jar包到hdfs上

bash 复制代码
hdfs dfs -put lib/ /flink-dist
hdfs dfs -put plugins/ /flink-dist
hdfs dfs -put examples/FlinkTutorial-1.17-1.0-SNAPSHOT.jar  /flink-jars

(3)提交作业

bash 复制代码
bin/flink run-application -t yarn-application -Dyarn.provided.lib.dirs="hdfs://nameservice1/flink-dist" -c com.hex.wc.WordCountStreamUnboundedDemo  hdfs://nameservice1/flink-jars/FlinkTutorial-1.17-1.0-SNAPSHOT.jar

相关推荐
magic_kid_20102 小时前
Flink on YARN 依赖/JAR 包问题排查指南
flink·jar·包冲突
俊哥大数据11 小时前
【项目10】基于Flink房地产领域大数据实时分析系统
大数据·flink
Hello.Reader12 小时前
Flink CEP Pattern API、连续性、跳过策略、超时与迟到数据一篇讲透
大数据·flink
俊哥大数据18 小时前
【项目7】 基于Flink新闻资讯大数据推荐系统
大数据·flink
Hello.Reader19 小时前
Flink State Processor API 读写/修复 Savepoint,把“状态”当成可查询的数据
大数据·flink
lpfasd1231 天前
鲲鹏生态下的实时计算新选择:OmniStream深度解析与竞品横向对比
大数据·flink
Jackyzhe1 天前
Flink源码阅读:JobManager的HA机制
大数据·flink
Jackeyzhe2 天前
Flink源码阅读:Netty通信
flink
面向Google编程2 天前
Flink源码阅读:JobManager的HA机制
大数据·flink
用户7227868123442 天前
Flink源码阅读:Task数据交互
flink