生产环境下,应用模式部署flink任务,通过hdfs提交

前言

通过通过yarn.provided.lib.dirs配置选项指定位置,将flink的依赖上传到hdfs文件管理系统


1. 实践

(1)生产集群为cdh集群,从cm上下载配置文件,设置环境

bash 复制代码
export HADOOP_CONF_DIR=/home/conf/auth
export HADOOP_CLASSPATH=`hadoop classpath`

(2)上传flink的lib和plugins、自己的jar包到hdfs上

bash 复制代码
hdfs dfs -put lib/ /flink-dist
hdfs dfs -put plugins/ /flink-dist
hdfs dfs -put examples/FlinkTutorial-1.17-1.0-SNAPSHOT.jar  /flink-jars

(3)提交作业

bash 复制代码
bin/flink run-application -t yarn-application -Dyarn.provided.lib.dirs="hdfs://nameservice1/flink-dist" -c com.hex.wc.WordCountStreamUnboundedDemo  hdfs://nameservice1/flink-jars/FlinkTutorial-1.17-1.0-SNAPSHOT.jar

相关推荐
翰林小院1 天前
【大数据专栏】流式处理框架-Apache Fink
大数据·flink
过尽漉雪千山1 天前
Flink1.17.0集群的搭建
java·大数据·linux·flink·centos
mask哥2 天前
详解mcp以及agen架构设计与实现
java·微服务·flink·大模型·ai agent·springai·mcp
潘达斯奈基~3 天前
Google AI Studio使用1:创建Flink测试题APP
大数据·flink·aigc
jiedaodezhuti3 天前
Flink on YARN 实战问题排查指南(精华版)
大数据·flink
Hello.Reader3 天前
Apache Flink 从流处理基础到恰好一次语义
flink·apache·linq
天翼云开发者社区4 天前
Flink 与Flink可视化平台StreamPark教程(CDC功能)
大数据·flink
Apache Flink5 天前
Flink Agents:基于Apache Flink的事件驱动AI智能体框架
人工智能·flink·apache
索迪迈科技5 天前
Flink Task线程处理模型:Mailbox
java·大数据·开发语言·数据结构·算法·flink