生产环境下,应用模式部署flink任务,通过hdfs提交

前言

通过通过yarn.provided.lib.dirs配置选项指定位置,将flink的依赖上传到hdfs文件管理系统


1. 实践

(1)生产集群为cdh集群,从cm上下载配置文件,设置环境

bash 复制代码
export HADOOP_CONF_DIR=/home/conf/auth
export HADOOP_CLASSPATH=`hadoop classpath`

(2)上传flink的lib和plugins、自己的jar包到hdfs上

bash 复制代码
hdfs dfs -put lib/ /flink-dist
hdfs dfs -put plugins/ /flink-dist
hdfs dfs -put examples/FlinkTutorial-1.17-1.0-SNAPSHOT.jar  /flink-jars

(3)提交作业

bash 复制代码
bin/flink run-application -t yarn-application -Dyarn.provided.lib.dirs="hdfs://nameservice1/flink-dist" -c com.hex.wc.WordCountStreamUnboundedDemo  hdfs://nameservice1/flink-jars/FlinkTutorial-1.17-1.0-SNAPSHOT.jar

相关推荐
expect7g20 小时前
Paimon源码解读 -- PartialUpdateMerge
大数据·后端·flink
yumgpkpm1 天前
腾讯云TBDS与CDH迁移常见问题有哪些?建议由CDH迁移到CMP 7.13 平台(类Cloudera CDP,如华为鲲鹏 ARM 版)
hive·hadoop·zookeeper·flink·spark·kafka·hbase
Hello.Reader1 天前
使用 Flink CDC 搭建跨库 Streaming ETLMySQL + Postgres → Elasticsearch 实战
大数据·elasticsearch·flink
❀͜͡傀儡师2 天前
docker 部署Flink和传统部署
docker·容器·flink
Linux Huang2 天前
【Dinky】IDEA运行出现HistoryServer异常
java·hadoop·flink·intellij idea
渣渣盟2 天前
Flink分布式文件Sink实战解析
分布式·flink·scala·1024程序员节
c***72743 天前
SpringBoot集成Flink-CDC,实现对数据库数据的监听
数据库·spring boot·flink
Hello.Reader3 天前
Flink CDC 用 Oracle CDC 实时同步数据到 Elasticsearch
elasticsearch·oracle·flink
熊猫钓鱼>_>3 天前
数据处理的艺术:从Kafka到实时流处理平台的技术深度剖析
分布式·flink·kafka·数据治理·状态管理·管道·数据工程师
bigdata-rookie3 天前
Flink Checkpoint 和 Spark Checkpoint 的区别
大数据·flink·spark