Flink独立集群+Flink整合yarn

Flink独立集群的搭建:

1、上传解压配置环境变量

bash 复制代码
# 1、解压
tar -xvf flink-1.15.4-bin-scala_2.12.tgz 

# 2、修改环境变量
export FLINK_HOME=/usr/local/soft/flink-1.15.4
export PATH=$PATH:$FLINK_HOME/bin

2、修改配置文件

bash 复制代码
cd /usr/local/soft/flink-1.15.4/conf/

# 1、flink-conf.yaml
jobmanager.rpc.address: master
jobmanager.bind-host: 0.0.0.0
taskmanager.bind-host: 0.0.0.0
# taskmanager.host需要在node1和node2中修改
taskmanager.host: node1/node2
taskmanager.numberOfTaskSlots: 4
rest.address: master
rest.bind-address: 0.0.0.0

# 2、masters
master:8081

# 3、workers
node1
node2

3、同步到所有节点

bash 复制代码
scp -r flink-1.15.4 node1:`pwd`
scp -r flink-1.15.4 node2:`pwd`

# 需要在node1和node2中修改
taskmanager.host: node1/node2

4、启动Flink独立集群

bash 复制代码
#启动
start-cluster.sh
#停止
stop-cluster.sh
#启动后可访问的页面
http://master:8081

5、提交任务

1、在命令行提交任务

bash 复制代码
# 1、上传jar包
# 提交任务  flink run -c 主类名 jar包名
flink run -c com.shujia.flink.core.Demo9Submit flink-1.0.jar

2、在master:8081页面中直接提交

Flink整合yarn:

1、配置hadoop_classpath

bash 复制代码
# 修改配置文件
vim /etc/profile

export HADOOP_CLASSPATH=`hadoop classpath`

source /etc/profile

2、启动hadoop

bash 复制代码
start-all.sh

3、提交任务

1、application mode

1、在本地看不到详细的错误日志

2、dataflow流程图不在本地构建,在JobManager中构建

3、主要用于和云计算K8S整合用的

4、每个任务单独启动JM和TM,任务直接相互独立,互不影响

bash 复制代码
flink run-application -t yarn-application -c com.shujia.flink.core.Demo9Submit flink-1.0.jar

# 查看日志
yarn logs -applicationId application_1730969357243_0003

2、per job cluster mode

1、在本地可以看到错误日志

2、在本地构建dataflow流程图

3、每个任务单独启动JM和TM,任务直接相互独立,互不影响

bash 复制代码
flink run -t yarn-per-job -c com.shujia.flink.core.Demo9Submit flink-1.0.jar

3、session mode

1、多个任务公用一个JobManager

1、启动session集群
bash 复制代码
yarn-session.sh -d
2、提交任务
bash 复制代码
flink run -t yarn-session -Dyarn.application.id=application_1730969357243_0005 -c 
com.shujia.flink.core.Demo9Submit flink-1.0.jar
相关推荐
那一抹阳光多灿烂10 分钟前
Spark中的Stage概念
大数据·spark
北京鹏生科技有限公司1 小时前
EcoVadis审核是什么?EcoVadis审核流程包括什么?
大数据·百度
Moshow郑锴2 小时前
数据库、数据仓库、数据湖、数据中台、湖仓一体的概念和区别
大数据·数据库·数据仓库·数据湖·湖仓一体
二进制_博客4 小时前
Flink学习连载第二篇-使用flink编写WordCount(多种情况演示)
大数据
hong1616885 小时前
大数据技术Kafka详解:消息队列(Messages Queue)
大数据·分布式·kafka
隔着天花板看星星14 小时前
Kafka-创建topic源码
大数据·分布式·中间件·kafka
goTsHgo14 小时前
在Spark Streaming中简单实现实时用户画像系统
大数据·分布式·spark
老周聊架构14 小时前
聊聊Flink:Flink中的时间语义和Watermark详解
大数据·flink
high201114 小时前
【Apache Paimon】-- 5 -- Flink 向 Paimon 表写入数据
linux·flink·apache·paimon
别这么骄傲14 小时前
Flink Lookup Join(维表 Join)
大数据·flink·linq