Flink独立集群+Flink整合yarn

Flink独立集群的搭建:

1、上传解压配置环境变量

bash 复制代码
# 1、解压
tar -xvf flink-1.15.4-bin-scala_2.12.tgz 

# 2、修改环境变量
export FLINK_HOME=/usr/local/soft/flink-1.15.4
export PATH=$PATH:$FLINK_HOME/bin

2、修改配置文件

bash 复制代码
cd /usr/local/soft/flink-1.15.4/conf/

# 1、flink-conf.yaml
jobmanager.rpc.address: master
jobmanager.bind-host: 0.0.0.0
taskmanager.bind-host: 0.0.0.0
# taskmanager.host需要在node1和node2中修改
taskmanager.host: node1/node2
taskmanager.numberOfTaskSlots: 4
rest.address: master
rest.bind-address: 0.0.0.0

# 2、masters
master:8081

# 3、workers
node1
node2

3、同步到所有节点

bash 复制代码
scp -r flink-1.15.4 node1:`pwd`
scp -r flink-1.15.4 node2:`pwd`

# 需要在node1和node2中修改
taskmanager.host: node1/node2

4、启动Flink独立集群

bash 复制代码
#启动
start-cluster.sh
#停止
stop-cluster.sh
#启动后可访问的页面
http://master:8081

5、提交任务

1、在命令行提交任务

bash 复制代码
# 1、上传jar包
# 提交任务  flink run -c 主类名 jar包名
flink run -c com.shujia.flink.core.Demo9Submit flink-1.0.jar

2、在master:8081页面中直接提交

Flink整合yarn:

1、配置hadoop_classpath

bash 复制代码
# 修改配置文件
vim /etc/profile

export HADOOP_CLASSPATH=`hadoop classpath`

source /etc/profile

2、启动hadoop

bash 复制代码
start-all.sh

3、提交任务

1、application mode

1、在本地看不到详细的错误日志

2、dataflow流程图不在本地构建,在JobManager中构建

3、主要用于和云计算K8S整合用的

4、每个任务单独启动JM和TM,任务直接相互独立,互不影响

bash 复制代码
flink run-application -t yarn-application -c com.shujia.flink.core.Demo9Submit flink-1.0.jar

# 查看日志
yarn logs -applicationId application_1730969357243_0003

2、per job cluster mode

1、在本地可以看到错误日志

2、在本地构建dataflow流程图

3、每个任务单独启动JM和TM,任务直接相互独立,互不影响

bash 复制代码
flink run -t yarn-per-job -c com.shujia.flink.core.Demo9Submit flink-1.0.jar

3、session mode

1、多个任务公用一个JobManager

1、启动session集群
bash 复制代码
yarn-session.sh -d
2、提交任务
bash 复制代码
flink run -t yarn-session -Dyarn.application.id=application_1730969357243_0005 -c 
com.shujia.flink.core.Demo9Submit flink-1.0.jar
相关推荐
武子康7 小时前
大数据-98 Spark 从 DStream 到 Structured Streaming:Spark 实时计算的演进
大数据·后端·spark
阿里云大数据AI技术7 小时前
2025云栖大会·大数据AI参会攻略请查收!
大数据·人工智能
代码匠心9 小时前
从零开始学Flink:数据源
java·大数据·后端·flink
Lx35212 小时前
复杂MapReduce作业设计:多阶段处理的最佳实践
大数据·hadoop
武子康14 小时前
大数据-100 Spark DStream 转换操作全面总结:map、reduceByKey 到 transform 的实战案例
大数据·后端·spark
expect7g15 小时前
Flink KeySelector
大数据·后端·flink
阿里云大数据AI技术1 天前
StarRocks 助力数禾科技构建实时数仓:从数据孤岛到智能决策
大数据
Lx3521 天前
Hadoop数据处理优化:减少Shuffle阶段的性能损耗
大数据·hadoop
武子康2 天前
大数据-99 Spark Streaming 数据源全面总结:原理、应用 文件流、Socket、RDD队列流
大数据·后端·spark
阿里云大数据AI技术2 天前
大数据公有云市场第一,阿里云占比47%!
大数据