Flink独立集群+Flink整合yarn

Flink独立集群的搭建:

1、上传解压配置环境变量

bash 复制代码
# 1、解压
tar -xvf flink-1.15.4-bin-scala_2.12.tgz 

# 2、修改环境变量
export FLINK_HOME=/usr/local/soft/flink-1.15.4
export PATH=$PATH:$FLINK_HOME/bin

2、修改配置文件

bash 复制代码
cd /usr/local/soft/flink-1.15.4/conf/

# 1、flink-conf.yaml
jobmanager.rpc.address: master
jobmanager.bind-host: 0.0.0.0
taskmanager.bind-host: 0.0.0.0
# taskmanager.host需要在node1和node2中修改
taskmanager.host: node1/node2
taskmanager.numberOfTaskSlots: 4
rest.address: master
rest.bind-address: 0.0.0.0

# 2、masters
master:8081

# 3、workers
node1
node2

3、同步到所有节点

bash 复制代码
scp -r flink-1.15.4 node1:`pwd`
scp -r flink-1.15.4 node2:`pwd`

# 需要在node1和node2中修改
taskmanager.host: node1/node2

4、启动Flink独立集群

bash 复制代码
#启动
start-cluster.sh
#停止
stop-cluster.sh
#启动后可访问的页面
http://master:8081

5、提交任务

1、在命令行提交任务

bash 复制代码
# 1、上传jar包
# 提交任务  flink run -c 主类名 jar包名
flink run -c com.shujia.flink.core.Demo9Submit flink-1.0.jar

2、在master:8081页面中直接提交

Flink整合yarn:

1、配置hadoop_classpath

bash 复制代码
# 修改配置文件
vim /etc/profile

export HADOOP_CLASSPATH=`hadoop classpath`

source /etc/profile

2、启动hadoop

bash 复制代码
start-all.sh

3、提交任务

1、application mode

1、在本地看不到详细的错误日志

2、dataflow流程图不在本地构建,在JobManager中构建

3、主要用于和云计算K8S整合用的

4、每个任务单独启动JM和TM,任务直接相互独立,互不影响

bash 复制代码
flink run-application -t yarn-application -c com.shujia.flink.core.Demo9Submit flink-1.0.jar

# 查看日志
yarn logs -applicationId application_1730969357243_0003

2、per job cluster mode

1、在本地可以看到错误日志

2、在本地构建dataflow流程图

3、每个任务单独启动JM和TM,任务直接相互独立,互不影响

bash 复制代码
flink run -t yarn-per-job -c com.shujia.flink.core.Demo9Submit flink-1.0.jar

3、session mode

1、多个任务公用一个JobManager

1、启动session集群
bash 复制代码
yarn-session.sh -d
2、提交任务
bash 复制代码
flink run -t yarn-session -Dyarn.application.id=application_1730969357243_0005 -c 
com.shujia.flink.core.Demo9Submit flink-1.0.jar
相关推荐
有限无限资料库43 分钟前
制造企业数字化中台(技术中台、数据中台、业务中台)建设方案
大数据·人工智能·制造
打码人的日常分享1 小时前
智慧化工园区解决方案,数字化转型助力化工园区升级(PPT)
大数据·数据库·web安全·系统安全·规格说明书
宝哥大数据1 小时前
Flink Job更新和恢复
大数据·flink
Mephisto.java1 小时前
【大数据学习 | HBASE高级】rowkey的设计,hbase的预分区和压缩
大数据·sql·mysql·json·hbase·database
IPdodo全球网络2 小时前
如何解决亚马逊商家IP问题:静态住宅IP的优势与选择指南
大数据·运维·网络
一只专注api接口开发的技术猿2 小时前
python 京东api怎么写
大数据·开发语言·数据库·python
一个处女座的程序猿4 小时前
LLMs之Code:Github Spark的简介、安装和使用方法、案例应用之详细攻略
大数据·spark·github
NewsMash5 小时前
平安人寿山西分公司:践行绿色金融,开启绿色新篇章
大数据·人工智能·金融
Mephisto.java5 小时前
【大数据学习 | HBASE高级】hbase的API操作
大数据·学习·hbase