Flink独立集群+Flink整合yarn

Flink独立集群的搭建:

1、上传解压配置环境变量

bash 复制代码
# 1、解压
tar -xvf flink-1.15.4-bin-scala_2.12.tgz 

# 2、修改环境变量
export FLINK_HOME=/usr/local/soft/flink-1.15.4
export PATH=$PATH:$FLINK_HOME/bin

2、修改配置文件

bash 复制代码
cd /usr/local/soft/flink-1.15.4/conf/

# 1、flink-conf.yaml
jobmanager.rpc.address: master
jobmanager.bind-host: 0.0.0.0
taskmanager.bind-host: 0.0.0.0
# taskmanager.host需要在node1和node2中修改
taskmanager.host: node1/node2
taskmanager.numberOfTaskSlots: 4
rest.address: master
rest.bind-address: 0.0.0.0

# 2、masters
master:8081

# 3、workers
node1
node2

3、同步到所有节点

bash 复制代码
scp -r flink-1.15.4 node1:`pwd`
scp -r flink-1.15.4 node2:`pwd`

# 需要在node1和node2中修改
taskmanager.host: node1/node2

4、启动Flink独立集群

bash 复制代码
#启动
start-cluster.sh
#停止
stop-cluster.sh
#启动后可访问的页面
http://master:8081

5、提交任务

1、在命令行提交任务

bash 复制代码
# 1、上传jar包
# 提交任务  flink run -c 主类名 jar包名
flink run -c com.shujia.flink.core.Demo9Submit flink-1.0.jar

2、在master:8081页面中直接提交

Flink整合yarn:

1、配置hadoop_classpath

bash 复制代码
# 修改配置文件
vim /etc/profile

export HADOOP_CLASSPATH=`hadoop classpath`

source /etc/profile

2、启动hadoop

bash 复制代码
start-all.sh

3、提交任务

1、application mode

1、在本地看不到详细的错误日志

2、dataflow流程图不在本地构建,在JobManager中构建

3、主要用于和云计算K8S整合用的

4、每个任务单独启动JM和TM,任务直接相互独立,互不影响

bash 复制代码
flink run-application -t yarn-application -c com.shujia.flink.core.Demo9Submit flink-1.0.jar

# 查看日志
yarn logs -applicationId application_1730969357243_0003

2、per job cluster mode

1、在本地可以看到错误日志

2、在本地构建dataflow流程图

3、每个任务单独启动JM和TM,任务直接相互独立,互不影响

bash 复制代码
flink run -t yarn-per-job -c com.shujia.flink.core.Demo9Submit flink-1.0.jar

3、session mode

1、多个任务公用一个JobManager

1、启动session集群
bash 复制代码
yarn-session.sh -d
2、提交任务
bash 复制代码
flink run -t yarn-session -Dyarn.application.id=application_1730969357243_0005 -c 
com.shujia.flink.core.Demo9Submit flink-1.0.jar
相关推荐
Leo.yuan几秒前
不同数据仓库模型有什么不同?企业如何选择适合的数据仓库模型?
大数据·数据库·数据仓库·信息可视化·spark
chat2tomorrow20 分钟前
数据采集平台的起源与演进:从ETL到数据复制
大数据·数据库·数据仓库·mysql·低代码·postgresql·etl
TDengine (老段)1 小时前
TDengine 选择函数 Max() 用户手册
大数据·数据库·物联网·时序数据库·tdengine·涛思数据
乐迪信息1 小时前
乐迪信息:AI摄像机在智慧煤矿人员安全与行为识别中的技术应用
大数据·人工智能·算法·安全·视觉检测
万邦科技Lafite4 小时前
实战演练:通过API获取商品详情并展示
大数据·数据库·python·开放api接口
在未来等你4 小时前
Elasticsearch面试精讲 Day 14:数据写入与刷新机制
大数据·分布式·elasticsearch·搜索引擎·面试
黄焖鸡能干四碗4 小时前
智慧教育,智慧校园,智慧安防学校建设解决方案(PPT+WORD)
java·大数据·开发语言·数据库·人工智能
phac1234 小时前
git 如何直接拉去远程仓库的内容且忽略本地与远端不一致的commit
大数据·git·elasticsearch
在未来等你4 小时前
Elasticsearch面试精讲 Day 11:索引模板与动态映射
大数据·分布式·elasticsearch·搜索引擎·面试
正在走向自律4 小时前
国产时序数据库选型指南-从大数据视角看透的价值
大数据·数据库·清华大学·时序数据库·iotdb·国产数据库