Flink的Standalone集群模式安装部署

一.Flink模式介绍

Flink支持多种安装模式。

local(本地)------本地模式

standalone------独立模式,Flink自带集群,开发测试环境使用

standaloneHA---独立集群高可用模式,Flink自带集群,开发测试环境使用

yarn------计算资源统一由Hadoop YARN管理,生产环境测试

二.Standalone集群安装

flink-1.13.6-bin-scala-2.11适用于虚拟机的flink资源-CSDN文库

在本地解压后,上传如虚拟机后进行解压,重命名,配置环境变量:

bash 复制代码
tar -zxf flink-1.13.6-bin-scala_2.11.tgz -C /opt/installs/
mv flink-1.13.6/ flink
vim /etc/profile

增加环境变量:

bash 复制代码
export FLINK_HOME=/opt/installs/flink
export PATH=$PATH:$FLINK_HOME/bin
export HADOOP_CONF_DIR=/opt/installs/hadoop/etc/hadoop

刷新环境变量:

bash 复制代码
source /etc/profile

开始修改配置文件:

其中bigdata01改成自己的ip!

/opt/installs/flink/conf/flink-conf.yaml

bash 复制代码
jobmanager.rpc.address: bigdata01
taskmanager.numberOfTaskSlots: 2
web.submit.enable: true

hadoop11:8020 -> hdfs-cluster
jobmanager.archive.fs.dir: hdfs://bigdata01:9820/flink/completed-jobs/
historyserver.web.address: bigdata01
historyserver.web.port: 8082
historyserver.archive.fs.dir: hdfs://bigdata01:9820/flink/completed-jobs/

/opt/installs/flink/conf/masters

bash 复制代码
bigdata01:8081

/opt/installs/flink/conf/workers

bash 复制代码
bigdata01
bigdata02
bigdata03

将资料下的flink-shaded-hadoop-2-uber-2.7.5-10.0.jar放到flink的lib目录下

flink-shaded-hadoop-2-uber-2.7.5-10.0,解决flink无法启动historyserver资源-CSDN文库

单台已经配置完成了,需要给剩下的机器分发过去:

虚拟机中使用的分发文件,和分发命令脚本资源-CSDN文库

bash 复制代码
​​​​​​​xsync.sh /opt/installs/flink
xsync.sh /etc/profile

至此配置完成,启动。

启动命令:

bash 复制代码
#启动HDFS  
start-dfs.sh
#启动集群
start-cluster.sh
#启动历史服务器
historyserver.sh start

如果无法启动历史服务器

Flink错误:一historyserver无法启动,二存在的文件会报错没有那个文件或目录-CSDN博客

好了,如果到这都没有问题,启动网页端查看:

http://bigdata01:8081 -- Flink集群管理界面 当前有效,重启后里面跑的内容就消失了

能够访问8081是因为你的集群启动着呢

http://bigdata01:8082 -- Flink历史服务器管理界面,及时服务重启,运行过的服务都还在

能够访问8082是因为你的历史服务启动着

在虚拟机提交一个任务,在网页端查看:

bash 复制代码
flink run  /opt/installs/flink/examples/batch/WordCount.jar
或者
flink run  /opt/installs/flink/examples/batch/WordCount.jar --input 输入数据路径 --output 输出数据路径

flink run  /opt/installs/flink/examples/batch/WordCount.jar --input /home/wc.txt --output /home/result

如果报错文件不存在:

​​​​​​​Flink错误:一historyserver无法启动,二存在的文件会报错没有那个文件或目录-CSDN博客

相关推荐
虫小宝9 分钟前
查券返利机器人的异步任务调度:Java XXL-Job+Redis实现海量查券请求的分布式任务分发
java·redis·分布式
Jia ming15 分钟前
Linux内存管理三层次解密
linux·运维·服务器
双层吉士憨包18 分钟前
2026数据爬虫实战:如何高效采集Google地图数据的动态IP策略
大数据·网络·人工智能
历程里程碑19 分钟前
滑动窗口------滑动窗口最大值
大数据·python·算法·elasticsearch·搜索引擎·flask·tornado
Mr_Xuhhh19 分钟前
C语言字符串与内存操作函数模拟实现详解
java·linux·算法
YangYang9YangYan20 分钟前
大数据与会计专业学习发展指南
大数据·学习
B站_计算机毕业设计之家22 分钟前
AI大模型:Deepseek美食推荐系统 机器学习 协同过滤推荐算法+可视化 Django框架 大数据毕业设计(源码)✅
python·算法·机器学习·数据分析·django·推荐算法·美食
TDengine (老段)22 分钟前
TDengine TSDB 3.4.0.0 上线:虚拟表、流计算性能显著提升,安全能力全面进阶
大数据·数据库·物联网·安全·时序数据库·tdengine·涛思数据
Leo.yuan23 分钟前
制造业常用BOM详解:单层BOM、多层BOM、工艺BOM、虚拟BOM
大数据·数据库·信息可视化·bom
开利网络25 分钟前
第2天:构建多维标签体系——立体化勾勒客户轮廓
大数据·微信小程序