Flink学习之旅:(一)Flink部署安装

1.本地搭建

进入Flink官网,点击Downloads

往下滑动就可以看到 Flink 的所有版本了,看自己需要什么版本点击下载即可。

1.2.上传解压

上传至服务器,进行解压

复制代码
tar -zxvf flink-1.17.1-bin-scala_2.12.tgz -C ../module/
复制代码
#进入flink安装目录
 cd /opt/module/flink-1.17.1/

#启动flink
 bin/start-cluster.sh

查看进程 jps,正常启动!

1.4.查看 Web ui

启动成功后,访问http://[IP]:8081,可以对集群和任务进行监控管理。

复制代码
bin/stop-cluster.sh

2.集群搭建

角色分配。Flink 是典型的 Master-Slave 架构的分布式数据处理框架,其中 Master 角色对应着 JobManager,Slave 角色则对应 TaskManager。

三台测试。

|-----|------------|-------------|-------------|
| 服务器 | hadoop102 | hadoop103 | hadoop104 |
| 角色 | JobManager | TaskManager | TaskManager |

2.1.下载并解压安装包

与本地搭建一致

2.2.修改集群配置

复制代码
#进入Flink 安装目录
cd /opt/module/flink-1.17.1/

#修改文件
vim conf/flink-conf.yaml

修改JobManager 节点地址.将 jobmanager.rpc.address 参数的值 改为 hadoop102 (根据自己的服务器名称),指定 hadoop 节点服务为 JobManager 节点。

2.2.2修改workers文件

复制代码
vim conf/workers


hadoop103
hadoop104

指定 hadoop103、hadoop104 服务器 为 TaskManager 节点

2.3.分发安装目录

复制代码
 scp -r /opt/module/flink-1.17.1/ hadoop103:/opt/module/
 scp -r /opt/module/flink-1.17.1/ hadoop104:/opt/module/

2.4.集群启动

在 hadoop102 服务器中 启动

复制代码
bin/start-cluster.sh

查看 各服务器节点进程是否正常

hadoop102

hadoop103

hadoop104

2.5查看 Web ui

Available Task Slots显示为0,需要重新配置下 TaskManager节点的服务器(2台)中的 flink-conf.yaml 文件,将 taskmanager.host 参数值 改为 服务器的 ip或 主机名

重新启动 flink 集群,显示 正常。当前集群的 TaskManager 数量为 2;由于默认每个 TaskManager 的 Slot 数量为 1,所以总 Slot 数和可用 Slot 数都为 2。

3.测试

Flink学习之旅:(二)构建Flink demo工程并提交到集群执行-CSDN博客在idea中创建一个 名为 MyFlinkFirst 工程。https://blog.csdn.net/qq_35370485/article/details/133905729?spm=1001.2014.3001.5501

相关推荐
二等饼干~za8986689 分钟前
云罗 GEO 优化系统源码厂家测评报告
大数据·网络·数据库·人工智能·django
跨境技工小黎15 分钟前
如何从 eBay 抓取商品价格数据?2026 数据采集实践整理
大数据
GlobalInfo18 分钟前
工业控制类芯片市场份额、市场占有率、行业调研报告2026
大数据·人工智能·物联网
kuankeTech18 分钟前
汇信云·盘古发布 开启外贸AI新时代
大数据·人工智能·自动化·数据可视化·软件开发
云飞云共享云桌面19 分钟前
共享云主机告别传统电脑——制造工厂研发部门2台三维设计云主共享给20个设计师并发用
大数据·运维·服务器·自动化·电脑·制造
江瀚视野21 分钟前
电竞苏超即将上线,虎牙发力电竞苏超意欲何为?
大数据·人工智能
xiaoduo AI26 分钟前
客服机器人首响时长最快可优化至几秒?智能 Agent 预加载常用语,响应比人工快多少?
大数据·人工智能·机器人
Francek Chen34 分钟前
【大数据存储与管理】NoSQL数据库:02 NoSQL兴起的原因
大数据·数据库·分布式·nosql
做萤石二次开发的哈哈37 分钟前
智能AI云存储|萤石蓝海大模型加持,解锁视频数据新价值
大数据·人工智能
用户48159301959141 分钟前
四大厂商突然集体站队 Iceberg v3,我花一周搞清楚了为什么
大数据