Flink集群部署

Flink集群部署

快速上手

创建maven工程,JDK1.8,导入相关依赖

xml 复制代码
   <properties>
        <flink.version>1.17.0</flink.version>
   </properties>


    <dependencies>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java</artifactId>
            <version>${flink.version}</version>
        </dependency>

     <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients</artifactId>
            <version>${flink.version}</version>
     </dependency>
</dependencies>

Flink集群搭建

需要保证大数据集群三台虚拟机CentOS7(hadoop102,hadoop103,hadoop104)已经完成了ssh免密登录、hadoop集群搭建,配置好host变量为hadoop102,hadoop103,hadoop104等相关工作。未完成的请先看:

https://blog.csdn.net/weixin_73195042/article/details/135886619

集群规划&集群角色分配

节点服务器 hadoop102 hadoop103 hadoop104
角色 JobManagerTaskManager TaskManager TaskManager

部署

从官网下载flink安装包:flink.apache.org/zh/downloads/,本文使用1.17版本。

将安装包上传到/opt/software.,在/opt/software路径上解压flink-1.17.0-bin-scala_2.12.tgz到/opt/module路径上。

复制代码
tar -zxvf flink-1.17.0-bin-scala_2.12.tgz -C /opt/module/

修改集群配置

进入conf路径,修改flink-conf.yaml文件,指定hadoop102节点服务器为JobManager

复制代码
# JobManager节点地址.
jobmanager.rpc.address: hadoop102
jobmanager.bind-host: 0.0.0.0
rest.address: hadoop102
rest.bind-address: 0.0.0.0
# TaskManager节点地址.需要配置为当前机器名
taskmanager.bind-host: 0.0.0.0
taskmanager.host: hadoop102

修改workers文件,指定hadoop102、hadoop103和hadoop104为TaskManager

复制代码
hadoop102
hadoop103
hadoop104

修改masters文件

复制代码
hadoop102:8081

分发安装目录

可以使用scp命令(注意三台虚拟机需要提前配置好免密登录)分发flink文件夹到hadoop103,hadoop104

修改hadoop103的 taskmanager.host

复制代码
 vim flink-conf.yaml

修改如下内容:

复制代码
# TaskManager节点地址.需要配置为当前机器名
taskmanager.host: hadoop103

hadoop104也要修改这个文件,并且配置对应的机器名

启动集群

hadoop102节点服务器上执行start-cluster.sh启动Flink集群。

复制代码
bin/start-cluster.sh

查看进程情况:

复制代码
=============== hadoop102 ===============
81655 TaskManagerRunner
81242 StandaloneSessionClusterEntrypoint
82398 Jps
=============== hadoop103 ===============
74112 Jps
73420 TaskManagerRunner
=============== hadoop104 ===============
74882 Jps
74251 TaskManagerRunner

访问Web UI

启动成功后,同样可以访问http://hadoop102:8081对flink集群和任务进行监控管理。我们能看到当前集群的TaskManager数量为3;由于默认每个TaskManager的Slot数量为1,所以总Slot数和可用Slot数都为3。至此,flink集群搭建成功!

快速删除输错命令

bash 复制代码
esc+删除键(backspace)
ctrl+u

如果用退格删除可能会出现^H,此时我们可以用ctrl+退格键来删除内容。

相关推荐
你觉得2055 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
啊喜拔牙5 小时前
1. hadoop 集群的常用命令
java·大数据·开发语言·python·scala
别惊鹊6 小时前
MapReduce工作原理
大数据·mapreduce
8K超高清6 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
2401_871290587 小时前
MapReduce 的工作原理
大数据·mapreduce
SelectDB技术团队8 小时前
Apache Doris 2025 Roadmap:构建 GenAI 时代实时高效统一的数据底座
大数据·数据库·数据仓库·人工智能·ai·数据分析·湖仓一体
你觉得2058 小时前
浙江大学朱霖潮研究员:《人工智能重塑科学与工程研究》以蛋白质结构预测为例|附PPT下载方法
大数据·人工智能·机器学习·ai·云计算·aigc·powerpoint
益莱储中国9 小时前
世界通信大会、嵌入式展及慕尼黑上海光博会亮点回顾
大数据
Loving_enjoy9 小时前
基于Hadoop的明星社交媒体影响力数据挖掘平台:设计与实现
大数据·hadoop·数据挖掘
浮尘笔记9 小时前
go-zero使用elasticsearch踩坑记:时间存储和展示问题
大数据·elasticsearch·golang·go