flink集群的安装部署

flink集群的安装部署

flink集群是以hadoop集群为基础的,所以先要搭建hadoop集群(参看前文:hadoop集群搭建)

环境规划

IP HOSTNAME 性质
192.168.101.191 hadoop191 master
192.168.101.192 hadoop192 slave
192.168.101.193 hadoop193 slave

一、下载安装

下载地址(以1.20.0为例):https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.20.0/ 下载flink-1.20.0-bin-scala_2.12.tgz

分别上传到 3台服务器的/opt/module/flink/目录,解压:tar -zxvf flink-1.20.0-bin-scala_2.12.tgz

二、修改配置文件

vim /home/data/flink/flink-1.20.0/conf/config.yaml

hadoop191的配置如下:

powershell 复制代码
jobmanager:
  # 允许访问的ip
  bind-host: 0.0.0.0
  rpc:
  	# master服务器的hostname,3台机器都配置hadoop191
    address: hadoop191
    port: 6123
  memory:
    process:
       size: 1600m
  execution:
     failover-strategy: region
taskmanager:
	# 任务节点,允许访问ip
  bind-host: 0.0.0.0
  # 任务节点的主机名,每台机器填自己的主机名
  host: hadoop191
  numberOfTaskSlots: 6
  memory:
    process:
          size: 1728m
parallelism:
  default: 4
rest:
  address: localhost
  # 允许web访问的ip,仅修改hadoop191,浏览器也只访问此台
  bind-address: 0.0.0.0

hadoop192、hadoop193的配置,仅taskmanager.host各自填自己的主机名,不修改rest.address,

其他与master保持一致即可

三、修改主从

在目录 /opt/module/flink/flink-1.20.0/conf下修改:

vim masters

写入:hadoop191:8081

vim workers

写入:

hadoop191

hadoop192

hadoop193

分发到另外两台机器,3台机器的masters与workers是一致的

四、权限修改

分别在3台机器的目录:/opt/module/flink 执行: chown -R hadoop:hadoop flink-1.20.0

五、免密访问

我的3台机器,的hadoop账号设置了免密访问(参考hadoop集群搭建的1.4)

六、编写启动脚本

在 /home/hadoop/bin目录下执行 vim flink.sh

powershell 复制代码
#!/bin/bash
if [ $# -lt 1 ]
then
 echo "No Args Input..."
 exit ;
fi
case $1 in
"start")
 echo " =================== 启动 flink 集群 ==================="
 ssh hadoop191 "/opt/module/flink/flink-1.20.0/bin/start-cluster.sh"

;;
"stop")
 echo " =================== 关闭 flink 集群 ==================="
 ssh hadoop191 "/opt/module/flink/flink-1.20.0/bin/stop-cluster.sh"

;;
*)
 echo "Input Args Error..."
;;
esac

授权与改变归属:
chmod +x flink.sh
chown -R hadoop:hadoop flink.sh

七、启动

用hadoop用户执行: sh flink.sh start

八、浏览器访问

http://192.168.101.191:8081/

相关推荐
你觉得2055 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
啊喜拔牙5 小时前
1. hadoop 集群的常用命令
java·大数据·开发语言·python·scala
别惊鹊5 小时前
MapReduce工作原理
大数据·mapreduce
8K超高清5 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
2401_871290587 小时前
MapReduce 的工作原理
大数据·mapreduce
SelectDB技术团队8 小时前
Apache Doris 2025 Roadmap:构建 GenAI 时代实时高效统一的数据底座
大数据·数据库·数据仓库·人工智能·ai·数据分析·湖仓一体
你觉得2058 小时前
浙江大学朱霖潮研究员:《人工智能重塑科学与工程研究》以蛋白质结构预测为例|附PPT下载方法
大数据·人工智能·机器学习·ai·云计算·aigc·powerpoint
益莱储中国8 小时前
世界通信大会、嵌入式展及慕尼黑上海光博会亮点回顾
大数据
Loving_enjoy9 小时前
基于Hadoop的明星社交媒体影响力数据挖掘平台:设计与实现
大数据·hadoop·数据挖掘
浮尘笔记9 小时前
go-zero使用elasticsearch踩坑记:时间存储和展示问题
大数据·elasticsearch·golang·go