centos7搭建flink1.18并以 standalone模式启动

版本

组件 版本
scala 2.12.20
java 1.8.0_181
flink 1.18.1

关于scala和Java的安装参考:scala和java安装

flink 下载地址:flink下载链接

集群规划

bigdata01 bigdata02 bigdata03
master
worker worker worker

安装

1.创建存放路径

三个节点都需要操作

sh 复制代码
用于存放安装包: mkdir /home/software/
用于存放存放解压后的模块: mkdir /opt/module/bin/
用于存放模块软链接: mkdir /opt/module/link/

2.上传安装包

三个节点都需要操作

将安装包【flink-1.18.1-bin-scala_2.12.tgz】上传至/home/software/目录下

3.解压 压缩包

三个节点都需要操作

sh 复制代码
tar -zxvf /home/software/flink-1.18.1-bin-scala_2.12.tgz -C /opt/module/bin/

4.修改配置文件

三个节点都需要操作

配置文件路径:/opt/module/bin/flink-1.18.1/conf

修改文件: vi master

添加内容:

sh 复制代码
bigdata01:8081

修改文件: vi workers

添加内容:

sh 复制代码
bigdata01
bigdata02
bigdata03

修改文件: vi flink-conf.yaml

修改内容:

sh 复制代码
jobmanager.rpc.address: bigdata01 # jobmanager地址
jobmanager.bind-host: 0.0.0.0     # jobmanager绑定地址
taskmanager.bind-host: 0.0.0.0    # taskmanager绑定地址
# taskmanager地址,写当前修改文件的节点地址
taskmanager.host: bigdata01       

taskmanager.numberOfTaskSlots: 4   # 任务槽数 ,根据需求填写
parallelism.default: 4  # 并行度 ,根据需求填写
execution.checkpointing.interval: 5000 # checkpoint时间间隔,毫秒
rest.port: 8081              #  REST服务的端口
rest.address: bigdata01      #  REST服务的地址
rest.bind-address: 0.0.0.0   # REST服务的绑定地址

5.启动flink

sh 复制代码
./opt/module/bin/flink-1.18.1/bin/start-cluster.sh

三个节点分别执行jps查看

bigdata01节点出现 【StandaloneSessionClusterEntrypoint】进程

bigdata01,bigdata02,bigdata03节点都出现【TaskManagerRunner】进程

则表示启动成功

访问 http://bigdata01:8081,出现

6.如果启动失败

查看/opt/module/bin/flink-1.18.1/log目录下的最新日志,查看具体错误,针对解决。

相关推荐
yumgpkpm18 分钟前
Cloudera CDH、CDP、Hadoop大数据+决策模型及其案例
大数据·hive·hadoop·分布式·spark·kafka·cloudera
sld16824 分钟前
以S2B2C平台重构快消品生态:效率升级与价值共生
大数据·人工智能·重构
小五传输1 小时前
网闸怎么选?新型网闸凭安全高效,成企业优选方案
大数据·运维·安全
WLJT1231231231 小时前
电子元器件:智能时代的核心基石
大数据·人工智能·科技·安全·生活
rgeshfgreh1 小时前
Python正则与模式匹配实战技巧
大数据·人工智能
SamtecChina20231 小时前
Electronica现场演示 | 严苛环境下的56G互连
大数据·网络·人工智能·算法·计算机外设
Gofarlic_OMS2 小时前
ANSYS许可证使用合规性报告自动化生成方案
大数据·运维·人工智能·3d·自动化·云计算
乐居生活官2 小时前
LV Epoch Capital Management INC.: 领航数字资产的未来
大数据
若凡SEO2 小时前
深圳优势产业(电子 / 机械)出海独立站运营白皮书
大数据·前端·搜索引擎
WZgold1412 小时前
黄金再创新高!2026 年金价走势预测
大数据·人工智能·经验分享·区块链