centos7搭建flink1.18并以 standalone模式启动

版本

组件 版本
scala 2.12.20
java 1.8.0_181
flink 1.18.1

关于scala和Java的安装参考:scala和java安装

flink 下载地址:flink下载链接

集群规划

bigdata01 bigdata02 bigdata03
master
worker worker worker

安装

1.创建存放路径

三个节点都需要操作

sh 复制代码
用于存放安装包: mkdir /home/software/
用于存放存放解压后的模块: mkdir /opt/module/bin/
用于存放模块软链接: mkdir /opt/module/link/

2.上传安装包

三个节点都需要操作

将安装包【flink-1.18.1-bin-scala_2.12.tgz】上传至/home/software/目录下

3.解压 压缩包

三个节点都需要操作

sh 复制代码
tar -zxvf /home/software/flink-1.18.1-bin-scala_2.12.tgz -C /opt/module/bin/

4.修改配置文件

三个节点都需要操作

配置文件路径:/opt/module/bin/flink-1.18.1/conf

修改文件: vi master

添加内容:

sh 复制代码
bigdata01:8081

修改文件: vi workers

添加内容:

sh 复制代码
bigdata01
bigdata02
bigdata03

修改文件: vi flink-conf.yaml

修改内容:

sh 复制代码
jobmanager.rpc.address: bigdata01 # jobmanager地址
jobmanager.bind-host: 0.0.0.0     # jobmanager绑定地址
taskmanager.bind-host: 0.0.0.0    # taskmanager绑定地址
# taskmanager地址,写当前修改文件的节点地址
taskmanager.host: bigdata01       

taskmanager.numberOfTaskSlots: 4   # 任务槽数 ,根据需求填写
parallelism.default: 4  # 并行度 ,根据需求填写
execution.checkpointing.interval: 5000 # checkpoint时间间隔,毫秒
rest.port: 8081              #  REST服务的端口
rest.address: bigdata01      #  REST服务的地址
rest.bind-address: 0.0.0.0   # REST服务的绑定地址

5.启动flink

sh 复制代码
./opt/module/bin/flink-1.18.1/bin/start-cluster.sh

三个节点分别执行jps查看

bigdata01节点出现 【StandaloneSessionClusterEntrypoint】进程

bigdata01,bigdata02,bigdata03节点都出现【TaskManagerRunner】进程

则表示启动成功

访问 http://bigdata01:8081,出现

6.如果启动失败

查看/opt/module/bin/flink-1.18.1/log目录下的最新日志,查看具体错误,针对解决。

相关推荐
XSKY星辰天合3 小时前
DeepSeek 3FS:端到端无缓存的存储新范式
大数据
郑州拽牛科技5 小时前
开发社交陪玩app小程序
大数据·微信小程序·小程序·系统架构·开源软件
哲讯智能科技8 小时前
SAP环保-装备制造领域创新解决方案
大数据
钡铼技术物联网关8 小时前
Ubuntu工控卫士在制造企业中的应用案例
大数据·人工智能·物联网·边缘计算
闯闯桑9 小时前
scala 中的@BeanProperty
大数据·开发语言·scala
闯闯桑9 小时前
Scala 中的隐式转换
大数据·scala
用户Taobaoapi201411 小时前
淘宝商品列表查询 API 接口详解
大数据
涛思数据(TDengine)12 小时前
taosd 写入与查询场景下压缩解压及加密解密的 CPU 占用分析
大数据·数据库·时序数据库·tdengine
DuDuTalk12 小时前
DuDuTalk接入DeepSeek,重构企业沟通数字化新范式
大数据·人工智能
大数据追光猿12 小时前
Qwen 模型与 LlamaFactory 结合训练详细步骤教程
大数据·人工智能·深度学习·计算机视觉·语言模型