大数据flink篇之三-flink运行环境安装(一)单机Standalone安装

一、安装包下载地址

https://archive.apache.org/dist/flink/flink-1.15.0/

二、安装配置流程

前提基础:Centos环境(建议7以上)

安装命令:
解压:tar -zxvf flink-xxxx.tar.gz
修改配置conf/flink-conf.yaml:

jobmanager.rpc.address: 192.168.47.131-主机地址

jobmanager.rpc.port: 6123

taskmanager.numberOfTaskSlots: 4

rest.port: 8081

**部分配置解析如下:

jobmanager.rpc.address: localhost-主机名

jobmanager.rpc.port: 6123-主机通信端口号

jobmanager.heap.size: 1024m-jvm 堆内存

taskmanager.memory.process.size: 1728m-当前 taskmanager 进程的堆内和堆外内存等(与 flink.size 相比,多了一些不在flink 状态管理的堆外内存)

taskmanager.numberOfTaskSlots: 1-静态分配属性资源

parallelism.default: 1-运行时的并行度,默认

启动flink:

./bin/start-cluster.sh

启动的进程为:

三、Web界面

安装成功后会显示如下界面:

后续会补充集群版本及在yarn和k8s环境下的部署。

注:如果在虚拟机上安装,需要开放相关端口

firewall-cmd --zone=public --permanent --add-port=8081/tcp:开启端口8081

firewall-cmd --reload:重载防火墙

相关推荐
Jackeyzhe3 小时前
Flink学习笔记:状态类型和应用
flink
九河云4 小时前
华为云 ECS 弹性伸缩技术:应对业务峰值的算力动态调度策略
大数据·服务器·人工智能·物联网·华为云
AI营销资讯站5 小时前
AI营销内容生产:哪些平台支持全球多语言内容同步生产?
大数据·人工智能
桃花键神6 小时前
openFuyao在AI推理与大数据场景中的加速方案:技术特性与实践探索
大数据·人工智能
天远数科8 小时前
前端全栈进阶:使用 Node.js Crypto 模块处理 AES 加密与天远API数据聚合
大数据·api
天远API8 小时前
后端进阶:使用 Go 处理天远API的 KV 数组结构与并发风控
大数据·api
千匠网络8 小时前
S2B供应链平台:优化资源配置,推动产业升级
大数据·人工智能·产品运营·供应链·s2b
WX-bisheyuange8 小时前
基于Spring Boot的智慧校园管理系统设计与实现
java·大数据·数据库·毕业设计
AI营销快线9 小时前
AI如何每日自动生成大量高质量营销素材?
大数据·人工智能
KKKlucifer9 小时前
从 “人工标注” 到 “AI 驱动”:数据分类分级技术的效率革命
大数据·人工智能·分类