大数据flink篇之三-flink运行环境安装(一)单机Standalone安装

一、安装包下载地址

https://archive.apache.org/dist/flink/flink-1.15.0/

二、安装配置流程

前提基础:Centos环境(建议7以上)

安装命令:
解压:tar -zxvf flink-xxxx.tar.gz
修改配置conf/flink-conf.yaml:

jobmanager.rpc.address: 192.168.47.131-主机地址

jobmanager.rpc.port: 6123

taskmanager.numberOfTaskSlots: 4

rest.port: 8081

**部分配置解析如下:

jobmanager.rpc.address: localhost-主机名

jobmanager.rpc.port: 6123-主机通信端口号

jobmanager.heap.size: 1024m-jvm 堆内存

taskmanager.memory.process.size: 1728m-当前 taskmanager 进程的堆内和堆外内存等(与 flink.size 相比,多了一些不在flink 状态管理的堆外内存)

taskmanager.numberOfTaskSlots: 1-静态分配属性资源

parallelism.default: 1-运行时的并行度,默认

启动flink:

./bin/start-cluster.sh

启动的进程为:

三、Web界面

安装成功后会显示如下界面:

后续会补充集群版本及在yarn和k8s环境下的部署。

注:如果在虚拟机上安装,需要开放相关端口

firewall-cmd --zone=public --permanent --add-port=8081/tcp:开启端口8081

firewall-cmd --reload:重载防火墙

相关推荐
黑十2 小时前
FDE 怎么快速搭一个可演示页面?最小前端方案
java·大数据·前端·数据库·人工智能
Databend3 小时前
OpenRaft 自定义 Membership,按部署拓扑选择 Quorum
大数据·数据库·数据分析
Databend3 小时前
用 SQL 排查支付故障,OpenTelemetry 接入 Databend Cloud 实战
大数据·数据库·sql
上海潭龙东海科技有限公司3 小时前
智慧堆场动态模型三维实时孪生重构智能管控
大数据·网络·数据库·算法·重构
尹文祥4 小时前
Apache Doris 2.1.10:存储结构、索引与查询优化详解
大数据
isfox7 小时前
Hadoop 序列化:为什么不用 Java 自带 Serializable?
大数据
字节跳动数据平台8 小时前
火山引擎 VeKnow 落地指南(下):从知识编译到价值渗透
大数据
AI源码10 小时前
基于Spark的期刊推荐系统的设计与实现
大数据·分布式·spark
玩美数据10 小时前
海外市场数据分析驱动下的产业趋势演变与竞争格局深度解读
大数据·人工智能
wuyk5551 天前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎