大数据flink篇之三-flink运行环境安装(一)单机Standalone安装

一、安装包下载地址

https://archive.apache.org/dist/flink/flink-1.15.0/

二、安装配置流程

前提基础:Centos环境(建议7以上)

安装命令:
解压:tar -zxvf flink-xxxx.tar.gz
修改配置conf/flink-conf.yaml:

jobmanager.rpc.address: 192.168.47.131-主机地址

jobmanager.rpc.port: 6123

taskmanager.numberOfTaskSlots: 4

rest.port: 8081

**部分配置解析如下:

jobmanager.rpc.address: localhost-主机名

jobmanager.rpc.port: 6123-主机通信端口号

jobmanager.heap.size: 1024m-jvm 堆内存

taskmanager.memory.process.size: 1728m-当前 taskmanager 进程的堆内和堆外内存等(与 flink.size 相比,多了一些不在flink 状态管理的堆外内存)

taskmanager.numberOfTaskSlots: 1-静态分配属性资源

parallelism.default: 1-运行时的并行度,默认

启动flink:

./bin/start-cluster.sh

启动的进程为:

三、Web界面

安装成功后会显示如下界面:

后续会补充集群版本及在yarn和k8s环境下的部署。

注:如果在虚拟机上安装,需要开放相关端口

firewall-cmd --zone=public --permanent --add-port=8081/tcp:开启端口8081

firewall-cmd --reload:重载防火墙

相关推荐
大数据检索中心35 分钟前
监管视角下的大数据信用报告:合规、透明与安全的博弈
大数据·安全
青云交1 小时前
Java 大视界 -- 基于 Java 的大数据实时流处理在工业物联网设备故障预测与智能运维中的应用
java·flink·kafka·工业物联网·设备故障预测·智能运维·实时流处理
Hello.Reader1 小时前
用 Gradle 配置 Flink 从开发到打包的一条龙实践
大数据·flink
秃头菜狗1 小时前
十三、格式化 HDFS 文件系统、启动伪分布式集群
大数据·hadoop·hdfs
想ai抽1 小时前
吃透大数据算法-霍夫曼编码(Huffman Coding)
大数据·数据结构·算法
笨蛋少年派1 小时前
Hadoop简介
大数据·hadoop
Hello.Reader1 小时前
Flink 高级配置发行版剖析、Scala 版本、Table 依赖与 Hadoop 集成实战
hadoop·flink·scala
孟意昶1 小时前
Spark专题-第三部分:性能监控与实战优化(3)-数据倾斜优化
大数据·分布式·sql·spark
Lansonli1 小时前
大数据Spark(六十六):Transformation转换算子sample、sortBy和sortByKey
大数据·分布式·spark
武子康2 小时前
大数据-117 - Flink JDBC Sink 详细解析:MySQL 实时写入、批处理优化与最佳实践 写出Kafka
大数据·后端·flink