大数据flink篇之三-flink运行环境安装(一)单机Standalone安装

一、安装包下载地址

https://archive.apache.org/dist/flink/flink-1.15.0/

二、安装配置流程

前提基础:Centos环境(建议7以上)

安装命令:
解压:tar -zxvf flink-xxxx.tar.gz
修改配置conf/flink-conf.yaml:

jobmanager.rpc.address: 192.168.47.131-主机地址

jobmanager.rpc.port: 6123

taskmanager.numberOfTaskSlots: 4

rest.port: 8081

**部分配置解析如下:

jobmanager.rpc.address: localhost-主机名

jobmanager.rpc.port: 6123-主机通信端口号

jobmanager.heap.size: 1024m-jvm 堆内存

taskmanager.memory.process.size: 1728m-当前 taskmanager 进程的堆内和堆外内存等(与 flink.size 相比,多了一些不在flink 状态管理的堆外内存)

taskmanager.numberOfTaskSlots: 1-静态分配属性资源

parallelism.default: 1-运行时的并行度,默认

启动flink:

./bin/start-cluster.sh

启动的进程为:

三、Web界面

安装成功后会显示如下界面:

后续会补充集群版本及在yarn和k8s环境下的部署。

注:如果在虚拟机上安装,需要开放相关端口

firewall-cmd --zone=public --permanent --add-port=8081/tcp:开启端口8081

firewall-cmd --reload:重载防火墙

相关推荐
线条12 小时前
大数据 ETL 工具 Sqoop 深度解析与实战指南
大数据·sqoop·etl
mazhafener1239 小时前
智慧照明:集中控制器、单双灯控制器与智慧灯杆网关的高效协同
大数据
打码人的日常分享9 小时前
物联网智慧医院建设方案(PPT)
大数据·物联网·架构·流程图·智慧城市·制造
Lansonli10 小时前
大数据Spark(六十一):Spark基于Standalone提交任务流程
大数据·分布式·spark
渣渣盟11 小时前
基于Scala实现Flink的三种基本时间窗口操作
开发语言·flink·scala
网安INF12 小时前
CVE-2020-17519源码分析与漏洞复现(Flink 任意文件读取)
java·web安全·网络安全·flink·漏洞
一叶知秋哈12 小时前
Java应用Flink CDC监听MySQL数据变动内容输出到控制台
java·mysql·flink
Rverdoser12 小时前
电脑硬盘分几个区好
大数据
傻啦嘿哟12 小时前
Python 数据分析与可视化实战:从数据清洗到图表呈现
大数据·数据库·人工智能
Theodore_102212 小时前
大数据(2) 大数据处理架构Hadoop
大数据·服务器·hadoop·分布式·ubuntu·架构