Flink集群搭建

(1)JAVA_HOME 配置

conf/flink-conf.yaml env.java.home

(2)与Hadoop关联,如果确认使用Hadoop相关功能,需要关注对应的版本。如果不使用,则随意

使用flink版本

下载最新版本后,将存档复制到您的主节点并解压缩它:

tar xzf flink-.tgz
cd flink-

(3)配置Flink

编辑conf / flink-conf.yaml为集群配置Flink

1.设置 jobmanager.rpc.address 密钥以指向您的主节点

2.内存设置

jobmanager.memory.process.size 主节点flink最大内存 (MB)

taskmanager.memory.process.size 工作节点flink最大内存(MB)

3.提供集群中所有用作工作的节点(即运行TaskManager的节点)

编辑文件 conf / workers 并输入每个工作程序节点的IP /主机名。

示例:

三个节点(IP地址从10.0.0.1 到10.0.0.3且主机名master,worker1,worker2)

的设置,并显示了配置文件的内容

/path/to/flink/conf/flink-conf.yaml

jobmanager.rpc.address: 10.0.0.1

/path/to/flink/conf/workers

10.0.0.2

10.0.0.3

4.每台 slot 数量设置

每台计算机可用的CPU数(taskmanager.numberOfTaskSlots)

5.集群中的cpu数量总数

parallelism.default

6.临时目录

io.tmp.dirs

(4)启动flink/停止flink

前提: 必须能够ssh所有节点(jobManager)

bin/start-cluster.sh

bin/stop-cluster.sh

(5)添加jobmanager/taskmanager 到集群

使用 bin/jobmanager.sh 或 bin/taskmanager.sh

添加jobmanager:

bin/jobmanager.sh ((start|start-foreground) [host] [webui-port])|stop|stop-all

添加TaskManager

bin/taskmanager.sh start|start-foreground|stop|stop-all

相关推荐
V_156560272198 分钟前
2025年蚌埠市“三首产品”、市级服务型制造示范、市级企业技术中心等5个项目认定申报指南大全
大数据·人工智能·制造
liliangcsdn27 分钟前
如何基于DSL脚本进行elasticsearch向量检索示例
大数据·elasticsearch·搜索引擎
周杰伦_Jay28 分钟前
【电商微服务日志处理全方案】从MySQL瓶颈到大数据架构的实战转型
大数据·mysql·微服务·架构
闲人编程34 分钟前
Python与大数据:使用PySpark处理海量数据
大数据·开发语言·分布式·python·spark·codecapsule·大规模
程序员小羊!34 分钟前
电商项目练习实操(二)
大数据·数据分析·etl·flume
谅望者1 小时前
数据分析笔记01:数据分析概述
大数据·数据库·数据仓库·数据分析
一瓢一瓢的饮 alanchan1 小时前
Flink原理与实战(java版)#第2章 Flink的入门(第二节Flink简介)
java·大数据·flink·kafka·实时计算·离线计算·流批一体化计算
尘世壹俗人1 小时前
分离Hadoop客户端单独使用
大数据·hadoop·分布式
厨 神2 小时前
11月10日ES本机
大数据·elasticsearch·搜索引擎
微盛企微增长小知识2 小时前
企业微信AI怎么用?从智能表格落地看如何提升运营效率
大数据·人工智能·企业微信