【Linux】-Flink分布式内存计算集群部署[21]

注意:

本节的操作,需要前置准备好Hadoop生态集群,请先部署好Hadoop环境

简介

Flink同spark一样,是一款分布式内存计算引擎,可以支撑海量数据的分布式计算

Flink在大数据体系同样是明星产品,作为新一代的综合计算引擎,支持离线计算和实时计算。

在大数据邻域广泛应用,是目前世界上除去spark以外,应用最为广泛的分布式计算引擎。

spark更加偏向于离线计算,而flink更加偏向于实时计算

安装

1、【node1执行】 下载安装包

复制代码
wget https://archive.apache.org/dist/flink/flink-1.10.0/flink-1.10.0-bin-scala_2.11.tgz

解压到/export/server

复制代码
tar -zxvf flink-1.10.0-bin-scala_2.11.tgz -C /export/server

构建软链接

复制代码
ln -s /export/server/flink-1.10.0 /export/server/flink

在vim编辑时,可使用set paste粘贴模式

复制代码
# jobManager 的IP地址
jobmanager.rpc.address: node1
# JobManager 的端口号
jobmanager.rpc.port: 6123
# JobManager JVM heap 内存大小
jobmanager.heap.size: 1024m
#TaskManager JvM heap 内存大小
taskmanager.heap.size: 1024m
# 每个 TaskManager 提供的任务 slots 数量大小
taskmanager.numberOfTaskSlots: 2
# 是否进行预分配内存,默认不进行预分配,这样在我们不使fLink集群时不会占用集群资源
taskmanager.memory.preallocate: false
# 程序默认并行计算的个数
parallelism.default: 1
# JobManager的Web界面的端囗(默认:8081)
jobmanager.web.port: 8081

3、【node1】 修改配置文件,conf/slaves

复制代码
node1
node2
node3

4、【node1】 分发flink安装包到其他机器

复制代码
cd /export/server
scp -r flink-1.10.0 node2:`pwd`/
scp -r flink-1.10.0 node3:`pwd`/

5、【node2、node3】构建软链接

复制代码
ln -s /export/server/flink-1.10.0 /export/server/flink
复制代码
/export/server/flink/bin/start-cluster.sh

7、验证flink启动

浏览器打开http://node1:8081

这里使用的端口8081与前一章节spark使用的端口一致,需要关闭spark才能使用flink

至此,Flink就部署完毕啦。

相关推荐
GIS数据转换器2 分钟前
2025无人机在农业生态中的应用实践
大数据·网络·人工智能·安全·无人机
武子康13 分钟前
大数据-132 Flink SQL 实战入门 | 3 分钟跑通 Table API + SQL 含 toChangelogStream 新写法
大数据·后端·flink
Lion Long35 分钟前
PB级数据洪流下的抉择:从大数据架构师视角,深度解析时序数据库选型与性能优化(聚焦Apache IoTDB)
大数据·性能优化·apache·时序数据库·iotdb
Lx3521 小时前
Flink背压机制:原理与调优策略
大数据
Lx3521 小时前
Flink容错机制:Checkpoint和Savepoint深入解析
大数据
QQ5416451212 小时前
【小增长电商软件分享】微信私域淘宝电商补单/做基础销量:如何有效控制粉丝错货、复购、订单插旗及客服转账返款等常见痛点|粉丝订单管理|电商鱼塘运营方案
大数据·电商私域粉丝管理·电商私域运营系统解决方案·粉丝订单关系系统
字节跳动数据平台3 小时前
多模态数据湖技术深化,Data Agent新能力发布!“认知”将决定企业上限
大数据
字节跳动数据平台4 小时前
得物×火山引擎:Data Agent驱动财务管理智能升级
大数据
想ai抽4 小时前
Spark的shuffle类型与对比
大数据·数据仓库·spark
智海观潮4 小时前
JVM垃圾回收器、内存分配与回收策略
java·大数据·jvm