大数据flink篇之三-flink运行环境安装后续一yarn-session安装

前提:

Hadoop 必須保证在 2.2 以上,且必須裝有 hdfs 服务。Hadoop安装后续会有相关说明。

具体的,在生产环境中,flink一般会交由yarn、k8s等资源管理平台来处理。本章主要讲解yarn模式下的session cluster模式。

flink Session-Cluster

复制代码
 在yarn中初始化一个flink集群,开辟指定的资源,以后提交任务都向这里提交。这个flink集群会驻在yarn集群中,除非手工停止。

首先确保在/etc/profile中添加了配置项

powershell 复制代码
export HADOOP_CLASSPATH=`hadoop classpath`

初始化启动

powershell 复制代码
./bin/yarn-session.sh --detached

提交作业

powershell 复制代码
./bin/flink run ./examples/streaming/TopSpeedWindowing.jar

停止作业

powershell 复制代码
echo "stop" | ./bin/yarn-session.sh -id application_XXXXX_XXX

这种模式所有的job都共享一个jobmanager,启动的集群只有一个jobmanager。

后续继续补充另外两种:Per-Job和Application Mode

相关推荐
lifallen1 小时前
Paimon vs. HBase:全链路开销对比
java·大数据·数据结构·数据库·算法·flink·hbase
爱吃面的猫1 小时前
大数据Hadoop之——Hbase下载安装部署
大数据·hadoop·hbase
viperrrrrrrrrr71 小时前
大数据(1)-hdfs&hbase
大数据·hdfs·hbase
拓端研究室3 小时前
专题:2025即时零售与各类人群消费行为洞察报告|附400+份报告PDF、原数据表汇总下载
大数据·人工智能
武子康3 小时前
大数据-30 ZooKeeper Java-API 监听节点 创建、删除节点
大数据·后端·zookeeper
小手WA凉3 小时前
Hadoop之MapReduce
大数据·mapreduce
AgeClub4 小时前
服务600+养老社区,Rendever如何通过“VR+养老”缓解老年孤独?
大数据·人工智能
SeaTunnel4 小时前
SeaTunnel 社区月报(5-6 月):全新功能上线、Bug 大扫除、Merge 之星是谁?
大数据·开源·bug·数据集成·seatunnel
时序数据说5 小时前
Java类加载机制及关于时序数据库IoTDB排查
java·大数据·数据库·物联网·时序数据库·iotdb
大数据CLUB7 小时前
基于spark的航班价格分析预测及可视化
大数据·hadoop·分布式·数据分析·spark·数据可视化