大数据flink篇之三-flink运行环境安装后续一yarn-session安装

前提:

Hadoop 必須保证在 2.2 以上,且必須裝有 hdfs 服务。Hadoop安装后续会有相关说明。

具体的,在生产环境中,flink一般会交由yarn、k8s等资源管理平台来处理。本章主要讲解yarn模式下的session cluster模式。

flink Session-Cluster

复制代码
 在yarn中初始化一个flink集群,开辟指定的资源,以后提交任务都向这里提交。这个flink集群会驻在yarn集群中,除非手工停止。

首先确保在/etc/profile中添加了配置项

powershell 复制代码
export HADOOP_CLASSPATH=`hadoop classpath`

初始化启动

powershell 复制代码
./bin/yarn-session.sh --detached

提交作业

powershell 复制代码
./bin/flink run ./examples/streaming/TopSpeedWindowing.jar

停止作业

powershell 复制代码
echo "stop" | ./bin/yarn-session.sh -id application_XXXXX_XXX

这种模式所有的job都共享一个jobmanager,启动的集群只有一个jobmanager。

后续继续补充另外两种:Per-Job和Application Mode

相关推荐
vxtkjzxt88842 分钟前
手机群控软件在游戏运营中的行为模拟技术实践
大数据
铭毅天下1 小时前
Codebuddy 实现:云端 Elasticsearch 到 本地 Easysearch 跨集群迁移 Python 小工具
大数据·elasticsearch·搜索引擎·全文检索
青云交1 小时前
Java 大视界 -- Java 大数据在智慧交通自动驾驶仿真与测试数据处理中的应用
java·大数据·自动驾驶·数据存储·算法优化·智慧交通·测试数据处理
观远数据2 小时前
A Blueberry 签约观远数据,观远BI以一站式现代化驱动服饰企业新增长
大数据·数据库·人工智能·数据分析
缘华工业智维8 小时前
工业设备预测性维护:能源成本降低的“隐藏钥匙”?
大数据·网络·人工智能
NewsMash8 小时前
马来西亚代表团到访愿景娱乐 共探TikTok直播电商增长新路径
大数据·娱乐
凯禾瑞华养老实训室10 小时前
聚焦生活照护能力培育:老年生活照护实训室建设清单的模块设计与资源整合
大数据·人工智能·科技·ar·vr·智慧养老·智慧健康养老服务与管理
Q264336502312 小时前
【有源码】基于Hadoop生态的大数据共享单车数据分析与可视化平台-基于Python与大数据的共享单车多维度数据分析可视化系统
大数据·hadoop·python·机器学习·数据分析·spark·毕业设计
计算机毕业设计木哥12 小时前
计算机毕设选题推荐:基于Hadoop和Python的游戏销售大数据可视化分析系统
大数据·开发语言·hadoop·python·信息可视化·spark·课程设计