大数据flink篇之三-flink运行环境安装后续一yarn-session安装

前提:

Hadoop 必須保证在 2.2 以上,且必須裝有 hdfs 服务。Hadoop安装后续会有相关说明。

具体的,在生产环境中,flink一般会交由yarn、k8s等资源管理平台来处理。本章主要讲解yarn模式下的session cluster模式。

flink Session-Cluster

复制代码
 在yarn中初始化一个flink集群,开辟指定的资源,以后提交任务都向这里提交。这个flink集群会驻在yarn集群中,除非手工停止。

首先确保在/etc/profile中添加了配置项

powershell 复制代码
export HADOOP_CLASSPATH=`hadoop classpath`

初始化启动

powershell 复制代码
./bin/yarn-session.sh --detached

提交作业

powershell 复制代码
./bin/flink run ./examples/streaming/TopSpeedWindowing.jar

停止作业

powershell 复制代码
echo "stop" | ./bin/yarn-session.sh -id application_XXXXX_XXX

这种模式所有的job都共享一个jobmanager,启动的集群只有一个jobmanager。

后续继续补充另外两种:Per-Job和Application Mode

相关推荐
罗技1231 小时前
Elasticsearch、OpenSearch 与 Easysearch:三代搜索引擎的演化与抉择
大数据·elasticsearch·搜索引擎
非极限码农5 小时前
Apache Spark 上手指南(基于 Spark 3.5.0 稳定版)
大数据·spark·apache
Guheyunyi7 小时前
消防管理系统如何重构现代空间防御体系
大数据·运维·人工智能·安全·信息可视化·重构
二进制_博客9 小时前
spark on hive 还是 hive on spark?
大数据·hive·spark
智海观潮9 小时前
Spark RDD详解 —— RDD特性、lineage、缓存、checkpoint、依赖关系
大数据·缓存·spark
一个会的不多的人12 小时前
数字化转型:概念性名词浅谈(第七十二讲)
大数据·人工智能·制造·数字化转型
数据智能老司机13 小时前
在 Databricks 上的 Unity Catalog 数据治理——Unity Catalog 的内部机制
大数据·架构
gb421528714 小时前
elasticsearch索引多长时间刷新一次(智能刷新索引根据数据条数去更新)
大数据·elasticsearch·jenkins
IT毕设梦工厂15 小时前
大数据毕业设计选题推荐-基于大数据的人体生理指标管理数据可视化分析系统-Hadoop-Spark-数据可视化-BigData
大数据·hadoop·信息可视化·spark·毕业设计·源码·bigdata
数在表哥16 小时前
从数据沼泽到智能决策:数据驱动与AI融合的中台建设方法论与技术实践指南(四)
大数据·人工智能