【Flink精讲】Flink内核源码分析:命令执行入口

官方推荐per-job模式,一个job一个集群,提交时yarn才分配集群资源;

主要的进程:JobManager、TaskManager、Client

提交命令:bin/flink run -t yarn-per-job /opt/module/flink-1.12.0/examples/streaming/SocketWindowWordCount.jar --port 9999

Per-job进程: CliFronted、YarnJobClusterEncrypoint、TaskExecutorRunner=>TaskManagerRunner(Standalone)

/flink-1.12.0/bin/flink命令:入口:org.apache.flink.client.cli.cliFrontend

环境信息:conf.sh

入口源码

org.apache.flink.client.cli.CliFrontend

双击shift找类CliFrontend

命令行入口:找main方法,ctrl+F12

option+cmd+左(后退)右(前进)

依次加入Generic、Yarn、Default

Yarn-Per-Job新老版本写法

老版本:(<=1.10): flink run -m yarn-cluster -c xxxx.xxx.jar

新版本:(>=1.11) : flink run -t yarn-per-job -c xxxx.xxx.jar

executeProgram内部实现

StreamExecutionEnvironment.execute()

相关推荐
猫猫姐姐1 天前
Flink基于Paimon的实时湖仓解决方案的演进
大数据·flink·湖仓一体
极客数模1 天前
2025年(第六届)“大湾区杯”粤港澳金融数学建模竞赛准备!严格遵循要求,拿下大奖!
大数据·python·数学建模·金融·分类·图论·boosting
Elastic 中国社区官方博客1 天前
Elastic AI agent builder 介绍(三)
大数据·人工智能·elasticsearch·搜索引擎·ai·全文检索
王卫东1 天前
深入HBase:原理剖析与优化实战
大数据·数据库·hbase
HaiLang_IT1 天前
2026 人工智能与大数据专业毕业论文选题方向及题目示例(nlp/自然语言处理/图像处理)
大数据·人工智能·毕业设计选题
呆呆小金人1 天前
SQL键类型详解:超键到外键全解析
大数据·数据库·数据仓库·sql·数据库开发·etl·etl工程师
StarRocks_labs1 天前
StarRocks 4.0:基于 Apache Iceberg 的 Catalog 中心化访问控制
大数据·apache
梦子yumeko1 天前
第六章langchain4j之Tools和prompt
大数据·prompt
AcrelGHP1 天前
光储充微电网能量管理系统:构建绿色、高效、安全的能源未来
大数据·运维·人工智能
wudl55661 天前
Flink RocksDB State Backend 详解
大数据·flink