【Flink精讲】Flink内核源码分析:命令执行入口

官方推荐per-job模式,一个job一个集群,提交时yarn才分配集群资源;

主要的进程:JobManager、TaskManager、Client

提交命令:bin/flink run -t yarn-per-job /opt/module/flink-1.12.0/examples/streaming/SocketWindowWordCount.jar --port 9999

Per-job进程: CliFronted、YarnJobClusterEncrypoint、TaskExecutorRunner=>TaskManagerRunner(Standalone)

/flink-1.12.0/bin/flink命令:入口:org.apache.flink.client.cli.cliFrontend

环境信息:conf.sh

入口源码

org.apache.flink.client.cli.CliFrontend

双击shift找类CliFrontend

命令行入口:找main方法,ctrl+F12

option+cmd+左(后退)右(前进)

依次加入Generic、Yarn、Default

Yarn-Per-Job新老版本写法

老版本:(<=1.10): flink run -m yarn-cluster -c xxxx.xxx.jar

新版本:(>=1.11) : flink run -t yarn-per-job -c xxxx.xxx.jar

executeProgram内部实现

StreamExecutionEnvironment.execute()

相关推荐
星川皆无恙22 分钟前
基于知识图谱+深度学习的大数据NLP医疗知识问答可视化系统(全网最详细讲解及源码/建议收藏)
大数据·人工智能·python·深度学习·自然语言处理·知识图谱
PM老周29 分钟前
DORA2025:如何用AI提升研发效能(以 ONES MCP Server 为例)
大数据·人工智能
皇族崛起31 分钟前
【众包 + AI智能体】AI境生态巡查平台边防借鉴价值专项调研——以广西边境线治理为例
大数据·人工智能
电商软件开发 小银32 分钟前
3倍转化率实证研究:零售业顾客关系重构
大数据·软件开发·数字化转型·商业模式·实体经济·区域连锁·消费经济
编织幻境的妖1 小时前
Zookeeper在大数据集群中的作用详解
大数据·分布式·zookeeper
beijingliushao1 小时前
102-Spark之Standalone环境安装步骤-2
大数据·分布式·spark
良策金宝AI1 小时前
全球工程软件格局重塑:中国AI原生平台的机会窗口
大数据·运维·人工智能
赵谨言1 小时前
基于OpenCV的图像梯度与边缘检测研究
大数据·开发语言·经验分享·python
Hello.Reader2 小时前
Flink SQL ALTER 语句在线演进 Table/View/Function/Catalog/Model
数据库·sql·flink
pale_moonlight2 小时前
十二、大数据数据可视化实战
大数据·信息可视化