【Flink精讲】Flink内核源码分析:命令执行入口

官方推荐per-job模式,一个job一个集群,提交时yarn才分配集群资源;

主要的进程:JobManager、TaskManager、Client

提交命令:bin/flink run -t yarn-per-job /opt/module/flink-1.12.0/examples/streaming/SocketWindowWordCount.jar --port 9999

Per-job进程: CliFronted、YarnJobClusterEncrypoint、TaskExecutorRunner=>TaskManagerRunner(Standalone)

/flink-1.12.0/bin/flink命令:入口:org.apache.flink.client.cli.cliFrontend

环境信息:conf.sh

入口源码

org.apache.flink.client.cli.CliFrontend

双击shift找类CliFrontend

命令行入口:找main方法,ctrl+F12

option+cmd+左(后退)右(前进)

依次加入Generic、Yarn、Default

Yarn-Per-Job新老版本写法

老版本:(<=1.10): flink run -m yarn-cluster -c xxxx.xxx.jar

新版本:(>=1.11) : flink run -t yarn-per-job -c xxxx.xxx.jar

executeProgram内部实现

StreamExecutionEnvironment.execute()

相关推荐
Hello.Reader2 小时前
Flink 内置 Watermark 生成器单调递增与有界乱序怎么选?
大数据·flink
工作中的程序员2 小时前
flink UTDF函数
大数据·flink
工作中的程序员2 小时前
flink keyby使用与总结 基础片段梳理
大数据·flink
Hy行者勇哥2 小时前
数据中台的数据源与数据处理流程
大数据·前端·人工智能·学习·个人开发
00后程序员张2 小时前
RabbitMQ核心机制
java·大数据·分布式
AutoMQ2 小时前
10.17 上海 Google Meetup:从数据出发,解锁 AI 助力增长的新边界
大数据·人工智能
武子康3 小时前
大数据-119 - Flink Flink 窗口(Window)全解析:Tumbling、Sliding、Session 应用场景 使用详解 最佳实践
大数据·后端·flink
阿水实证通3 小时前
能源经济大赛选题推荐:新能源汽车试点城市政策对能源消耗的负面影响——基于技术替代效应的视角
大数据·人工智能·汽车
nihaoma30204 小时前
[JS]JavaScript的性能优化从内存泄露到垃圾回收的实战解析
flink