【Flink精讲】Flink内核源码分析:命令执行入口

官方推荐per-job模式,一个job一个集群,提交时yarn才分配集群资源;

主要的进程:JobManager、TaskManager、Client

提交命令:bin/flink run -t yarn-per-job /opt/module/flink-1.12.0/examples/streaming/SocketWindowWordCount.jar --port 9999

Per-job进程: CliFronted、YarnJobClusterEncrypoint、TaskExecutorRunner=>TaskManagerRunner(Standalone)

/flink-1.12.0/bin/flink命令:入口:org.apache.flink.client.cli.cliFrontend

环境信息:conf.sh

入口源码

org.apache.flink.client.cli.CliFrontend

双击shift找类CliFrontend

命令行入口:找main方法,ctrl+F12

option+cmd+左(后退)右(前进)

依次加入Generic、Yarn、Default

Yarn-Per-Job新老版本写法

老版本:(<=1.10): flink run -m yarn-cluster -c xxxx.xxx.jar

新版本:(>=1.11) : flink run -t yarn-per-job -c xxxx.xxx.jar

executeProgram内部实现

StreamExecutionEnvironment.execute()

相关推荐
哲讯智能科技2 小时前
苏州SAP代理商:哲讯科技助力企业数字化转型
大数据·运维·人工智能
Edingbrugh.南空2 小时前
Apache Iceberg与Hive集成:分区表篇
大数据·hive·hadoop
武子康2 小时前
大数据-13-Hive 启动Hive DDL DML 增删改查 操作Hive的HQL
大数据·后端
Cachel wood3 小时前
后端开发:计算机网络、数据库常识
android·大数据·数据库·数据仓库·sql·计算机网络·mysql
得物技术4 小时前
得物社区活动:组件化的演进与实践
java·大数据·前端
Elastic 中国社区官方博客5 小时前
使用 Azure LLM Functions 与 Elasticsearch 构建更智能的查询体验
大数据·人工智能·elasticsearch·microsoft·搜索引擎·全文检索·azure
刘天远6 小时前
深度解析企业风控API技术实践:构建全方位企业风险画像系统
大数据·数据库·数据分析
后院那片海6 小时前
GFS分布式文件系统
大数据·服务器·数据库
IT_10247 小时前
Spring Boot的Security安全控制——应用SpringSecurity!
大数据·spring boot·后端
盟接之桥7 小时前
国产替代新标杆|盟接之桥EDI软件让中国制造连接世界更安全、更简单、更有底气
大数据