flink源码编译-job提交

1、启动standalone集群的taskmanager

standalone集群中的taskmanager启动类为 TaskManagerRunner

2 打开master启动类
通过 ctrl+n快捷键,找到、并打开类:
org.apache.flink.runtime.taskexecutor.TaskManagerRunner
3 修改运⾏配置


基本完全按照master运⾏配置进⾏即可;
run org.apache.flink.streaming.examples.hitao.WorkCount ./demo.jar
就⼀个关于⽇志的配置稍微修改⼀下(⽇志⽂件的名称)
-Dlog.file=./log/flink-taskmanager-1.local.log -
Dlog4j.configuration=./conf/log4j.properties -
Dlog4j.configurationFile=./conf/log4j.properties -
Dlogback.configurationFile=./conf/logback.xml 6.3 修改flink-conf.yaml配置⽂件
找到项⽬根⽬录下的conf,打开其中的flink-conf.yaml
添加如下配置(主要就是taskmanager的各项内存配置,可根据⾃⼰的情况进⾏修改)
taskmanager.resource-id: tm_hitao
taskmanager.cpu.cores: 1
taskmanager.memory.task.heap.size: 512m
t askmanager.memory.managed.size: 512m
taskmanager.memory.network.min: 128m
taskmanager.memory.network.max: 128m
taskmanager.memory.task.off-heap.size: 0m

相关推荐
SelectDB6 小时前
阶跃星辰基于 SelectDB 构建 PB 级 Agent 可观测平台
大数据·数据库·aigc
tonyabasy1 天前
Flink 实时数仓开发实战:SQL中也能做到资源精细化管理
flink
大大大大晴天2 天前
浅聊Flink实时关联计算的不适用场景
flink
大大大大晴天3 天前
深入解析 Flink Kafka Connector:原理、配置与最佳实践
flink
大大大大晴天4 天前
Hudi技术内幕:RecordPayload到RecordMerger
大数据
SelectDB4 天前
秒级弹性、最高降本 70%:SelectDB Serverless 如何重塑云数仓资源效率
大数据·后端·云原生
WhoAmI4 天前
MapReduce框架原理解析一:InputFormat
大数据·hadoop
WhoAmI4 天前
MapReduce框架原理解析三:OutputFormat
大数据·hadoop
WhoAmI4 天前
MapReduce框架原理解析二:Shuffle
大数据·hadoop
大大大大晴天5 天前
Hudi技术内幕:Key Generation原理与实践
大数据