Flink1.19编译并Standalone模式本地运行

1.首先下载源码

2.本地运行

新建local_conf和local_lib文件夹,并且将编译后的文件放入对应的目录

2.1 启动前参数配置

2.1.2 StandaloneSessionClusterEntrypoint启动参数修改

2.1.3 TaskManagerRunner启动参数修改

和StandaloneSessionClusterEntrypoint一样修改

-Dlog.file=./log/flink-taskmanager-1.local.log -Dlog4j.configuration=./alocal_conf/log4j.properties -Dlog4j.configurationFile=./alocal_conf/log4j.properties -Dlogback.configurationFile=./alocal_conf/logback.xml

2.2 启动

先启动StandaloneSessionClusterEntrypoint

再启动TaskManagerRunner

遇到的问题:

1.no scalac found to compile scala sources

2.最开始采用java11编译没问题运行出错,程序包sun.misc不存在 之后修改为java8

config.yaml

# JobManager 的主机地址
jobmanager.rpc.address: localhost
 
# The RPC port where the JobManager is reachable.
#可访问JobManager的RPC端口
jobmanager.rpc.port: 6123
#jobmanager绑定ip,
jobmanager.bind-host: localhost
#JVM 进程总内存
jobmanager.memory.process.size: 1600m
 
 
#taskmanager绑定ip,
taskmanager.bind-host: localhost
#唯一标识 window下必须配置
taskmanager.resource-id: n1
taskmanager.cpu.cores: 1
#任务的堆内存
taskmanager.memory.task.heap.size: 512m
#托管内存
taskmanager.memory.managed.size: 512m
#网络内存(Network Memory)
taskmanager.memory.network.min: 128m
taskmanager.memory.network.max: 128m
#任务堆外内存
taskmanager.memory.task.off-heap.size: 0m
#框架内存
taskmanager.memory.framework.heap.size: 256m
#框架堆外内存
taskmanager.memory.framework.off-heap.size: 128m
#JVM Metaspace
taskmanager.memory.jvm-metaspace.size: 128m
#JVM 开销
taskmanager.memory.jvm-overhead.min: 128m
taskmanager.memory.jvm-overhead.max: 128m
#心跳参数
heartbeat.timeout: 50000
heartbeat.interval: 10000
 
taskmanager.host: localhost
 
# 进程总内存大小
taskmanager.memory.process.size: 1728m
 
#每个 TaskManager上并发的 slot 数
taskmanager.numberOfTaskSlots: 1
 
# The parallelism used for programs that did not specify and other parallelism.
#用于未指定的程序的并行度和其他并行度。
parallelism.default: 1
 
jobmanager.execution.failover-strategy: region
 
rest.address: localhost
 
rest.bind-address: localhost
相关推荐
大舍传媒2 分钟前
海外媒体发稿:阿拉伯海湾新闻-外媒宣发的魅力与机遇
大数据·人工智能·科技·搜索引擎·媒体
青云交5 分钟前
大数据新视界 -- 大数据大厂之 Impala 存储格式转换:从原理到实践,开启大数据性能优化星际之旅(下)(20/30)
大数据·性能优化·数据处理·impala·案例分析·存储格式转换·转换方法
high201114 分钟前
【Apache Paimon】-- 2 -- 核心特性 (0.9.0)
大数据·数据湖·apache paimon
SeaTunnel21 分钟前
解析 Apache SeaTunnel 的任务运行过程
大数据
武子康1 小时前
大数据-225 离线数仓 - 目前需求分析 指标口径 日志数据采集 taildir source HDFS Sink Agent Flume 优化配置
java·大数据·数据仓库·hadoop·hdfs·数据挖掘·flume
Mephisto.java1 小时前
【大数据学习 | flume】flume之常见的channel组件
大数据·学习·flume
P.H. Infinity1 小时前
【Elasticsearch】01-ES安装
大数据·elasticsearch·jenkins
SlothLu1 小时前
Debezium-MySqlConnectorTask
java·大数据·数据库·多线程·数据库开发·debezium·数据迁移
OceanBase数据库官方博客2 小时前
如何配置 Flink CDC 连接 OceanBase 实现数据实时同步
大数据·flink·oceanbase·分布式数据库
abandondyy2 小时前
ELK Elasticsearch 集群部署
大数据·elk·elasticsearch