flink配置参数

基础配置

复制代码
cpp 复制代码
# jobManager 的IP地址

jobmanager.rpc.address: localhost


# JobManager 的端口号

jobmanager.rpc.port: 6123


# JobManager JVM heap 内存大小

jobmanager.heap.size: 1024m


# TaskManager JVM heap 内存大小

taskmanager.heap.size: 1024m


# 每个 TaskManager 提供的任务 slots 数量大小


taskmanager.numberOfTaskSlots: 1


# 程序默认并行计算的个数

parallelism.default: 1

容错检查点配置

cpp 复制代码
# 用于存储和检查点状态

# state.backend: filesystem /rocksdb/hdfs


# 存储检查点的数据文件和元数据的默认目录

# state.checkpoints.dir: hdfs://namenode-host:port/flink-checkpoints


# savepoints 的默认目标目录(可选)

# state.savepoints.dir: hdfs://namenode-host:port/flink-checkpoints


# 用于启用/禁用增量 checkpoints 的标志

# state.backend.incremental: false

web端

cpp 复制代码
# 基于 Web 的运行时监视器侦听的地址.

#jobmanager.web.address: 0.0.0.0


# Web 的运行时监视器端口

rest.port: 8081


# 是否从基于 Web 的 jobmanager 启用作业提交

# jobmanager.web.submit.enable: false

高可用配置

cpp 复制代码
# 可以选择 'NONE' 或者 'zookeeper'.

# high-availability: zookeeper


# 文件系统路径,让 Flink 在高可用性设置中持久保存元数据

# high-availability.storageDir: hdfs:///flink/ha/


# zookeeper 集群中仲裁者的机器 ip 和 port 端口号

# high-availability.zookeeper.quorum: localhost:2181


# 默认是 open,如果 zookeeper security 启用了该值会更改成 creator

# high-availability.zookeeper.client.acl: open

HistoryServer配置

cpp 复制代码
# 你可以通过 bin/historyserver.sh (start|stop) 命令启动和关闭 HistoryServer


# 将已完成的作业上传到的目录

# jobmanager.archive.fs.dir: hdfs:///completed-jobs/


# 基于 Web 的 HistoryServer 的地址

# historyserver.web.address: 0.0.0.0


# 基于 Web 的 HistoryServer 的端口号

# historyserver.web.port: 8082


# 以逗号分隔的目录列表,用于监视已完成的作业

# historyserver.archive.fs.dir: hdfs:///completed-jobs/


# 刷新受监控目录的时间间隔(以毫秒为单位)

# historyserver.archive.fs.refresh-interval: 10000

其他高级配置

cpp 复制代码
# io.tmp.dirs: /tmp


# 是否应在 TaskManager 启动时预先分配 TaskManager 管理的内存

# taskmanager.memory.preallocate: false


# 类加载解析顺序,是先检查用户代码 jar("child-first")还是应用程序类路径("parent-first")。 默认设置指示首先从用户代码 jar 加载类

# classloader.resolve-order: child-first



# 用于网络缓冲区的 JVM 内存的分数。 这决定了 TaskManager 可以同时拥有多少流数据交换通道以及通道缓冲的程度。 如果作业被拒绝或者您收到系统没有足够缓冲区的警告,请增加此值或下面的最小/最大值。 另请注意,"taskmanager.network.memory.min"和"taskmanager.network.memory.max"可能会覆盖此分数


# taskmanager.network.memory.fraction: 0.1

# taskmanager.network.memory.min: 67108864

# taskmanager.network.memory.max: 1073741824

集群安全配置

cpp 复制代码
# 指示是否从 Kerberos ticket 缓存中读取

# security.kerberos.login.use-ticket-cache: true


# 包含用户凭据的 Kerberos 密钥表文件的绝对路径

# security.kerberos.login.keytab: /path/to/kerberos/keytab


# 与 keytab 关联的 Kerberos 主体名称

# security.kerberos.login.principal: flink-user


# 以逗号分隔的登录上下文列表,用于提供 Kerberos 凭据(例如,`Client,KafkaClient`使用凭证进行 ZooKeeper 身份验证和 Kafka 身份验证)

# security.kerberos.login.contexts: Client,KafkaClient

日志文件配置

相关文件

cpp 复制代码
log4j-cli.properties

log4j-console.properties

log4j-yarn-session.properties

log4j.properties

logback-console.xml

logback-yarn.xml

logback.xml
相关推荐
大大大大晴天11 小时前
每天认识一个组件:VictoriaMetrics
大数据
龙腾AI白云12 小时前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱
演艺大赏13 小时前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
Aloudata14 小时前
服饰零售数据治理如何统一款色码与库存口径,支撑门店售罄率和补货分析?
大数据·数据分析·零售
躺柒14 小时前
读数据分析思维通识课07数据思维图
大数据·数据挖掘·数据分析·大数据分析·数据思维图
回眸&啤酒鸭16 小时前
【回眸】Hy4 模型效果展示与能力评测大纲
大数据·人工智能·机器学习
伞伞悦读17 小时前
【第86期】分类指标与错误成本对照的实验与排查
大数据·人工智能·机器学习
金融小师妹21 小时前
多因子关联模型:黄金与铜价同步回落背后的金融变量及PPI传导分析
大数据·人工智能·金融
TDengine (老段)1 天前
TDengine IDMP 功能点—数据接入
大数据·数据库·物联网·时序数据库·tdengine·涛思数据
bksczm1 天前
InnoDB 通用表空间与临时表空间详解
大数据·数据库·mysql