Flink大状态和Checkpoint调优

文章迁移,待整理

2. 状态和Checkpoint调优

2.1 大状态调优

我们生产大多数会使用 fsState ,memState程序挂了状态就丢了,应该没人会在生产使用,但是涉及到一些大状态,fsState效率很低,这时候会选择 rocksDbState

  1. RocksDb 为什么效率高

基于 LSM Tree 实现,类似 Hbase 的读写方式,

复制代码
state.backend.local-recovery: true

写数据内存即返回,查数据先查 blockCache,

  1. 开启 state 性能访问监控

开启监控会对性能有影响,但是对 rocksDbStateBackend 来说影响不大,大概 1%,但是有监控可以快速定位问题

java 复制代码
-Dstate.backend.latency-track.keyed-state-enabled=true
  1. 开启增量检查点

    state.backend.incremental: true #默认 false,改为 true。

  2. 开启本地恢复

Flink任务失败时,可以基于本地的状态信息恢复任务

复制代码
state.backend.incremental: true #默认 false,改为 true。
  1. 多目录设置

有多块磁盘,可以考虑设置多目录

复制代码
state.backend.rocksdb.localdir: 
/data1/flink/rocksdb,/data2/flink/rocksdb,/data3/flink/rocksdb

2.2 checkpoint 间隔时长设置

一般checkpoint 间隔时长设置为 1-5分钟,比如阿里云我们都使用默认的 180S,但是对于一些大状态尤其是 Hdfs 储存时比较慢,可以设置 5-10分钟,并且设置两次 Checkpoint 至少间隔 4-8分钟

相关推荐
cy_cy0026 小时前
从平面到立体:电子沙盘在城市规划展示中的创新应用
大数据·科技·人机交互·交互·软件构建
步步精BBJconn6 小时前
从制造到标准制定:步步精科技在人形机器人连接器领域的跃升
大数据·人工智能·物联网
财经资讯数据_灵砚智能6 小时前
基于全球经济类多源新闻的NLP情感分析与数据可视化(夜间-次晨)2026年4月15日
大数据·人工智能·信息可视化·自然语言处理·ai编程
归零鸟6 小时前
中东局势的全球影响研究——油价和供应链中断给经济发展和个人生活带来的变化
大数据·人工智能·生活
快递鸟社区6 小时前
快递鸟国际海运箱单动态查询
大数据
海南java第二人6 小时前
Flink架构的核心组件:Task、Job、TaskManager与JobManager
flink
动恰客流管家6 小时前
动恰3DV3丨客流统计方案:赋能文旅街区 / 古镇智慧化运营升级
大数据·人工智能·3d
七夜zippoe6 小时前
OpenClaw 飞书深度集成:云存储操作
大数据·人工智能·飞书·集成·openclaw
2401_827499996 小时前
python项目实战12-数据分析
大数据·数据挖掘·数据分析
skilllite作者6 小时前
SkillLite 架构优化分析报告:项目开发日记
大数据·开发语言·后端·架构·rust·rust沙箱