【Flink精讲】Flink状态及Checkpoint调优

RocksDB大状态调优

RocksDB 是基于 LSM Tree 实现的(类似 HBase) ,写数据都是先缓存到内存中,

所以 RocksDB 的写请求效率比较高。 RocksDB 使用内存结合磁盘的方式来存储数据,每

次获取数据时,先从内存中 blockcache 中查找,如果内存中没有再去磁盘中查询。 使用

RocksDB 时,状态大小仅受可用磁盘空间量的限制, 性能瓶颈主要在于 RocksDB 对磁盘

的读请求, 每次读写操作都必须对数据进行反序列化或者序列化。 当处理性能不够时,仅需

要横向扩展并行度即可提高整个 Job 的吞吐量。

开启增量检查点和本地恢复

1)开启增量检查点

RocksDB 是目前唯一可用于支持有状态流处理应用程序增量检查点的状态后端,可以修改参数开启增量检查点:

state.backend.incremental: true #默认 false,改为 true。

或代码中指定

new EmbeddedRocksDBStateBackend(true)

调整预定义选项

Flink 针对不同的设置为 RocksDB 提供了一些预定义的选项集合,其中包含了后续提到

的一些参数,如果调整预定义选项后还达不到预期,再去调整后面的 block、 writebuffer

等参数。

当 前 支 持 的 预 定 义 选 项 有 DEFAULT 、 SPINNING_DISK_OPTIMIZED 、

SPINNING_DISK_OPTIMIZED_HIGH_MEM 或 FLASH_SSD_OPTIMIZED。有条件上 SSD

的, 可以指定为 FLASH_SSD_OPTIMIZED

state.backend.rocksdb.predefined-options: SPINNING_DISK_OPTIMIZED_HIGH_MEM

#设置为机械硬盘+内存模式

相关推荐
HookJames38 分钟前
设计Section 08 · Applications & Project Scenarios
大数据
olivesun881 小时前
20万元 · 1年期 · A股组合投资方案
大数据·人工智能·物联网
alxraves1 小时前
医疗器械质量管理体系信息系统的需求
大数据·安全·健康医疗·制造
ai大模型中转api测评1 小时前
开发者接入实战:GPT-5.5 API 深度调优、推理策略与工程化降本指南
大数据·人工智能·gpt
YMatrix 官方技术社区1 小时前
全栈向量化 + 库内流计算:YMatrix 亮相 Postgres Conference 2026,双引擎重塑 AGI 时代 PostgreSQL 性能底座
大数据·postgresql·agi·ymatrix·超融合数据库
AI科技星2 小时前
算子数学|独立完整学科章节(百条原创公式· ROOT传世定稿)
大数据·算法·机器学习·数学建模·数据挖掘·量子计算
菜鸟小码2 小时前
Hadoop大数据时代的底座和基石
大数据·hadoop·分布式
隐于花海,等待花开2 小时前
18.TRUNC / LAST_DAY / NEXT_DAY 函数深度解析
大数据·hive
独隅2 小时前
Git误操作急救手册
大数据·git·elasticsearch
隐于花海,等待花开2 小时前
17.DATE_FORMAT 函数深度解析
大数据·hive