技术栈
状态后端
G皮T
1 年前
大数据
·
flink
·
实时计算
·
状态管理
·
状态后端
【大数据】Flink 中的状态管理
在前面的博客中我们指出,大部分的流式应用都是有状态的。很多算子都会不断地读取并更新某些状态,例如:窗口内收集的记录,输入源的读取位置或是一些定制的,诸如机器学习模型之类的特定应用状态。无论是内置状态还是用户自定义状态,Flink 对它们都一视同仁。本篇博客我们会对 Flink 支持的不同类别的状态进行介绍。我们将解释如何利用 状态后端(state backend)对状态进行存储和维护,以及有状态的应用如何通过状态再分配实现扩缩容。
Stephen6Yang
1 年前
大数据
·
flink
·
状态后端
Flink-状态后端
状态后端是一个“开箱即用”的组件,可以在不改变应用程序逻辑的情况下独立配置。 Flink中提供了两类不同的状态后端,一种是“哈希表状态后端”(HashMapStateBackend),另一种是“内嵌RocksDB状态后端”(EmbeddedRocksDBStateBackend)。如果没有特别配置,系统默认的状态后端是HashMapStateBackend。