【大数据面试题】004 Flink状态后端是什么

一步一个脚印,一天一道大数据面试题。

在实时处理中,状态管理是十分常用的。比如监控某些数据是否一直快速增长。那就需要记录到之前的状态,数值。

那作为最热门的实时处理框架,Flink对状态管理是有一套的。那就是状态后端,拿来管理,储存 Flink 里状态的东西,默认是用 MemoryBackend。

Flink 默认有 3 个 Backend
- MemoryStateBackend

将状态存储在内存中。不设置的话,默认用的就是这种。很不稳定,如果程序中断停止,存在内存中的状态就会消失,重启不能正常恢复,处理状态。所有一般不推荐,只推荐自己测试时用。

- FsStateBackend

将状态存储在 FileSystem,如本地文件系统,或 HDFS 文件系统。写入到文件后,如果遇到程序中断停止,能够正常恢复。生产环境中, FsStateBackend 是个不错的选择。

- RockDBStateBackend

需要集群中安装 RockDB,使用 RockDB 存储状态。RocksDB 是一个高效的嵌入式键值存储数据库,专为快速和低延迟存储而设计。所以如果需要更高的性能,可以使用这个状态后端。

相关推荐
geneculture10 分钟前
论纯粹融智学视域的AI宪法AI Constitution
大数据·人工智能·融智学应用场景·哲学与科学统一性·融智时代(杂志)·ai constitution
晨非辰12 分钟前
吃透C++两大默认成员函数:const成员函数、 & 取地址运算符重载
java·大数据·开发语言·c++·人工智能·后端·面试
一切皆是因缘际会22 分钟前
大模型幻觉深度解析:成因、落地危害与工程级解决方案
大数据·人工智能·深度学习·安全·ai·架构
好赞科技25 分钟前
深度盘点2026年八大高口碑美容小程序:解锁智能护肤新体验
大数据·人工智能
IT观测40 分钟前
城市生命线工程五大核心企业
大数据
烟花情报局1 小时前
陕西省应急管理厅最新发布!
大数据
逐米时代1 小时前
四川制造企业智改数转怎么申报?本地化AI项目落地一般分5步
大数据·人工智能
eastyuxiao9 小时前
思维导图拆解项目范围 3 个真实落地案例
大数据·运维·人工智能·流程图
Meya112714 小时前
别再人工硬扛机房管理!智能 U 位系统,让机房管理一键数字化
大数据·运维
天辛大师15 小时前
天辛大师谈人工智能时代,如何用AI研究历代放生劝善忏悔文
大数据·人工智能·随机森林·启发式算法