【大数据面试题】004 Flink状态后端是什么

一步一个脚印,一天一道大数据面试题。

在实时处理中,状态管理是十分常用的。比如监控某些数据是否一直快速增长。那就需要记录到之前的状态,数值。

那作为最热门的实时处理框架,Flink对状态管理是有一套的。那就是状态后端,拿来管理,储存 Flink 里状态的东西,默认是用 MemoryBackend。

Flink 默认有 3 个 Backend
- MemoryStateBackend

将状态存储在内存中。不设置的话,默认用的就是这种。很不稳定,如果程序中断停止,存在内存中的状态就会消失,重启不能正常恢复,处理状态。所有一般不推荐,只推荐自己测试时用。

- FsStateBackend

将状态存储在 FileSystem,如本地文件系统,或 HDFS 文件系统。写入到文件后,如果遇到程序中断停止,能够正常恢复。生产环境中, FsStateBackend 是个不错的选择。

- RockDBStateBackend

需要集群中安装 RockDB,使用 RockDB 存储状态。RocksDB 是一个高效的嵌入式键值存储数据库,专为快速和低延迟存储而设计。所以如果需要更高的性能,可以使用这个状态后端。

相关推荐
2401_8712905828 分钟前
Spark处理过程-转换算子
大数据·分布式·spark
Betty_蹄蹄boo32 分钟前
运行Spark程序-在Spark-shell——RDD
大数据·分布式·spark
李恒-聆机智能专精数采1 小时前
从零开始了解数据采集(二十七)——什么IIOT平台
大数据·人工智能·云计算·制造·数据采集·数据可视化
Caron_xcb1 小时前
大数据——解决Matplotlib 字体不足问题(Linux\mac\windows)
大数据·linux·matplotlib
TracyCoder1231 小时前
ElasticSearch深入解析(十一):分页
大数据·elasticsearch·搜索引擎
旋风小飞棍1 小时前
如何在sheel中运行spark
大数据·开发语言·scala
爱吃香菜---www1 小时前
spark-cache模式
大数据·分布式·spark
依年南台1 小时前
Hadoop的目录结构和组成
大数据·hadoop·分布式
唐天下文化2 小时前
居然智家亮相全零售AI火花大会 AI大模型赋能家居新零售的进阶之路
大数据·人工智能·零售
gaosushexiangji2 小时前
应用探析|千眼狼PIV测量系统在职业病防治中的应用
大数据·人工智能·科技·数码相机