【大数据面试题】004 Flink状态后端是什么

一步一个脚印,一天一道大数据面试题。

在实时处理中,状态管理是十分常用的。比如监控某些数据是否一直快速增长。那就需要记录到之前的状态,数值。

那作为最热门的实时处理框架,Flink对状态管理是有一套的。那就是状态后端,拿来管理,储存 Flink 里状态的东西,默认是用 MemoryBackend。

Flink 默认有 3 个 Backend
- MemoryStateBackend

将状态存储在内存中。不设置的话,默认用的就是这种。很不稳定,如果程序中断停止,存在内存中的状态就会消失,重启不能正常恢复,处理状态。所有一般不推荐,只推荐自己测试时用。

- FsStateBackend

将状态存储在 FileSystem,如本地文件系统,或 HDFS 文件系统。写入到文件后,如果遇到程序中断停止,能够正常恢复。生产环境中, FsStateBackend 是个不错的选择。

- RockDBStateBackend

需要集群中安装 RockDB,使用 RockDB 存储状态。RocksDB 是一个高效的嵌入式键值存储数据库,专为快速和低延迟存储而设计。所以如果需要更高的性能,可以使用这个状态后端。

相关推荐
何升曜16 分钟前
Flink Slot 分配机制深度解析:从申请到部署的完整链路
flink
Sayai1 小时前
Elasticsearch 日志索引设计:按小时切分 + 小时内 Rollover 兜底(ILM 实战,附完整脚本)
大数据·elasticsearch·搜索引擎
天涯明月19932 小时前
ray深度研究报告
大数据·人工智能·分布式·ray
迪康coolmu3 小时前
企业文件外发防泄漏实践:从通道封堵到三层全链路管控
大数据·运维·网络·人工智能·安全·阿里云
数字融合11 小时前
透明化地铁线视频孪生综合监控项目技术
大数据·人工智能·virtualenv
东莞和裕包装13 小时前
高边压强度定制重型纸箱在汽车零部件堆叠运输中的不可替代性
大数据·汽车
JoyCong199813 小时前
ToDesk个人版、专业版、游戏版、设计版、性能版、团队版权益介绍
大数据·运维·游戏·远程工作·远程操作
Elastic 中国社区官方博客14 小时前
ES95:面向 Elasticsearch 时间序列指标的自适应压缩
大数据·运维·elasticsearch·搜索引擎·架构·全文检索
醉颜凉15 小时前
数据仓库实战:自动化数据质量检测全流程——精准提升数据准确性与完整性
大数据·数据仓库·自动化
xushichang123_15 小时前
营销广告预算优化与ROI提升场景,优选哪些云上大小模型部署策略?大模型推理协同小模型蒸馏的AWS分层路径
大数据·人工智能