【大数据面试题】004 Flink状态后端是什么

一步一个脚印,一天一道大数据面试题。

在实时处理中,状态管理是十分常用的。比如监控某些数据是否一直快速增长。那就需要记录到之前的状态,数值。

那作为最热门的实时处理框架,Flink对状态管理是有一套的。那就是状态后端,拿来管理,储存 Flink 里状态的东西,默认是用 MemoryBackend。

Flink 默认有 3 个 Backend
- MemoryStateBackend

将状态存储在内存中。不设置的话,默认用的就是这种。很不稳定,如果程序中断停止,存在内存中的状态就会消失,重启不能正常恢复,处理状态。所有一般不推荐,只推荐自己测试时用。

- FsStateBackend

将状态存储在 FileSystem,如本地文件系统,或 HDFS 文件系统。写入到文件后,如果遇到程序中断停止,能够正常恢复。生产环境中, FsStateBackend 是个不错的选择。

- RockDBStateBackend

需要集群中安装 RockDB,使用 RockDB 存储状态。RocksDB 是一个高效的嵌入式键值存储数据库,专为快速和低延迟存储而设计。所以如果需要更高的性能,可以使用这个状态后端。

相关推荐
码农小白AI几秒前
AI报告审核赋能质量安全:IACheck助力机体结构检测报告精准合规
大数据·人工智能
沉睡的无敌雄狮2 分钟前
跨平台AI运营繁琐?矩阵跃动小陌GEO多端同步技术,解放技术运营双手
大数据·人工智能
Elastic 中国社区官方博客4 分钟前
Serverless 中用于负载均衡的 Elasticsearch 副本
大数据·运维·人工智能·elasticsearch·搜索引擎·云原生·serverless
D愿你归来仍是少年5 分钟前
Apache Flink 中的 RocksDB 大状态存储 深度解析
大数据·flink
hf20001211 分钟前
当千亿数据遇上增量计算:拆解云器科技与快手的技术共创——从快手GIC实践,看新一代数据处理范式的真实落地
大数据·人工智能·科技
RoboWizard13 小时前
本地AI主机批量部署 高效存储支撑全场景配置
大数据·人工智能
dingzd9513 小时前
产品同质化严重如何用材质升级做出溢价空间
大数据·人工智能·跨境电商·内容营销
@PHARAOH13 小时前
WHAT - AI 时代下的候选人
大数据·前端·人工智能
Data-Miner13 小时前
50页精品PPT | 数据安全运营体系建设方案
大数据·数据分析
weixin_4361824214 小时前
PLC 与 DCS 国产化报告获取:工控产业情报查找指南
大数据·人工智能·国产plc