【大数据面试题】004 Flink状态后端是什么

一步一个脚印,一天一道大数据面试题。

在实时处理中,状态管理是十分常用的。比如监控某些数据是否一直快速增长。那就需要记录到之前的状态,数值。

那作为最热门的实时处理框架,Flink对状态管理是有一套的。那就是状态后端,拿来管理,储存 Flink 里状态的东西,默认是用 MemoryBackend。

Flink 默认有 3 个 Backend
- MemoryStateBackend

将状态存储在内存中。不设置的话,默认用的就是这种。很不稳定,如果程序中断停止,存在内存中的状态就会消失,重启不能正常恢复,处理状态。所有一般不推荐,只推荐自己测试时用。

- FsStateBackend

将状态存储在 FileSystem,如本地文件系统,或 HDFS 文件系统。写入到文件后,如果遇到程序中断停止,能够正常恢复。生产环境中, FsStateBackend 是个不错的选择。

- RockDBStateBackend

需要集群中安装 RockDB,使用 RockDB 存储状态。RocksDB 是一个高效的嵌入式键值存储数据库,专为快速和低延迟存储而设计。所以如果需要更高的性能,可以使用这个状态后端。

相关推荐
长三角智造观察2 小时前
中小制造ERP+MES选型避坑:对接集成VS原生一体化,深度对比TCO与落地痛点
大数据·人工智能·制造
Elastic 中国社区官方博客9 小时前
将你自己的密钥用于现有 Elastic Cloud 部署
大数据·数据库·elasticsearch·全文检索
红海云10 小时前
Jev:给智能系统做判断的模型
大数据·数据库·人工智能
计算机毕业编程指导师10 小时前
计算机毕设选题推荐:基于Hadoop与Spark的Steam游戏数据分析系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习 深度学习
大数据·hadoop·python·计算机·spark·毕业设计·steam游戏
计算机毕业编程指导师10 小时前
【计算机毕设选题推荐】基于Hadoop+Spark的白鹿抖音评论大数据分析与可视化系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习 深度学习
大数据·hadoop·python·计算机·spark·毕业设计·抖音评论
geovindu11 小时前
sql: JSON and XML Data Handling in SQL using sql server 2025
大数据·数据库·sqlserver·数据库开发·数据库架构
samLi062012 小时前
【数据集】A股上市公司beta贝塔系数数据(2010-2024年)
大数据
xianghongtao011613 小时前
麦肯锡2026技术趋势03_科学发现与工程AI_研究解读
大数据·人工智能
成长之路51415 小时前
【数据集】中国分行业进出口数据(2019-2026年)
大数据