Flink中关于checkpoint、重启策略、状态、维表join总结

(1)state状态是指可以存储计算的历史数据;

(2)像我们比较常用的状态有valueState、ListState、MapState

定义:像checkPoint检查点在很多技术栈中都用到过,其实它们的原理都是差不多的;

比如spark中的checkPoint检查点就是将rdd存储在像hdfs这种的存储系统中,防止persist缓存丢失,需要重新构建RDD;

而flink中的checkPoint检查点就相当于虚拟机的快照,可以在系统出现问题等情况时,恢复内存中的计算结果;

如何设置:可以直接在代码中设置enableCheckPoint每隔多长时间自动保存一次快照,也可以通过在命令中手动设置sava Point。

(1)重启策略就是当数据出现异常时,系统会通过重启从而保证后续程序的正常运行,防止数据丢失;

(2)重启策略可以通过设置checkPoint实现系统自动且无限循环式重启,也可以通过手动设置实现指定次数的重启。

4、什么是维表 join,如何实现

定义:维表join就是将进入flink的数据与一些外部存储设备上的数据(维表)进行关联;

实现方法:

(1)可以通过预加热维表的方式实现,就是把维表数据加载到内存中,然后与流中数据进行join,这种方式虽然实现起来简单,但是由于其数据是存储在内存中的,所以值适合小数据量和表中数据更新频率不高的情况;

(2)也可以通过热存储维表的方式实现,就是将一部分经常访问的维表数据存储在cache缓存中,从而减轻访问压力;

5、flinksql 如何读取 kafka 或者 mysql 的数据。

在读取kafka或者mysql中的数据之前需要先配置相关依赖,然后通过一些参数设置创建执行环境以及表环境,从而实现数据的读取以及各种查询操作。

相关推荐
penngo3 分钟前
FlowLoom:基于 Apache Spark 的可视化数据处理平台
大数据·spark·apache
码农天天5 分钟前
轻人力运营实践:中小企业如何通过AI智能体矩阵实现组织重构?
大数据·人工智能·时序数据库
cd_949217216 分钟前
水处理市场升级,台州海德能环保科技凭技术创新与服务并重脱颖而出
大数据·运维·科技
Irene199115 分钟前
Flume 中的 Agent(JVM进程)= Source(数据读取) + Channel(数据缓冲) + Sink(数据写入)
大数据·flume
升鲜宝供应链及收银系统源代码服务20 分钟前
升鲜宝 AI 报表原型与接口设计报表模板、交互原型、数据接口与集成规范(一)---升鲜宝生鲜配送供应链管理系统源代码服务
大数据·人工智能·生鲜供应链源代码·供应链源代码出售·生鲜配送源代码服务·门店连锁系统源代码·猪肉生产加工系统源代码
2601_9599862428 分钟前
从移动端看MMarkets(评测类)值得关注吗?
大数据·人工智能
段一凡-华北理工大学32 分钟前
工业领域的Hadoop架构学习~系列文章02:HDFS架构深度剖析
大数据·人工智能·hadoop·学习·架构·高炉炼铁
humors22133 分钟前
Windows运维与安全场景合集(不定期更新)
大数据·运维·服务器·程序人生·网络安全
SAP上海工博云署33 分钟前
2026年中小企业SAP服务商选型技术解析
大数据·运维·数据库·人工智能·信息可视化·运维开发·信息与通信
2601_9499369636 分钟前
2026电商运营个人能力提升计划进阶指南
大数据·人工智能