Flink中关于checkpoint、重启策略、状态、维表join总结

(1)state状态是指可以存储计算的历史数据;

(2)像我们比较常用的状态有valueState、ListState、MapState

定义:像checkPoint检查点在很多技术栈中都用到过,其实它们的原理都是差不多的;

比如spark中的checkPoint检查点就是将rdd存储在像hdfs这种的存储系统中,防止persist缓存丢失,需要重新构建RDD;

而flink中的checkPoint检查点就相当于虚拟机的快照,可以在系统出现问题等情况时,恢复内存中的计算结果;

如何设置:可以直接在代码中设置enableCheckPoint每隔多长时间自动保存一次快照,也可以通过在命令中手动设置sava Point。

(1)重启策略就是当数据出现异常时,系统会通过重启从而保证后续程序的正常运行,防止数据丢失;

(2)重启策略可以通过设置checkPoint实现系统自动且无限循环式重启,也可以通过手动设置实现指定次数的重启。

4、什么是维表 join,如何实现

定义:维表join就是将进入flink的数据与一些外部存储设备上的数据(维表)进行关联;

实现方法:

(1)可以通过预加热维表的方式实现,就是把维表数据加载到内存中,然后与流中数据进行join,这种方式虽然实现起来简单,但是由于其数据是存储在内存中的,所以值适合小数据量和表中数据更新频率不高的情况;

(2)也可以通过热存储维表的方式实现,就是将一部分经常访问的维表数据存储在cache缓存中,从而减轻访问压力;

5、flinksql 如何读取 kafka 或者 mysql 的数据。

在读取kafka或者mysql中的数据之前需要先配置相关依赖,然后通过一些参数设置创建执行环境以及表环境,从而实现数据的读取以及各种查询操作。

相关推荐
写代码的【黑咖啡】6 分钟前
大数据环境下如何维护模型文档:策略与实践
大数据
焦糖玛奇朵婷9 分钟前
扭蛋机小程序:线上扭蛋机模式发展新形势[特殊字符]
大数据·数据库·程序人生·小程序·软件需求
番茄撒旦在上17 分钟前
什么样的表适合做拉链表
大数据·数据仓库·hive
Elastic 中国社区官方博客34 分钟前
在 Kibana 中可视化你的 Bosch Smart Home 数据
大数据·运维·elasticsearch·搜索引擎·信息可视化·全文检索·kibana
云老大TG:@yunlaoda36044 分钟前
如何使用华为云国际站代理商的FunctionGraph进行事件驱动的应用开发?
大数据·数据库·华为云·云计算
yiersansiwu123d1 小时前
生成式AI重构内容生态,人机协同定义创作新范式
大数据·人工智能·重构
老蒋新思维1 小时前
创客匠人:从个人IP到知识变现,如何构建可持续的内容生态?
大数据·网络·人工智能·网络协议·tcp/ip·创客匠人·知识变现
Sui_Network1 小时前
Mysten Labs 与不丹王国政府的创新与技术部携手探索离线区块链
大数据·人工智能·web3·去中心化·区块链
互联科技报1 小时前
GEO优化工具、AI搜索引擎优化软件平台实测报告:四大平台深度体验与选型指南
大数据·人工智能·搜索引擎
递归尽头是星辰2 小时前
AI 驱动的报表系统:从传统到智能的落地与演进
大数据·人工智能·大模型应用·spring ai·ai 报表·报表智能化