Flink中关于checkpoint、重启策略、状态、维表join总结

(1)state状态是指可以存储计算的历史数据;

(2)像我们比较常用的状态有valueState、ListState、MapState

定义:像checkPoint检查点在很多技术栈中都用到过,其实它们的原理都是差不多的;

比如spark中的checkPoint检查点就是将rdd存储在像hdfs这种的存储系统中,防止persist缓存丢失,需要重新构建RDD;

而flink中的checkPoint检查点就相当于虚拟机的快照,可以在系统出现问题等情况时,恢复内存中的计算结果;

如何设置:可以直接在代码中设置enableCheckPoint每隔多长时间自动保存一次快照,也可以通过在命令中手动设置sava Point。

(1)重启策略就是当数据出现异常时,系统会通过重启从而保证后续程序的正常运行,防止数据丢失;

(2)重启策略可以通过设置checkPoint实现系统自动且无限循环式重启,也可以通过手动设置实现指定次数的重启。

4、什么是维表 join,如何实现

定义:维表join就是将进入flink的数据与一些外部存储设备上的数据(维表)进行关联;

实现方法:

(1)可以通过预加热维表的方式实现,就是把维表数据加载到内存中,然后与流中数据进行join,这种方式虽然实现起来简单,但是由于其数据是存储在内存中的,所以值适合小数据量和表中数据更新频率不高的情况;

(2)也可以通过热存储维表的方式实现,就是将一部分经常访问的维表数据存储在cache缓存中,从而减轻访问压力;

5、flinksql 如何读取 kafka 或者 mysql 的数据。

在读取kafka或者mysql中的数据之前需要先配置相关依赖,然后通过一些参数设置创建执行环境以及表环境,从而实现数据的读取以及各种查询操作。

相关推荐
中科岩创1 小时前
广东某海水取排水管线工程边坡自动化监测
大数据·物联网
AI量化投资实验室2 小时前
deap系统重构,再新增一个新的因子,年化39.1%,卡玛提升至2.76(附python代码)
大数据·人工智能·重构
SelectDB2 小时前
Apache Doris 2.1.8 版本正式发布
大数据·数据库·数据分析
TMT星球3 小时前
生数科技携手央视新闻《文博日历》,推动AI视频技术的创新应用
大数据·人工智能·科技
Dipeak数巅科技4 小时前
数巅科技连续中标大模型项目 持续助力央国企数智化升级
大数据·人工智能·数据分析
Ray.19984 小时前
Flink 的核心特点和概念
大数据·数据仓库·数据分析·flink
极客先躯5 小时前
如何提升flink的处理速度?
大数据·flink·提高处理速度
BestandW1shEs5 小时前
快速入门Flink
java·大数据·flink
速融云7 小时前
汽车制造行业案例 | 发动机在制造品管理全解析(附解决方案模板)
大数据·人工智能·自动化·汽车·制造
金融OG7 小时前
99.11 金融难点通俗解释:净资产收益率(ROE)VS投资资本回报率(ROIC)VS总资产收益率(ROA)
大数据·python·算法·机器学习·金融