Flink概念-状态一致性的三种级别

  1. 最多一次(At- Most - Once
  2. 至少一次(A t - Least - Once
  3. 精确一次(E xactly-Once

1.最多一次(At- Most - Once

不开启checkpoint,相当于数据只处理一次,不会检查数据是否丢失;

2.至少一次(A t - Least - Once

开启checkpoint,barrier对齐的至少一次,进行barrier对齐时,barrier后面的数据也会接着处理,存入到状态中,当发生故障恢复时候,越过barrier的数据会被重新读取,再进行一次计算,所以就会导致结果数据变大变多(重复计算);

3.精确一次(E xactly-Once )重点!!!

开启checkpoint,barrier对齐时,barrier后面的数据先不处理,等待barrier对齐完成,做完自身的状态数据备份,barrier后面的数据才能接着处理

相关推荐
abcy0712134 小时前
flink datastream调用8种分区策略实例
flink
龙孚信息4 小时前
DXP进化论 贰-品牌出海深水区,你的数字体验基础设施跟上了吗?
大数据
kirs_ur5 小时前
SSD 在 AI 训练中的角色
大数据·服务器·人工智能
AI探索先锋6 小时前
AMD 2nm 芯片炸裂、欧洲首家人形机器人独角兽诞生、AI Agent 互联标准打响:10 条信号看懂产业变局|今日科技 AI 机器人快讯
大数据·人工智能·深度学习·搜索引擎·机器人
zzzll11116 小时前
字节 Agent 三面:讲讲 Agent 的记忆系统怎么设计?
大数据
聚焦前沿6 小时前
涡街流量计用户如何判断厂家是否靠谱
大数据·人工智能
莫名的好感°8 小时前
国内AI视频工具哪家强?FusionAI聚合即梦Seedance、可灵Kling、HappyHorse、Google Veo,一个平台看懂所有选择
大数据·人工智能
咖啡星人k9 小时前
企业内网引入 AI 编程:MonkeyCode 私有化部署思路
大数据·人工智能·私有化部署·monkeycode
oort12310 小时前
吃上了自家的细糠,还挺丝滑,用起来手感还行,OortCloud发布新版AI编程平台,下载 OortCodex,Token多,免费薅
大数据·开发语言·人工智能·ai编程