Flink概念-状态一致性的三种级别

  1. 最多一次(At- Most - Once
  2. 至少一次(A t - Least - Once
  3. 精确一次(E xactly-Once

1.最多一次(At- Most - Once

不开启checkpoint,相当于数据只处理一次,不会检查数据是否丢失;

2.至少一次(A t - Least - Once

开启checkpoint,barrier对齐的至少一次,进行barrier对齐时,barrier后面的数据也会接着处理,存入到状态中,当发生故障恢复时候,越过barrier的数据会被重新读取,再进行一次计算,所以就会导致结果数据变大变多(重复计算);

3.精确一次(E xactly-Once )重点!!!

开启checkpoint,barrier对齐时,barrier后面的数据先不处理,等待barrier对齐完成,做完自身的状态数据备份,barrier后面的数据才能接着处理

相关推荐
Elastic 中国社区官方博客2 小时前
JavaScript 中的 ES|QL:利用 Apache Arrow 工具
大数据·开发语言·javascript·elasticsearch·搜索引擎·全文检索·apache
lifallen4 小时前
Flink task、Operator 和 UDF 之间的关系
java·大数据·flink
源码宝5 小时前
智慧工地云平台源码,基于微服务架构+Java+Spring Cloud +UniApp +MySql
java·大数据·源码·智慧工地·智能监测·智能施工
XiaoQiong.Zhang6 小时前
简历模板3——数据挖掘工程师5年经验
大数据·人工智能·机器学习·数据挖掘
Faith_xzc7 小时前
Apache Doris FE 问题排查与故障分析全景指南
大数据·数据仓库·apache·doris
潘小磊8 小时前
高频面试之6Hive
大数据·hive·面试·职场和发展
数据与人工智能律师10 小时前
当机床开始“思考”,传统“制造”到“智造”升级路上的法律暗礁
大数据·网络·算法·云计算·区块链
摘星编程10 小时前
华为云Flexus+DeepSeek征文 | 模型即服务(MaaS)安全攻防:企业级数据隔离方案
大数据·人工智能·安全·华为云·deepseek
木鱼时刻11 小时前
从大数据到大模型:我们是否在重蹈覆覆辙
大数据
liuze40812 小时前
VMware虚拟机集群上部署HDFS集群
大数据·hadoop·hdfs