Flink概念-状态一致性的三种级别

  1. 最多一次(At- Most - Once
  2. 至少一次(A t - Least - Once
  3. 精确一次(E xactly-Once

1.最多一次(At- Most - Once

不开启checkpoint,相当于数据只处理一次,不会检查数据是否丢失;

2.至少一次(A t - Least - Once

开启checkpoint,barrier对齐的至少一次,进行barrier对齐时,barrier后面的数据也会接着处理,存入到状态中,当发生故障恢复时候,越过barrier的数据会被重新读取,再进行一次计算,所以就会导致结果数据变大变多(重复计算);

3.精确一次(E xactly-Once )重点!!!

开启checkpoint,barrier对齐时,barrier后面的数据先不处理,等待barrier对齐完成,做完自身的状态数据备份,barrier后面的数据才能接着处理

相关推荐
Pluto_CSND21 分钟前
hbase shell的常用命令
大数据·数据库·hbase
API_technology34 分钟前
阿里巴巴 1688 数据接口开发指南:构建自动化商品详情采集系统
大数据·运维·数据挖掘·自动化
菠萝崽.2 小时前
Elasticsearch进阶篇-DSL
大数据·分布式·elasticsearch·搜索引擎·全文检索·jenkins·springboot
L耀早睡3 小时前
Spark缓存
大数据·数据库·spark
461K.3 小时前
写spark程序数据计算( 数据库的计算,求和,汇总之类的)连接mysql数据库,写入计算结果
大数据·分布式·spark
caihuayuan44 小时前
鸿蒙AI开发:10-多模态大模型与原子化服务的集成
java·大数据·sql·spring·课程设计
Musennn4 小时前
MySQL多条件查询深度解析
大数据·数据库·mysql
递归尽头是星辰4 小时前
大数据场景下数据导出的架构演进与EasyExcel实战方案
大数据·系统架构·easyexcel·大数据导出·导出优化
Hello World......6 小时前
Java求职面试揭秘:从Spring到微服务的技术挑战
大数据·hadoop·spring boot·微服务·spark·java面试·互联网大厂
数据与人工智能律师12 小时前
虚拟主播肖像权保护,数字时代的法律博弈
大数据·网络·人工智能·算法·区块链