Flink概念-状态一致性的三种级别

  1. 最多一次(At- Most - Once
  2. 至少一次(A t - Least - Once
  3. 精确一次(E xactly-Once

1.最多一次(At- Most - Once

不开启checkpoint,相当于数据只处理一次,不会检查数据是否丢失;

2.至少一次(A t - Least - Once

开启checkpoint,barrier对齐的至少一次,进行barrier对齐时,barrier后面的数据也会接着处理,存入到状态中,当发生故障恢复时候,越过barrier的数据会被重新读取,再进行一次计算,所以就会导致结果数据变大变多(重复计算);

3.精确一次(E xactly-Once )重点!!!

开启checkpoint,barrier对齐时,barrier后面的数据先不处理,等待barrier对齐完成,做完自身的状态数据备份,barrier后面的数据才能接着处理

相关推荐
ACP广源盛139246256734 小时前
IX6012 PCIe 交换芯片@ACP#RTX Spark 入门级 12 口存储外设扩展方案(对比 ASM1812)
大数据·人工智能·分布式·嵌入式硬件·gpt·spark·电脑
加速财经4 小时前
体育赛事如何与数字互动结合?世界杯期间用户参与模式的新尝试
大数据
雨辰AI5 小时前
从零搭建大模型本地运行环境|Python+CUDA 基础配置避坑大全
大数据·开发语言·人工智能·python·ai·ai编程·ai写作
乐迪信息5 小时前
乐迪信息:港口船舶偏航难监管,AI智能监测实时发出预警提醒
大数据·人工智能·安全·计算机视觉·目标跟踪
m0_719084115 小时前
es我的笔记
大数据·笔记·elasticsearch
他们叫我技术总监5 小时前
Kettle(PDI)连接TDengine数据库实战:一个有趣的小现象
大数据·数据库·tdengine
开开心心就好6 小时前
解决截图被拦截黑屏问题的免费小工具
安全·智能手机·flink·kafka·pdf·音视频·1024程序员节
番茄去哪了6 小时前
神领物流面试题(一)
java·大数据·中间件
qq_291579256 小时前
电商主图优化实战指南:AI工具如何提升点击率与转化率
大数据·人工智能·深度学习
黄焖鸡能干四碗6 小时前
软件系统概要设计说明书模版(Word)
大数据·运维·数据库·架构·需求分析