flink generic log-based incremental checkpoints 设计

背景

flink 在1.15版本后开始提供generic log-based incremental checkpoints的检查点方案,目的在于减少checkpoint的耗时,尽量缩短端到端的数据处理延迟,本文就来看下这种新类型的checkpoint的设计

generic log-based incremental checkpoints 设计

generic log-based incremental checkpoints的设计主要是参考事务数据库的设计方案,总体来说就是insert、update、delete操作先记录到事务日志文件中,然后应用到DB数据文件中,通过这样的设计,相当于每时每刻状态操作都已经持久化到了事务日志中,遇到checkpoint barrier的时候也是只要确保barrier之前的修改操作已经记录到事务日志中即可,这样的话,整个checkpoint操作就会非常快,当然缺点也是显而易见,包括双写会导致状态操作的时延增加,状态的大小空间占用庞大,crash崩溃后恢复耗时增加等

相关推荐
Dxy123931021640 分钟前
MySQL连表更新
数据库·mysql
对 酒 当 歌 人 生 几 何1 小时前
Mysql多表连接
数据库·sql·mysql
零日失眠者1 小时前
【Oracle入门到删库跑路-06】核心技能:存储过程和函数
数据库·oracle
LucidX1 小时前
Mysql 数据库部署
数据库·oracle
数据库学啊1 小时前
国产时序数据库哪个靠谱
数据库·时序数据库
尋有緣1 小时前
力扣2292-连续两年有3个及以上的订单产品
leetcode·oracle·数据库开发
网安老伯2 小时前
什么是网络安全?网络安全包括哪几个方面?学完能做一名黑客吗?
linux·数据库·python·web安全·网络安全·php·xss
瀚高PG实验室2 小时前
postgresql日期/时间数据类型中有无时区的差异使用
数据库·postgresql·瀚高数据库
Elastic 中国社区官方博客2 小时前
Elasticsearch 中的文档级基于属性的访问控制 - ABAC
大数据·数据库·elasticsearch·搜索引擎·全文检索
数据库学啊2 小时前
国产时序数据库供应商排名
数据库·时序数据库