flink generic log-based incremental checkpoints 设计

背景

flink 在1.15版本后开始提供generic log-based incremental checkpoints的检查点方案,目的在于减少checkpoint的耗时,尽量缩短端到端的数据处理延迟,本文就来看下这种新类型的checkpoint的设计

generic log-based incremental checkpoints 设计

generic log-based incremental checkpoints的设计主要是参考事务数据库的设计方案,总体来说就是insert、update、delete操作先记录到事务日志文件中,然后应用到DB数据文件中,通过这样的设计,相当于每时每刻状态操作都已经持久化到了事务日志中,遇到checkpoint barrier的时候也是只要确保barrier之前的修改操作已经记录到事务日志中即可,这样的话,整个checkpoint操作就会非常快,当然缺点也是显而易见,包括双写会导致状态操作的时延增加,状态的大小空间占用庞大,crash崩溃后恢复耗时增加等

相关推荐
herinspace4 分钟前
管家婆网店ERP如何录入成本调价单
服务器·数据库·oracle·智能手机·电脑
短剑重铸之日6 分钟前
7天读懂MySQL|Day 1: MySQL 架构全景
数据库·mysql·架构
醉风塘18 分钟前
MongoDB高级查询全攻略:使用MongoTemplate实现分组、排序、分页与连表查询
数据库·mongodb
TG:@yunlaoda360 云老大29 分钟前
如何确保华为云国际站代理商的服务可用性?
数据库·人工智能·华为云
又是忙碌的一天1 小时前
Myvatis 动态查询及关联查询
java·数据库·mybatis
java1234_小锋1 小时前
Redis是单线程还是多线程?
数据库·redis·缓存
若尘啊若辰1 小时前
安全通用要求之十安全运维管理
网络·数据库·网络安全·等保·等级保护·安全通用要求
云和恩墨1 小时前
数智聚力,开源破局!openGauss Summit 2025见证数据库产业革新,云和恩墨深耕生态载誉而归
数据库·开源
酸菜牛肉汤面1 小时前
12、数据库为什么使用B+树而不是B树
数据结构·数据库·b树
l1t1 小时前
PostgreSQL Distinct On 关键字的用法
数据库·sql·postgresql