flink generic log-based incremental checkpoints 设计

背景

flink 在1.15版本后开始提供generic log-based incremental checkpoints的检查点方案,目的在于减少checkpoint的耗时,尽量缩短端到端的数据处理延迟,本文就来看下这种新类型的checkpoint的设计

generic log-based incremental checkpoints 设计

generic log-based incremental checkpoints的设计主要是参考事务数据库的设计方案,总体来说就是insert、update、delete操作先记录到事务日志文件中,然后应用到DB数据文件中,通过这样的设计,相当于每时每刻状态操作都已经持久化到了事务日志中,遇到checkpoint barrier的时候也是只要确保barrier之前的修改操作已经记录到事务日志中即可,这样的话,整个checkpoint操作就会非常快,当然缺点也是显而易见,包括双写会导致状态操作的时延增加,状态的大小空间占用庞大,crash崩溃后恢复耗时增加等

相关推荐
玄尺_00718 小时前
bug:uniCloud报Business Failed, 参数有误retry invoke error
数据库·bug
@CLoudbays_Martin1118 小时前
CDN是否能有效检测并且同时防御Ddos 和 CC 攻击?
java·服务器·网络·数据库·git·数据库开发·时序数据库
爱喝水的鱼丶18 小时前
SAP-MM:SAP采购组织全面学习指南:从概念到实战配置图解
运维·开发语言·数据库·学习·sap·mm模块·采购组织
深鱼~19 小时前
DbGate数据库管理新方案:cpolar打造跨平台远程访问通道
数据库
WAWA战士19 小时前
mysql总结
数据库
熊思宇19 小时前
Sqlite“无法加载 DLL“e_sqlite3”: 找不到指定的模块”解决方法
数据库·sqlite
往事随风去19 小时前
面试官:mysql从数据库断开一段时间后,部分binlog已丢失,如何重建主从?
运维·数据库·mysql
J.Kuchiki19 小时前
【PostgreSQL内核学习 —— (SeqScan算子)】
数据库·postgresql
酷酷的崽79820 小时前
Redis 键(Key)的命令
数据库·redis·缓存
1892280486120 小时前
NW622NW623美光固态闪存NW624NW635
大数据·网络·数据库·人工智能·microsoft·性能优化