flink generic log-based incremental checkpoints 设计

背景

flink 在1.15版本后开始提供generic log-based incremental checkpoints的检查点方案,目的在于减少checkpoint的耗时,尽量缩短端到端的数据处理延迟,本文就来看下这种新类型的checkpoint的设计

generic log-based incremental checkpoints 设计

generic log-based incremental checkpoints的设计主要是参考事务数据库的设计方案,总体来说就是insert、update、delete操作先记录到事务日志文件中,然后应用到DB数据文件中,通过这样的设计,相当于每时每刻状态操作都已经持久化到了事务日志中,遇到checkpoint barrier的时候也是只要确保barrier之前的修改操作已经记录到事务日志中即可,这样的话,整个checkpoint操作就会非常快,当然缺点也是显而易见,包括双写会导致状态操作的时延增加,状态的大小空间占用庞大,crash崩溃后恢复耗时增加等

相关推荐
21号 130 分钟前
4.客户端(Redis)
开发语言·数据库·github
云和数据.ChenGuang36 分钟前
MongoDB 提供的 `GridFSTemplate` 操作 GridFS 大文件系统的常用查询方式
数据库·mongodb
一只自律的鸡2 小时前
【MySQL】第四章 排序和分页
数据库·mysql
想ai抽2 小时前
Flink重启策略有啥用
大数据·flink
qq_203769492 小时前
debian13安装PostgreSQL并远程连接
数据库·postgresql
苏小瀚2 小时前
[MySQL] 联合查询
数据库·mysql
雪碧聊技术2 小时前
Linux命令过关挑战
linux·运维·数据库
oak隔壁找我2 小时前
SpringBoot + MyBatis 配置详解
java·数据库·后端
oak隔壁找我2 小时前
SpringBoot + Redis 配置详解
java·数据库·后端
帧栈3 小时前
开发避坑指南(64):修复IllegalArgumentException:参数值类型与期望类型不匹配
java·数据库