flink generic log-based incremental checkpoints 设计

背景

flink 在1.15版本后开始提供generic log-based incremental checkpoints的检查点方案,目的在于减少checkpoint的耗时,尽量缩短端到端的数据处理延迟,本文就来看下这种新类型的checkpoint的设计

generic log-based incremental checkpoints 设计

generic log-based incremental checkpoints的设计主要是参考事务数据库的设计方案,总体来说就是insert、update、delete操作先记录到事务日志文件中,然后应用到DB数据文件中,通过这样的设计,相当于每时每刻状态操作都已经持久化到了事务日志中,遇到checkpoint barrier的时候也是只要确保barrier之前的修改操作已经记录到事务日志中即可,这样的话,整个checkpoint操作就会非常快,当然缺点也是显而易见,包括双写会导致状态操作的时延增加,状态的大小空间占用庞大,crash崩溃后恢复耗时增加等

相关推荐
nbwenren1 分钟前
MySQL数据库误删恢复_mysql 数据 误删
数据库·mysql·adb
Rick199315 分钟前
sql慢查询优化
数据库
IT邦德31 分钟前
OGG 26ai实时同步Oracle
数据库·oracle
苍煜35 分钟前
SpringBoot Spring事务完整版详解:@Transactional注解实操 + 七大事务传播机制用法
spring boot·spring·oracle
Python大数据分析@36 分钟前
有哪些好用又免费的SQL工具?
数据库·sql
哥本哈士奇39 分钟前
SQL Server RAG 笔记1:图数据库构建
数据库
带鱼吃猫40 分钟前
从原子性到串行化:数据库事务全解
数据库·mysql
网络工程小王42 分钟前
[RAG 与文本向量化详解]RAG篇
数据库·人工智能·redis·机器学习
秋943 分钟前
MySQL 8.4.9 LTS 与 MySQL 9.7.0 LTS 全方位深度对比
数据库·mysql
ffqws_1 小时前
Spring Boot 配置读取全解析:从 application.yml 到 Java 对象的完整链路
java·数据库·spring boot