flink paimon 参数 ignore_progress=true

/*+ OPTIONS(

'scan.mode' = 'latest-full',

'consumer-id' = '${consumer_prefix}_brand_commodity',

'consumer.mode' = 'exactly-once',

'consumer.expiration-time' = '7 d',

'consumer.ignore-progress' = '${ignore_progress}'

) */

  • 带 Savepoint/Checkpoint 重启 :Flink 直接从状态里记录的 snapshot 精确续跑,同时 consumer-id 保住停机期间(7 天内)的 Paimon 快照不被过期清理;
  • 改 SQL 丢弃状态冷启动 :自动按 latest-full 重新把维表/近 60 天订单加载进 JOIN 状态后再转增量,防止 JOIN 状态为空;
  • 若后续某次迭代希望不带状态也强制从上次 consumer 位点硬续 :直接在变量配置中把 ignore_progress 改为 false 即可,无需改动 SQL。

官方文档

Consumer ID | Apache Paimon

Set consumer.ignore-progress = true when the consumer should protect the reader's required history but a fresh job should choose its startup position from scan options instead of the stored consumer position. For example, follow only new changes on a fresh start

翻译为中文:

当消费者需要保护读取器所需的历史数据,但一个新的作业应当根据扫描选项(scan options)来选择启动位置、而不是使用已存储的消费者位置(consumer position)时,将 consumer.ignore-progress 设置为 true。例如,在全新启动时只跟随新的变更。

consumer.ignore-progress =true

适用场景:新作业不想继承旧 consumer ID 下保存的消费进度,希望按扫描配置重新决定从哪里开始读。

作用:忽略已存储的 consumer progress / consumer position,不从上一次提交的消费位置继续读取

启动位置来源 :改为由 scan 选项决定,例如 scan.mode、scan.startup.mode 等启动模式配置。

参数和chk优先级

第一优先:Flink Checkpoint / Savepoint(状态恢复)

如果作业是从 Flink 状态恢复的,那么 scan.restore(nextSnapshotId) 会直接让扫描从状态中恢复的位置继续,待处理的 Split 和记录也会一并恢复。此时,Flink 状态拥有最高优先级 ,Consumer 位置和 scan.mode 都不会被使用。

第二优先:已存在的 Consumer 位置

如果作业不是 从 Flink 状态恢复,但配置了 consumer-id 且该 Consumer 已经存在 ,那么默认情况下,Consumer 记录的下一个快照位置会优先于 scan.mode 启动选项 ,作业会从该位置开始进行增量读取。这是 consumer-id 实现"Resume from breakpoint"(无需状态恢复即可续读)的核心机制。

Consumer 位置的例外:启用 consumer.ignore-progress = true

这是你问题的关键。当设置 'consumer.ignore-progress' = 'true' 时,第二优先的 Consumer 位置会被忽略 。作业会跳过已存储的 Consumer 进度,转而回退到第三优先 ,即根据 scan.mode 等启动选项来重新选择启动位置。

第三优先:scan.mode 启动选项

如果 Flink 状态不存在,Consumer 也不存在(或因为 ignore-progress 被忽略),系统最终会使用你配置的 scan.mode(如 latest-full、from-timestamp 等)来决定扫描的起点

相关推荐
QYRese5 小时前
电镀用光刻胶需求稳步上行!预计 2032 年全球规模 288 百万美元
大数据
绿算技术5 小时前
从单点性能到体系效能:存算网创新联合体启航
大数据·人工智能
航天智算6 小时前
300 万预算 国产信创遥感 AI 全自动处理生产线配置实战
大数据·人工智能·昇腾·国产算力·算力适配
qyr67896 小时前
全球卫星遥感服务市场前景研究与行业发展趋势
大数据·人工智能·卫星遥感服务
程序员果子6 小时前
Ontology
大数据·人工智能·智能体·ontology·本体
演艺大赏7 小时前
一条 SQL 慢了两周,最后查出两个根因:一个是 TCP 内存,一个是 4G 的 Metastore
大数据
也非非也8 小时前
iPhone 中国区 AI 落地:Apple 与阿里千问合作的技术观察
大数据·人工智能·ios·agent·iphone·智子
CC数分8 小时前
统计学基础|先把问题问对:数据分析的六大类型
大数据·人工智能·算法
Elastic 中国社区官方博客8 小时前
基于 Elasticsearch 与 Jina AI 的全模态智能搜索实践:技术全解析
大数据·人工智能·elasticsearch·搜索引擎·ai·信息可视化·jina