9、Flink 流式概念之状态化更新与演化详解

表程序在流模式下执行将被视为标准查询,即它们被定义一次后将被一直视为静态的端到端 (end-to-end) 管道。

对于这种状态化的管道,对查询和Flink的Planner的改动都有可能导致完全不同的执行计划,这让表程序的状态化的升级和演化在目前而言仍具有挑战,社区正致力于改进这一缺点。

例如为了添加过滤谓词,优化器可能决定重排 join 或改变内部算子的 schema,这会阻碍从 savepoint 的恢复,因为其被改变的拓扑和 算子状态的列布局差异。

查询实现者需要确保改变在优化计划前后是兼容的,在 SQL 中使用 EXPLAIN 或在 Table API 中使用 table.explain() 可获取详情。

由于新的优化器规则正不断地被添加,算子变得更加高效和专用,升级到更新的 Flink 版本可能造成不兼容的计划。

当前框架无法保证状态可以从 savepoint 映射到新的算子拓扑上,Savepoint 只在查询语句和版本保持恒定的情况下被支持。

相关推荐
智购科技自动贩卖机40 分钟前
自动售货机嵌入式系统Go语言开发实践:从资源受限设备到RTOS协程调度的工程化之路
大数据·linux·数据库·人工智能·yolo·架构·golang
SelectDB1 小时前
2026 年 Apache Doris 和 StarRocks 怎么选?一篇更接近真实选型的对比
大数据·数据库·数据分析
ZhiMuZhiLing1 小时前
企业获客软件免安装能力横评:网页端和小程序端实测数据
大数据·小程序·流量运营·用户运营
智圣新创011 小时前
存量数字化校园效能升级:智圣新创数据治理及一表通平台实现填报减负与数据价值双升
大数据·人工智能·物联网
sdzhyt2 小时前
从劳动仲裁看智能体如何真正走进政务一线?
大数据·人工智能
Hive_MOM2 小时前
制造企业出货检验(OQC)与交付管理数字化:把好出厂的最后一道关
大数据·人工智能·制造
Michael阿明2 小时前
Strip Plot vs Swarm Plot:看清每一个数据点
大数据·数据绘图
yyxx4121232 小时前
钉钉专属版一年多少钱?2026最新价格
大数据·人工智能·物联网
Kari112 小时前
AgentOps 七大闭环 vs 传统 Agent 开发:腾讯云 ADP CSP 授权服务商 JOTO 解析生产级落地的本质差异
大数据·人工智能·腾讯云
醉颜凉2 小时前
Elasticsearch 深度原理:在保证数据一致性的前提下,如何安全更新倒排索引?
大数据·elasticsearch·搜索引擎