9、Flink 流式概念之状态化更新与演化详解

表程序在流模式下执行将被视为标准查询,即它们被定义一次后将被一直视为静态的端到端 (end-to-end) 管道。

对于这种状态化的管道,对查询和Flink的Planner的改动都有可能导致完全不同的执行计划,这让表程序的状态化的升级和演化在目前而言仍具有挑战,社区正致力于改进这一缺点。

例如为了添加过滤谓词,优化器可能决定重排 join 或改变内部算子的 schema,这会阻碍从 savepoint 的恢复,因为其被改变的拓扑和 算子状态的列布局差异。

查询实现者需要确保改变在优化计划前后是兼容的,在 SQL 中使用 EXPLAIN 或在 Table API 中使用 table.explain() 可获取详情。

由于新的优化器规则正不断地被添加,算子变得更加高效和专用,升级到更新的 Flink 版本可能造成不兼容的计划。

当前框架无法保证状态可以从 savepoint 映射到新的算子拓扑上,Savepoint 只在查询语句和版本保持恒定的情况下被支持。

相关推荐
AI职业加油站1 分钟前
数据要素时代:大数据治理工程师证书深度解码
大数据·开发语言·人工智能·python·数据分析
运维行者_40 分钟前
通过 OpManager 集成 Firewall Analyzer 插件,释放统一网络管理与安全的强大能力
大数据·运维·服务器·网络·数据库·安全
千匠网络1 小时前
2026 AI 应用峰会启幕,共拓企业智能增长新未来
大数据·人工智能
智慧化智能化数字化方案1 小时前
财务数字化——解读IBM-财经数字化转型规划【附全文阅读】
大数据·人工智能
ApacheSeaTunnel1 小时前
祝贺 Apache SeaTunnel PMC 新成员张圣航!
大数据·开源·数据集成·seatunnel·技术分享
RD_daoyi2 小时前
谷歌SEO新手入门:以SEO为主、GEO为辅,精准打造高转化内容与用户人群
大数据·人工智能·爬虫·搜索引擎
TDengine (老段)2 小时前
TDengine IDMP 工业数据建模 —— 元素与数据查询
大数据·数据库·人工智能·物联网·时序数据库·tdengine·涛思数据
AI营销先锋2 小时前
AI营销SaaS榜单评测:原圈科技如何助力品牌客户破局增长?
大数据·人工智能
第二只羽毛2 小时前
第六章 图
大数据·数据结构·算法·深度优先·图论·广度优先·宽度优先