flink有状态计算中状态的分类

在 Apache Flink 的状态计算中,状态主要分为以下两类:

1. Keyed State

  • 定义:与特定键(Key)关联的状态,每个键独立维护其状态数据。
  • 特点
    • 作用域为当前键,不同键的状态互不影响。
    • 仅能在 KeyedStream 的函数(如 map()flatMap())中访问。
  • 存储结构
    • ValueState<T>:存储单值,例如: \\text{计数器}
    • ListState<T>:存储列表,例如: \\text{窗口内事件列表}
    • MapState<K, V>:存储键值对,例如: \\text{用户行为映射表}
    • ReducingState<T>:聚合状态(已弃用,推荐用 AggregatingState

2. Operator State

  • 定义:与算子实例(Operator Instance)绑定的状态,不依赖数据键。
  • 特点
    • 作用域为整个算子,所有输入数据共享同一状态。
    • 可在非 KeyedStream 的算子(如 SourceSink)中使用。
  • 存储结构
    • ListState<T>:用于存储列表形式的状态(如 Kafka 偏移量)。
    • BroadcastState<K, V>:用于广播状态至下游所有并行实例。

核心区别

特性 Keyed State Operator State
作用域 按键分区 算子实例级
访问限制 仅限相同键的数据 所有输入数据均可访问
典型应用 窗口聚合、状态机(如 CEP) 全局配置、源/接收器状态

状态作用域示意图

\\begin{array}{c\|c} \\text{Keyed State} \& \\text{Operator State} \\ \\hline \\begin{array}{c} \\text{Key=1} \\ \\downarrow \\ \\text{State A} \\ \\end{array} \& \\begin{array}{c} \\text{Operator} \\ \\downarrow \\ \\text{Global State} \\ \\end{array} \\ \\begin{array}{c} \\text{Key=2} \\ \\downarrow \\ \\text{State B} \\ \\end{array} \& \\end{array}

最佳实践

  • Keyed State:适用于需要分区隔离的场景(如用户会话分析)。
  • Operator State:适用于全局状态管理(如动态规则更新)。

通过合理选择状态类型,可优化资源利用并保障计算一致性。

相关推荐
TTBIGDATA3 小时前
【Ambari Plus】14.Hue 安装
大数据·hadoop·ambari·hdp·hue·cdh·bigtop
AI创界者4 小时前
零基础上手!ComfyUI + LTX-2.3 图生视频完整工作流搭建与调优指南(附避坑细节)
大数据·人工智能
有Li4 小时前
基于扩散模型的超声计算机断层成像实现肌肉骨骼组织高保真三维重建文献速递/基于多模态的医学影像分割与理解
大数据·深度学习·文献·医学生
weishuangyun1235 小时前
2026小程序开发全流程:从平台选择到功能定制的完整白皮书
大数据
记忆停留w5 小时前
从单体到微服务:Redis 协同 MySQL、Milvus、MinIO 搭建企业级RAG/AI Agent脚手架架构
大数据·人工智能·redis·微服务·ai·架构·milvus
亿信华辰软件7 小时前
数据资产入表,数据治理厂商能做什么
大数据·数据资产·数据资产入表
小顿的企业观察8 小时前
中企出海战略规划,正在从“走出去”转向“走进去”
大数据·运维·人工智能·产品运营·制造
AllData公司负责人8 小时前
数据库同步平台|AIIData数据中台实现OceanBase、达梦数据库、OpenGauss、人大金仓、Hive、TDengine 一键接入Doris
大数据·数据库·hive·mysql·oceanbase·tdengine
stonewl25998 小时前
2026年PDF标签打印的低成本误区
大数据·人工智能
IvorySQL9 小时前
从双解析器到循环工程:IvorySQL 五年技术演进路线的深度观察
大数据·数据库·人工智能·postgresql·开源