flink有状态计算中状态的分类

在 Apache Flink 的状态计算中,状态主要分为以下两类:

1. Keyed State

  • 定义:与特定键(Key)关联的状态,每个键独立维护其状态数据。
  • 特点
    • 作用域为当前键,不同键的状态互不影响。
    • 仅能在 KeyedStream 的函数(如 map()flatMap())中访问。
  • 存储结构
    • ValueState<T>:存储单值,例如: \\text{计数器}
    • ListState<T>:存储列表,例如: \\text{窗口内事件列表}
    • MapState<K, V>:存储键值对,例如: \\text{用户行为映射表}
    • ReducingState<T>:聚合状态(已弃用,推荐用 AggregatingState

2. Operator State

  • 定义:与算子实例(Operator Instance)绑定的状态,不依赖数据键。
  • 特点
    • 作用域为整个算子,所有输入数据共享同一状态。
    • 可在非 KeyedStream 的算子(如 SourceSink)中使用。
  • 存储结构
    • ListState<T>:用于存储列表形式的状态(如 Kafka 偏移量)。
    • BroadcastState<K, V>:用于广播状态至下游所有并行实例。

核心区别

特性 Keyed State Operator State
作用域 按键分区 算子实例级
访问限制 仅限相同键的数据 所有输入数据均可访问
典型应用 窗口聚合、状态机(如 CEP) 全局配置、源/接收器状态

状态作用域示意图

\\begin{array}{c\|c} \\text{Keyed State} \& \\text{Operator State} \\ \\hline \\begin{array}{c} \\text{Key=1} \\ \\downarrow \\ \\text{State A} \\ \\end{array} \& \\begin{array}{c} \\text{Operator} \\ \\downarrow \\ \\text{Global State} \\ \\end{array} \\ \\begin{array}{c} \\text{Key=2} \\ \\downarrow \\ \\text{State B} \\ \\end{array} \& \\end{array}

最佳实践

  • Keyed State:适用于需要分区隔离的场景(如用户会话分析)。
  • Operator State:适用于全局状态管理(如动态规则更新)。

通过合理选择状态类型,可优化资源利用并保障计算一致性。

相关推荐
Q26433650231 小时前
【有源码】基于 Hadoop 生态的化妆品销售数据存储分析与可视化 面向化妆品行业的用户画像构建与销售机会识别研究
大数据·hadoop·python·机器学习·spark·毕业设计·课程设计
2601_962218617 小时前
万象生鲜系统业财一体化底层打通技术自动生成经营账单
大数据·数据库·人工智能·python·算法
Easy_API8 小时前
从“有多少卡“到“卖多少 Token“:算力的标尺正在换
大数据·人工智能·深度学习
移动云开发者联盟9 小时前
中国移动发布全链条算力服务成果
大数据
晓窗科技10 小时前
口碑好的AI基座服务商
大数据·人工智能·python
和裕10 小时前
蜂窝板 vs 七层瓦楞重型纸箱:大件工业设备运输性能与成本全对比
大数据·运维·网络·人工智能·算法
ACP广源盛1392462567310 小时前
国产 PCIe2.1 交换芯片 IX6024:低成本轻量化端侧 AI IO 扩展选型解析
大数据·人工智能·硬件架构·pcie·国产芯片
小王毕业啦10 小时前
2012-2024年 机构投资者实地调研数据 xlsx
大数据·人工智能·数据挖掘·数据分析·社科数据·实证分析·经管数据
制造业的搬运工11 小时前
智能家居工控PCB可靠性检测规范与制程管控实践
大数据·网络·人工智能·制造·pcb工艺
2601_9622186113 小时前
万象生鲜系统订单全生命周期状态同步技术实现业务可视
大数据·数据库·人工智能·python·算法