SparkStructuredStreaming状态编程

spark官网关于spark有状态编程介绍比较少,本文是一篇个人理解关于spark状态编程。

官网关于状态编程代码例子:

spark/examples/src/main/scala/org/apache/spark/examples/sql/streaming/StructuredComplexSessionization.scala at v3.5.0 · apache/spark (github.com)

一般的流计算使用窗口函数可以解决大部分问题,但是一些比较复杂的业务,窗口函数无法解决,比如需要的数据范围大于你设定的时间窗口,那么就需要状态编程处理中间状态。

案例:

数据一秒一条被spark消费,我需要找到的绿色部分代表再生(再生开始PFltRgn_stRgnActv,PFltRgn_stRgnActvHld变为两个1,再生结束变为两个0),我需要知道PFltRgn_ctRgnSuc再生阶段变化是否大于等于2(true: 意味再生成功)

如果开一个5s滚动窗口(红色框框),窗口内无法解决这个需求,那么我就需要记录每个窗口中当符合再生条件(绿色)PFltRgn_ctRgnSuc的最小值和最大值(这个就是中间状态)

代码调试中:.....

相关推荐
用户3610588626121 小时前
Spark 核心之 Client 模式提交命令和特点分析
spark
用户3610588626125 小时前
Spark 核心之 YARN-Client 模式:原理、流程与源码级深度拆解
spark
用户36105886261221 小时前
Spark 核心之 Standalone-Cluster 模式:原理、流程与源码级深度拆解
spark
java1234_小锋1 天前
【免费】基于Spark实时金融交易风险监控与预测系统(Java版本+可视化大屏+Kafka+SpringBoot+Vue3) 锋哥原创出品,必属精品
大数据·spark·kafka·金融交易风险监控与预测
阿里云大数据AI技术2 天前
EMR Serverless Spark 基于 MinHash-LSH 实现 PB 级文本语义去重 4 倍加速
大数据·人工智能·spark
牛奶咖啡132 天前
大数据Hadoop运维应用实践——Spark与hadoop集群的整合_独立模式下Spark集群的安装部署
大数据·spark·spark是什么?有啥用?·spark的优缺点·spark的适用与不适用场景·独立模式下的spark集群部署·启动并测试spark集群
BD_Marathon5 天前
Spark数据源
大数据·ajax·spark
BD_Marathon5 天前
Dataset
spark
java1234_小锋7 天前
【免费】基于Spark实时电商用户行为分析与预测(Java版本+可视化大屏+Kafka+SpringBoot+Vue3) 锋哥原创出品,必属精品
java·spark·kafka·实时电商用户行为分析与预测系统
abcy0712139 天前
spark核心组件
flink·spark