【赵渝强老师】Spark Streaming中的DStream

  要开发Spark Streaming应用程序,核心是通过StreamingContext创建DStream。因此DStream对象就是Spark Streaming中最核心的对象。DStream的全称是Discretized Stream,翻译成中文是离散流。它是Spark Streaming对流式数据的基本数据抽象,或者说是Spark Streaming的数据模型。DStream的核心是通过时间的采用间隔将连续的数据流转换成是一系列不连续的RDD,在由Transformation进行转换,从而达到处理流式数据的目的。因此从表现形式上看,DStream是由一系列连续的RDD组成,因此DStream也就具备了RDD的特性。

  视频讲解如下:

Spark Streaming中的DStream
【赵渝强老师】Spark中的DStream

  以上面开发的MyNetworkWordCount程序为例,StreamingContext将每个3秒采样一次流式数据生成对应的RDD,其生成RDD的过程如下图所示。

  通过上图中可以看出DStream的表现形式其实就是RDD,因此操作DStream和操作RDD的本质其实是一样的。由于DStream是由一系列离散的RDD组成,因此Spark Streaming的其实是一个小批的处理模型,本质上依然还是一个批处理的离线计算。

相关推荐
ACP广源盛1392462567310 小时前
DeepSeek‑V4‑Flash 公测@ACP#昇腾 950 国产算力组合落地,国产 PCIe 交换芯片 IX9104 有哪些硬件机会
大数据·数据库·人工智能·分布式·单片机·嵌入式硬件·microsoft
玉鸯11 小时前
多 Agent 并行时如何保证状态一致性?
分布式·python·agent
Raas10011 小时前
MAIGateway,魔芋企业级AI网关的FinAPI成本归因设计
大数据·人工智能·网关·api网关·finapi
CodeHackerBhx11 小时前
Spring Boot 4 防重复提交:从接口幂等到 Redis 分布式锁的完整实践
java·数据库·spring boot·redis·分布式
RD_daoyi12 小时前
Google核心算法不再通知!全年持续滚动更新
大数据·服务器·前端·网络·搜索引擎·.net
2601_9629666412 小时前
会计岗位进阶指南:8 张国家认可证书阶梯解析
大数据·数据分析
科技绘图12 小时前
特种工业场景安全升级:UWB定位设备关键选型指标与供给侧格局解析
大数据·安全
Wang's Blog12 小时前
AI Agent白手起家28: LangChain 五种提示词模板实战解析
大数据·人工智能·langchain
小码哥06812 小时前
2026陪诊小程序与APP开发技术分析
大数据·人工智能·小程序
观远数据13 小时前
决策闭环的第三公里:从洞察到行动之间,AI能补上什么
大数据·数据库·人工智能