【赵渝强老师】Spark Streaming中的DStream

  要开发Spark Streaming应用程序,核心是通过StreamingContext创建DStream。因此DStream对象就是Spark Streaming中最核心的对象。DStream的全称是Discretized Stream,翻译成中文是离散流。它是Spark Streaming对流式数据的基本数据抽象,或者说是Spark Streaming的数据模型。DStream的核心是通过时间的采用间隔将连续的数据流转换成是一系列不连续的RDD,在由Transformation进行转换,从而达到处理流式数据的目的。因此从表现形式上看,DStream是由一系列连续的RDD组成,因此DStream也就具备了RDD的特性。

  视频讲解如下:

Spark Streaming中的DStream
【赵渝强老师】Spark中的DStream

  以上面开发的MyNetworkWordCount程序为例,StreamingContext将每个3秒采样一次流式数据生成对应的RDD,其生成RDD的过程如下图所示。

  通过上图中可以看出DStream的表现形式其实就是RDD,因此操作DStream和操作RDD的本质其实是一样的。由于DStream是由一系列离散的RDD组成,因此Spark Streaming的其实是一个小批的处理模型,本质上依然还是一个批处理的离线计算。

相关推荐
李昊哲小课28 分钟前
ubuntu26.04搭建kafka集群
分布式·kafka
阿里云大数据AI技术2 小时前
EMR Serverless Daft 如何简化多模态数据处理:视频抽帧、清洗、标注全流程与具身智能实践
人工智能·spark
Alluxio2 小时前
Alluxio + Anyscale Ray框架,实现跨区域训练数据读取速度20倍提升
人工智能·分布式·机器学习·缓存·ai
智讯天下2 小时前
垂类数据基础设施:骨码智元GOMAX LAB如何重塑AI后训练数据供给体系
大数据·人工智能
麒麟信安2 小时前
第三届行业数智化发展峰会召开,麒麟信安核心内网虚拟化方案备受关注
大数据·麒麟信安·企业资讯
延凡科技2 小时前
延凡科技IoT设备管理监控系统:赋能工业智能制造
大数据·科技·物联网·制造
塔能物联运维2 小时前
液冷数据中心市场突破900亿元,两相液冷成AI算力散热新方向
大数据·人工智能
GOWIN革文品牌咨询2 小时前
受众、内容、形式、渠道:B2B营销四象限的结构模型
大数据·人工智能
天国梦3 小时前
AI时代营销全链路落地实战指南
大数据·人工智能
石像鬼₧魂石3 小时前
【Y2Ksoft】智慧农场管理平台 —— 航拍实景 · 物联网可视化 · 单文件HTML开箱即用
大数据·物联网·数据库架构