Spark Streaming

Spark Streaming

• [Spark Streaming](#Spark Streaming)
• • 一、应用场景
  • 二、核心机制
  • [三、Spark Streaming的程序执行入口](#三、Spark Streaming的程序执行入口)
  • • [3.1 StreamingContext](#3.1 StreamingContext)
    • [3.2 StreamingContext的使用步骤](#3.2 StreamingContext的使用步骤)
    • • [3.2.1 创建程序执行入口](#3.2.1 创建程序执行入口)
      • [3.2.2 根据数据源创建数据抽象DStream](#3.2.2 根据数据源创建数据抽象DStream)
      • [3.2.3 调用DStream的算子进行数据计算](#3.2.3 调用DStream的算子进行数据计算)
      • [3.2.4 调用StreamingContext的start方法启动实时计算](#3.2.4 调用StreamingContext的start方法启动实时计算)
      • [3.2.5 调用StreamingContext的awaitxxxx等待实时计算运行](#3.2.5 调用StreamingContext的awaitxxxx等待实时计算运行)
  • 四、DStream的创建
  • • [4.1 从网络端口创建DStream](#4.1 从网络端口创建DStream)
    • [4.2 从外部文件中创建DStream](#4.2 从外部文件中创建DStream)
    • [4.3 Flume/Kafka](#4.3 Flume/Kafka)
  • 五、DStream的算子操作
  • • [5.1 DStream是由时间批次组成RDD的集合](#5.1 DStream是由时间批次组成RDD的集合)
    • [5.2 无状态算子](#5.2 无状态算子)
    • [5.3 有状态算子](#5.3 有状态算子)
    • [5.4 窗口算子](#5.4 窗口算子)
  • 六、DStream的输出操作
  • • [6.1 print操作](#6.1 print操作)
    • [6.2 saveAsTextFile/ObjectFile](#6.2 saveAsTextFile/ObjectFile)
    • [6.3 foreachRDD操作](#6.3 foreachRDD操作)
  • [七、Spark Streaming的WAL预写日志](#七、Spark Streaming的WAL预写日志)
  • • [7.1 如何开启WAL预写日志](#7.1 如何开启WAL预写日志)
    • • [7.1.1 设置ssc的检查点目录](#7.1.1 设置ssc的检查点目录)
      • [7.1.2 给SparkConf中增加一个配置项](#7.1.2 给SparkConf中增加一个配置项)

Spark Streaming

一、应用场景

实时计算的，一般使用在实时性要求比较高的场合。但是Spark Streaming内部采用批次计算的机制实现实时计算，一般情况下Spark Streaming也称之为准实时计算框架，批处理框架。

二、核心机制

核心采用了一个新的数据抽象DStream，DStream是多个RDD的集成体，DStream中采用时间批次的概念，将一段时间之间的数据封装为一个RDD，然后统一处理一次

三、Spark Streaming的程序执行入口

3.1 StreamingContext

3.2 StreamingContext的使用步骤

3.2.1 创建程序执行入口

3.2.2 根据数据源创建数据抽象DStream

3.2.3 调用DStream的算子进行数据计算

3.2.4 调用StreamingContext的start方法启动实时计算

3.2.5 调用StreamingContext的awaitxxxx等待实时计算运行

程序资源的问题，一般情况下，SparkStreaming的运行资源线程数一般大于等于2，receiver接收器接受数据源的数据封装称为batch批次数据时，batch数据可以自己设置存储位置，默认在内存和硬盘序列化存储2份

四、DStream的创建

4.1 从网络端口创建DStream

4.2 从外部文件中创建DStream

从外部文件中创建DStream(可以是本地文件系统的，也可以是HDFS文件系统)：textFileStream fileStream 文件读取机制采用的是MapReduce中InputFormat机制来读取的

4.1~4.2：基础数据源

4.3 Flume/Kafka

高级数据源

五、DStream的算子操作

5.1 DStream是由时间批次组成RDD的集合

5.2 无状态算子

算子只对当前批次的数据有效，前一个批次的计算结果不清楚

1. RDD中涉及的算子DStream基本都有，这些算子基本上都是无状态算子
2. transform 算子直接对DStream中的RDD进行运算的

5.3 有状态算子

算子会记录前一个批次的计算结果，然后在和当前批次进行计算updateStateByKey

使用前提必须开启检查点目录

5.4 窗口算子

将n个批次的数据划分称为一个窗口。然后对窗口统一的运算

window 两个核心参数：

1. windowDuration：窗口的宽度（包含多少个批次的数据）
2. slideDuration：窗口的间隔（从前一个窗口的第批次条数据到第二个窗口的第一批次数据的间隔）

六、DStream的输出操作

6.1 print操作

6.2 saveAsTextFile/ObjectFile

6.3 foreachRDD操作

可以实现Spark Streaming和Spark的其他组件的无缝衔接

七、Spark Streaming的WAL预写日志

Spark Streaming运行的时候需要一个Receiver接收器接受数据，接受的数据设置缓存的地方，Receiver接受的数据一旦丢失，就算Spark有容错机制，无法计算了，因为没有数据源的数据了。

为了保证数据的安全性，防止了Receiver接受的数据丢失，可以开启Spark Streaming的预写日志WAL，WAL可以实现将Receiver每一批次的数据缓存到Spark的检查点目录。 因为一旦开启了WAL，程序的执行效率会非常的低

7.1 如何开启WAL预写日志

7.1.1 设置ssc的检查点目录

7.1.2 给SparkConf中增加一个配置项

spark.streaming.receiver.writeAheadLog.enable = true