Spark-Streaming核心编程:有状态转化操作与DStream输出

在Spark-Streaming的学习旅程中,有状态转化操作和DStream输出是两个关键知识点,今天就来深入聊聊它们。

先说说有状态转化操作,这里面 UpdateStateByKey 和 WindowOperations 很重要。 UpdateStateByKey 主要用于跨批次维护状态,就像在流计算里统计单词出现次数并不断累加。使用时,得先定义状态,状态类型不受限制,然后定义状态更新函数,告诉程序怎么用新数据和之前的状态做更新。另外,还得配置检查点目录来保存状态。

WindowOperations 则是通过设置窗口大小和滑动间隔,动态获取当前流计算状态。窗口时长决定计算的时间范围,滑动步长控制计算的触发频率,而且这俩都得是采集周期的整数倍。

再看看DStream输出,它规定了对转化后流数据的处理方式。要是一个DStream及其派生的DStream都没执行输出操作,那这些DStream都不会被求值,整个StreamingContext也启动不了。

常见的输出操作有 print() ,能在驱动节点打印每批数据的前10个元素,方便开发调试; saveAsTextFiles 、 saveAsObjectFiles 、 saveAsHadoopFiles ,分别用于以不同格式存储数据;还有 foreachRDD(func) ,这是最通用的,能对每个RDD运行任意计算,比如把数据写入MySQL数据库。不过使用时要注意,连接别写在driver层面,也别在 foreach 里为每条数据创建连接,最好用 foreachPartition 在分区创建连接,提升效率。

相关推荐
Thomas214321 小时前
Java scala 数组 链表
java·链表·scala
江畔柳前堤2 天前
消息队列:从直觉到精通的完整认知地图
开发语言·人工智能·算法·机器学习·ruby on rails·scala
hopsky16 天前
《Scala 学习手册》核心内容详解
人工智能·学习·scala
abcy0712131 个月前
scala playframework 搭建与新建controller教程
scala
lpfasd1231 个月前
编程语言榜单变迁分析
开发语言·后端·scala
戮漠summer2 个月前
Missing Semester 计算机教育中缺失的一课 Lecture 01 Shell
开发语言·后端·scala
醉熏的石头2 个月前
Ubuntu 中的编程语言(中)
linux·ubuntu·scala
Irene19912 个月前
Scala、Java、Python、JavaScript 的核心特性和应用场景(Python 的“单机“局限性:GIL 机制导致的多核并行缺陷)
java·javascript·python·scala
李白的天不白3 个月前
确认 Nginx 配置文件是否真的生效
scala
醉颜凉3 个月前
Scala自定义Monad实战:从理论到应用的完整指南
大数据·算法·scala