Spark-Streaming核心编程:有状态转化操作与DStream输出

在Spark-Streaming的学习旅程中,有状态转化操作和DStream输出是两个关键知识点,今天就来深入聊聊它们。

先说说有状态转化操作,这里面 UpdateStateByKey 和 WindowOperations 很重要。 UpdateStateByKey 主要用于跨批次维护状态,就像在流计算里统计单词出现次数并不断累加。使用时,得先定义状态,状态类型不受限制,然后定义状态更新函数,告诉程序怎么用新数据和之前的状态做更新。另外,还得配置检查点目录来保存状态。

WindowOperations 则是通过设置窗口大小和滑动间隔,动态获取当前流计算状态。窗口时长决定计算的时间范围,滑动步长控制计算的触发频率,而且这俩都得是采集周期的整数倍。

再看看DStream输出,它规定了对转化后流数据的处理方式。要是一个DStream及其派生的DStream都没执行输出操作,那这些DStream都不会被求值,整个StreamingContext也启动不了。

常见的输出操作有 print() ,能在驱动节点打印每批数据的前10个元素,方便开发调试; saveAsTextFiles 、 saveAsObjectFiles 、 saveAsHadoopFiles ,分别用于以不同格式存储数据;还有 foreachRDD(func) ,这是最通用的,能对每个RDD运行任意计算,比如把数据写入MySQL数据库。不过使用时要注意,连接别写在driver层面,也别在 foreach 里为每条数据创建连接,最好用 foreachPartition 在分区创建连接,提升效率。

相关推荐
lucky_syq2 天前
Scala与Spark算子:大数据处理的黄金搭档
开发语言·spark·scala
深兰科技5 天前
廊坊市市长刘媛率队到访深兰科技,推动机器人制造基地与产业投资落地
人工智能·科技·机器人·scala·symfony·深兰科技·廊坊市市长刘媛
萧霍8 天前
判断两个对象是相等的
scala
程序员小羊!10 天前
Flink(用Scala版本写Word Count 出现假报错情况解决方案)假报错,一直显示红色报错
flink·word·scala
173113 天前
scala中访问控制与方法重写
scala
张较瘦_15 天前
[论文阅读] 从 5MB 到 1.6GB 数据:Java/Scala/Python 在 Spark 中的性能表现全解析
java·python·scala
还是大剑师兰特20 天前
Scala面试题及详细答案100道(81-90)-- 框架与生态
scala·大剑师·scala面试题
孤岛奇兵常凯申21 天前
Scala中的高阶函数(一)
scala
盛小夏22 天前
用 Python 把汉诺塔玩成“魔法”:从递归到可视化,一篇就够!
scala
智海观潮25 天前
学好Spark必须要掌握的Scala技术点
大数据·spark·scala