Spark-累加器Accumulator图文详解

Spark-Accumulator

Spark中的累加器是用于在分布式计算中进行全局统计的工具。它以用于累积一些数据,比如计数器或求和器。

累加器主要用于在集群中的所有任务完成后,合并这些任务的结果。

Spark支持多种类型的累加器,例如整数和浮点数,但要注意,它们只能由驱动程序读取,任务节点不能修改累加器的值。


累加器的"只写"特性

累加器在Spark中被设计为"只写"的。累加器的值只能被添加或更新,而不能被直接读取。

  1. 写入操作 :

    累加器的值只能通过add方法在分布式任务中更新。

    scala 复制代码
    accumulator.add(5)

    这种设计确保了累加器在多个任务并行执行时的线程安全和一致性。

  2. 读取操作 :

    累加器的最终值只能在驱动程序中读取,而不是在分布式任务中。

    scala 复制代码
    println(s"Accumulator value: ${accumulator.value}")

    这种设计是为了避免任务中的中间计算结果对累加器的读取,确保累加器的值只在任务执行结束后被汇总和读取。

scala 复制代码
var errorLines = sc.accumulator(0, "Error Lines")

sc.textFike("file.txt").foreach { line =>
    
	----   process lines ----
	
    if( error )
	    errorLines += 1

}

println(s"Lines with Bugs=${errorLines.value}");
相关推荐
大大大大晴天6 小时前
每天认识一个组件:VictoriaMetrics
大数据
龙腾AI白云7 小时前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱
演艺大赏8 小时前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
Aloudata9 小时前
服饰零售数据治理如何统一款色码与库存口径,支撑门店售罄率和补货分析?
大数据·数据分析·零售
躺柒9 小时前
读数据分析思维通识课07数据思维图
大数据·数据挖掘·数据分析·大数据分析·数据思维图
西木Qi10 小时前
Kafka消息中间件单机版安装配置
分布式·kafka
OriginCoding10 小时前
一个 JDK 跑起六个分布式挑战:Kotlin 版 Gossip Glomers(一)
分布式·kotlin
回眸&啤酒鸭11 小时前
【回眸】Hy4 模型效果展示与能力评测大纲
大数据·人工智能·机器学习
伞伞悦读12 小时前
【第86期】分类指标与错误成本对照的实验与排查
大数据·人工智能·机器学习
金融小师妹16 小时前
多因子关联模型:黄金与铜价同步回落背后的金融变量及PPI传导分析
大数据·人工智能·金融