Spark-累加器Accumulator图文详解

Spark-Accumulator

Spark中的累加器是用于在分布式计算中进行全局统计的工具。它以用于累积一些数据,比如计数器或求和器。

累加器主要用于在集群中的所有任务完成后,合并这些任务的结果。

Spark支持多种类型的累加器,例如整数和浮点数,但要注意,它们只能由驱动程序读取,任务节点不能修改累加器的值。


累加器的"只写"特性

累加器在Spark中被设计为"只写"的。累加器的值只能被添加或更新,而不能被直接读取。

  1. 写入操作 :

    累加器的值只能通过add方法在分布式任务中更新。

    scala 复制代码
    accumulator.add(5)

    这种设计确保了累加器在多个任务并行执行时的线程安全和一致性。

  2. 读取操作 :

    累加器的最终值只能在驱动程序中读取,而不是在分布式任务中。

    scala 复制代码
    println(s"Accumulator value: ${accumulator.value}")

    这种设计是为了避免任务中的中间计算结果对累加器的读取,确保累加器的值只在任务执行结束后被汇总和读取。

scala 复制代码
var errorLines = sc.accumulator(0, "Error Lines")

sc.textFike("file.txt").foreach { line =>
    
	----   process lines ----
	
    if( error )
	    errorLines += 1

}

println(s"Lines with Bugs=${errorLines.value}");
相关推荐
大大大大晴天4 小时前
浅聊维度建模中的星型模型与雪花模型
大数据
数字新视界8 小时前
能耗管理系统提升企业能源效率的实践与展望
大数据·人工智能·数据中心·机房管理·模块化机房
大大大大晴天9 小时前
别让金额越算越多:事实表与维度表设计避坑指南
大数据
如夏倾城10 小时前
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes
wuyk55510 小时前
Spider-第20讲-综合实战可上线爬虫
大数据·爬虫·python·elasticsearch
培培说证10 小时前
大数据与会计专业性价比高的证书有哪些?
大数据
伞伞悦读13 小时前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习
老余说AI13 小时前
跨境电商、课程出海:六款多语言视频翻译工具选型指南
大数据·运维·人工智能
starzy199013 小时前
Structured Streaming 模块与编程模型:引擎内部到底由什么组成
大数据·hadoop·hdfs
Lansonli14 小时前
大数据Spark(九十二):Spark WebUI介绍
大数据·分布式·spark