共享变量 - 共享变量技术,学习,经验文章

流月up

1 年前

6.Spark共享变量通常，当给 Spark 操作的函数(如 mpa 或 reduce) 在 Spark 集群上执行时，函数中的变量单独的拷贝到各个节点上，函数执行时，使用的是自己节点执行上的变量，节点上的变量更新不会更新至 driver ，在任务之间支持通用的读写共享变量是低效的；然而，Spark 的提供了两种有限类型的共享变量：broadcast variables 和 accumulators。