Apache Spark是目前最流行的大规模数据处理系统之一,提供支持多种编程语言的API,并且具有大量内置库和第三方库的支持
Apache Spark是一个在集群上运行的统一计算引擎以及一组并行数据处理软件库
Spark是目前最流行的开源大数据处理引擎,是所有对大数据感兴趣的开发人员和数据科学家的标配工具
Spark支持多种常用的编程语言(Python,Java,Scala和R),提供支持SQL、流处理、机器学习等多种任务的软件库,它既可以在笔记本计算机上运行,也可以在数千台服务器组成的集群上运行。
Spark管理和协调跨多台计算机的计算任务
Spark用来执行计算任务的若干台机器由像Spark的集群管理器,YARN或Mesos这样的集群管理器管理,然后我们提交Spark应用程序给这些集群管理器,它们将计算资源分配给应用程序,以便完成我们的工作