Spark scala如何本地运行
- Spark任务调试太费时间啦
- [Spark Scala本地运行](#Spark Scala本地运行)
Spark任务调试太费时间啦
Apache Spark是一个开源的大数据处理框架，它提供了一个接口用于编程大规模分布式计算，且提供了很多高级工具，包括支持SQL查询、流数据处理、机器学习和图计算等。
运行一个spark任务需要打包任务并上传到spark集群上运行，但是往往远端运行时间较长、众多处理器的日志收集困难，导致spark任务的调试时间成本很高，几个小时的等待可能换来的只是一个低级的错误。
那么如何不提交远端Spark集群，在本地就像调试Java代码一样调试Spark scala
代码呢？