【Spark】win10配置IDEA、saprk、hadoop和scala

终于，要对并行计算下手了哈哈哈。

一直讲大数据大数据，我单次数据处理量大概在1t上下，是过亿级的轨迹数据。

用python调用multiprogress编写的代码，用多线程也要一个多月跑完。

我对这个效率不太满意，希望能快一点再快一点，这是学习Spark的前提。

安装过程见：

spark出pyspark了，可直接用python调用。但是我想接触下scala。所以先装scala试试。

下面采用的是博客园的步骤。先IDEA，再saprk、hadoop、scala。

第二个微信链接，是先scala、hadoop，再spark。都可以

安装jdk

https://archive.apache.org/dist/spark/spark-3.5.0/ 官网下也可以
这里需要注意的是验证部门，也就是解压完spark文件后，官方提醒要验证一下下载包是否有错。参考下面链接step4
How to Install Apache Spark on Windows 10：https://phoenixnap.com/kb/install-spark-on-windows-10

https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.6/hadoop-3.3.6-src.tar.gz
需要注意的是，带【src.tar.gz】下载解压后的hadoop没有bin文件，要去https://gitcode.net/mirrors/cdarlint/winutils/-/tree/master/hadoop-3.3.5/bin选择版本下载补充。（我不理解为什么）
3.3.6是最新版本hadoop，但是上面gitcode库中，bin更新到3.3.5，所以注意版本
https://downloads.apache.org/hadoop/common/hadoop-3.3.5/
另一个方法是在https://downloads.apache.org/hadoop/common/hadoop-3.3.6/，选择【tar.gz】结尾的文件，也就是几百兆的那个，很大的。里面自带bin文件
具体可见Spark简单介绍，Windows下安装Scala+Hadoop+Spark运行环境，集成到IDEA中中安装hadoop的
如果在cmd验证时，输入hadoop，显示有一个错误是Error: JAVA_HOME is incorrectly set。解决方法一：
Error: JAVA_HOME is incorrectly set. Please update F:\hadoop\conf\hadoop-env.cmd解决方法。

环境变量设置java_home办法：JAVA_HOME环境变量的配置（Win10系统）
随后关掉cmd再重新打开输入hadoop，不会报错了。

我3.5对应scala的2.12或者2.13。然后去官网下载，配好环境变量就行
https://www.scala-lang.org/download/all.html

我没有装，有需要再来

我的综合版本：

IDE:Intelij IDEA 2023.2.2

spark-3.5.0-bin-hadoop3

hadoop-3.3.6-tar.gz

Scala 2.13.12

在IDEA中新建项目。2023版本跟网上的一些之前版本例子不一样，尤其是在【build system】这里，选择红框的。

这样新建的项目中才可以生成新的scala类。