【20250607接单】Spark + Scala + IntelliJ 项目的开发环境配置从零教学

本教程适用于零基础 、一台刚装好 Windows 的全新电脑 开始，搭建能运行 Spark + Scala + IntelliJ 项目的开发环境。以下是超详细、小白级别逐步教程，从"下载什么"到"点击哪里"都帮你列清楚。

---

🎯 目标

• 操作系统：Windows10/11
• 工具：openJDK、Scala、Spark、sbt、IntelliJ IDEA、winutils
• 最终效果：在 IntelliJ 中运行你上传的 Spark 程序（Explore.scala）

---

🧰 一、安装开发工具（5 步）

✅ 1. 安装 openJDK（Java）

📥 下载地址（华为镜像）：

👉 https://mirrors.tuna.tsinghua.edu.cn/Adoptium/8/jdk/x64/windows/

🚀 安装步骤：

• 双击安装，点"下一步"即可。
• 修改设置或重写JAVA_HOME变量，点击下一步，完成安装。
  

✅ 测试：

打开命令提示符（Win + R 输入 cmd）：

输入命令行：

java -version

---

✅ 2. 安装 Scala

📥 下载地址（官网）：

👉 https://www.scala-lang.org/download/2.12.20.html

🚀 安装步骤：

• 双击 .msi 安装
• 一路next
  

✅ 测试：

打开命令提示符（Win + R 输入 cmd）：

scala -version

---

✅ 3. 安装 Spark

📥 下载地址（Spark 3.5.6，清华源）：

👉 https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.5.6/

🚀 安装步骤：

1. 解压缩 .tgz 文件到任意目录（不要解压在包含中文或空格的路径下）
2. 得到目录：spark-3.5.6-bin-hadoop3

⚙️ 配置环境变量：

打开「控制面板」→「系统」→「高级系统设置」→「环境变量」

• 找到 系统变量下的Path
• 添加 spark安装目录\bin 到 Path
  

✅ 测试：

spark-shell --version

---

✅ 4. 安装 Hadoop Winutils（适配 Windows）

📥 下载地址（Gitee）：

👉 https://github.com/cdarlint/winutils/tree/master/hadoop-3.3.5/bin

下载：

• winutils.exe

将 winutils.exe复制到：（自己创建）

C:\hadoop\bin\

⚙️ 配置环境变量：

• 添加 C:\hadoop\bin 到 Path

✅ 测试：

winutils.exe

---

✅ 5. 安装 sbt（Scala 构建工具）

📥 下载地址（官网）：

👉 https://www.scala-sbt.org/download/

🚀 安装步骤：

• 双击安装，默认设置即可
  

✅ 测试：

sbt sbtVersion

---

💻 二、安装 IntelliJ IDEA + 配置项目

✅ 1. 下载 IntelliJ IDEA 社区版（免费）

👉 官网：https://www.jetbrains.com/idea/download

下载安装后，打开IDEA：

✔ 安装插件：

• ✅ Scala（必须）
  

---

✅ 2. 创建新 Scala + sbt 项目

📁 项目结构（自动生成）：

🚀 创建步骤：

1. 打开 IntelliJ IDEA → File > New > Project

2. 左侧选择 Scala → 右侧选 sbt

3. 配置：

   • 项目名：test
   • Scala SDK：选择 2.12.20
   • sbt 版本：1.11.1

4. 创建完成
   

---

✅ 3. 编辑 build.sbt

ThisBuild / version := "0.1.0-SNAPSHOT"

ThisBuild / scalaVersion := "2.12.20"

lazy val root = (project in file("."))
  .settings(
    name := "test"
  )

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % "3.5.6",
  "org.apache.spark" %% "spark-sql" %  "3.5.6",
  "org.apache.spark" %% "spark-hive" % "3.5.6"
)

---

📄 三、运行你的代码文件

在scala文件夹下新建Explore.scala文件

将你的代码文件复制 Explore.scala 中：

sbt下载配置依赖：

代码文件修改以下地方：

其中第三处文件位置填你自己csv文件存放的地址。

点击绿色三角运行即可：

出现如下结果即代码运行正常。

---