【20250607接单】Spark + Scala + IntelliJ 项目的开发环境配置从零教学

本教程适用于零基础一台刚装好 Windows 的全新电脑 开始,搭建能运行 Spark + Scala + IntelliJ 项目的开发环境。以下是超详细、小白级别逐步教程,从"下载什么"到"点击哪里"都帮你列清楚。


🎯 目标

  • 操作系统:Windows10/11
  • 工具:openJDK、Scala、Spark、sbt、IntelliJ IDEA、winutils
  • 最终效果:在 IntelliJ 中运行你上传的 Spark 程序(Explore.scala)

🧰 一、安装开发工具(5 步)

✅ 1. 安装 openJDK(Java)

📥 下载地址(华为镜像):

👉 https://mirrors.tuna.tsinghua.edu.cn/Adoptium/8/jdk/x64/windows/

🚀 安装步骤:
  • 双击安装,点"下一步"即可。
  • 修改设置或重写JAVA_HOME变量,点击下一步,完成安装。
✅ 测试:

打开命令提示符(Win + R 输入 cmd):

输入命令行:

bash 复制代码
java -version

✅ 2. 安装 Scala

📥 下载地址(官网):

👉 https://www.scala-lang.org/download/2.12.20.html

🚀 安装步骤:
  • 双击 .msi 安装
  • 一路next
✅ 测试:

打开命令提示符(Win + R 输入 cmd):

bash 复制代码
scala -version

✅ 3. 安装 Spark

📥 下载地址(Spark 3.5.6,清华源):

👉 https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.5.6/

🚀 安装步骤:
  1. 解压缩 .tgz 文件到任意目录(不要解压在包含中文或空格的路径下)
  2. 得到目录:spark-3.5.6-bin-hadoop3
⚙️ 配置环境变量:

打开「控制面板」→「系统」→「高级系统设置」→「环境变量」

  • 找到 系统变量下的Path
  • 添加 spark安装目录\binPath
✅ 测试:
bash 复制代码
spark-shell --version

✅ 4. 安装 Hadoop Winutils(适配 Windows)

📥 下载地址(Gitee):

👉 https://github.com/cdarlint/winutils/tree/master/hadoop-3.3.5/bin

下载:

  • winutils.exe

winutils.exe复制到:(自己创建)

复制代码
C:\hadoop\bin\
⚙️ 配置环境变量:
  • 添加 C:\hadoop\binPath
✅ 测试:
bash 复制代码
winutils.exe

✅ 5. 安装 sbt(Scala 构建工具)

📥 下载地址(官网):

👉 https://www.scala-sbt.org/download/

🚀 安装步骤:
  • 双击安装,默认设置即可
✅ 测试:
bash 复制代码
sbt sbtVersion

💻 二、安装 IntelliJ IDEA + 配置项目

✅ 1. 下载 IntelliJ IDEA 社区版(免费)

👉 官网:https://www.jetbrains.com/idea/download

下载安装后,打开IDEA

✔ 安装插件:

  • ✅ Scala(必须)

✅ 2. 创建新 Scala + sbt 项目

📁 项目结构(自动生成):
🚀 创建步骤:
  1. 打开 IntelliJ IDEA → File > New > Project

  2. 左侧选择 Scala → 右侧选 sbt

  3. 配置:

    • 项目名:test
    • Scala SDK:选择 2.12.20
    • sbt 版本:1.11.1
  4. 创建完成


✅ 3. 编辑 build.sbt

scala 复制代码
ThisBuild / version := "0.1.0-SNAPSHOT"

ThisBuild / scalaVersion := "2.12.20"

lazy val root = (project in file("."))
  .settings(
    name := "test"
  )

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % "3.5.6",
  "org.apache.spark" %% "spark-sql" %  "3.5.6",
  "org.apache.spark" %% "spark-hive" % "3.5.6"
)

📄 三、运行你的代码文件

在scala文件夹下新建Explore.scala文件

将你的代码文件复制 Explore.scala 中:

sbt下载配置依赖:

代码文件修改以下地方:

其中第三处文件位置填你自己csv文件存放的地址。

点击绿色三角运行即可:

出现如下结果即代码运行正常。


相关推荐
lifallen1 小时前
Paimon vs. HBase:全链路开销对比
java·大数据·数据结构·数据库·算法·flink·hbase
爱吃面的猫1 小时前
大数据Hadoop之——Hbase下载安装部署
大数据·hadoop·hbase
viperrrrrrrrrr71 小时前
大数据(1)-hdfs&hbase
大数据·hdfs·hbase
拓端研究室2 小时前
专题:2025即时零售与各类人群消费行为洞察报告|附400+份报告PDF、原数据表汇总下载
大数据·人工智能
武子康3 小时前
大数据-30 ZooKeeper Java-API 监听节点 创建、删除节点
大数据·后端·zookeeper
小手WA凉3 小时前
Hadoop之MapReduce
大数据·mapreduce
AgeClub3 小时前
服务600+养老社区,Rendever如何通过“VR+养老”缓解老年孤独?
大数据·人工智能
SeaTunnel4 小时前
SeaTunnel 社区月报(5-6 月):全新功能上线、Bug 大扫除、Merge 之星是谁?
大数据·开源·bug·数据集成·seatunnel
时序数据说5 小时前
Java类加载机制及关于时序数据库IoTDB排查
java·大数据·数据库·物联网·时序数据库·iotdb
大数据CLUB7 小时前
基于spark的航班价格分析预测及可视化
大数据·hadoop·分布式·数据分析·spark·数据可视化