Mac安装Spark

下载并安装 Spark

Step 1: Spark需要Java运行环境,需要先安装JDK

Step 2: 下载 Spark

复制代码
•	打开浏览器,访问 Apache Spark 官方网站。
•	选择以下选项:
•	Spark 版本:选择最新稳定版本 (例如 3.5.0)。
•	Hadoop 版本:选择 Pre-built for Apache Hadoop (已有 Hadoop 构建版本)。
•	点击 Download Spark 下载压缩包。

Step 3: 解压 Spark 压缩包

复制代码
•	打开终端,进入下载目录并解压 Spark 压缩文件:
shell 复制代码
cd ~/Downloads
tar -xvf spark-<version>-bin-hadoop<version>.tgz

将解压后的目录移动到一个合适的位置,比如 /usr/local/spark:

shell 复制代码
sudo mv spark-<version>-bin-hadoop<version> /usr/local/spark

Step 4: 配置环境变量

复制代码
•	编辑你的 .bash_profile 或 .zshrc 文件(取决于你使用的是 Bash 还是 Zsh)来添加 Spark 环境变量。

打开终端,输入:

shell 复制代码
nano ~/.zshrc  # 或者 ~/.bash_profile

添加以下内容:

shell 复制代码
export SPARK_HOME=/usr/local/spark
export PATH=$SPARK_HOME/bin:$PATH
复制代码
•	保存文件并重新加载配置:
shell 复制代码
source ~/.zshrc  # 或者 ~/.bash_profile

运行 Spark 和 PySpark

Step 1: 启动 Spark Shell

复制代码
•	打开终端,输入以下命令以启动 Spark Shell:
shell 复制代码
spark-shell

这将启动一个 Scala 交互式的 Spark Shell。

Step 2: 启动 PySpark

复制代码
•	如果你要使用 Python 进行编程,可以启动 PySpark:
shell 复制代码
pyspark

这将启动一个 Python 交互式的 Spark Shell。你可以在这里使用 Spark 的 Python API。

使用 PySpark 编写和运行脚本

Step 1: 编写 PySpark 脚本

复制代码
•	你可以使用任何文本编辑器编写 PySpark 脚本。例如,新建一个 example.py 文件:
python 复制代码
from pyspark.sql import SparkSession

# 创建 Spark 会话
spark = SparkSession.builder.appName("example").getOrCreate()

# 读取 JSON 文件
df = spark.read.json("path/to/your/file.json")

# 打印 schema
df.printSchema()

# 显示前几行数据
df.show()

Step 2: 运行 PySpark 脚本

复制代码
•	在终端中运行 PySpark 脚本,确保你的环境变量配置正确:
shell 复制代码
spark-submit example.py
相关推荐
尽兴-8 小时前
如何将多个.sql文件合并成一个:Windows和Linux/Mac详细指南
linux·数据库·windows·sql·macos
诗句藏于尽头8 小时前
Mac关闭触控板
macos
笑衬人心。8 小时前
在 Mac 上安装 Java 和 IntelliJ IDEA(完整笔记)
java·macos·intellij-idea
csdn_aspnet8 小时前
在 MacOS 上安装和配置 Kafka
macos·kafka
screenCui10 小时前
macOS运行python程序遇libiomp5.dylib库冲突错误解决方案
开发语言·python·macos
东东旭huster10 小时前
Mac自定义右键功能
macos
路先生的杂货铺15 小时前
mac m1芯片 安装pd及win10系统
macos
goodmao15 小时前
【macOS】【Swift】【RTF】黑色文字在macOS深色外观下看不清的解决方法
macos
liliangcsdn18 小时前
在mac m1基于llama.cpp运行deepseek
人工智能·macos·语言模型·llama
silence25018 小时前
macOS 上安装 Miniconda + Conda-Forge
macos·conda