Mac安装Spark

下载并安装 Spark

Step 1: Spark需要Java运行环境,需要先安装JDK

Step 2: 下载 Spark

复制代码
•	打开浏览器,访问 Apache Spark 官方网站。
•	选择以下选项:
•	Spark 版本:选择最新稳定版本 (例如 3.5.0)。
•	Hadoop 版本:选择 Pre-built for Apache Hadoop (已有 Hadoop 构建版本)。
•	点击 Download Spark 下载压缩包。

Step 3: 解压 Spark 压缩包

复制代码
•	打开终端,进入下载目录并解压 Spark 压缩文件:
shell 复制代码
cd ~/Downloads
tar -xvf spark-<version>-bin-hadoop<version>.tgz

将解压后的目录移动到一个合适的位置,比如 /usr/local/spark:

shell 复制代码
sudo mv spark-<version>-bin-hadoop<version> /usr/local/spark

Step 4: 配置环境变量

复制代码
•	编辑你的 .bash_profile 或 .zshrc 文件(取决于你使用的是 Bash 还是 Zsh)来添加 Spark 环境变量。

打开终端,输入:

shell 复制代码
nano ~/.zshrc  # 或者 ~/.bash_profile

添加以下内容:

shell 复制代码
export SPARK_HOME=/usr/local/spark
export PATH=$SPARK_HOME/bin:$PATH
复制代码
•	保存文件并重新加载配置:
shell 复制代码
source ~/.zshrc  # 或者 ~/.bash_profile

运行 Spark 和 PySpark

Step 1: 启动 Spark Shell

复制代码
•	打开终端,输入以下命令以启动 Spark Shell:
shell 复制代码
spark-shell

这将启动一个 Scala 交互式的 Spark Shell。

Step 2: 启动 PySpark

复制代码
•	如果你要使用 Python 进行编程,可以启动 PySpark:
shell 复制代码
pyspark

这将启动一个 Python 交互式的 Spark Shell。你可以在这里使用 Spark 的 Python API。

使用 PySpark 编写和运行脚本

Step 1: 编写 PySpark 脚本

复制代码
•	你可以使用任何文本编辑器编写 PySpark 脚本。例如,新建一个 example.py 文件:
python 复制代码
from pyspark.sql import SparkSession

# 创建 Spark 会话
spark = SparkSession.builder.appName("example").getOrCreate()

# 读取 JSON 文件
df = spark.read.json("path/to/your/file.json")

# 打印 schema
df.printSchema()

# 显示前几行数据
df.show()

Step 2: 运行 PySpark 脚本

复制代码
•	在终端中运行 PySpark 脚本,确保你的环境变量配置正确:
shell 复制代码
spark-submit example.py
相关推荐
Q26433650239 分钟前
【有源码】基于Python与Spark的火锅店数据可视化分析系统-基于机器学习的火锅店综合竞争力评估与可视化分析-基于用户画像聚类的火锅店市场细分与可视化研究
大数据·hadoop·python·机器学习·数据分析·spark·毕业设计
潘达斯奈基~39 分钟前
spark性能优化1:通过依赖关系重组优化Spark性能:宽窄依赖集中处理实践
大数据·性能优化·spark
takashi_void10 小时前
如何在本地部署大语言模型(Windows,Mac,Linux)三系统教程
linux·人工智能·windows·macos·语言模型·nlp
哦豁灬12 小时前
macOS 常用快捷键
macos
亚林瓜子15 小时前
在vscode中全选后,同时在每行行尾,开始多行编辑(Mac版)
ide·vscode·macos
蒙特卡洛的随机游走17 小时前
Spark核心数据(RDD、DataFrame 和 Dataset)
大数据·分布式·spark
蒙特卡洛的随机游走18 小时前
Spark的宽依赖与窄依赖
大数据·前端·spark
一张假钞19 小时前
Mac OS 常用快捷键
macos
Lansonli20 小时前
大数据Spark(六十九):Transformation转换算子intersection和subtract使用案例
大数据·分布式·spark
2501_9159214320 小时前
iOS混淆与IPA加固实战手记,如何构建苹果应用防反编译体系
android·macos·ios·小程序·uni-app·cocoa·iphone