2.2.3.1 搭建Spark集群

本次实战演示如何搭建Spark独立集群，采用经典的主从架构。内容涵盖两种提交方式：客户端模式（驱动程序在本地运行）和集群模式（驱动程序在集群节点上运行）。搭建过程包括前置条件准备（JDK、Hadoop、Hive配置）、下载解压Spark安装包、配置环境变量和spark-env.sh文件（设置JAVA_HOME、SPARK_MASTER_HOST、SPARK_MASTER_PORT等参数）、编辑workers文件指定集群节点，以及通过scp命令将Spark分发到各个从节点。整个流程强调了跨节点的统一配置，确保集群正常通信和运行。