如何在spark中使用scikit-learn和tensorflow等第三方python包

目录

  • [1 打包需要的python包](#1 打包需要的python包)
  • [2 修改spark配置文件](#2 修改spark配置文件)

1 打包需要的python包

首先我们用conda包管理工具对我们需要的python包进行虚拟环境创建:

bash 复制代码
conda create -n python37 --copy -y -q python=3.7 --prefix /your/workspace/path scikit-learn tensorflow

下面是对每个参数的解释(😁这里让chatgpt给出的解释,自己就不手打了😊)

conda create: 这是创建Conda环境的命令。

-n python37: -n参数后跟着你想要创建的环境的名称,这里是python37。你可以将环境名称替换为你喜欢的名称。

--copy: 这个选项指示Conda在创建环境时复制现有系统Python中的库。这有助于确保环境中包含与系统Python相同的库,以避免潜在的问题。

-y: 这个选项用于自动确认环境的创建,而不需要手动确认。

-q: 这个选项用于减少命令的输出,即以静默模式运行。

python=3.7: 这是要在环境中安装的Python版本的规范。在这个示例中,它指定要安装Python 3.7。

--prefix: 环境的安装位置

scikit-learn: 这是一个Python机器学习库,它会在新环境中安装。

tensorflow: 这是深度学习框架TensorFlow,也会在新环境中安装。

这个命令的目的是创建一个名为python37的Conda环境,将其中的Python版本设置为3.7,同时在环境中安装了scikit-learn和tensorflow软件包(后面可以放更多我们想要使用的python包),以便在该环境中进行机器学习和深度学习的开发和实验。环境名称、Python版本和要安装的软件包可以根据你的需求进行修改。

然后我们将生成的python环境进行压缩打包:

bash 复制代码
zip -r python37.zip /your/workspach/path/python37

2 修改spark配置文件

bash 复制代码
--archives /your/path/python37.zip#python37
--conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./python37/python37/bin/python3.7 \

--archives /your/path/python37.zip#python37:

--archives参数用于在Spark应用程序运行期间将本地压缩档案文件解压到YARN集群节点上。

/your/path/python37.zip 是包含Python环境的压缩文件的本地文件路径。

#python37 是为档案文件定义的别名,这将在Spark应用程序中使用。

这个参数的目的是将名为python37.zip的压缩文件解压到YARN集群节点,并将其路径设置为python37,以供Spark应用程序使用。这通常用于指定特定版本的Python环境,以便在Spark任务中使用。

--conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./python37/python37/bin/python3.7:

--conf参数用于设置Spark配置属性。
spark.yarn.appMasterEnv.PYSPARK_PYTHON 是一个Spark配置属性,它指定了YARN应用程序的主节点(ApplicationMaster)使用的Python解释器。
./python37/python37/bin/python3.7 是实际Python解释器的路径,它将在YARN应用程序的主节点上执行。

这个参数的目的是告诉Spark应用程序在YARN的主节点上使用特定的Python解释器,即./python37/python37/bin/python3.7。这通常用于确保Spark应用程序使用正确的Python版本和环境来运行任务。

😁😁😁😁😁😁😁😁😁😁😁😁😁😁😁😁😁😁😁😁😁😁😁😁😁😁😁😁😁
再宣传下这个方法是我们在用pyspark使用外部包的绝佳好方案

相关推荐
深度学习lover9 分钟前
<数据集>yolo煤矿安全帽识别数据集<目标检测>
人工智能·python·深度学习·yolo·目标检测·计算机视觉·煤矿安全帽识别
程序员爱钓鱼15 分钟前
Python编程实战 · 基础入门篇 | 字典(dict)
后端·python·ipython
程序员爱钓鱼17 分钟前
Python编程实战 · 基础入门篇 | 集合(set)
后端·python·ipython
B站_计算机毕业设计之家1 小时前
计算机视觉:python车牌识别检测系统 YOLOv8 深度学习pytorch技术 LPRNet车牌识别算法 CCPD2020数据集 ✅
大数据·python·深度学习·机器学习·计算机视觉·数据分析·车牌识别
这个世界的真神1 小时前
【每日算法】 洛谷 P12341 【[蓝桥杯 2025 省 A/Python B 第二场] 消消乐】 2025.10.26
python·算法·蓝桥杯
l1t1 小时前
利用DeepSeek改写递归CTE SQL语句为Python程序及优化
数据库·人工智能·python·sql·算法·性能优化·deepseek
寄思~2 小时前
python批量读取word表格写入excel固定位置
开发语言·python·excel
人间乄惊鸿客3 小时前
python — day9
开发语言·python
SteveRocket6 小时前
Python机器学习与数据分析教程之pandas
python·机器学习·数据分析
bulucc9 小时前
一个简答的意图识别Agent
python·大模型·agent