Pycharm通过SSH配置centos上Spark环境

直接在shell进行pyspark进行编程,程序没有办法写得太长,而且我们希望能够实现一个及时给出结果的编程环境,可以使用pycharm连接centos上的spark,进行本地编程,同步到centos系统中运行程序,并把结果返回pycharm上。以下是pycharm的环境配置,这里采用的是2020版本的,2023版本变动较大,暂时没有找到配置方法:

  1. 新建项目→选择pure python→选择existing interpreter→选择更多...按钮
  2. 选择SSH→New server configuration→Host填写ip地址,这里以:192.168.19.137,Port不变→Username填写自己的系统用户名:root为例→点击New按钮
  3. 填写Password→点击Nex
  4. 点击后面的文件夹图标→配置centos上的python路径,选择centos上的python路径,这里选择miniconda里的python路径→点击OK→点击Finish
  5. 配置上传文件的存放路径:点击Remote project location后的文件夹→选择centos上存放py文件的路径→选择ok→点击create
  6. 配置部署关联路径:Tools→Deployment→Configuration
  7. 选择前面配置的远程客户端→选择Mappings→Deployment path的文件夹→选择跟前面上传路径一样的位置→点击OK→点击OK
  8. 在后面运行中会出现以下错误,需要代码头部添加以下两段代码
    没有设置JAVA运行环境

JAVA_HOME is not set

以下代码

python 复制代码
import os
JAVA_HOME='/root/bigdata/jdk'
#向系统环境变量中添加 JAVA_HOME路径
os.environ['JAVA_HOME']=JAVA_HOME

指定Python解释器的位置

Exception: Python in worker has different version 2.7 than that in driver 3.6,

PySpark cannot run with different minor versions.Please check environment variables

PYSPARK_PYTHON and PYSPARK_DRIVER_PYTHON are correctly set.

添加以下代码

python 复制代码
PYSPARK_PYTHON = "/miniconda2/envs/py365/bin/python"
os.environ["PYSPARK_PYTHON"] = PYSPARK_PYTHON
os.environ["PYSPARK_DRIVER_PYTHON"] = PYSPARK_PYTHON

示例代码

运行结果

相关推荐
yz_aiks3 小时前
Termux 使用教程:把安卓手机变成随身 Linux(装 Python、SSH 远程、跑自动化脚本)
android·linux·python·智能手机·ssh·termux
Lansonli11 小时前
大数据Spark(九十二):Spark WebUI介绍
大数据·分布式·spark
布莱克6052 天前
Swift 闭包详解:从语法到实战的完整指南
服务器·开发语言·ios·ssh·swift·闭包
如夏倾城2 天前
五大远程桌面协议:RDP、SSH、VNC/RFB、Citrix ICA/HDX 与 VMware Blast Extreme
运维·windows·网络协议·安全·自动化·ssh·远程工作
AI源码2 天前
基于Spark的期刊推荐系统的设计与实现
大数据·分布式·spark
飞奔的瓜牛2 天前
CentOS 7 系统优化实战指南:从内核参数到服务精简
linux·运维·centos
wno7043 天前
CentOS下FTP服务搭建
linux·运维·centos
布莱克6054 天前
Swift 循环与控制转移详解:从 for-in 到标签跳转
开发语言·ssh·swift·循环
承渊政道5 天前
【Python编程—从入门到实践】(用户账户:给Django网站装上登录系统,让每个人拥有自己的学习笔记)
python·学习·pycharm·django
七维大脑6 天前
【开源自荐】7Shell:跨平台 SSH 运维客户端,把终端、SFTP、容器和 K8s 放进一个窗口
ssh·运维工具·开源工具·开源ssh