Python+spark2.0+Hadoop机器学习与大数据实战第十一章:Python Spark的集成开发环境

一、升级JDK1.8

虚拟机安装JDK1.8

JDK的下载,可以官网下载(可以选着版本),也可以从下面百度网盘链接下载(版本固定)

官网地址:https://www.oracle.com/java/technologies/javase-downloads.html

网盘链接:https://pan.baidu.com/s/1yNv5EmvRl2sjAi_cpX_9qQ

提取码:caim

版本为:jdk-8u271-linux-x64.tar.gz

参考链接:http://t.csdnimg.cn/8Xt35

复制代码
cd  /home/hduser/java

tar -zxvf jdk-8u162-linux-x64.tar.gz

配置环境变变量,通过sudo vi /etc/profile 命令打开 profile 文件盘配置环境变量,打开之后按 i 进入 insert (插入)模式,在文件末尾添加上环境变量

新增JAVA_HOME即为自己的安装路径,需要自行核对,提供粘贴命令有可能出现问题(重点是提供思路与步骤,可查阅相关资料,会收获更多理解更加透彻)

复制代码
export JAVA_HOME=/usr/local/jdk1.8.0_162
export CLASSPATH=.:${JAVA_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

添加完之后保存并退出,保存并退出的命令:按键盘左上角的ESC键退出插入模式,然后输入":wq"回车。

保存完之后输入:source /etc/profile 命令使刚才配置的环境变量生效

复制代码
source /etc/profile

测试jdk是否安装成功

复制代码
Java -version

二、安装eclipse2019-09版本

(1)安装链接:https://www.eclipse.org/downloads/packages/release/2019-09/r

(2)具体安装步骤

下载Linux x86_64

拖放进虚拟机,并提取出来到主文件夹

点击eclipse

如果出现以下问题,则

参考解决链接:

Eclipse报错信息JVM terminated. Exit code=1-CSDN博客

复制代码
cd /home/hduser/eclipse

more eclipse.ini

仍然报错,但可以判断是内存不够的原因,因为用的是最新oxygen版本的eclipse,应该是虚拟机内存不够,再次尝试修改虚拟机内存。

三、安装集成PyDec插件

参考链接:我决定以后一直使用Eclipse了 因为它也可以安装集成PyDec插件来实现Python开发了 哇哈哈哈 - 知乎

PyDev介绍

其实也就是可以让Eclipse来进行Python应用程序的开发和调试的一个插件,而PyDev能够将Eclipse当作 Python IDE来使用!

Eclipse安装Python插件步骤

我们打开Eclipse之后依次展开菜单栏: Help--->install New Software

如图

接着在弹出的Install对话框中,点击右侧的Add按钮

如图

然后在Name和Location中输入以下内容:

name 随便命名

Location 输入: https://pydev.org/update_sites/6.3.0/

http://pydev.org/update_sites/7.3.0/

如图

接着我们选中框中的所有选项,继续点击Next

继续默认一直(next)下一步

在接下来弹出的对话框中勾选一下:

I accept the terms of the license agreements(我接受许可协议的条款) 然后点击Finish

如图

等待安装

点击一下Restart now(现在重启) 即可!

四、Eclipse配置Python解释器 ️

PyDev插件安装成功后,还需要配置一下Python解释器,不然Eclipse无法正常执行Python代码

我们依次展开菜单栏: windows---->Preferences

然后在左侧导航栏选择PyDev---->Interpreters---->Python Interpreter

然后点击右侧的New...选择里面的Config first in PATH, 通过在Path环境变量路径中的PYTHONHOME我们可以找到Python.exe这个解释器,

注意:你前提条件是要先安装过Python

如果没有PyDev证明第三步失败,没有成功。那么可以选择本地安装(参考五安装)

五、PyDev本地安装(三不行的话)

相关推荐
乌恩大侠1 小时前
「AI-RAN」Aerial,使用ORAN C1模式
人工智能·5g·spark·o-ru·ai-ran
samLi06201 小时前
【数据集】水星逆行及相关日期窗口数据(1973-2025年)
大数据
updayday8541 小时前
客户附件不该发往旧邮箱,如何在发送前拦截 - Ping64 邮件安全管控
大数据·网络·数据库·安全·智能路由器
注塑机数据采集联网2 小时前
数据采集网关入门:ZK-D1/D3从零开始构建你的数据运用
大数据·数据仓库·人工智能·物联网·数据库架构·注塑机网关
演艺大赏2 小时前
20000 个文件跑了 11500 秒:你压的是 YARN 调度器,不是 HDFS
大数据
wtblszn3 小时前
农村供水站远程监控智能管理方案
大数据
aixingkong9214 小时前
华为灵衢超节点参考架构白皮书深度解读
大数据·人工智能·华为
大大大大晴天4 小时前
每天认识一个组件:Apache Iceberg
大数据
xiaoyunxuexibiji5 小时前
采购协同管理:从备货计划、进度确认到到货签收
大数据·运维·人工智能