Python+spark2.0+Hadoop机器学习与大数据实战第十一章:Python Spark的集成开发环境

一、升级JDK1.8

虚拟机安装JDK1.8

JDK的下载,可以官网下载(可以选着版本),也可以从下面百度网盘链接下载(版本固定)

官网地址:https://www.oracle.com/java/technologies/javase-downloads.html

网盘链接:https://pan.baidu.com/s/1yNv5EmvRl2sjAi_cpX_9qQ

提取码:caim

版本为:jdk-8u271-linux-x64.tar.gz

参考链接:http://t.csdnimg.cn/8Xt35

复制代码
cd  /home/hduser/java

tar -zxvf jdk-8u162-linux-x64.tar.gz

配置环境变变量,通过sudo vi /etc/profile 命令打开 profile 文件盘配置环境变量,打开之后按 i 进入 insert (插入)模式,在文件末尾添加上环境变量

新增JAVA_HOME即为自己的安装路径,需要自行核对,提供粘贴命令有可能出现问题(重点是提供思路与步骤,可查阅相关资料,会收获更多理解更加透彻)

复制代码
export JAVA_HOME=/usr/local/jdk1.8.0_162
export CLASSPATH=.:${JAVA_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

添加完之后保存并退出,保存并退出的命令:按键盘左上角的ESC键退出插入模式,然后输入":wq"回车。

保存完之后输入:source /etc/profile 命令使刚才配置的环境变量生效

复制代码
source /etc/profile

测试jdk是否安装成功

复制代码
Java -version

二、安装eclipse2019-09版本

(1)安装链接:https://www.eclipse.org/downloads/packages/release/2019-09/r

(2)具体安装步骤

下载Linux x86_64

拖放进虚拟机,并提取出来到主文件夹

点击eclipse

如果出现以下问题,则

参考解决链接:

Eclipse报错信息JVM terminated. Exit code=1-CSDN博客

复制代码
cd /home/hduser/eclipse

more eclipse.ini

仍然报错,但可以判断是内存不够的原因,因为用的是最新oxygen版本的eclipse,应该是虚拟机内存不够,再次尝试修改虚拟机内存。

三、安装集成PyDec插件

参考链接:我决定以后一直使用Eclipse了 因为它也可以安装集成PyDec插件来实现Python开发了 哇哈哈哈 - 知乎

PyDev介绍

其实也就是可以让Eclipse来进行Python应用程序的开发和调试的一个插件,而PyDev能够将Eclipse当作 Python IDE来使用!

Eclipse安装Python插件步骤

我们打开Eclipse之后依次展开菜单栏: Help--->install New Software

如图

接着在弹出的Install对话框中,点击右侧的Add按钮

如图

然后在NameLocation中输入以下内容:

name 随便命名

Location 输入: https://pydev.org/update_sites/6.3.0/

http://pydev.org/update_sites/7.3.0/

如图

接着我们选中框中的所有选项,继续点击Next

继续默认一直(next)下一步

在接下来弹出的对话框中勾选一下:

I accept the terms of the license agreements(我接受许可协议的条款) 然后点击Finish

如图

等待安装

点击一下Restart now(现在重启) 即可!

四、Eclipse配置Python解释器 ️

PyDev插件安装成功后,还需要配置一下Python解释器,不然Eclipse无法正常执行Python代码

我们依次展开菜单栏: windows---->Preferences

然后在左侧导航栏选择PyDev---->Interpreters---->Python Interpreter

然后点击右侧的New...选择里面的Config first in PATH, 通过在Path环境变量路径中的PYTHONHOME我们可以找到Python.exe这个解释器,

注意:你前提条件是要先安装过Python

如果没有PyDev证明第三步失败,没有成功。那么可以选择本地安装(参考五安装)

五、PyDev本地安装(三不行的话)

相关推荐
大大大大晴天1 小时前
从 HDFS 到对象存储:计算存储分离如何重塑云原生大数据底座
大数据
用户36105886261210 小时前
SparkStreaming 之 updateStateByKey 算子详解及代码实现
大数据·spark
咖啡屋和酒吧11 小时前
“隐性肩颈紧张”正在透支精力|没有酸痛,不代表肩颈处于健康状态
大数据·精选
港股研究社12 小时前
专注履约底座,顺丰同城在即时零售效率时代提升增长动能
大数据·人工智能
AI_yangxi14 小时前
短视频矩阵系统选哪家
大数据·人工智能·矩阵
lupai1 天前
手机在网状态接口实测效果与质量评估
大数据·python·智能手机·api接口
大模型丫丫1 天前
Hermes Agent:轻量级智能体框架实战指南
大数据·运维·服务器
大大大大晴天1 天前
每天认识一个组件:SQL网关Apache Kyuubi
大数据
2601_962218471 天前
万象生鲜系统冷链物联网接入技术实现生鲜企业温控管理数字化
大数据·运维·微服务·云原生·架构
2601_962074811 天前
大数据-264 实时数仓 - Canal MySQL的binlog研究 存储目录 变动信息 配置MySQL
大数据·数据库·mysql