Python+spark2.0+Hadoop机器学习与大数据实战第十一章:Python Spark的集成开发环境

一、升级JDK1.8

虚拟机安装JDK1.8

JDK的下载,可以官网下载(可以选着版本),也可以从下面百度网盘链接下载(版本固定)

官网地址:https://www.oracle.com/java/technologies/javase-downloads.html

网盘链接:https://pan.baidu.com/s/1yNv5EmvRl2sjAi_cpX_9qQ

提取码:caim

版本为:jdk-8u271-linux-x64.tar.gz

参考链接:http://t.csdnimg.cn/8Xt35

复制代码
cd  /home/hduser/java

tar -zxvf jdk-8u162-linux-x64.tar.gz

配置环境变变量,通过sudo vi /etc/profile 命令打开 profile 文件盘配置环境变量,打开之后按 i 进入 insert (插入)模式,在文件末尾添加上环境变量

新增JAVA_HOME即为自己的安装路径,需要自行核对,提供粘贴命令有可能出现问题(重点是提供思路与步骤,可查阅相关资料,会收获更多理解更加透彻)

复制代码
export JAVA_HOME=/usr/local/jdk1.8.0_162
export CLASSPATH=.:${JAVA_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

添加完之后保存并退出,保存并退出的命令:按键盘左上角的ESC键退出插入模式,然后输入":wq"回车。

保存完之后输入:source /etc/profile 命令使刚才配置的环境变量生效

复制代码
source /etc/profile

测试jdk是否安装成功

复制代码
Java -version

二、安装eclipse2019-09版本

(1)安装链接:https://www.eclipse.org/downloads/packages/release/2019-09/r

(2)具体安装步骤

下载Linux x86_64

拖放进虚拟机,并提取出来到主文件夹

点击eclipse

如果出现以下问题,则

参考解决链接:

Eclipse报错信息JVM terminated. Exit code=1-CSDN博客

复制代码
cd /home/hduser/eclipse

more eclipse.ini

仍然报错,但可以判断是内存不够的原因,因为用的是最新oxygen版本的eclipse,应该是虚拟机内存不够,再次尝试修改虚拟机内存。

三、安装集成PyDec插件

参考链接:我决定以后一直使用Eclipse了 因为它也可以安装集成PyDec插件来实现Python开发了 哇哈哈哈 - 知乎

PyDev介绍

其实也就是可以让Eclipse来进行Python应用程序的开发和调试的一个插件,而PyDev能够将Eclipse当作 Python IDE来使用!

Eclipse安装Python插件步骤

我们打开Eclipse之后依次展开菜单栏: Help--->install New Software

如图

接着在弹出的Install对话框中,点击右侧的Add按钮

如图

然后在Name和Location中输入以下内容:

name 随便命名

Location 输入: https://pydev.org/update_sites/6.3.0/

http://pydev.org/update_sites/7.3.0/

如图

接着我们选中框中的所有选项,继续点击Next

继续默认一直(next)下一步

在接下来弹出的对话框中勾选一下:

I accept the terms of the license agreements(我接受许可协议的条款) 然后点击Finish

如图

等待安装

点击一下Restart now(现在重启) 即可!

四、Eclipse配置Python解释器 ️

PyDev插件安装成功后,还需要配置一下Python解释器,不然Eclipse无法正常执行Python代码

我们依次展开菜单栏: windows---->Preferences

然后在左侧导航栏选择PyDev---->Interpreters---->Python Interpreter

然后点击右侧的New...选择里面的Config first in PATH, 通过在Path环境变量路径中的PYTHONHOME我们可以找到Python.exe这个解释器,

注意:你前提条件是要先安装过Python

如果没有PyDev证明第三步失败,没有成功。那么可以选择本地安装(参考五安装)

五、PyDev本地安装(三不行的话)

相关推荐
计算机编程指导师3 分钟前
【大数据毕设】基于Hadoop+Django乳腺癌数据分析与可视化系统选题推荐 源码 毕业设计 毕设选题 数据分析 机器学习
大数据·hadoop·python·计算机·毕业设计·课程设计·乳腺癌
计算机编程指导师16 分钟前
Python毕设怎么做?基于hadoop的商家优惠券营销效果数据分析与可视化系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·spark·毕业设计·课程设计·优惠券
吴声子夜歌19 分钟前
Docker入门与实战——实战案例(分布式处理与大数据平台)
大数据·分布式·docker
计算机编程指导师21 分钟前
【Python毕设推荐】基于Hadoop+Spark的商场商铺运行数据分析与可视化系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·计算机·spark·课程设计·商场商铺
Leo.yuan9 小时前
2026年实时数据同步工具怎么选?GoldenGate、Striim、SeaTunnel、FineDataLink 5.0横评
大数据
sm_926787059 小时前
RFID 标签打印的技术实现要点与二次开发实践
java·大数据·前端·c++·编辑器
龙亘川9 小时前
AI 协同赋能城市治理:支撑政协数字化履职的技术路径探析
大数据·人工智能·智慧城市·开源软件·数据可视化
逸模9 小时前
BIM在连锁餐饮装修中的应用:不只是画三维图
大数据·数据库·人工智能·物联网·建模
liliangcsdn10 小时前
Deepseek R1与V4 Pro参数量对比
大数据
爱吃火鸡面呀10 小时前
DataX 实战:使用 HDFS Reader 读取 Hive ORC 表并输出到 Stream
hive·hadoop·hdfs