Python+spark2.0+Hadoop机器学习与大数据实战第十一章:Python Spark的集成开发环境

一、升级JDK1.8

虚拟机安装JDK1.8

JDK的下载,可以官网下载(可以选着版本),也可以从下面百度网盘链接下载(版本固定)

官网地址:https://www.oracle.com/java/technologies/javase-downloads.html

网盘链接:https://pan.baidu.com/s/1yNv5EmvRl2sjAi_cpX_9qQ

提取码:caim

版本为:jdk-8u271-linux-x64.tar.gz

参考链接:http://t.csdnimg.cn/8Xt35

复制代码
cd  /home/hduser/java

tar -zxvf jdk-8u162-linux-x64.tar.gz

配置环境变变量,通过sudo vi /etc/profile 命令打开 profile 文件盘配置环境变量,打开之后按 i 进入 insert (插入)模式,在文件末尾添加上环境变量

新增JAVA_HOME即为自己的安装路径,需要自行核对,提供粘贴命令有可能出现问题(重点是提供思路与步骤,可查阅相关资料,会收获更多理解更加透彻)

复制代码
export JAVA_HOME=/usr/local/jdk1.8.0_162
export CLASSPATH=.:${JAVA_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

添加完之后保存并退出,保存并退出的命令:按键盘左上角的ESC键退出插入模式,然后输入":wq"回车。

保存完之后输入:source /etc/profile 命令使刚才配置的环境变量生效

复制代码
source /etc/profile

测试jdk是否安装成功

复制代码
Java -version

二、安装eclipse2019-09版本

(1)安装链接:https://www.eclipse.org/downloads/packages/release/2019-09/r

(2)具体安装步骤

下载Linux x86_64

拖放进虚拟机,并提取出来到主文件夹

点击eclipse

如果出现以下问题,则

参考解决链接:

Eclipse报错信息JVM terminated. Exit code=1-CSDN博客

复制代码
cd /home/hduser/eclipse

more eclipse.ini

仍然报错,但可以判断是内存不够的原因,因为用的是最新oxygen版本的eclipse,应该是虚拟机内存不够,再次尝试修改虚拟机内存。

三、安装集成PyDec插件

参考链接:我决定以后一直使用Eclipse了 因为它也可以安装集成PyDec插件来实现Python开发了 哇哈哈哈 - 知乎

PyDev介绍

其实也就是可以让Eclipse来进行Python应用程序的开发和调试的一个插件,而PyDev能够将Eclipse当作 Python IDE来使用!

Eclipse安装Python插件步骤

我们打开Eclipse之后依次展开菜单栏: Help--->install New Software

如图

接着在弹出的Install对话框中,点击右侧的Add按钮

如图

然后在NameLocation中输入以下内容:

name 随便命名

Location 输入: https://pydev.org/update_sites/6.3.0/

http://pydev.org/update_sites/7.3.0/

如图

接着我们选中框中的所有选项,继续点击Next

继续默认一直(next)下一步

在接下来弹出的对话框中勾选一下:

I accept the terms of the license agreements(我接受许可协议的条款) 然后点击Finish

如图

等待安装

点击一下Restart now(现在重启) 即可!

四、Eclipse配置Python解释器 ️

PyDev插件安装成功后,还需要配置一下Python解释器,不然Eclipse无法正常执行Python代码

我们依次展开菜单栏: windows---->Preferences

然后在左侧导航栏选择PyDev---->Interpreters---->Python Interpreter

然后点击右侧的New...选择里面的Config first in PATH, 通过在Path环境变量路径中的PYTHONHOME我们可以找到Python.exe这个解释器,

注意:你前提条件是要先安装过Python

如果没有PyDev证明第三步失败,没有成功。那么可以选择本地安装(参考五安装)

五、PyDev本地安装(三不行的话)

相关推荐
蓝速科技1 小时前
会议室门牌公告通知发布选型与落地指南丨蓝速科技
大数据·运维·数据库·人工智能·科技
卷毛迷你猪3 小时前
快速实验篇(A10)短序列上 SPI 的失效机制
hadoop
SelectDB4 小时前
同等资源下 Apache Doris 4.2 vs StarRocks 4.1.1:1TB SSB 与 TPC-H 性能实测
大数据·数据库·数据分析
SelectDB4 小时前
Doris vs ClickHouse:企业 OLAP 走向下一阶段,两种技术路线如何选择
大数据·数据库·数据分析
当下新鲜事5 小时前
脱硫脱硝塔动力系统科普:四方DL500变频器工作原理解析
大数据·运维·物联网·业界资讯
珠海西格电力5 小时前
零碳园区管理系统“智慧大脑”功能对园区运营成本的影响有哪些?
大数据·人工智能·安全·系统架构·能源
发量惊人的中年网工5 小时前
2026年DDoS防护方案怎么选?从攻击响应、清洗位置到成本账单,解析全球高防方案
大数据·网络·安全·ddos
科创致远7 小时前
科创致远 ESD 静电监控系统全场景落地指南
大数据·人工智能·制造·精益工程
蓝速科技8 小时前
商用复杂环境翻译机耐用性选型指南丨蓝速科技
大数据·运维·数据库·人工智能·科技
yt004yt8 小时前
工业园区绿岛 VOCs 废气治理管网设计与能碳节能设计经验分享
大数据·运维