Python+spark2.0+Hadoop机器学习与大数据实战第十一章:Python Spark的集成开发环境

一、升级JDK1.8

虚拟机安装JDK1.8

JDK的下载,可以官网下载(可以选着版本),也可以从下面百度网盘链接下载(版本固定)

官网地址:https://www.oracle.com/java/technologies/javase-downloads.html

网盘链接:https://pan.baidu.com/s/1yNv5EmvRl2sjAi_cpX_9qQ

提取码:caim

版本为:jdk-8u271-linux-x64.tar.gz

参考链接:http://t.csdnimg.cn/8Xt35

复制代码
cd  /home/hduser/java

tar -zxvf jdk-8u162-linux-x64.tar.gz

配置环境变变量,通过sudo vi /etc/profile 命令打开 profile 文件盘配置环境变量,打开之后按 i 进入 insert (插入)模式,在文件末尾添加上环境变量

新增JAVA_HOME即为自己的安装路径,需要自行核对,提供粘贴命令有可能出现问题(重点是提供思路与步骤,可查阅相关资料,会收获更多理解更加透彻)

复制代码
export JAVA_HOME=/usr/local/jdk1.8.0_162
export CLASSPATH=.:${JAVA_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

添加完之后保存并退出,保存并退出的命令:按键盘左上角的ESC键退出插入模式,然后输入":wq"回车。

保存完之后输入:source /etc/profile 命令使刚才配置的环境变量生效

复制代码
source /etc/profile

测试jdk是否安装成功

复制代码
Java -version

二、安装eclipse2019-09版本

(1)安装链接:https://www.eclipse.org/downloads/packages/release/2019-09/r

(2)具体安装步骤

下载Linux x86_64

拖放进虚拟机,并提取出来到主文件夹

点击eclipse

如果出现以下问题,则

参考解决链接:

Eclipse报错信息JVM terminated. Exit code=1-CSDN博客

复制代码
cd /home/hduser/eclipse

more eclipse.ini

仍然报错,但可以判断是内存不够的原因,因为用的是最新oxygen版本的eclipse,应该是虚拟机内存不够,再次尝试修改虚拟机内存。

三、安装集成PyDec插件

参考链接:我决定以后一直使用Eclipse了 因为它也可以安装集成PyDec插件来实现Python开发了 哇哈哈哈 - 知乎

PyDev介绍

其实也就是可以让Eclipse来进行Python应用程序的开发和调试的一个插件,而PyDev能够将Eclipse当作 Python IDE来使用!

Eclipse安装Python插件步骤

我们打开Eclipse之后依次展开菜单栏: Help--->install New Software

如图

接着在弹出的Install对话框中,点击右侧的Add按钮

如图

然后在Name和Location中输入以下内容:

name 随便命名

Location 输入: https://pydev.org/update_sites/6.3.0/

http://pydev.org/update_sites/7.3.0/

如图

接着我们选中框中的所有选项,继续点击Next

继续默认一直(next)下一步

在接下来弹出的对话框中勾选一下:

I accept the terms of the license agreements(我接受许可协议的条款) 然后点击Finish

如图

等待安装

点击一下Restart now(现在重启) 即可!

四、Eclipse配置Python解释器 ️

PyDev插件安装成功后,还需要配置一下Python解释器,不然Eclipse无法正常执行Python代码

我们依次展开菜单栏: windows---->Preferences

然后在左侧导航栏选择PyDev---->Interpreters---->Python Interpreter

然后点击右侧的New...选择里面的Config first in PATH, 通过在Path环境变量路径中的PYTHONHOME我们可以找到Python.exe这个解释器,

注意:你前提条件是要先安装过Python

如果没有PyDev证明第三步失败,没有成功。那么可以选择本地安装(参考五安装)

五、PyDev本地安装(三不行的话)

相关推荐
伞伞悦读5 小时前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习
老余说AI5 小时前
跨境电商、课程出海:六款多语言视频翻译工具选型指南
大数据·运维·人工智能
starzy19906 小时前
Structured Streaming 模块与编程模型:引擎内部到底由什么组成
大数据·hadoop·hdfs
Lansonli6 小时前
大数据Spark(九十二):Spark WebUI介绍
大数据·分布式·spark
AI_Auto8 小时前
数字化转型工作手册⑨|干什么①:数字化转型能拿到哪三类价值效益?
大数据·架构·制造
注塑机数据采集联网8 小时前
注塑机智能数据采集联网网关 ZK-D1/D3 如何读取力劲注塑机控制器数据并对接 MES/IOT 平台
大数据·网络·物联网·数据挖掘·注塑机网关
黑十1 天前
FDE 怎么快速搭一个可演示页面?最小前端方案
java·大数据·前端·数据库·人工智能
Databend1 天前
OpenRaft 自定义 Membership,按部署拓扑选择 Quorum
大数据·数据库·数据分析
Databend1 天前
用 SQL 排查支付故障,OpenTelemetry 接入 Databend Cloud 实战
大数据·数据库·sql
上海潭龙东海科技有限公司1 天前
智慧堆场动态模型三维实时孪生重构智能管控
大数据·网络·数据库·算法·重构