系列文章目录
提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加
例如:第一章 Python 机器学习入门之pandas的使用
提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档
文章目录
前言
提示:这里可以添加本文要记录的大概内容:
例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。
提示:以下是本篇文章正文内容,下面案例可供参考
一、安装JDK
-
在安装oracle的jdk之前,我们需要先将Linux自带的openjdk卸载掉,因为自带的jdk不太好用,此处可也参考文章在ubuntu16.04上卸载openjdk8,安装oracle的jdk8卸载
-
下载jdk-8u161-linux-x64压缩包
- 官方下载链接:https://www.oracle.com/rs/java/technologies/javase/javase8-archive-downloads.html
但需要去oracle官网注册一个帐号才能下载。
- 提供百度网盘链接:链接: https://pan.baidu.com/s/1YVVXEM--uaZkob7Nex7eKQ?pwd=utem 提取码: utem 复制这段内容后打开百度网盘手机App,操作更方便哦
- 官方下载链接:https://www.oracle.com/rs/java/technologies/javase/javase8-archive-downloads.html
-
如何安装JDK可以参考文章Ubuntu安装JDK教程
需要注意的是:往.bashrc环境变量文件里面增加内容时,需要使用到以下命令sudo gedit ~/.bashrc
//通过gedit编辑器打开文件并编辑- sudo source ~/.bashrc //使得环境变量文件生效
-
查看是否安装成功
c
java -version
二、Hadoop下载、安装及配置
- 下载:官网下载
官网下载速度太慢,可以从百度网盘下载
- 安装过程如下[參考:ubuntu16.04Hadoop伪分布模式环境搭建]找到hadoop-2.7.6.tar包的位置,解压到/usr/local位置下
c
tar -zxvf hadoop-2.7.6.tar -C /usr/local
解压之后进入配置文件
vim ~/.bashrc
在配置文件中输入
c
export HADOOP_HOME=/usr/local/hadoop-2.7.6
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:
退出后使配置文件生效
c
source ~/.bashrc
查看Hadoop是否配置成功
c
hadoop version
- Hadoop相关环境部署如下
可以参考:ubuntu16.04Hadoop伪分布模式环境搭建
如果出以下错误
Starting namenodes on [localhost]
localhost: mkdir: 无法创建目录"/usr/local/hadoop-2.7.6/logs": 权限不够
localhost: chown: 无法访问'/usr/local/hadoop-2.7.6/logs': 没有那个文件或目录
localhost: starting namenode, logging to /usr/local/hadoop-2.7.6/logs/hadoop-rick-namenode-rick-virtual-machine.out
这是因为hadoop-2.7.6这个文件没有权限,需要执行下面的命令
c
sudo chmod 777 /usr/local/hadoop-2.7.6
使用jps命令查看时,出现图片中的内容表明启动成功。
三、Hbase 下载、安装
-
Hbase下载两种方式:
- 其一是去官网下载:http://archive.apache.org/dist/hbase/
- 其二是在终端通过wget命令下载:
wget http://archive.apache.org/dist/hbase/1.2.6/hbase-1.2.6-bin.tar.gz
-
创建 /home/Hadoop目录
[rick@rick-virtual-machine]sudo mkdir /home/Hadoop
- ls命令:查看当前目录下的所有文件
-
将压缩包解压到制定目录:
[rick@rick-virtual-machine]tar -xzvf hbase-1.2.6-bin.tar.gz -C /home/hadoop/
注意此处的"-C"参数不能少,否则会报错,C是大写
-
将Hbase相关文件重命名为hbase:
[rick@rick-virtual-machine]cd /home/Hadoop //切换到存放hbase所在的目录
[rick@rick-virtual-machine]mv hbase-1.2.6 hbase..........//重命名为hbase
-
修改环境变量:
打开/etc/profile文件
[rick@rick-virtual-machine]sudo gedit /etc/profile
添加以下内容
export HBASE_HOME=/home/Hadoop/hbase
export PATH= P A T H : PATH: PATH: HBASE_HOME/bin
HBase的配置
- 修改配置文件hbase-env.sh,添加如下信息:
c
gedit conf/hbase-env.sh
注意修改配置文件时,使用gedit打开文件,后面的路径一定要正确。此处我是在进入conf目录后使用的gedit命令。
c
export JAVA_HOME=/usr/local/java/jdk1.8.0_161
export HBASE_MANAGES_ZK=true
- 修改配置文件hbase-site.xml,信息如下
如果未装JDK,直接运行start-hbase.sh会报错
在开启hbase之前,需要赋予用户权限,否则会报错
c
sudo chown -R rick /home/Hadoop/hbase
下图表示开启成功
总结
提示:这里对文章进行总结:
例如:以上就是今天要讲的内容,本文仅仅简单介绍了pandas的使用,而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。