实验一 Hbase的安装部署与基本操作

系列文章目录

提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加

例如:第一章 Python 机器学习入门之pandas的使用


提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档

文章目录


前言

提示:这里可以添加本文要记录的大概内容:

例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。


提示:以下是本篇文章正文内容,下面案例可供参考

一、安装JDK

  1. 在安装oracle的jdk之前,我们需要先将Linux自带的openjdk卸载掉,因为自带的jdk不太好用,此处可也参考文章在ubuntu16.04上卸载openjdk8,安装oracle的jdk8卸载

  2. 下载jdk-8u161-linux-x64压缩包

  3. 如何安装JDK可以参考文章Ubuntu安装JDK教程
    需要注意的是:往.bashrc环境变量文件里面增加内容时,需要使用到以下命令

    • sudo gedit ~/.bashrc //通过gedit编辑器打开文件并编辑
    • sudo source ~/.bashrc //使得环境变量文件生效
  4. 查看是否安装成功

c 复制代码
java -version

二、Hadoop下载、安装及配置

  1. 下载:官网下载
    官网下载速度太慢,可以从百度网盘下载
  2. 安装过程如下[參考:ubuntu16.04Hadoop伪分布模式环境搭建]找到hadoop-2.7.6.tar包的位置,解压到/usr/local位置下
c 复制代码
tar -zxvf hadoop-2.7.6.tar -C /usr/local

解压之后进入配置文件

vim ~/.bashrc

在配置文件中输入

c 复制代码
export HADOOP_HOME=/usr/local/hadoop-2.7.6
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:

退出后使配置文件生效

c 复制代码
source ~/.bashrc

查看Hadoop是否配置成功

c 复制代码
hadoop version
  1. Hadoop相关环境部署如下

可以参考:ubuntu16.04Hadoop伪分布模式环境搭建

如果出以下错误

Starting namenodes on [localhost]

localhost: mkdir: 无法创建目录"/usr/local/hadoop-2.7.6/logs": 权限不够

localhost: chown: 无法访问'/usr/local/hadoop-2.7.6/logs': 没有那个文件或目录

localhost: starting namenode, logging to /usr/local/hadoop-2.7.6/logs/hadoop-rick-namenode-rick-virtual-machine.out

这是因为hadoop-2.7.6这个文件没有权限,需要执行下面的命令

c 复制代码
sudo chmod 777 /usr/local/hadoop-2.7.6

使用jps命令查看时,出现图片中的内容表明启动成功。

三、Hbase 下载、安装

  1. Hbase下载两种方式:

  2. 创建 /home/Hadoop目录

    [rick@rick-virtual-machine]sudo mkdir /home/Hadoop

    • ls命令:查看当前目录下的所有文件
  3. 将压缩包解压到制定目录:

    [rick@rick-virtual-machine]tar -xzvf hbase-1.2.6-bin.tar.gz -C /home/hadoop/

    注意此处的"-C"参数不能少,否则会报错,C是大写

  4. 将Hbase相关文件重命名为hbase:

    [rick@rick-virtual-machine]cd /home/Hadoop //切换到存放hbase所在的目录

    [rick@rick-virtual-machine]mv hbase-1.2.6 hbase..........//重命名为hbase

  5. 修改环境变量:

    打开/etc/profile文件

    [rick@rick-virtual-machine]sudo gedit /etc/profile

    添加以下内容

    export HBASE_HOME=/home/Hadoop/hbase

    export PATH= P A T H : PATH: PATH: HBASE_HOME/bin

HBase的配置

  1. 修改配置文件hbase-env.sh,添加如下信息:
c 复制代码
gedit conf/hbase-env.sh

注意修改配置文件时,使用gedit打开文件,后面的路径一定要正确。此处我是在进入conf目录后使用的gedit命令。

c 复制代码
export JAVA_HOME=/usr/local/java/jdk1.8.0_161
export HBASE_MANAGES_ZK=true
  1. 修改配置文件hbase-site.xml,信息如下

如果未装JDK,直接运行start-hbase.sh会报错

在开启hbase之前,需要赋予用户权限,否则会报错

c 复制代码
sudo chown -R rick /home/Hadoop/hbase

下图表示开启成功


总结

提示:这里对文章进行总结:

例如:以上就是今天要讲的内容,本文仅仅简单介绍了pandas的使用,而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

参考

  1. Ubuntu安装JDK教程
  2. 在ubuntu16.04上卸载openjdk8,安装oracle的jdk8
  3. Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)
  4. ubuntu16.04Hadoop伪分布模式环境搭建
  5. UBuntu linux 安装hadoop 中到一些问题
  6. Ubuntu下配置Hadoop2.7.6
  7. Ubuntu16.04下HBase1.2.6伪分布式的安装与配置
  8. Ubuntu18.04配置伪分布式Hadoop及HBase
  9. ssh登录出现Permission denied, please try again可能的解决方案
相关推荐
霍金的微笑1 天前
HBase
大数据·数据库·hbase
SparkSql2 天前
HBase批量写入优化
大数据·数据库·hbase
goTsHgo2 天前
HBase 的二级索引和配置实现
大数据·数据库·hbase
我的K84094 天前
解决hbase和hadoop的log4j依赖冲突的警告
数据库·hadoop·hbase
goTsHgo4 天前
HBase 性能优化 详解
数据库·性能优化·hbase
goTsHgo4 天前
HBase 的 MemStore 详解
大数据·数据库·hbase
无奈ieq6 天前
HBase DML操作代码汇总(表格数据的CRUD操作)
大数据·数据库·hbase
吹老师个人app编程教学6 天前
hbase之布隆过滤器
大数据·数据库·hbase
啊丢_6 天前
分布式数据库——HBase基本操作
数据库·分布式·hbase
无奈ieq6 天前
HBase DDL操作代码汇总(namespace+table CRUD操作)
大数据·数据库·hbase