实验一 Hbase的安装部署与基本操作

系列文章目录

提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加

例如:第一章 Python 机器学习入门之pandas的使用


提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档

文章目录


前言

提示:这里可以添加本文要记录的大概内容:

例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。


提示:以下是本篇文章正文内容,下面案例可供参考

一、安装JDK

  1. 在安装oracle的jdk之前,我们需要先将Linux自带的openjdk卸载掉,因为自带的jdk不太好用,此处可也参考文章在ubuntu16.04上卸载openjdk8,安装oracle的jdk8卸载

  2. 下载jdk-8u161-linux-x64压缩包

  3. 如何安装JDK可以参考文章Ubuntu安装JDK教程
    需要注意的是:往.bashrc环境变量文件里面增加内容时,需要使用到以下命令

    • sudo gedit ~/.bashrc //通过gedit编辑器打开文件并编辑
    • sudo source ~/.bashrc //使得环境变量文件生效
  4. 查看是否安装成功

c 复制代码
java -version

二、Hadoop下载、安装及配置

  1. 下载:官网下载
    官网下载速度太慢,可以从百度网盘下载
  2. 安装过程如下[參考:ubuntu16.04Hadoop伪分布模式环境搭建]找到hadoop-2.7.6.tar包的位置,解压到/usr/local位置下
c 复制代码
tar -zxvf hadoop-2.7.6.tar -C /usr/local

解压之后进入配置文件

vim ~/.bashrc

在配置文件中输入

c 复制代码
export HADOOP_HOME=/usr/local/hadoop-2.7.6
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:

退出后使配置文件生效

c 复制代码
source ~/.bashrc

查看Hadoop是否配置成功

c 复制代码
hadoop version
  1. Hadoop相关环境部署如下

可以参考:ubuntu16.04Hadoop伪分布模式环境搭建

如果出以下错误

Starting namenodes on [localhost]

localhost: mkdir: 无法创建目录"/usr/local/hadoop-2.7.6/logs": 权限不够

localhost: chown: 无法访问'/usr/local/hadoop-2.7.6/logs': 没有那个文件或目录

localhost: starting namenode, logging to /usr/local/hadoop-2.7.6/logs/hadoop-rick-namenode-rick-virtual-machine.out

这是因为hadoop-2.7.6这个文件没有权限,需要执行下面的命令

c 复制代码
sudo chmod 777 /usr/local/hadoop-2.7.6

使用jps命令查看时,出现图片中的内容表明启动成功。

三、Hbase 下载、安装

  1. Hbase下载两种方式:

  2. 创建 /home/Hadoop目录

    rick@rick-virtual-machine\]sudo mkdir /home/Hadoop ![在这里插入图片描述](https://file.jishuzhan.net/article/1692872276527026178/ab71b2cebba8433d83fbc9afc9b7a1a1.png) * ls命令:查看当前目录下的所有文件

    rick@rick-virtual-machine\]tar -xzvf hbase-1.2.6-bin.tar.gz -C /home/hadoop/ ![在这里插入图片描述](https://file.jishuzhan.net/article/1692872276527026178/8fd280fae94f4f86a5641e152cdca0fb.png) `注意此处的"-C"参数不能少,否则会报错,C是大写` ![在这里插入图片描述](https://file.jishuzhan.net/article/1692872276527026178/7103dba5072b4794b886dbee75953874.png)

    rick@rick-virtual-machine\]cd /home/Hadoop //切换到存放hbase所在的目录 \[rick@rick-virtual-machine\]mv hbase-1.2.6 hbase..........//重命名为hbase ![在这里插入图片描述](https://file.jishuzhan.net/article/1692872276527026178/a66075024eef4c71801c15a9ef788eec.png)

    打开/etc/profile文件

    rick@rick-virtual-machine\]sudo gedit /etc/profile 添加以下内容 export HBASE_HOME=/home/Hadoop/hbase export PATH= P A T H : PATH: PATH: HBASE_HOME/bin ![在这里插入图片描述](https://file.jishuzhan.net/article/1692872276527026178/17a145c637fb475f8303d9873406308f.png)

  3. 修改配置文件hbase-env.sh,添加如下信息:

c 复制代码
gedit conf/hbase-env.sh

注意修改配置文件时,使用gedit打开文件,后面的路径一定要正确。此处我是在进入conf目录后使用的gedit命令。

c 复制代码
export JAVA_HOME=/usr/local/java/jdk1.8.0_161
export HBASE_MANAGES_ZK=true
  1. 修改配置文件hbase-site.xml,信息如下

如果未装JDK,直接运行start-hbase.sh会报错

在开启hbase之前,需要赋予用户权限,否则会报错

c 复制代码
sudo chown -R rick /home/Hadoop/hbase

下图表示开启成功


总结

提示:这里对文章进行总结:

例如:以上就是今天要讲的内容,本文仅仅简单介绍了pandas的使用,而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

参考

  1. Ubuntu安装JDK教程
  2. 在ubuntu16.04上卸载openjdk8,安装oracle的jdk8
  3. Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)
  4. ubuntu16.04Hadoop伪分布模式环境搭建
  5. UBuntu linux 安装hadoop 中到一些问题
  6. Ubuntu下配置Hadoop2.7.6
  7. Ubuntu16.04下HBase1.2.6伪分布式的安装与配置
  8. Ubuntu18.04配置伪分布式Hadoop及HBase
  9. ssh登录出现Permission denied, please try again可能的解决方案
相关推荐
yumgpkpm3 天前
CMP(类ClouderaCDP7.3(404次编译) )完全支持华为鲲鹏Aarch64(ARM),粉丝数超过200就开源下载
hive·hadoop·redis·mongodb·elasticsearch·hbase·big data
某zhuan6 天前
云计算实验4——CentOS中HBase的安装
centos·云计算·hbase
直有两条腿10 天前
【数据迁移】HBase Bulkload批量加载原理
大数据·数据库·hbase
BD_Marathon10 天前
启动hbase后,hbmaster总是挂
hbase
洛克大航海14 天前
Ubuntu安装Hbase
大数据·linux·数据库·ubuntu·hbase
智海观潮18 天前
HBase高级特性、rowkey设计以及热点问题处理
大数据·hadoop·hbase
武子康20 天前
Java-143 深入浅出 MongoDB NoSQL:MongoDB、Redis、HBase、Neo4j应用场景与对比
java·数据库·redis·mongodb·性能优化·nosql·hbase
风跟我说过她21 天前
Sqoop的安装与配置
hive·hadoop·经验分享·centos·hbase·sqoop
我要用代码向我喜欢的女孩表白1 个月前
HBase全量+增量迁移import/export方式
大数据·数据库·hbase
Dobby_051 个月前
【Hadoop】HBase:构建于HDFS之上的分布式列式NoSQL数据库
大数据·hadoop·分布式·hbase