安装hadoop，并配置hue

欧阳小伙2023-10-09 16:14

0、说明

对于大数据学习的初始阶段，我也曾尝试搭建相应的集群环境。通过搭建环境了解组件的一些功能、配置、原理。

在实际学习过程中，我更多的还是使用docker来快速搭建环境。

这里记录一下我搭建hadoop的过程。

1、下载hadoop

下载地址：Apache Hadoop

shell 复制代码 
wget https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz

# 解压
tar -zxvf hadoop-2.10.1.tar.gz

# 复制到 /usr/hadoop/目录下
# sudo mkdir /usr/hadoop/
# cp -r hadoop-2.10.1 /usr/hadoop/

# 添加HADOOP_HOME
sudo /etc/profile
# 添加如下内容,并保存退出
#HADOOP_HOME
export HADOOP_HOME=/home/airwalk/bigdata/soft/hadoop-2.10.1
export PATH=$HADOOP_HOME/bin:$PATH
export PATH=$HADOOP_HOME/sbin:$PATH


# 使生效
source /etc/profile

# 测试
hdfs version

#结果如下
airwalk@svr43:/usr/hadoop/hadoop-2.10.1$ hdfs  version
Hadoop 2.10.1
Subversion https://github.com/apache/hadoop -r 1827467c9a56f133025f28557bfc2c562d78e816
Compiled by centos on 2020-09-14T13:17Z
Compiled with protoc 2.5.0
From source with checksum 3114edef868f1f3824e7d0f68be03650
This command was run using /home/airwalk/bigdata/soft/hadoop-2.10.1/share/hadoop/common/hadoop-common-2.10.1.jar


# 测试
cd bigdata/soft/hadoop-2.10.1
mkdir input
cp etc/hadoop/* input
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.1.jar grep input/ output '[a-z.]+'

至此，在一台机器上的hadoop安装成功

2、配置

svr43 server42 server37
hdfs namenode,datanode datanode SecondaryNamenode,datanode
yarn nodeManager resourceManager,nodeManager nodeManager

0：免密登录配置

  • 在svr43机器上生成密钥（hdfs的namenode节点）
shell 复制代码 
cd ~/.ssh
## 下面一直回车即可
ssh-keygen -t rsa

## 然后在该目录下执行
ssh-copy-id server42
ssh-copy-id server37
# 自己也需要免密登录自己
ssh-copy-id svr43
  • 在 server42机器上生成密钥，免密登录其它节点，因为该节点是yarn 的resourceManger
shell 复制代码 
cd ~/.ssh
## 下面一直回车即可
ssh-keygen -t rsa

## 然后在该目录下执行
# 自己也需要免密登录自己
ssh-copy-id server42
ssh-copy-id server37
ssh-copy-id svr43

!! 注意，出现如下异常

shell 复制代码 
airwalk@server42:~/.ssh$ ssh svr43
Warning: the ECDSA host key for 'svr43' differs from the key for the IP address '192.168.0.43'
Offending key for IP in /home/airwalk/.ssh/known_hosts:3
Matching host key in /home/airwalk/.ssh/known_hosts:11
Are you sure you want to continue connecting (yes/no)? yes
Welcome to Ubuntu 16.04.6 LTS (GNU/Linux 4.4.0-142-generic x86_64)

# 解决方法
ssh-keygen -R 192.168.0.43
  • 在svr43机器上生成root密钥（hdfs的namenode节点）
shell 复制代码 
# 切换到root账户下
sudo su root
cd /root/.ssh
ssh-keygen -t rsa
ssh-copy-id server42
ssh-copy-id server37
ssh-copy-id svr43

1：配置core-site.xml

临时文件的位置,注意不能放在太小的磁盘里，这里使用的是如下目录

/home/airwalk/bigdata/soft/hadoop-2.10.1/data/tmp
xml 复制代码 
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.0.43:9000</value>
<!-- 这里直接使用配置ip的方式  -->
#<value>hdfs://svr43:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/home/airwalk/bigdata/soft/hadoop-2.10.1/data/tmp</value>
</property>

2：hdfs的配置文件

配置hadoop-env.sh

shell 复制代码 
echo $JAVA_HOME
vim hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

配置hdfs-site.xml

因为集群时3个，所以这里改为副本为3

xml 复制代码 
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <!-- 指定hadoop辅助namenode节点主机配置 -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>server37:50090</value>
    </property>

3：yarn配置

配置yarn-env.sh

vim yarn-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

配置yarn-site.xml

xml 复制代码 
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
<!-- 指定hadoop辅助namenode节点主机配置 -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <!-- 这里直接使用配置ip的方式  -->
    <value>192.168.0.42</value>
        <!-- <value>server42</value> -->
</property>

4：MapReduce配置

配置mapred-env.sh

shell 复制代码 
vim yarn-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

配置mapred-site.xml

    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

3、启动

  • 在namenode节点上，进行格式化操作

    hdfs namenode -format

  • 启动namenode

    cd sbin
    ./hadoop-daemon.sh start namenode
    ./sbin/hadoop-daemon.sh start namenode

  • 启动datanode

    三台机器均启动

    ./sbin/hadoop-daemon.sh start datanode

  • 退出

    ./sbin/hadoop-daemon.sh stop namenode

    三台机器均退出

    ./sbin/hadoop-daemon.sh stop datanode

4、集群启动

1：配置slaves, 所有节点都要修改

shell 复制代码 
cd /home/airwalk/bigdata/soft/hadoop-2.10.1/etc/hadoop
vim salves
# 添加从主机的名字，不允许有空格和空行
svr43
server42
server37

2: 启动hdfs集群

可以自动启动集群中的所有datanode和namenode

shell 复制代码 
# 在hdfs的namenode节点上执行下面的命令
./sbin/start-dfs.sh

3：启动yarn

shell 复制代码 
# 需要再resourceManger节点上进行处理(server42)
./sbin/start-yarn.sh

starting yarn daemons
resourcemanager running as process 10206. Stop it first.
server42: nodemanager running as process 10550. Stop it first.
svr43: starting nodemanager, logging to /home/airwalk/bigdata/soft/hadoop-2.10.1/logs/yarn-airwalk-nodemanager-svr43.out
server37: starting nodemanager, logging to /home/airwalk/bigdata/soft/hadoop-2.10.1/logs/yarn-airwalk-nodemanager-server37.out

5、查看

namenode 节点上的链接

http://192.168.0.43:50070/

6、配置hue

Hadoop配置文件修改

hdfs-site.xml

<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>

core-site.html

<property>
  <name>hadoop.proxyuser.airwalk.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.airwalk.groups</name>
  <value>*</value>
</property>

<property>
  <name>hadoop.proxyuser.root.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.root.groups</name>
  <value>*</value>
</property>

httpfs-site.xml配置

    <!-- Hue HttpFS proxy airwalk setting -->
    <property>
    <name>httpfs.proxyuser.airwalk.hosts</name>
    <value>*</value>
    </property>
    <property>
    <name>httpfs.proxyuser.airwalk.groups</name>
    <value>*</value>
    </property>

HUE配置文件修改

[[hdfs_clusters]] [[[default]]]

fs_defaultfs=hdfs://mycluster

webhdfs_url=http://node1:50070/webhdfs/v1

hadoop_bin=/usr/hadoop-2.5.1/bin

hadoop_conf_dir=/usr/hadoop-2.5.1/etc/hadoop

启动hdfs、重启hue

解决方法：

1、 关闭hdfs的权限验证

hdfs-site.xml

xml 复制代码 
<property>
 <name>dfs.permissions.enabled</name>
  <value>false</value>
</property>
shell 复制代码 
 docker run -tid --name hue88  -p 8888:8888  -v /home/airwalk/bigdata/soft/hadoop-2.10.1/etc/hadoop:/etc/hadoop  gethue/hue:latest

 docker cp hue.ini hue88:/usr/share/hue/desktop/conf/
 
 docker restart hue88
 
 docker exec -it --user root <container id> /bin/bash
shell 复制代码 
sudo apt-get install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel rsync


# 作者：一拳超疼
# 链接：https://www.jianshu.com/p/a80ec32afb27
# 来源：简书
shell 复制代码 
# 参考文档
[Install :: Hue SQL Assistant Documentation (gethue.com)](https://docs.gethue.com/administrator/installation/install/)
# 安装完所以的依赖后，再
# /home/airwalk/bigdata/soft/hue 是想要安装的目录
sudo PREFIX=/home/airwalk/bigdata/soft/hue make install
  • python3.8 安装
shell 复制代码 
https://blog.csdn.net/qq_39779233/article/details/106875184
  • 安装npm
shell 复制代码 
sudo apt install npm
npm install --unsafe-perm=true --allow-root
  • 安装node
shell 复制代码 
# 选择源，及版本号，这里是10.x,其它版本只需要更改为一些如：12.x，注意后面就是一个x
curl -sL https://deb.nodesource.com/setup_10.x | sudo -E bash -

# 安装相应的node
sudo apt-get install -y nodejs

# 查看
node --version
  • 问题
shell 复制代码 
# gyp ERR! stack Error: EACCES: permission denied, mkdir问题解决方案
# npm 有些命令不允许在root用户下执行，会自动从root用户切换到普通用户，这里设置一下，就可以在当前用户下执行

sudo npm i --unsafe-perm

# 然后在root权限下执行如下命令
PREFIX=/home/airwalk/bigdata/soft/hue make install

编译安装成功！！！

相关推荐
不是笨小孩i1 小时前
Git常用指令
大数据·git·elasticsearch
七夜zippoe1 小时前
分布式系统实战经验
java·分布式
howard20051 小时前
大数据概念与价值
大数据·特征·概念·价值
nomi-糯米2 小时前
Fisco Bcos 2.11.0配置console控制台2.10.0及部署调用智能合约
分布式·网络安全·区块链·智能合约·分布式账本
知识分享小能手2 小时前
mysql学习教程，从入门到精通，SQL DISTINCT 子句 （16）
大数据·开发语言·sql·学习·mysql·数据分析·数据库开发
紫钺-高山仰止2 小时前
【脑机接口】脑机接口性能的电压波形的尖峰分类和阈值比较
大数据·分类·数据挖掘
喜欢猪猪2 小时前
Kafka是如何保证数据的安全性、可靠性和分区的
分布式·kafka
芊言芊语2 小时前
分布式消息服务Kafka版的详细解析和配置方式
分布式·kafka
Alluxio2 小时前
选择Alluxio来解决AI模型训练场景数据访问的五大理由
大数据·人工智能·分布式·ai·语言模型
武子康3 小时前
大数据-133 - ClickHouse 基础概述 全面了解
java·大数据·分布式·clickhouse·flink·spark
热门推荐
01软件工程从理论到实践客观题汇总(头歌第一章至第八章)02RAG 实践- Ollama+RagFlow 部署本地知识库032024年高教社杯数学建模国赛C题超详细解题思路分析04【halcon】halcon字符识别——OCR05组基轨迹建模 GBTM的介绍与实现（Stata 或 R）06【2024数模国赛赛题思路公开】国赛B题思路丨附可运行代码丨无偿自提072024年网络安全比赛--系统渗透测试（超详细）08苍穹外卖面试总结09【2024高教社杯全国大学生数学建模竞赛】B题 生产过程中的决策问题——解题思路 代码 论文10分享几个惊艳的 Three.js 个人站点