hadoop3.3和hive4.0安装——单节点

hadoop3.3x和hive4.0安装部署

为什么我要安装hive4.0,因为阿里云镜像只有hive4.0

软件相互兼容性版本

系统centos7

uname -a如果内核3.0以上可以用

安装jdk1.8以上的版本(配置好环境变量)

hadoop3.3.x与hive4.0.x


创建目录

mkdir -p /usr/local/service/

先解压hadoop

tar -zxvf hadoop-3.3.5.tar.gz -C /usr/local/service/

cd /usr/local/service/hadoop-3.3.5/

cd /etc/hadoop

设置资源调度为yarn

vi mapred-site.xml

<property>

    <name>mapreduce.framework.name<``/name``>

    <value>yarn<``/value``>

<``/property``>

创建namenode和datanode的webui存储路径

mkdir -p /data/emr/hadoop/namenode

mkdir -p /data/emr/hadoop/namenode

vi hdfs-site.xml

<configuration>

<property>

    <name>dfs.replication</name>

    <value>2</value>

  </property>

  <property>

    <name>dfs.namenode.name.dir</name>

    <value>file:/home/hadoop/hadoop/tmp/dfs/name</value>

  </property>

  <property>

    <name>dfs.datanode.data.dir</name>

    <value>file:/home/hadoop/hadoop/tmp/dfs/data</value>

  </property>

<property>

<name>dfs.namenode.http-address</name>

<value>namenode-host:50070</value>

</property>

<property>

<name>dfs.namenode.https-address</name>

<value>namenode-host:50470</value>

</property>

</configuration>

相关推荐
计算机毕业编程指导师7 小时前
计算机毕设选题推荐:基于Hadoop与Spark的Steam游戏数据分析系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习 深度学习
大数据·hadoop·python·计算机·spark·毕业设计·steam游戏
计算机毕业编程指导师7 小时前
【计算机毕设选题推荐】基于Hadoop+Spark的白鹿抖音评论大数据分析与可视化系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习 深度学习
大数据·hadoop·python·计算机·spark·毕业设计·抖音评论
计算机毕业编程指导师14 小时前
大数据毕设怎么做?基于Hadoop的多源社交媒体心理健康情感分析与可视化系统从零到一指导 源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习 深度学习
大数据·hadoop·计算机·数据分析·毕业设计·课程设计·媒体
计算机毕业编程指导师15 小时前
Python大数据毕设:基于Hadoop的病毒式社交媒体趋势和参与度分析系统怎么做 源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·计算机·毕业设计·课程设计·社交媒体
计算机毕业编程指导师18 小时前
【计算机毕设推荐】基于Hadoop+Django的LLM多维度性能评估分析系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习 深度学习
大数据·hadoop·python·django·毕业设计·课程设计·llm性能
卷毛迷你猪19 小时前
快速实验篇(B12)异常流量与刷单识别(方法论演示)
大数据·hive·hadoop·数据挖掘·聚类
计算机毕业编程指导师19 小时前
【Python毕设选题推荐】基于Hadoop+Django的奥斯卡奖获奖数据可视化分析系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习 深度学习
大数据·hadoop·python·计算机·毕业设计·课程设计·奥斯卡奖
计算机毕业编程指导师19 小时前
【大数据毕设选题】基于Spark的电信网络诈骗话术语义特征挖掘分析系统源码 毕业设计 选题推荐 数据分析 机器学习 深度学习
大数据·hadoop·python·spark·毕业设计·课程设计·网络诈骗
计算机毕业编程指导师19 小时前
计算机大数据毕设怎么选?基于Spark的个体肥胖健康风险评估的数据分析与可视化系统带你通关 源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·计算机·spark·毕业设计·肥胖风险
shjita19 小时前
几个hadoop中运行mapreduce的错误记录一下。
大数据·hadoop·eclipse