hadoop3.3和hive4.0安装——单节点

hadoop3.3x和hive4.0安装部署

为什么我要安装hive4.0,因为阿里云镜像只有hive4.0

软件相互兼容性版本

系统centos7

uname -a如果内核3.0以上可以用

安装jdk1.8以上的版本(配置好环境变量)

hadoop3.3.x与hive4.0.x


创建目录

mkdir -p /usr/local/service/

先解压hadoop

tar -zxvf hadoop-3.3.5.tar.gz -C /usr/local/service/

cd /usr/local/service/hadoop-3.3.5/

cd /etc/hadoop

设置资源调度为yarn

vi mapred-site.xml

<property>

    <name>mapreduce.framework.name<``/name``>

    <value>yarn<``/value``>

<``/property``>

创建namenode和datanode的webui存储路径

mkdir -p /data/emr/hadoop/namenode

mkdir -p /data/emr/hadoop/namenode

vi hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/home/hadoop/hadoop/tmp/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/home/hadoop/hadoop/tmp/dfs/data</value>

</property>

<property>

<name>dfs.namenode.http-address</name>

<value>namenode-host:50070</value>

</property>

<property>

<name>dfs.namenode.https-address</name>

<value>namenode-host:50470</value>

</property>

</configuration>

相关推荐
二十六画生的博客15 小时前
每个subtask都提交一份快照到hdfs,会把10个小的快照合并成一个大的吗?谁来合并?
大数据·hadoop·hdfs·flink
隐于花海,等待花开15 小时前
41.ABS / POW / SQRT 函数深度解析
大数据·hive
千月落17 小时前
HDFS数据迁移
大数据·hadoop·hdfs
隐于花海,等待花开2 天前
40.RAND 函数深度解析
hive·hadoop
孤雪心殇2 天前
快速上手数仓基础知识
数据仓库·hive·spark
隐于花海,等待花开3 天前
39.ROUND / FLOOR / CEIL 函数深度解析
hive·hadoop
看海的四叔4 天前
【SQL】SQL-管好你的字符串
大数据·数据库·hive·sql·数据分析·字符串
坚持就完事了4 天前
YARN资源管理器
大数据·linux·hadoop·学习
渣渣盟4 天前
大数据技术栈全景图:从零到一的入门路线(深度实战版)
大数据·hadoop·python·flink·spark
WL_Aurora4 天前
Hadoop 通过 Web 界面上传文件到 HDFS 失败解决方案
hadoop·hdfs