hadoop3.3和hive4.0安装——单节点

hadoop3.3x和hive4.0安装部署

为什么我要安装hive4.0,因为阿里云镜像只有hive4.0

软件相互兼容性版本

系统centos7

uname -a如果内核3.0以上可以用

安装jdk1.8以上的版本(配置好环境变量)

hadoop3.3.x与hive4.0.x


创建目录

mkdir -p /usr/local/service/

先解压hadoop

tar -zxvf hadoop-3.3.5.tar.gz -C /usr/local/service/

cd /usr/local/service/hadoop-3.3.5/

cd /etc/hadoop

设置资源调度为yarn

vi mapred-site.xml

<property>

    <name>mapreduce.framework.name<``/name``>

    <value>yarn<``/value``>

<``/property``>

创建namenode和datanode的webui存储路径

mkdir -p /data/emr/hadoop/namenode

mkdir -p /data/emr/hadoop/namenode

vi hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/home/hadoop/hadoop/tmp/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/home/hadoop/hadoop/tmp/dfs/data</value>

</property>

<property>

<name>dfs.namenode.http-address</name>

<value>namenode-host:50070</value>

</property>

<property>

<name>dfs.namenode.https-address</name>

<value>namenode-host:50470</value>

</property>

</configuration>

相关推荐
神奇侠202413 小时前
Hive SQL常见操作
hive·hadoop·sql
itachi-uchiha19 小时前
Docker部署Hive大数据组件
大数据·hive·docker
viperrrrrrrrrr720 小时前
大数据学习(131)-Hive数据分析函数总结
大数据·hive·学习
qq_408413391 天前
spark 执行 hive sql数据丢失
hive·sql·spark
TDengine (老段)1 天前
TDengine 替换 Hadoop,彻底解决数据丢失问题 !
大数据·数据库·hadoop·物联网·时序数据库·tdengine·涛思数据
yt948322 天前
如何在IDE中通过Spark操作Hive
ide·hive·spark
火龙谷2 天前
【hadoop】Davinci数据可视化工具的安装部署
大数据·hadoop·分布式
£菜鸟也有梦2 天前
从0到1,带你走进Flink的世界
大数据·hadoop·flink·spark
隰有游龙2 天前
hadoop集群启动没有datanode解决
大数据·hadoop·分布式
viperrrrrrrrrr73 天前
大数据学习(129)-Hive数据分析
大数据·hive·学习