hadoop3.3和hive4.0安装——单节点

hadoop3.3x和hive4.0安装部署

为什么我要安装hive4.0,因为阿里云镜像只有hive4.0

软件相互兼容性版本

系统centos7

uname -a如果内核3.0以上可以用

安装jdk1.8以上的版本(配置好环境变量)

hadoop3.3.x与hive4.0.x


创建目录

mkdir -p /usr/local/service/

先解压hadoop

tar -zxvf hadoop-3.3.5.tar.gz -C /usr/local/service/

cd /usr/local/service/hadoop-3.3.5/

cd /etc/hadoop

设置资源调度为yarn

vi mapred-site.xml

<property>

    <name>mapreduce.framework.name<``/name``>

    <value>yarn<``/value``>

<``/property``>

创建namenode和datanode的webui存储路径

mkdir -p /data/emr/hadoop/namenode

mkdir -p /data/emr/hadoop/namenode

vi hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/home/hadoop/hadoop/tmp/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/home/hadoop/hadoop/tmp/dfs/data</value>

</property>

<property>

<name>dfs.namenode.http-address</name>

<value>namenode-host:50070</value>

</property>

<property>

<name>dfs.namenode.https-address</name>

<value>namenode-host:50470</value>

</property>

</configuration>

相关推荐
B站计算机毕业设计超人12 小时前
计算机毕业设计hadoop+spark旅游景点推荐 旅游推荐系统 旅游可视化 旅游爬虫 景区客流量预测 旅游大数据 大数据毕业设计
大数据·hadoop·爬虫·深度学习·机器学习·数据可视化·推荐算法
我要用代码向我喜欢的女孩表白1 天前
hive迁移补数脚本细粒度 表名-分区唯一键
数据仓库·hive·hadoop
隔壁老登1 天前
查询hive指定数据库下所有表的建表语句并生成数据字典
数据库·hive·hadoop
m0_748233642 天前
【分布式】Hadoop完全分布式的搭建(零基础)
大数据·hadoop·分布式
薇晶晶2 天前
如何安装Hadoop
大数据·hadoop·分布式
一张假钞2 天前
MapReduce 读取 Hive ORC ArrayIndexOutOfBoundsException: 1024 异常解决
大数据·hive·mapreduce
python资深爱好者3 天前
Hive中的分区和桶的概念及其作用
数据仓库·hive·hadoop
Beekeeper&&P...3 天前
Spring Security,servlet filter,和白名单之间的关系
hive·spring·servlet
我要用代码向我喜欢的女孩表白3 天前
hive(hdfs)补数脚本
数据仓库·hive·hadoop
宝哥大数据3 天前
Hive--map join
hive