hadoop3.3和hive4.0安装——单节点

hadoop3.3x和hive4.0安装部署

为什么我要安装hive4.0,因为阿里云镜像只有hive4.0

软件相互兼容性版本

系统centos7

uname -a如果内核3.0以上可以用

安装jdk1.8以上的版本(配置好环境变量)

hadoop3.3.x与hive4.0.x


创建目录

mkdir -p /usr/local/service/

先解压hadoop

tar -zxvf hadoop-3.3.5.tar.gz -C /usr/local/service/

cd /usr/local/service/hadoop-3.3.5/

cd /etc/hadoop

设置资源调度为yarn

vi mapred-site.xml

<property>

    <name>mapreduce.framework.name<``/name``>

    <value>yarn<``/value``>

<``/property``>

创建namenode和datanode的webui存储路径

mkdir -p /data/emr/hadoop/namenode

mkdir -p /data/emr/hadoop/namenode

vi hdfs-site.xml

<configuration>

<property>

    <name>dfs.replication</name>

    <value>2</value>

  </property>

  <property>

    <name>dfs.namenode.name.dir</name>

    <value>file:/home/hadoop/hadoop/tmp/dfs/name</value>

  </property>

  <property>

    <name>dfs.datanode.data.dir</name>

    <value>file:/home/hadoop/hadoop/tmp/dfs/data</value>

  </property>

<property>

<name>dfs.namenode.http-address</name>

<value>namenode-host:50070</value>

</property>

<property>

<name>dfs.namenode.https-address</name>

<value>namenode-host:50470</value>

</property>

</configuration>

相关推荐
Francek Chen1 天前
【大数据处理与分析】实验5:MapReduce初级编程实践
大数据·hadoop·分布式·mapreduce
牛奶咖啡135 天前
大数据Hadoop运维应用实践——HIVE与Hadoop实现整合_Hive的配置安装与使用
大数据·hive·hive的配置与安装·metastore服务的配置·hiveserver2服务配置·hive的常用sql操作·beeline的使用
Zhu7586 天前
在k8s集群环境部署高可用的Apache Hadoop3.1.1定制版集群
hadoop·kubernetes
还有你Y7 天前
软件工程架构
hadoop·架构·软件工程
向夏威夷 梦断明暄7 天前
基于Tez引擎的 Hive SQL 性能优化
hive·sql·性能优化
曾阿伦11 天前
Windows 下运行 Hadoop 并部署到 AWS EMR 指南
hadoop·windows·aws
极光代码工作室12 天前
基于Spark的日志监控与分析平台
大数据·hadoop·python·spark·数据可视化
liuxiaowei313 天前
Winform+WPF双框架实战:喷涂工艺SCADA上位机从0到1搭建(附采集监控源码+车间踩坑实录)
大数据·hadoop·wpf
humbinal14 天前
同时支持 gui & cli 的 parquet 文件查看工具,高性能小清新!
hive·python·rust·spark·开源·github·parquet
hkNaruto16 天前
【大数据】《传统Hadoop大数据技术入门:补充与进阶——从数据格式到智能决策的问答实录》
大数据·hadoop·分布式