centos7安装hadoop3(上)

确保已按照上一篇安装了JDK8

一、准备hadoop安装包

1、下载

下载地址一:

https://dlcdn.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

2、上传到虚拟机中

打开finalshell

上传到opt目录中

3、解压到/usr/local目录下

bash 复制代码
cd /opt
tar -zxf hadoop-3.3.6.tar.gz -C /usr/local

二、修改配置

1、进入配置目录

bash 复制代码
cd /usr/local/hadoop-3.3.6/etc/hadoop/

修改core-site.xml,注意原来<configuration>位置

XML 复制代码
<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:8020</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/var/log/hadoop/tmp</value>
  </property>
</configuration>

修改hadoop-env.sh,找空行填写就行

bash 复制代码
export JAVA_HOME=/usr/java/jdk1.8.0_281-amd64

修改yarn-env.sh,找空行填写就行

bash 复制代码
export JAVA_HOME=/usr/java/jdk1.8.0_281-amd64

mapred-site.xml中添加的内容,注意原来<configuration>位置

XML 复制代码
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
<!--jobhistory properties-->
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>master:19888</value>
  </property>
  <property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
  <property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
  <property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
</configuration>

yarn-site.xml中修改的内容,注意原来<configuration>位置

XML 复制代码
<configuration>
<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
  </property>    
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>${yarn.resourcemanager.hostname}:8032</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>${yarn.resourcemanager.hostname}:8030</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>${yarn.resourcemanager.hostname}:8088</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.https.address</name>
    <value>${yarn.resourcemanager.hostname}:8090</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>${yarn.resourcemanager.hostname}:8031</value>
  </property>
  <property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>${yarn.resourcemanager.hostname}:8033</value>
  </property>
  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/data/hadoop/yarn/local</value>
  </property>
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>
  <property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/data/tmp/logs</value>
  </property>
  <property> 
    <name>yarn.log.server.url</name> 
    <value>http://master:19888/jobhistory/logs/</value>
  <description>URL for job history server</description>
  </property>
  <property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>  
    <name>yarn.nodemanager.resource.memory-mb</name>  
    <value>2048</value>  
  </property>  
  <property>  
    <name>yarn.scheduler.minimum-allocation-mb</name>  
    <value>512</value>  
  </property>   
  <property>  
    <name>yarn.scheduler.maximum-allocation-mb</name>  
    <value>4096</value>  
  </property> 
  <property> 
    <name>mapreduce.map.memory.mb</name> 
    <value>2048</value> 
  </property> 
  <property> 
    <name>mapreduce.reduce.memory.mb</name> 
    <value>2048</value> 
  </property> 
  <property> 
    <name>yarn.nodemanager.resource.cpu-vcores</name> 
    <value>1</value> 
  </property>
</configuration>

修改workers,内容只有这两行(表示2个主机)

bash 复制代码
slave1
slave2

hdfs-site.xml中修改的内容,注意原来<configuration>位置

XML 复制代码
<configuration>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///data/hadoop/hdfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///data/hadoop/hdfs/data</value>
  </property>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>master:50090</value>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
</configuration>

修改start-dfs.sh和stop-dfs.sh,开头加就行

bash 复制代码
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

修改start-yarn.sh和stop-yarn.sh,开头加就行

bash 复制代码
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

修改/etc/hosts,加在最后就行

bash 复制代码
192.168.128.130 master master.centos.com
192.168.128.131 slave1 slave1.centos.com
192.168.128.132 slave2 slave2.centos.com
相关推荐
starzy19901 天前
Structured Streaming 模块与编程模型:引擎内部到底由什么组成
大数据·hadoop·hdfs
AI源码3 天前
基于 Hadoop 和 Hive 的旅游景区数据的分析与可视化系统
hive·hadoop·旅游
演艺大赏4 天前
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点
大数据·hadoop
starzy19904 天前
Hadoop介绍总结:一张图理清组件、生态与版本
java·hadoop
演艺大赏6 天前
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet
大数据·hadoop
演艺大赏6 天前
RESTServer 起不来,日志只有一行:headerCacheSize 65536 exceeds maximum value of 65534
大数据·hadoop·hbase
Francek Chen17 天前
【大数据处理与分析】数据仓库Hive:09 Hive 编程实践
大数据·数据仓库·hive·hadoop·sql
茶海棠20 天前
Hadoop+zookeeper+HBase+Kafka集群搭建全流程
hadoop·zookeeper·kafka·hbase
Gl�ria21 天前
Hadoop 速刷:HDFS / MR / YARN / Spark / Hive
hadoop·hdfs·mr
FserSuN21 天前
Hive 分区表存储与查询优化学习总结
hive·hadoop·学习