Hadoop搭建(完全分布式)

节点分布:

|---------------------|--------------------|--------------------|
| bigdata-master | bigdata-slave1 | bigdata-salve2 |
| NameNode | NodeManager | NodeManager |
| SecondaryNameNode | DataNode | DataNode |
| ResourceManager | | |
| NodeManager | | |
| DataNode | | |

目录

一、jdk安装:

二、hadoop安装


一、jdk安装:

jdk-8u212链接:https://pan.baidu.com/s/1avN5VPdswFlMZQNeXReAHg

提取码:50w6

1.解压

复制代码
[root@bigdata-master software]# tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

2.环境变量

复制代码
vim /etc/profile

添加如下配置
 
```
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
```

:wq保存退出

使配置生效

复制代码
source  /etc/profile

3.查看版本

复制代码
java -version

4.免密登录(三台都执行)一定要弄的

复制代码
ssh-keygen -t rsa

其中会让输入密码等操作,直接不输入,按enter键

会在/root/.ssh产生id_rsa和id_rsa.pub文件

复制代码
cd /root/.ssh

cat id_rsa.pub >>authorized_keys

将其他节点的id_rsa.pub内容添加到本节点的authorized_keys文件中(每个节点需要执行)

二、hadoop安装

hadoop-3.1.3链接:https://pan.baidu.com/s/11yFkirCiT6tdo_9i1jWwkw

提取码:stgv

1.解压

复制代码
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

2.配置文件

复制代码
cd /opt/module/hadoop-3.1.3/etc/hadoop/

(1). core-site.xml

复制代码
vim core-site.xml

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/module/hadoop-3.1.3/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata-master:9000</value>
    </property>
        <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <description>对root用户不进行限制</description>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
        <description>对root群组不限制</description>
    </property>
</configuration>

保存退出(:wq)

(2). hdfs-site.xml

复制代码
vim hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/module/hadoop-3.1.3/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/module/hadoop-3.1.3/tmp/dfs/data</value>
    </property>
</configuration>

保存退出(:wq)

(3). mapred-site.xml

复制代码
vim mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
       <name>yarn.app.mapreduce.am.env</name>
       <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
     </property>
     <property>
       <name>mapreduce.map.env</name>
       <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
     </property>
     <property>
       <name>mapreduce.reduce.env</name>
       <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
     </property>
 
</configuration>

保存退出(:wq)

(4). yarn-site.xml

复制代码
vim yarn-site.xml

<configuration>
 
<!-- Site specific YARN configuration properties -->
 
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>bigdata-master</value>
</property>
 
</configuration>

保存退出(:wq)

(5).yarn-env,sh

复制代码
vim yarn-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_212

(6).workers

复制代码
vim workers

bigdata-master
bigdata-slave1
bigdata-slave2

​​

(7).

修改 /opt/module/hadoop-3.1.3/sbin/start-dfs.sh和 /opt/module/hadoop-3.1.3/sbin/stop-dfs.sh

复制代码
vim /opt/module/hadoop-3.1.3/sbin/start-dfs.sh

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
复制代码
/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

(8).

修改 /opt/module/hadoop-3.1.3/sbin/start-yarn.sh和 /opt/module/hadoop-3.1.3/sbin/stop-yarn.sh

复制代码
vim /opt/module/hadoop-3.1.3/sbin/start-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
复制代码
vim /opt/module/hadoop-3.1.3/sbin/stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

3.环境变量

复制代码
vim  /etc/profile

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

使变量生效

复制代码
source  /etc/profile

4.分发(或者自己手配以上步骤给另外两台)

分发hadoop和jdk

复制代码
[root@bigdata-master hadoop]# scp -r /opt/module/ root@bigdata-slave1:/opt/module
[root@bigdata-master hadoop]# scp -r /opt/module/ root@bigdata-slave2:/opt/module

配置另外两台的环境变量 并使变量生效

复制代码
source /etc/profile

5.Hdfs格式化(bigdata-master)

不要多次格式化

复制代码
hdfs namenode -format

6.启动hadoop

复制代码
start-all.sh

jps查看进程:

相关推荐
A 计算机毕业设计-小途2 小时前
大四零基础用Vue+ElementUI一周做完化妆品推荐系统?
java·大数据·hadoop·python·spark·毕业设计·毕设
君不见,青丝成雪6 小时前
Flink双流join
大数据·数据仓库·flink
艾希逐月8 小时前
分布式唯一 ID 生成方案
分布式
好好先森&8 小时前
Linux系统:C语言进程间通信信号(Signal)
大数据
EkihzniY8 小时前
结构化 OCR 技术:破解各类检测报告信息提取难题
大数据·ocr
吱吱企业安全通讯软件8 小时前
吱吱企业通讯软件保证内部通讯安全,搭建数字安全体系
大数据·网络·人工智能·安全·信息与通信·吱吱办公通讯
云手机掌柜8 小时前
Tumblr长文运营:亚矩阵云手机助力多账号轮询与关键词布局系统
大数据·服务器·tcp/ip·矩阵·流量运营·虚幻·云手机
拓端研究室11 小时前
专题:2025全球消费趋势与中国市场洞察报告|附300+份报告PDF、原数据表汇总下载
大数据·信息可视化·pdf
齐木卡卡西在敲代码11 小时前
kafka的pull的依据
分布式·kafka