Hadoop3.3.4伪分布式环境搭建

文章目录


前言

hadoop学习------伪分布式环境------普通用户搭建


一、准备

1. 下载Hadoop

2. 配置环境变量

shell 复制代码
vi ~/.bash_profile

# 增加如下配置
export HADOOP_HOME=/home/install/hadoop-3.3.4
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

# 使配置生效
source ~/.bash_profile

3. 配置免密

二、Hadoop配置

配置的目录是$HADOOP_HOME/etc/hadop

1. hadoop-env.sh

修改JAVA_HOME,设置为JDK所在的位置

shell 复制代码
# Linux命令行输出 JDK 位置
echo $JAVA_HOME

2. hdfs-site.xml

xml 复制代码
<!--指定数据冗余份数-->
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
<property>
    <name>dfs.http.address</name>
    <value>hadoop01:50070</value>
</property>

3. core-site.xml

xml 复制代码
 <!--hadoop01是机器名  hostname-->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop01:9000</value>
</property>
<!-- hadoop临时目录 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/home/install/data/hadoop/HADOOP_TMP_DIR</value>
    <description>Abase for other temporary directories.</description>
</property>
<!--所有用户可访问-->
<property>
    <name>hadoop.proxyuser.hduser.groups</name>
    <value>*</value>
</property>
<!--设置buffer size-->
<property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
</property>
<!--任何IP可访问-->
<property>
    <name>hadoop.proxyuser.hduser.hosts</name>
    <value>*</value>
</property>

4. mapred-site.xml

xml 复制代码
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
<property>
    <name>mapreduce.job.counters.max</name>
    <value>1200000</value>
</property>
<property>
    <name>mapreduce.map.memory.mb</name>
    <value>4096</value>
</property>
<property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>8192</value>
</property>
<property>
    <name>mapreduce.map.java.opts</name>
    <value>-Xmx3072m</value>
</property>
<property>
    <name>mapreduce.reduce.java.opts</name>
    <value>-Xmx6144m</value>
</property>

5. yarn-site.xml

xml 复制代码
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop01</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-pmem-ratio</name>
    <value>4</value>
</property>
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>
<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>20480</value>
</property>
<property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>1024</value>
</property>
<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>20480</value>
</property>

三、格式化

shell 复制代码
hadoop namenode -format

四、启动

shell 复制代码
# 懒一点的方式
start-all.sh

相关推荐
物联网软硬件开发-轨物科技2 小时前
【轨物洞见】光伏逆变器数据:分布式电站价值回归的“第一块多米诺骨牌”
分布式
java叶新东老师3 小时前
四、搭建springCloudAlibaba2021.1版本分布式微服务-加入openFeign远程调用和sentinel流量控制
分布式·微服务·sentinel
java叶新东老师3 小时前
五、搭建springCloudAlibaba2021.1版本分布式微服务-gateway网关
分布式·微服务·gateway
黄雪超4 小时前
Kafka——消费者组消费进度监控都怎么实现?
大数据·分布式·kafka
java叶新东老师5 小时前
RabbitMq 常用命令和REST API
分布式·rabbitmq·ruby
liulilittle10 小时前
C++ TAP(基于任务的异步编程模式)
服务器·开发语言·网络·c++·分布式·任务·tap
码字的字节10 小时前
ZooKeeper在Hadoop中的协同应用:从NameNode选主到分布式锁实现
hadoop·分布式·zookeeper·分布式锁
武子康12 小时前
Java-80 深入浅出 RPC Dubbo 动态服务降级:从雪崩防护到配置中心秒级生效
java·分布式·后端·spring·微服务·rpc·dubbo
itLaity17 小时前
基于Kafka实现简单的延时队列
spring boot·分布式·kafka
qq_5298353517 小时前
Zookeeper的简单了解
分布式·zookeeper·云原生