hadoop配置

服务规划

gz上传文件,解压文件,创建软连接

cd etc

修改workers文件

配置hadoop-env.sh,这个文件作用主要是Hadoop运行的环境变量

Delphi 复制代码
export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

配置core-site。xml文件

java 复制代码
<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://node1:8020</value>
        </property>

        <property>
                <name>io.file.buffer.size</name>
                <value>131072</value>
        </property>
</configuration>

修改hdfs-site.xml文件

创建nn、dn文件夹

复制文件夹

diff 复制代码
scp -r hadoop-3.3.6 node2:`pwd`/
html 复制代码
scp -r hadoop-3.3.6 node3:`pwd`/

在node2、node3上构建软连接

配置环境变量

javascript 复制代码
vim /etc/profile
javascript 复制代码
export HADOOP_HOME=/export/server/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
javascript 复制代码
source /etc/profile

授权hadoop用户

在各种配置文件中,我们都是以root用户进行操作的,普通用户hadoop并没有操作权限,现在我们需要对普通用户hadoop进行授权。

javascript 复制代码
chown -R hadoop:hadoop /export
javascript 复制代码
chown -R hadoop:hadoop /data

授权之前

授权之后

在确保所用node都给Hadoop用户进行授权之后,格式化整个文件系统

perl 复制代码
格式化namenode
# 确保以hadoop用户执行
su - hadoop
# 格式化namenode
hadoop namenode -format

在格式化之后,我们可以来到/data目录下,可以看到dn和nn文件中已经存储了数据:

启动

验证,在node中切换到hadoop用户,输入jps:

node1:

node2:

node3:

相关推荐
siliconstorm.ai1 天前
开源与闭源的再对决:从Grok到中国力量,AI生态走向何方?
大数据·图像处理·人工智能·语言模型·ai作画·云计算·机器翻译
ws2019071 天前
奔赴MOBILITY China 2026深圳新能源汽车技术展,共鉴行业高光时刻
大数据·人工智能·科技·汽车
codergjw1 天前
RabbitMQ篇
分布式·rabbitmq
半桶水专家1 天前
Kafka Topic(主题)详解
分布式·kafka
Sui_Network1 天前
Yotta Labs 选择 Walrus 作为去中心化 AI 存储与工作流管理的专用数据层
大数据·javascript·人工智能·typescript·去中心化·区块链
知彼解己1 天前
Elasticsearch 核心知识与常见问题解析
大数据·elasticsearch·搜索引擎
周杰伦fans1 天前
C# 代码中的“熵增”概念
大数据·c#
蜡笔小柯南1 天前
每秒扛住10万请求?RedissonRateLimiter 分布式限流器详解
分布式·redisson·滑动窗口·ratelimiter
一行•坚书1 天前
Redisson分布式锁会发生死锁问题吗?怎么发生的?
java·分布式·后端
观察猿1 天前
亚马逊流量突围:如何用智能化关键词运营找到更多高转化机会?
大数据·人工智能·产品运营