hadoop配置

服务规划

gz上传文件,解压文件,创建软连接

cd etc

修改workers文件

配置hadoop-env.sh,这个文件作用主要是Hadoop运行的环境变量

Delphi 复制代码
export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

配置core-site。xml文件

java 复制代码
<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://node1:8020</value>
        </property>

        <property>
                <name>io.file.buffer.size</name>
                <value>131072</value>
        </property>
</configuration>

修改hdfs-site.xml文件

创建nn、dn文件夹

复制文件夹

diff 复制代码
scp -r hadoop-3.3.6 node2:`pwd`/
html 复制代码
scp -r hadoop-3.3.6 node3:`pwd`/

在node2、node3上构建软连接

配置环境变量

javascript 复制代码
vim /etc/profile
javascript 复制代码
export HADOOP_HOME=/export/server/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
javascript 复制代码
source /etc/profile

授权hadoop用户

在各种配置文件中,我们都是以root用户进行操作的,普通用户hadoop并没有操作权限,现在我们需要对普通用户hadoop进行授权。

javascript 复制代码
chown -R hadoop:hadoop /export
javascript 复制代码
chown -R hadoop:hadoop /data

授权之前

授权之后

在确保所用node都给Hadoop用户进行授权之后,格式化整个文件系统

perl 复制代码
格式化namenode
# 确保以hadoop用户执行
su - hadoop
# 格式化namenode
hadoop namenode -format

在格式化之后,我们可以来到/data目录下,可以看到dn和nn文件中已经存储了数据:

启动

验证,在node中切换到hadoop用户,输入jps:

node1:

node2:

node3:

相关推荐
IT学长编程13 小时前
计算机毕业设计 基于大数据技术的医疗数据分析与研究 Python 大数据毕业设计 Hadoop毕业设计选题【附源码+文档报告+安装调试】
大数据·hadoop·机器学习·数据分析·毕业设计·毕业论文·医疗数据分析
不吃饭的猪13 小时前
kafka启动小脚本
分布式·kafka
lwprain13 小时前
龙蜥8.10中spark各种集群及单机模式的搭建spark3.5.6(基于hadoop3.3.6集群)
大数据·ajax·spark
休息一下接着来14 小时前
MinIO 分布式模式与纠删码
分布式·minio
胆怯的ai萌新14 小时前
论文阅读/博弈论/拍卖:《Truthful Auction for Cooperative Communications》
分布式·信息与通信
电商软件开发 小银14 小时前
本地生活服务平台创新模式观察:积分体系如何重塑消费生态?
大数据·人工智能·数字化转型·私域运营·消费者心理学
chenglin01614 小时前
TOGAF——ArchiMate
大数据
扬帆起航1314 小时前
亚马逊新品推广破局指南:从手动试错到智能闭环的系统化路径
大数据·数据库·人工智能
Elastic 中国社区官方博客15 小时前
使用 LangExtract 和 Elasticsearch
大数据·人工智能·elasticsearch·搜索引擎·ai·信息可视化·全文检索
IT学长编程15 小时前
计算机毕业设计 基于深度学习的酒店评论文本情感分析研究 Python毕业设计项目 Hadoop毕业设计选题 机器学习选题【附源码+文档报告+安装调试】
hadoop·python·深度学习·机器学习·数据分析·毕业设计·酒店评论文本情感分析