hadoop配置

服务规划

gz上传文件,解压文件,创建软连接

cd etc

修改workers文件

配置hadoop-env.sh,这个文件作用主要是Hadoop运行的环境变量

Delphi 复制代码
export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

配置core-site。xml文件

java 复制代码
<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://node1:8020</value>
        </property>

        <property>
                <name>io.file.buffer.size</name>
                <value>131072</value>
        </property>
</configuration>

修改hdfs-site.xml文件

创建nn、dn文件夹

复制文件夹

diff 复制代码
scp -r hadoop-3.3.6 node2:`pwd`/
html 复制代码
scp -r hadoop-3.3.6 node3:`pwd`/

在node2、node3上构建软连接

配置环境变量

javascript 复制代码
vim /etc/profile
javascript 复制代码
export HADOOP_HOME=/export/server/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
javascript 复制代码
source /etc/profile

授权hadoop用户

在各种配置文件中,我们都是以root用户进行操作的,普通用户hadoop并没有操作权限,现在我们需要对普通用户hadoop进行授权。

javascript 复制代码
chown -R hadoop:hadoop /export
javascript 复制代码
chown -R hadoop:hadoop /data

授权之前

授权之后

在确保所用node都给Hadoop用户进行授权之后,格式化整个文件系统

perl 复制代码
格式化namenode
# 确保以hadoop用户执行
su - hadoop
# 格式化namenode
hadoop namenode -format

在格式化之后,我们可以来到/data目录下,可以看到dn和nn文件中已经存储了数据:

启动

验证,在node中切换到hadoop用户,输入jps:

node1:

node2:

node3:

相关推荐
还是大剑师兰特41 分钟前
Hadoop面试题及详细答案 110题 (86-95)-- Hadoop生态系统工具
hadoop·大剑师·hadoop面试题
yumgpkpm42 分钟前
CMP (类Cloudera) CDP7.3(400次编译)在华为鲲鹏Aarch64(ARM)信创环境中的性能测试过程及命令
大数据·hive·hadoop·python·elasticsearch·spark·cloudera
hg011843 分钟前
“中非咖桥 世界湘见”2025首届星沙-非洲咖啡嘉年华系列活动启动
大数据
想你依然心痛1 小时前
Spark大数据分析与实战笔记(第六章 Kafka分布式发布订阅消息系统-01)
笔记·分布式·spark
故事很腻i1 小时前
安装kafka-2.5.1
分布式·kafka
Q26433650232 小时前
大数据实战项目-基于K-Means算法与Spark的豆瓣读书数据分析与可视化系统-基于python的豆瓣读书数据分析与可视化大屏
大数据·hadoop·机器学习·数据分析·spark·毕业设计·kmeans
yumgpkpm3 小时前
CMP平台(类Cloudera CDP7.3)在华为鲲鹏的Aarch64信创环境中的性能表现
大数据·flink·kafka·big data·flume·cloudera
大数据CLUB3 小时前
基于spark的抖音短视频数据分析及可视化
大数据·hadoop·分布式·数据分析·spark
yumgpkpm3 小时前
大数据综合管理平台(CMP)(类Cloudera CDP7.3)有哪些核心功能?
hive·hadoop·elasticsearch·zookeeper·big data
一键三联啊4 小时前
【GIT】错误集锦及解决方案
大数据·elasticsearch·搜索引擎