hadoop配置

服务规划

gz上传文件,解压文件,创建软连接

cd etc

修改workers文件

配置hadoop-env.sh,这个文件作用主要是Hadoop运行的环境变量

Delphi 复制代码
export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

配置core-site。xml文件

java 复制代码
<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://node1:8020</value>
        </property>

        <property>
                <name>io.file.buffer.size</name>
                <value>131072</value>
        </property>
</configuration>

修改hdfs-site.xml文件

创建nn、dn文件夹

复制文件夹

diff 复制代码
scp -r hadoop-3.3.6 node2:`pwd`/
html 复制代码
scp -r hadoop-3.3.6 node3:`pwd`/

在node2、node3上构建软连接

配置环境变量

javascript 复制代码
vim /etc/profile
javascript 复制代码
export HADOOP_HOME=/export/server/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
javascript 复制代码
source /etc/profile

授权hadoop用户

在各种配置文件中,我们都是以root用户进行操作的,普通用户hadoop并没有操作权限,现在我们需要对普通用户hadoop进行授权。

javascript 复制代码
chown -R hadoop:hadoop /export
javascript 复制代码
chown -R hadoop:hadoop /data

授权之前

授权之后

在确保所用node都给Hadoop用户进行授权之后,格式化整个文件系统

perl 复制代码
格式化namenode
# 确保以hadoop用户执行
su - hadoop
# 格式化namenode
hadoop namenode -format

在格式化之后,我们可以来到/data目录下,可以看到dn和nn文件中已经存储了数据:

启动

验证,在node中切换到hadoop用户,输入jps:

node1:

node2:

node3:

相关推荐
Elastic 中国社区官方博客2 小时前
使用 Elastic AI Assistant for Search 和 Azure OpenAI 实现从 0 到 60 的转变
大数据·人工智能·elasticsearch·microsoft·搜索引擎·ai·azure
Francek Chen4 小时前
【大数据技术基础 | 实验十二】Hive实验:Hive分区
大数据·数据仓库·hive·hadoop·分布式
Natural_yz7 小时前
大数据学习17之Spark-Core
大数据·学习·spark
莫叫石榴姐8 小时前
数据科学与SQL:组距分组分析 | 区间分布问题
大数据·人工智能·sql·深度学习·算法·机器学习·数据挖掘
魔珐科技9 小时前
以3D数字人AI产品赋能教育培训人才发展,魔珐科技亮相AI+教育创新与人才发展大会
大数据·人工智能
上优10 小时前
uniapp 选择 省市区 省市 以及 回显
大数据·elasticsearch·uni-app
陌小呆^O^10 小时前
Cmakelist.txt之Liunx-rabbitmq
分布式·rabbitmq
samLi062011 小时前
【更新】中国省级产业集聚测算数据及协调集聚指数数据(2000-2022年)
大数据
Mephisto.java11 小时前
【大数据学习 | Spark-Core】Spark提交及运行流程
大数据·学习·spark