Hadoop:单机伪分布式部署

目录

一、配置安装环境

[1.1 环境要求](#1.1 环境要求)

[1.2 配置环境](#1.2 配置环境)

二、单机伪分布式部署

[2.1 下载hadoop](#2.1 下载hadoop)

[2.2 解压hadoop](#2.2 解压hadoop)

[2.3 配置hadoop环境](#2.3 配置hadoop环境)

[2.4 配置 hadoop-env.sh 文件](#2.4 配置 hadoop-env.sh 文件)

[2.5 配置 core-site.xml 文件](#2.5 配置 core-site.xml 文件)

[2.6 配置 hdfs-site.xml 文件](#2.6 配置 hdfs-site.xml 文件)

[2.7 格式化文件系统](#2.7 格式化文件系统)

[2.8 启动dfs](#2.8 启动dfs)

[2.9 浏览器访问](#2.9 浏览器访问)

三、Hadoop常用命令

[3.1 HDFS 命令](#3.1 HDFS 命令)

[3.2 其他命令](#3.2 其他命令)


一、配置安装环境

1.1 环境要求

  • GNU/Linux系统
  • JDK1.8及以上,hadoop3.4支持jdk17上运行
  • 免密登录

1.2 配置环境

  • 安装jdk

可参考搭建环境02:安装前准备(配置CentOS7)_centos 安装 yum-CSDN博客本篇中安装jdk部分安装。

  • 配置免密登录
bash 复制代码
  $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  $ chmod 0600 ~/.ssh/authorized_keys

二、单机伪分布式部署

2.1 下载hadoop

bash 复制代码
wget https://dlcdn.apache.org/hadoop/common/hadoop-3.4.1/hadoop-3.4.1.tar.gz

2.2 解压hadoop

bash 复制代码
tar -zxvf hadoop-3.4.1.tar.gz -C /data/opt/
ln -s /data/opt/hadoop-3.4.1 /data/opt/hadoop

2.3 配置hadoop环境

vi ~/.bash_profile

bash 复制代码
# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi

# User specific environment and startup programs
JAVA_HOME=/data/opt/jdk
SPARK_HOME=/data/opt/spark
HADOOP_HOME=/data/opt/hadoop
PATH=$PATH:$HOME/.local/bin:$HOME/bin:$JAVA_HOME/bin:$SPARK_HOME/sbin:$SPARK_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export PATH JAVA_HOME SPARK_HOME HADOOP_HOME

2.4 配置 hadoop-env.sh 文件

修改hadoop-env.sh文件,配置JAVA_HOME目录:

bash 复制代码
  # set to the root of your Java installation
  export JAVA_HOME=/data/opt/jdk

2.5 配置 core-site.xml 文件

XML 复制代码
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <!-- 指定 hadoop 运行时产生文件的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/db/hadoop</value>
    </property>
</configuration>

2.6 配置 hdfs-site.xml 文件

XML 复制代码
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
     <!-- NameNode 数据存储目录-->
     <property>
         <name>dfs.namenode.name.dir</name>
         <value>file://${hadoop.tmp.dir}/name</value>
     </property>
     <!-- DataNode 数据存储目录-->
     <property>
         <name>dfs.datanode.data.dir</name>
         <value>file://${hadoop.tmp.dir}/data</value>
     </property>
</configuration>

2.7 格式化文件系统

bash 复制代码
$ bin/hdfs namenode -format

2.8 启动dfs

bash 复制代码
$ sbin/start-dfs.sh

2.9 浏览器访问

三、Hadoop常用命令

3.1 HDFS 命令

  • 查看文件
bash 复制代码
hdfs dfs -ls /path:列出指定目录下的文件和子目录信息
hdfs dfs -cat /path/to/file:显示文件内容
  • 创建目录
bash 复制代码
hdfs dfs -mkdir -p /path/to/directory:创建一个或多个层级的目录
  • 上传文件
bash 复制代码
hdfs dfs -put localfile /user/hadoop/hadoopfile:将本地文件复制到 HDFS 中
hdfs dfs -copyFromLocal localfile /user/hadoop/hadoopfile:等同于-put,将本地文件复制到 HDFS
  • 下载文件
bash 复制代码
hdfs dfs -get /user/hadoop/hadoopfile localfile:将 HDFS 文件复制到本地文件系统
hdfs dfs -copyToLocal /user/hadoop/hadoopfile localfile:等同于-get,将 HDFS 文件复制到本地
  • 删除文件或目录
bash 复制代码
hdfs dfs -rm /path/to/file:删除文件
hdfs dfs -rm -r /path/to/directory:递归删除目录及其所有内容
  • 移动文件
bash 复制代码
hdfs dfs -mv /old/path /new/path:移动或重命名文件
  • 查看文件状态
bash 复制代码
​hdfs dfs -stat [format] /path/to/file:以指定格式输出文件的状态信息
  • 更改文件权限
bash 复制代码
hdfs dfs -chmod 755 /path/to/file:更改文件权限
  • 更改文件所有者
bash 复制代码
hdfs dfs -chown user:group /path/to/file:更改文件的所有者和组

3.2 其他命令

  • 格式化 NameNode
bash 复制代码
hdfs namenode -format:首次启动集群前格式化 NameNode。
  • 启动和停止 Hadoop 集群
bash 复制代码
start-dfs.sh 和 stop-dfs.sh:分别启动和停止 HDFS
相关推荐
慧一居士1 小时前
Zookeeper HA集群搭建
分布式·zookeeper
冼紫菜1 小时前
[特殊字符] 分布式定时任务调度实战:XXL-JOB工作原理与路由策略详解
分布式
Lilith的AI学习日记1 小时前
AI提示词(Prompt)终极指南:从入门到精通(附实战案例)
大数据·人工智能·prompt·aigc·deepseek
白鲸开源2 小时前
任务运维、循环任务死锁.....DolphinScheduler任务配置经验分享
大数据
好想有猫猫3 小时前
【Redis】服务端高并发分布式结构演进之路
数据库·c++·redis·分布式·缓存
小钊(求职中)3 小时前
ElasticSearch从入门到精通-覆盖DSL操作和Java实战
java·大数据·elasticsearch·搜索引擎·全文检索
西电研梦4 小时前
稳扎稳打,25西电生命科学技术学院(考研录取情况)
大数据·考研·生物医学工程·西安电子科技大学
ICT_SOLIDWORKS4 小时前
智诚科技苏州SOLIDWORKS授权代理商的卓越之选
大数据·人工智能·科技·软件工程
24k小善5 小时前
FlinkUpsertKafka深度解析
java·大数据·flink·云计算
码熔burning7 小时前
【MQ篇】RabbitMQ之消息持久化!
java·分布式·rabbitmq·mq