搭建Hadoop集群 并实现hdfs上的crud操作

搭建Hadoop集群需要以下步骤：

1. 安装Java环境和Hadoop软件包

在所有节点上安装Java环境和Hadoop软件包；

以下是详细的步骤：

在所有节点上安装Java环境和Hadoop软件包。如果您使用的是Ubuntu，可以使用以下命令安装Java环境和Hadoop软件包：

sudo apt-get update
sudo apt-get install default-jdk
sudo apt-get install hadoop

2. 配置Hadoop集群

在每个节点上配置Hadoop的相关配置文件（core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、hadoop-env.sh等文件）；

在每个节点上配置Hadoop的相关配置文件（core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、hadoop-env.sh等文件）。以下是一个示例配置文件：

core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/hadoop/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/home/hadoop/hdfs/datanode</value>
    </property>
</configuration>

mapred-site.xml：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

hadoop-env.sh：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/usr/share/hadoop
export HADOOP_CONF_DIR=/etc/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME

3. 启动Hadoop集群

在NameNode节点上启动HDFS服务和YARN服务，然后在其他节点上启动DataNode和NodeManager服务；

在NameNode节点上启动HDFS服务和YARN服务，然后在其他节点上启动DataNode和NodeManager服务。先格式化HDFS：

hadoop namenode -format

然后启动HDFS和YARN：

start-dfs.sh
start-yarn.sh

在其他节点上启动DataNode和NodeManager：

hadoop-daemon.sh start datanode
yarn-daemon.sh start nodemanager

4. 创建HDFS目录

使用Hadoop fs命令创建HDFS目录；

使用Hadoop fs命令创建HDFS目录。例如：

hadoop fs -mkdir /user
hadoop fs -mkdir /user/hadoop

5. 上传文件到HDFS

使用Hadoop fs命令将文件上传到HDFS；

使用Hadoop fs命令将文件上传到HDFS。例如：

hadoop fs -put /path/to/local/file /user/hadoop/

6. 从HDFS下载文件

使用Hadoop fs命令从HDFS下载文件；

使用Hadoop fs命令从HDFS下载文件。例如：

hadoop fs -get /user/hadoop/file /path/to/local/

7. 在HDFS上删除文件

使用Hadoop fs命令在HDFS上删除文件。

使用Hadoop fs命令在HDFS上删除文件。例如：

hadoop fs -rm /user/hadoop/file

完成以上步骤后，您可以在Hadoop集群上进行文件的CRUD操作了。