hadoop基础

secret1252024-03-01 20:05

启动Hadoop

复制代码

cd /usr/local/hadoop
./sbin/start-dfs.sh #启动hadoop

打开
./bin/hdfs dfs
./bin/hdfs dfs -ls

针对 DataNode 没法启动的解决方法

复制代码

cd /usr/local/hadoop
./sbin/stop-dfs.sh   # 关闭
rm -r ./tmp     # 删除 tmp 文件，注意这会删除 HDFS 中原有的所有数据
./bin/hdfs namenode -format   # 重新格式化 NameNode
./sbin/start-dfs.sh  # 重启

hdfs dfs -ls 命令的完整语法是：hdfs dfs -ls $path$

默认情况下当你未指定 $path$ 时，hadoop会在HDFS里面将路径扩展为/home/ $username$ ；这样的话 $username$ 就会被执行命令的Linux用户名替代。因此，当执行此命令时，hdfs dfs -ls ,你看到的报错，ls: '.'no suck file or directory ,因为Hadoop正在寻找这路径/home/username（Linux用户名），但是这条路径在HDFS中不存在。

所以你可以这样做：

$root@localhost hadoop$ #bin/hdfs dfs -ls /

进入 Hadoop 的配置文件目录：cd /usr/local/hadoop

执行名称节点的格式化：./bin/hdfs namenode -format

启动 HDFS：./sbin/start-dfs.sh

停止 HDFS：./sbin/stop-dfs.sh