hadoop基础

启动Hadoop

cd /usr/local/hadoop
./sbin/start-dfs.sh #启动hadoop

打开
./bin/hdfs dfs
./bin/hdfs dfs -ls

针对 DataNode 没法启动的解决方法

cd /usr/local/hadoop
./sbin/stop-dfs.sh   # 关闭
rm -r ./tmp     # 删除 tmp 文件,注意这会删除 HDFS 中原有的所有数据
./bin/hdfs namenode -format   # 重新格式化 NameNode
./sbin/start-dfs.sh  # 重启

  • hdfs dfs -ls 命令的完整语法是:hdfs dfs -ls [path]

默认情况下当你未指定[path] 时,hadoop会在HDFS里面将路径扩展为/home/[username];这样的话[username]就会被执行命令的Linux用户名替代。因此,当执行此命令时,hdfs dfs -ls ,你看到的报错,ls: '.'no suck file or directory ,因为Hadoop正在寻找这路径/home/username(Linux用户名),但是这条路径在HDFS中不存在。

所以你可以这样做:

[root@localhost hadoop]#bin/hdfs dfs -ls /

进入 Hadoop 的配置文件目录:cd /usr/local/hadoop

执行名称节点的格式化:./bin/hdfs namenode -format

启动 HDFS:./sbin/start-dfs.sh

停止 HDFS:./sbin/stop-dfs.sh

相关推荐
CHICX12295 小时前
【Hadoop】改一下core-site.xml和hdfs-site.xml配置就可以访问Web UI
xml·大数据·hadoop
极客先躯13 小时前
Hadoop krb5.conf 配置详解
大数据·hadoop·分布式·kerberos·krb5.conf·认证系统
BD_Marathon19 小时前
设置hive本地模式
数据仓库·hive·hadoop
Data 31719 小时前
Hive数仓操作(十一)
大数据·数据库·数据仓库·hive·hadoop
Data 31721 小时前
Hive数仓操作(九)
大数据·数据仓库·hive·hadoop
晚睡早起₍˄·͈༝·͈˄*₎◞ ̑̑21 小时前
JavaWeb(二)
java·数据仓库·hive·hadoop·maven
朗朗乾坤.py1 天前
Hadoop HDFS命令操作实例
hadoop·hdfs·npm
杰哥在此1 天前
Python知识点:如何使用Hadoop与Python进行大数据处理
开发语言·hadoop·python·面试·编程
Data 3171 天前
Hive数仓操作(三)
大数据·数据库·数据仓库·hive·hadoop