hadoop基础

启动Hadoop

复制代码
cd /usr/local/hadoop
./sbin/start-dfs.sh #启动hadoop

打开
./bin/hdfs dfs
./bin/hdfs dfs -ls

针对 DataNode 没法启动的解决方法

复制代码
cd /usr/local/hadoop
./sbin/stop-dfs.sh   # 关闭
rm -r ./tmp     # 删除 tmp 文件,注意这会删除 HDFS 中原有的所有数据
./bin/hdfs namenode -format   # 重新格式化 NameNode
./sbin/start-dfs.sh  # 重启

  • hdfs dfs -ls 命令的完整语法是:hdfs dfs -ls [path]

默认情况下当你未指定[path] 时,hadoop会在HDFS里面将路径扩展为/home/[username];这样的话[username]就会被执行命令的Linux用户名替代。因此,当执行此命令时,hdfs dfs -ls ,你看到的报错,ls: '.'no suck file or directory ,因为Hadoop正在寻找这路径/home/username(Linux用户名),但是这条路径在HDFS中不存在。

所以你可以这样做:

root@localhost hadoop\]#bin/hdfs dfs -ls / 进入 Hadoop 的配置文件目录:cd /usr/local/hadoop 执行名称节点的格式化:./bin/hdfs namenode -format 启动 HDFS:./sbin/start-dfs.sh 停止 HDFS:./sbin/stop-dfs.sh

相关推荐
万能小锦鲤15 小时前
《大数据技术原理与应用》实验报告三 熟悉HBase常用操作
java·hadoop·eclipse·hbase·shell·vmware·实验报告
王小王-1231 天前
基于Hadoop与LightFM的美妆推荐系统设计与实现
大数据·hive·hadoop·大数据美妆推荐系统·美妆商品用户行为·美妆电商
一切顺势而行1 天前
hadoop 集群问题处理
大数据·hadoop·分布式
万能小锦鲤2 天前
《大数据技术原理与应用》实验报告七 熟悉 Spark 初级编程实践
hive·hadoop·ubuntu·flink·spark·vmware·实验报告
项目題供诗2 天前
Hadoop(二)
大数据·hadoop·分布式
万能小锦鲤2 天前
《大数据技术原理与应用》实验报告五 熟悉 Hive 的基本操作
hive·hadoop·ubuntu·eclipse·vmware·实验报告·hiveql
随心............3 天前
hive的相关的优化
数据仓库·hive·hadoop
万能小锦鲤3 天前
《大数据技术原理与应用》实验报告一 熟悉常用的Linux操作和Hadoop操作
大数据·linux·hadoop·ubuntu·vmware·实验报告·大数据技术原理与应用
码字的字节3 天前
深入解析Hadoop中的HDFS架构设计
大数据·hadoop·hdfs
码字的字节3 天前
深入探讨Hadoop YARN Federation:架构设计与实践应用
hadoop·yarn·federation