【hadoop】常用命令

集群信息

查看hadoop版本

bash 复制代码
hadoop version

查询hdfs系统中的namenode

bash 复制代码
# 方式一
hdfs getconf -namenodes

# 方式二
hdfs getconf -confKey dfs.namenode.http-address

获取NameNode restful接口

bash 复制代码
hdfs getconf -confKey dfs.namenode.http-address
hdfs getconf -confKey dfs.namenode.https-address

查看datanode的存储目录

bash 复制代码
hdfs getconf -confKey dfs.datanode.data.dir

获取SecondaryNameNode节点

bash 复制代码
hdfs getconf -confKey dfs.namenode.secondary.http-address

获取ResourceManager节点

bash 复制代码
hdfs getconf -confKey yarn.resourcemanager.address

获取yarn restful节点和port信息

bash 复制代码
hdfs getconf -confKey yarn.resourcemanager.webapp.address

安全模式

bash 复制代码
# 获取安全模式
hdfs dfsadmin -safemode get
# 输出: Safe mode is OFF
[root@master35 opt]# 
# 强制离开安全模式
hdfs dfsadmin -safemode leave
hdfs dfsadmin -safemode forceExit
# 进入安全模式
hdfs dfsadmin -safemode enter
# 等待安全模式结束
hdfs dfsadmin -safemode wait

文件操作

显示目录结构

bash 复制代码
[hdfs@master35 ~]$ hdfs dfs -ls -R /
# 或者
[hdfs@master35 ~]$ hdfs dfs -ls webhdfs://master35:9870/test
Found 1 items
-rw-r--r--   2 hdfs supergroup          7 2024-08-07 14:06 webhdfs://master35:9870/test/1.txt
# 查看目录状态
curl --negotiate -u:root -i -L  "http://master:9870/webhdfs/v1?op=LISTSTATUS"

创建目录

bash 复制代码
hdfs dfs -mkdir /test

上传本地文件到指定目录下

bash 复制代码
hdfs dfs -put /tmp/test.txt /test

查看文件内容

bash 复制代码
hdfs dfs -cat /test/test.txt
hdfs dfs -text /test/test.txt

创建文件

bash 复制代码
hdfs dfs -touch /test/test1.txt

重命名文件

bash 复制代码
hdfs dfs -mv /test/test1.txt /test/test2.txt

删除文件

bash 复制代码
hdfs dfs -rm /test/test2.txt

删除文件夹

bash 复制代码
hdfs dfs -rm -r /test

下载文件到本地

bash 复制代码
hdfs dfs -get /test/test.txt /tmp

报错日志

日志目录: /var/log/hadoop-hdfs

相关推荐
大数据CLUB34 分钟前
基于spark的奥运会奖牌变化数据分析
大数据·hadoop·数据分析·spark
Edingbrugh.南空44 分钟前
Hadoop高可用集群搭建
大数据·hadoop·分布式
智慧化智能化数字化方案1 小时前
69页全面预算管理体系的框架与落地【附全文阅读】
大数据·人工智能·全面预算管理·智慧财务·智慧预算
Bug退退退1231 小时前
RabbitMQ 高级特性之重试机制
java·分布式·spring·rabbitmq
武子康1 小时前
大数据-33 HBase 整体架构 HMaster HRegion
大数据·后端·hbase
在肯德基吃麻辣烫3 小时前
《Redis》缓存与分布式锁
redis·分布式·缓存
亲爱的非洲野猪3 小时前
Kafka消息积压全面解决方案:从应急处理到系统优化
分布式·kafka
掘金-我是哪吒3 小时前
分布式微服务系统架构第157集:JavaPlus技术文档平台日更-Java多线程编程技巧
java·分布式·微服务·云原生·架构
掘金-我是哪吒4 小时前
分布式微服务系统架构第155集:JavaPlus技术文档平台日更-Java线程池实现原理
java·分布式·微服务·云原生·架构
Bug退退退12313 小时前
RabbitMQ 高级特性之死信队列
java·分布式·spring·rabbitmq