【hadoop】常用命令

集群信息

查看hadoop版本

bash 复制代码
hadoop version

查询hdfs系统中的namenode

bash 复制代码
# 方式一
hdfs getconf -namenodes

# 方式二
hdfs getconf -confKey dfs.namenode.http-address

获取NameNode restful接口

bash 复制代码
hdfs getconf -confKey dfs.namenode.http-address
hdfs getconf -confKey dfs.namenode.https-address

查看datanode的存储目录

bash 复制代码
hdfs getconf -confKey dfs.datanode.data.dir

获取SecondaryNameNode节点

bash 复制代码
hdfs getconf -confKey dfs.namenode.secondary.http-address

获取ResourceManager节点

bash 复制代码
hdfs getconf -confKey yarn.resourcemanager.address

获取yarn restful节点和port信息

bash 复制代码
hdfs getconf -confKey yarn.resourcemanager.webapp.address

安全模式

bash 复制代码
# 获取安全模式
hdfs dfsadmin -safemode get
# 输出: Safe mode is OFF
[root@master35 opt]# 
# 强制离开安全模式
hdfs dfsadmin -safemode leave
hdfs dfsadmin -safemode forceExit
# 进入安全模式
hdfs dfsadmin -safemode enter
# 等待安全模式结束
hdfs dfsadmin -safemode wait

文件操作

显示目录结构

bash 复制代码
[hdfs@master35 ~]$ hdfs dfs -ls -R /
# 或者
[hdfs@master35 ~]$ hdfs dfs -ls webhdfs://master35:9870/test
Found 1 items
-rw-r--r--   2 hdfs supergroup          7 2024-08-07 14:06 webhdfs://master35:9870/test/1.txt
# 查看目录状态
curl --negotiate -u:root -i -L  "http://master:9870/webhdfs/v1?op=LISTSTATUS"

创建目录

bash 复制代码
hdfs dfs -mkdir /test

上传本地文件到指定目录下

bash 复制代码
hdfs dfs -put /tmp/test.txt /test

查看文件内容

bash 复制代码
hdfs dfs -cat /test/test.txt
hdfs dfs -text /test/test.txt

创建文件

bash 复制代码
hdfs dfs -touch /test/test1.txt

重命名文件

bash 复制代码
hdfs dfs -mv /test/test1.txt /test/test2.txt

删除文件

bash 复制代码
hdfs dfs -rm /test/test2.txt

删除文件夹

bash 复制代码
hdfs dfs -rm -r /test

下载文件到本地

bash 复制代码
hdfs dfs -get /test/test.txt /tmp

报错日志

日志目录: /var/log/hadoop-hdfs

相关推荐
材料苦逼不会梦到计算机白富美35 分钟前
golang分布式缓存项目 Day 1
分布式·缓存·golang
拓端研究室TRL39 分钟前
【梯度提升专题】XGBoost、Adaboost、CatBoost预测合集:抗乳腺癌药物优化、信贷风控、比特币应用|附数据代码...
大数据
黄焖鸡能干四碗42 分钟前
信息化运维方案,实施方案,开发方案,信息中心安全运维资料(软件资料word)
大数据·人工智能·软件需求·设计规范·规格说明书
想进大厂的小王1 小时前
项目架构介绍以及Spring cloud、redis、mq 等组件的基本认识
redis·分布式·后端·spring cloud·微服务·架构
Java 第一深情1 小时前
高性能分布式缓存Redis-数据管理与性能提升之道
redis·分布式·缓存
编码小袁1 小时前
探索数据科学与大数据技术专业本科生的广阔就业前景
大数据
WeeJot嵌入式2 小时前
大数据治理:确保数据的可持续性和价值
大数据
ZHOU西口2 小时前
微服务实战系列之玩转Docker(十八)
分布式·docker·云原生·架构·数据安全·etcd·rbac
zmd-zk3 小时前
kafka+zookeeper的搭建
大数据·分布式·zookeeper·中间件·kafka
激流丶3 小时前
【Kafka 实战】如何解决Kafka Topic数量过多带来的性能问题?
java·大数据·kafka·topic