【hadoop】常用命令

集群信息

查看hadoop版本

bash 复制代码
hadoop version

查询hdfs系统中的namenode

bash 复制代码
# 方式一
hdfs getconf -namenodes

# 方式二
hdfs getconf -confKey dfs.namenode.http-address

获取NameNode restful接口

bash 复制代码
hdfs getconf -confKey dfs.namenode.http-address
hdfs getconf -confKey dfs.namenode.https-address

查看datanode的存储目录

bash 复制代码
hdfs getconf -confKey dfs.datanode.data.dir

获取SecondaryNameNode节点

bash 复制代码
hdfs getconf -confKey dfs.namenode.secondary.http-address

获取ResourceManager节点

bash 复制代码
hdfs getconf -confKey yarn.resourcemanager.address

获取yarn restful节点和port信息

bash 复制代码
hdfs getconf -confKey yarn.resourcemanager.webapp.address

安全模式

bash 复制代码
# 获取安全模式
hdfs dfsadmin -safemode get
# 输出: Safe mode is OFF
[root@master35 opt]# 
# 强制离开安全模式
hdfs dfsadmin -safemode leave
hdfs dfsadmin -safemode forceExit
# 进入安全模式
hdfs dfsadmin -safemode enter
# 等待安全模式结束
hdfs dfsadmin -safemode wait

文件操作

显示目录结构

bash 复制代码
[hdfs@master35 ~]$ hdfs dfs -ls -R /
# 或者
[hdfs@master35 ~]$ hdfs dfs -ls webhdfs://master35:9870/test
Found 1 items
-rw-r--r--   2 hdfs supergroup          7 2024-08-07 14:06 webhdfs://master35:9870/test/1.txt
# 查看目录状态
curl --negotiate -u:root -i -L  "http://master:9870/webhdfs/v1?op=LISTSTATUS"

创建目录

bash 复制代码
hdfs dfs -mkdir /test

上传本地文件到指定目录下

bash 复制代码
hdfs dfs -put /tmp/test.txt /test

查看文件内容

bash 复制代码
hdfs dfs -cat /test/test.txt
hdfs dfs -text /test/test.txt

创建文件

bash 复制代码
hdfs dfs -touch /test/test1.txt

重命名文件

bash 复制代码
hdfs dfs -mv /test/test1.txt /test/test2.txt

删除文件

bash 复制代码
hdfs dfs -rm /test/test2.txt

删除文件夹

bash 复制代码
hdfs dfs -rm -r /test

下载文件到本地

bash 复制代码
hdfs dfs -get /test/test.txt /tmp

报错日志

日志目录: /var/log/hadoop-hdfs

相关推荐
老周聊架构7 分钟前
大数据领域开山鼻祖组件Hadoop核心架构设计
大数据
TDengine (老段)6 小时前
TDengine 使用最佳实践(2)
大数据·数据库·物联网·时序数据库·iot·tdengine·涛思数据
Deng9452013147 小时前
基于大数据的电力系统故障诊断技术研究
大数据·matplotlib·深度特征提取·随机森林分类算法·标签编码
C182981825758 小时前
分布式ID 与自增区别
分布式
小菜鸡06269 小时前
FlinkSQL通解
大数据·flink
寅鸷10 小时前
es里为什么node和shard不是一对一的关系
大数据·elasticsearch
码字的字节12 小时前
深入解析Hadoop RPC:技术细节与推广应用
hadoop·rpc
码字的字节12 小时前
深入解析Hadoop架构设计:原理、组件与应用
大数据·hadoop·分布式·hadoop架构设计
阿里云大数据AI技术14 小时前
云上AI推理平台全掌握 (3):服务接入与全球调度
大数据·人工智能·深度学习
时序数据说14 小时前
如何选择时序数据库:关键因素与实用指南
大数据·数据库·物联网·时序数据库·iotdb