【hadoop】常用命令

集群信息

查看hadoop版本

bash 复制代码
hadoop version

查询hdfs系统中的namenode

bash 复制代码
# 方式一
hdfs getconf -namenodes

# 方式二
hdfs getconf -confKey dfs.namenode.http-address

获取NameNode restful接口

bash 复制代码
hdfs getconf -confKey dfs.namenode.http-address
hdfs getconf -confKey dfs.namenode.https-address

查看datanode的存储目录

bash 复制代码
hdfs getconf -confKey dfs.datanode.data.dir

获取SecondaryNameNode节点

bash 复制代码
hdfs getconf -confKey dfs.namenode.secondary.http-address

获取ResourceManager节点

bash 复制代码
hdfs getconf -confKey yarn.resourcemanager.address

获取yarn restful节点和port信息

bash 复制代码
hdfs getconf -confKey yarn.resourcemanager.webapp.address

安全模式

bash 复制代码
# 获取安全模式
hdfs dfsadmin -safemode get
# 输出: Safe mode is OFF
[root@master35 opt]# 
# 强制离开安全模式
hdfs dfsadmin -safemode leave
hdfs dfsadmin -safemode forceExit
# 进入安全模式
hdfs dfsadmin -safemode enter
# 等待安全模式结束
hdfs dfsadmin -safemode wait

文件操作

显示目录结构

bash 复制代码
[hdfs@master35 ~]$ hdfs dfs -ls -R /
# 或者
[hdfs@master35 ~]$ hdfs dfs -ls webhdfs://master35:9870/test
Found 1 items
-rw-r--r--   2 hdfs supergroup          7 2024-08-07 14:06 webhdfs://master35:9870/test/1.txt
# 查看目录状态
curl --negotiate -u:root -i -L  "http://master:9870/webhdfs/v1?op=LISTSTATUS"

创建目录

bash 复制代码
hdfs dfs -mkdir /test

上传本地文件到指定目录下

bash 复制代码
hdfs dfs -put /tmp/test.txt /test

查看文件内容

bash 复制代码
hdfs dfs -cat /test/test.txt
hdfs dfs -text /test/test.txt

创建文件

bash 复制代码
hdfs dfs -touch /test/test1.txt

重命名文件

bash 复制代码
hdfs dfs -mv /test/test1.txt /test/test2.txt

删除文件

bash 复制代码
hdfs dfs -rm /test/test2.txt

删除文件夹

bash 复制代码
hdfs dfs -rm -r /test

下载文件到本地

bash 复制代码
hdfs dfs -get /test/test.txt /tmp

报错日志

日志目录: /var/log/hadoop-hdfs

相关推荐
阿里云大数据AI技术11 小时前
StarRocks 助力数禾科技构建实时数仓:从数据孤岛到智能决策
大数据
Lx35215 小时前
Hadoop数据处理优化:减少Shuffle阶段的性能损耗
大数据·hadoop
努力的小郑18 小时前
从一次分表实践谈起:我们真的需要复杂的分布式ID吗?
分布式·后端·面试
武子康19 小时前
大数据-99 Spark Streaming 数据源全面总结:原理、应用 文件流、Socket、RDD队列流
大数据·后端·spark
AAA修煤气灶刘哥1 天前
别让Redis「歪脖子」!一次搞定数据倾斜与请求倾斜的捉妖记
redis·分布式·后端
阿里云大数据AI技术1 天前
大数据公有云市场第一,阿里云占比47%!
大数据
Lx3522 天前
Hadoop容错机制深度解析:保障作业稳定运行
大数据·hadoop
Aomnitrix2 天前
知识管理新范式——cpolar+Wiki.js打造企业级分布式知识库
开发语言·javascript·分布式
程序消消乐2 天前
Kafka 入门指南:从 0 到 1 构建你的 Kafka 知识基础入门体系
分布式·kafka