【hadoop】常用命令

集群信息

查看hadoop版本

bash 复制代码
hadoop version

查询hdfs系统中的namenode

bash 复制代码
# 方式一
hdfs getconf -namenodes

# 方式二
hdfs getconf -confKey dfs.namenode.http-address

获取NameNode restful接口

bash 复制代码
hdfs getconf -confKey dfs.namenode.http-address
hdfs getconf -confKey dfs.namenode.https-address

查看datanode的存储目录

bash 复制代码
hdfs getconf -confKey dfs.datanode.data.dir

获取SecondaryNameNode节点

bash 复制代码
hdfs getconf -confKey dfs.namenode.secondary.http-address

获取ResourceManager节点

bash 复制代码
hdfs getconf -confKey yarn.resourcemanager.address

获取yarn restful节点和port信息

bash 复制代码
hdfs getconf -confKey yarn.resourcemanager.webapp.address

安全模式

bash 复制代码
# 获取安全模式
hdfs dfsadmin -safemode get
# 输出: Safe mode is OFF
[root@master35 opt]# 
# 强制离开安全模式
hdfs dfsadmin -safemode leave
hdfs dfsadmin -safemode forceExit
# 进入安全模式
hdfs dfsadmin -safemode enter
# 等待安全模式结束
hdfs dfsadmin -safemode wait

文件操作

显示目录结构

bash 复制代码
[hdfs@master35 ~]$ hdfs dfs -ls -R /
# 或者
[hdfs@master35 ~]$ hdfs dfs -ls webhdfs://master35:9870/test
Found 1 items
-rw-r--r--   2 hdfs supergroup          7 2024-08-07 14:06 webhdfs://master35:9870/test/1.txt
# 查看目录状态
curl --negotiate -u:root -i -L  "http://master:9870/webhdfs/v1?op=LISTSTATUS"

创建目录

bash 复制代码
hdfs dfs -mkdir /test

上传本地文件到指定目录下

bash 复制代码
hdfs dfs -put /tmp/test.txt /test

查看文件内容

bash 复制代码
hdfs dfs -cat /test/test.txt
hdfs dfs -text /test/test.txt

创建文件

bash 复制代码
hdfs dfs -touch /test/test1.txt

重命名文件

bash 复制代码
hdfs dfs -mv /test/test1.txt /test/test2.txt

删除文件

bash 复制代码
hdfs dfs -rm /test/test2.txt

删除文件夹

bash 复制代码
hdfs dfs -rm -r /test

下载文件到本地

bash 复制代码
hdfs dfs -get /test/test.txt /tmp

报错日志

日志目录: /var/log/hadoop-hdfs

相关推荐
CAE虚拟与现实20 分钟前
论文一篇:加权几何平均组合预测方法对数均方误差的分解
大数据·加权平均
北邮-吴怀玉1 小时前
6.3.3.1 大数据方法论与实践指南-大数据质量度量指标体系
大数据·单例模式
数据智能老司机1 小时前
Apache Hudi权威指南——通过index提高效率
大数据·架构·数据分析
wudl55662 小时前
Flink Keyed State 详解之四
大数据·flink
DolphinScheduler社区2 小时前
小白指南:Apache DolphinScheduler 补数据功能实操演示
java·大数据·开源·apache·海豚调度·大数据工作流调度
TDengine (老段)2 小时前
TDengine 数据函数 TAN 用户手册
java·大数据·数据库·物联网·时序数据库·tdengine·涛思数据
北邮-吴怀玉2 小时前
3.1.1.1 大数据方法论与实践指南-开源工具说明-Apache NiFi
大数据·开源·apache
TDengine (老段)2 小时前
TDengine 数学函数 SQRT 用户手册
java·大数据·数据库·物联网·时序数据库·tdengine·1024程序员节
洛克大航海2 小时前
安装 ElasticSearch、Logstash、Kibana、Kafka 和 Filebeat
大数据·elasticsearch·kafka·kibana·logstash·filebeat
Q26433650232 小时前
【有源码】基于Hadoop与Spark的时尚精品店数据分析与可视化系统-基于多维度分析的零售时尚销售数据挖掘与可视化研究
大数据·hadoop·机器学习·数据挖掘·数据分析·spark·毕业设计