hadoop:hafs:上传文件、删除文件、改变文件权限等常用命令

Hadoop是一个开源的分布式计算框架,用于处理和分析大数据集。Hadoop提供了大量的命令来管理集群、处理数据以及执行其他相关任务。

🍀以下是一些常用的Hadoop命令的汇总:

1 启动和关闭Hadoop服务

启动所有Hadoop服务

bash 复制代码
start-all.sh

关闭所有Hadoop服务

bash 复制代码
stop-all.sh

2 HDFS文件系统命令

上传文件到HDFS

bash 复制代码
hdfs dfs -put <local_src> <hdfs_dst>

查看文件系统根目录的文件夹

bash 复制代码
hdfs dfs -ls /

显示Hadoop上的文件内容

bash 复制代码
hdfs dfs -cat <hdfs_file>

从Hadoop上获取文件到本地

bash 复制代码
hdfs dfs -get <hdfs_src> <local_dst>

在Hadoop上删除文件

bash 复制代码
hdfs dfs -rm <hdfs_file>

在Hadoop上创建目录

bash 复制代码
hdfs dfs -mkdir <hdfs_dir>

在Hadoop上创建多级目录

bash 复制代码
hdfs dfs -mkdir -p <hdfs_dir_with_subdirs>

删除目录

bash 复制代码
hdfs dfs -rm -r <hdfs_dir>

重命名文件

bash 复制代码
hdfs dfs -mv <hdfs_src> <hdfs_dst>

3 权限管理类

改变文件所属组

bash 复制代码
hdfs dfs -chgrp <group> <path>

改变文件权限

bash 复制代码
hdfs dfs -chmod [-R] <permissions> <path>
相关推荐
代码匠心2 天前
从零开始学Flink:Flink SQL四大Join解析
大数据·flink·flink sql·大数据处理
武子康3 天前
大数据-242 离线数仓 - DataX 实战:MySQL 全量/增量导入 HDFS + Hive 分区(离线数仓 ODS
大数据·后端·apache hive
SelectDB4 天前
易车 × Apache Doris:构建湖仓一体新架构,加速 AI 业务融合实践
大数据·agent·mcp
武子康4 天前
大数据-241 离线数仓 - 实战:电商核心交易数据模型与 MySQL 源表设计(订单/商品/品类/店铺/支付)
大数据·后端·mysql
茶杯梦轩4 天前
从零起步学习RabbitMQ || 第三章:RabbitMQ的生产者、Broker、消费者如何保证消息不丢失(可靠性)详解
分布式·后端·面试
IvanCodes4 天前
一、消息队列理论基础与Kafka架构价值解析
大数据·后端·kafka
武子康5 天前
大数据-240 离线数仓 - 广告业务 Hive ADS 实战:DataX 将 HDFS 分区表导出到 MySQL
大数据·后端·apache hive
回家路上绕了弯6 天前
深入解析Agent Subagent架构:原理、协同逻辑与实战落地指南
分布式·后端
字节跳动数据平台6 天前
5000 字技术向拆解 | 火山引擎多模态数据湖如何释放模思智能的算法生产力
大数据
武子康6 天前
大数据-239 离线数仓 - 广告业务实战:Flume 导入日志到 HDFS,并完成 Hive ODS/DWD 分层加载
大数据·后端·apache hive