hadoop集群的常用命令

上传文件

hadoop fs -put a.txt /a/b

下载文件

hadoop fs -get /a/b/* ./

查看文件
hadoop fs -ls /a/b

递归删除文件夹
hadoop fs -rm -r /a/b

分屏查看
hadoop fs -cat /a/b/* | more

把hdfs一堆小文件合并到本地的一个文件中
hadoop fs -cat /a/b/* >> test.csv

统计文件行数
hadoop fs -cat /a* | wc -l

统计文件大小
hadoop fs -count -h /file

du统计文件大小
hadoop fs -du -h / # 统计文件夹下每个文件的大小
hadoop fs -du -s -h / #统计这个文件夹总大小,返回的数据是,文件夹大小,备份总大小
hadoop fs -count / # 统计文件数量,返回的数据是目录个数,文件个数,文件总计大小,输入路径

yarn

杀死yarn任务
yarn application -kill application_id

查看yarn日志
yarn logs -applicationId application_id > logs.txt

查看yarn正在运行的任务列表
yarn application -list

查找yarn已经完成的任务列表
yarn application -appStates finished -list

查找yarn所有任务列表
yarn application -appStates ALL -list

相关推荐
薛定猫AI5 分钟前
OpenAI Codex本地完整配置教程|(Windows/Mac/Linux全平台,修复鉴权报错)
linux·windows·macos
starzy199013 分钟前
SparkStreaming 之 foreachRDD 算子详解及代码实现
大数据·spark
用户5944041035623 分钟前
Redis 高并发高可用实战:从主从哨兵到集群分片,附完整 Java 代码
大数据
ApacheSeaTunnel1 小时前
一个关于数据集成的真相:链路 Success 不等于数据真实可靠
大数据·开源·数据集成·seatunnel·技术分享·数据同步
hengcaib1 小时前
2026工程项目信息平台能力解析:中策大数据建筑工业双赛道的全周期服务实力
大数据
躺不平的理查德2 小时前
OpenSSL 的异步 TLS 1.3 加密
linux·运维·服务器
tedcloud1232 小时前
Awesome DSH Plugin 怎么用?给 DeepSeek Harness 搭建自己的插件生态
大数据·linux·服务器·人工智能·音视频
楷哥爱开发2 小时前
IPFoxy爬虫代理配置指南:从0搭建Crawl4AI网页爬虫教程
大数据·运维·人工智能·爬虫
钓鱼的小小猫2 小时前
从零拿捏Linux(一) ---- 命令(视频秒解)
linux·linux命令