hadoop集群的常用命令

上传文件

hadoop fs -put a.txt /a/b

下载文件

hadoop fs -get /a/b/* ./

查看文件
hadoop fs -ls /a/b

递归删除文件夹
hadoop fs -rm -r /a/b

分屏查看
hadoop fs -cat /a/b/* | more

把hdfs一堆小文件合并到本地的一个文件中
hadoop fs -cat /a/b/* >> test.csv

统计文件行数
hadoop fs -cat /a* | wc -l

统计文件大小
hadoop fs -count -h /file

du统计文件大小
hadoop fs -du -h / # 统计文件夹下每个文件的大小
hadoop fs -du -s -h / #统计这个文件夹总大小,返回的数据是,文件夹大小,备份总大小
hadoop fs -count / # 统计文件数量,返回的数据是目录个数,文件个数,文件总计大小,输入路径

yarn

杀死yarn任务
yarn application -kill application_id

查看yarn日志
yarn logs -applicationId application_id > logs.txt

查看yarn正在运行的任务列表
yarn application -list

查找yarn已经完成的任务列表
yarn application -appStates finished -list

查找yarn所有任务列表
yarn application -appStates ALL -list

相关推荐
码农小韩12 分钟前
Linux应用开发(八)——TCP/IP网络编程基础
linux·嵌入式软件开发·linux操作系统·嵌入式操作系统·linux网络编程·linux应用
huashengzsj16 分钟前
什么是DMS经销商管理系统?国内经销商管理系统有哪些品牌
大数据
迷途之人不知返20 分钟前
【进程】-5-进程优先级
linux
fengyehongWorld1 小时前
Linux squid搭建基础代理服务器
linux·运维·服务器
木白CPP1 小时前
Linux DMA驱动详解(二)-----DMA的使用者
java·linux·运维
IT毕设梦工厂1 小时前
计算机毕业设计选题推荐:基于大数据的草鱼价格分析与可视化|毕业设计选题|计算机毕设|选题推荐|毕设指导|项目定制|源码|高质量项目
大数据·hadoop·python·数据挖掘·数据分析·课程设计·大数据毕设项目
辛迪聊物业数字化1 小时前
智慧社区物业管理软件新手部署与实操指南
大数据·php
赵民勇2 小时前
systemd-socket-activate命令详解
linux·运维
字节跳动数据平台2 小时前
模型再强,为什么 Demo 还是进不了生产?
大数据
南京兴帝文化传媒有限公司2 小时前
本地生活服务GEO优化实战:宁国花店地图关键词布局带来订单翻倍的技术路径
大数据·人工智能·生活·geo 优化·geo优化避坑·ai搜索获客