hadoop集群的常用命令

上传文件

hadoop fs -put a.txt /a/b

下载文件

hadoop fs -get /a/b/* ./

查看文件
hadoop fs -ls /a/b

递归删除文件夹
hadoop fs -rm -r /a/b

分屏查看
hadoop fs -cat /a/b/* | more

把hdfs一堆小文件合并到本地的一个文件中
hadoop fs -cat /a/b/* >> test.csv

统计文件行数
hadoop fs -cat /a* | wc -l

统计文件大小
hadoop fs -count -h /file

du统计文件大小
hadoop fs -du -h / # 统计文件夹下每个文件的大小
hadoop fs -du -s -h / #统计这个文件夹总大小,返回的数据是,文件夹大小,备份总大小
hadoop fs -count / # 统计文件数量,返回的数据是目录个数,文件个数,文件总计大小,输入路径

yarn

杀死yarn任务
yarn application -kill application_id

查看yarn日志
yarn logs -applicationId application_id > logs.txt

查看yarn正在运行的任务列表
yarn application -list

查找yarn已经完成的任务列表
yarn application -appStates finished -list

查找yarn所有任务列表
yarn application -appStates ALL -list

相关推荐
进击的丸子11 分钟前
虹软人脸服务器版SDK(Linux/ARM Pro)多线程调用及性能优化
linux·数据库·后端
字节跳动数据平台20 小时前
5000 字技术向拆解 | 火山引擎多模态数据湖如何释放模思智能的算法生产力
大数据
武子康1 天前
大数据-239 离线数仓 - 广告业务实战:Flume 导入日志到 HDFS,并完成 Hive ODS/DWD 分层加载
大数据·后端·apache hive
Johny_Zhao1 天前
OpenClaw安装部署教程
linux·人工智能·ai·云计算·系统运维·openclaw
字节跳动数据平台2 天前
代码量减少 70%、GPU 利用率达 95%:火山引擎多模态数据湖如何释放模思智能的算法生产力
大数据
得物技术2 天前
深入剖析Spark UI界面:参数与界面详解|得物技术
大数据·后端·spark
武子康2 天前
大数据-238 离线数仓 - 广告业务 Hive分析实战:ADS 点击率、购买率与 Top100 排名避坑
大数据·后端·apache hive
chlk1233 天前
Linux文件权限完全图解:读懂 ls -l 和 chmod 755 背后的秘密
linux·操作系统
武子康3 天前
大数据-237 离线数仓 - Hive 广告业务实战:ODS→DWD 事件解析、广告明细与转化分析落地
大数据·后端·apache hive
舒一笑3 天前
Ubuntu系统安装CodeX出现问题
linux·后端