解决一个Sqoop抽数慢的问题,yarn的ATSv2嵌入式HBASE崩溃引起

新搭建的一个Hadoop环境,用Sqoop批量抽数的时候发现特别慢,我们正常情况下是一个表一分钟左右,批量抽十几个表,也就是10分钟的样子,结果发现用了2个小时:

查看yarn日志

发现有如下情况:

主要有两个情况:

1.有大量的等待日志:Waiting for AsyncDispatcher to drain.Thread state is :WAITING

2.异常中断:Interrupted while publishing entity

经网上查询得知,这个是因为ATSv2的嵌入式HBASE崩溃,需要重置HBASE数据库

步骤如下

1. 停止yarn

在ambari页面上停止yarn

2. 删除zk上的ATSv2 Znode
复制代码
rmr /atsv2-hbase-unsecure或rmr /atsv2-hbase-secure
3. 删除HDFS上的Hbase嵌入式数据库
复制代码
hdfs dfs -mv /atsv2/hbase/tmp/
4. 启动yarn

在ambari页面上重新启动yarn

再次重跑任务,时间已经明显的降低了。

相关推荐
IT成长日记6 小时前
【Hive入门】Hive数据导入与导出:批量操作与HDFS数据迁移完全指南
hive·hadoop·hdfs·数据导入与导出·load data
洋芋爱吃芋头7 小时前
hadoop中的序列化和反序列化(3)
大数据·hadoop·python
心碎土豆块7 小时前
hadoop的运行模式
大数据·hadoop·分布式
V文宝9 小时前
大数据技术全景解析:Spark、Hadoop、Hive与SQL的协作与实战
大数据·hadoop·spark
吴爃10 小时前
linux搭建hadoop学习
linux·hadoop·学习
wuli玉shell19 小时前
内存、磁盘、CPU区别,Hadoop/Spark与哪个联系密切
hadoop·spark
IvanCodes20 小时前
一、数据仓库基石:核心理论、分层艺术与 ETL/ELT 之辨
大数据·数据仓库·hive·etl
Microsoft Word1 天前
Hadoop架构再探讨
大数据·hadoop·架构
吴爃1 天前
了解Hadoop
大数据·hadoop·分布式
IvanCodes2 天前
七、Hadoop 历史追踪、数据安全阀与 MapReduce初体验
大数据·hadoop·hdfs·mapreduce·yarn