解决一个Sqoop抽数慢的问题,yarn的ATSv2嵌入式HBASE崩溃引起

新搭建的一个Hadoop环境,用Sqoop批量抽数的时候发现特别慢,我们正常情况下是一个表一分钟左右,批量抽十几个表,也就是10分钟的样子,结果发现用了2个小时:

查看yarn日志

发现有如下情况:

主要有两个情况:

1.有大量的等待日志:Waiting for AsyncDispatcher to drain.Thread state is :WAITING

2.异常中断:Interrupted while publishing entity

经网上查询得知,这个是因为ATSv2的嵌入式HBASE崩溃,需要重置HBASE数据库

步骤如下

1. 停止yarn

在ambari页面上停止yarn

2. 删除zk上的ATSv2 Znode
rmr /atsv2-hbase-unsecure或rmr /atsv2-hbase-secure
3. 删除HDFS上的Hbase嵌入式数据库
hdfs dfs -mv /atsv2/hbase/tmp/
4. 启动yarn

在ambari页面上重新启动yarn

再次重跑任务,时间已经明显的降低了。

相关推荐
江畔独步4 小时前
Hive内置集合函数-size,map_keys,map_values,sort_array,array_contains
数据仓库·hive·hadoop
天地风雷水火山泽4 小时前
二百六十五、Hive——目前Hive数仓各层表样例
数据仓库·hive·hadoop
棉花糖灬4 小时前
Hive常用函数
数据仓库·hive·hadoop
mizuhokaga1 天前
Hive parquet表通过csv文件导入数据
数据仓库·hive·hadoop
全栈弟弟1 天前
高级大数据开发协会
大数据·数据仓库·hadoop·flink·spark
lzhlizihang1 天前
Hadoop的一些高频面试题 --- hdfs、mapreduce以及yarn的面试题
大数据·hadoop·hdfs·mapreduce·面试题·yarn
楠奕1 天前
linux hadoop-3.3.6 hbase-2.5.7
linux·hadoop·hbase
学习3人组1 天前
Hadoop分布式集群配置
大数据·hadoop·分布式
赵渝强老师1 天前
【赵渝强老师】基于ZooKeeper实现Hadoop HA
大数据·hadoop·分布式·zookeeper