解决一个Sqoop抽数慢的问题,yarn的ATSv2嵌入式HBASE崩溃引起

新搭建的一个Hadoop环境,用Sqoop批量抽数的时候发现特别慢,我们正常情况下是一个表一分钟左右,批量抽十几个表,也就是10分钟的样子,结果发现用了2个小时:

查看yarn日志

发现有如下情况:

主要有两个情况:

1.有大量的等待日志:Waiting for AsyncDispatcher to drain.Thread state is :WAITING

2.异常中断:Interrupted while publishing entity

经网上查询得知,这个是因为ATSv2的嵌入式HBASE崩溃,需要重置HBASE数据库

步骤如下

1. 停止yarn

在ambari页面上停止yarn

2. 删除zk上的ATSv2 Znode
复制代码
rmr /atsv2-hbase-unsecure或rmr /atsv2-hbase-secure
3. 删除HDFS上的Hbase嵌入式数据库
复制代码
hdfs dfs -mv /atsv2/hbase/tmp/
4. 启动yarn

在ambari页面上重新启动yarn

再次重跑任务,时间已经明显的降低了。

相关推荐
梦里不知身是客119 小时前
hive中metastore 服务的意义
数据仓库·hive·hadoop
计算机毕业编程指导师10 小时前
【Python大数据选题】基于Spark+Django的电影评分人气数据可视化分析系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习
大数据·hadoop·python·计算机·spark·django·电影评分人气
梦里不知身是客1111 小时前
hiveserver2服务的作用和启动
hive
梦里不知身是客1112 小时前
hive让分区关联数据的三种方式
数据仓库·hive·hadoop
咨询QQ87622396513 小时前
从 Lumerical 和 COMSOL 中提取光栅反射相位
hive
m0_740043732 天前
Spring_全面详解入门
数据仓库·hive·hadoop
皓空揽月2 天前
windows安装hadoop2.7.2教程(单机版)
hadoop·windows
青云交2 天前
Java 大视界 -- Java 大数据在智能教育学习成果评估体系完善与教育质量提升中的深度应用(434)
java·hive·spark·智能教育·学习成果评估·教育质量提升·实时评估
咨询QQ:4877392783 天前
探索Qt下的UI皮肤生成器:多风格与编译那些事儿
hive
阿杰同学3 天前
Hadoop 面试题及答案整理,最新面试题
大数据·hadoop·分布式