如何基于现有平台处理hadoop挂了的情况?

基于今天数据处理的过程,回顾一下今天数据出现问题时,如何处理的流程(仅个人经验)。

目前我司建立的大数据平台还在建设期间,不过基于一段时间的交接,我已经对我司关于数据治理中hadoop底层有了基本的了解。

问题:上午因某一数据ods表发现数据未更新,而该表是基于Hadoop架构上进行解析-加工-治理。

解决方案:

(1)先查上游消息接入平台kafka是否有数据。

(2)确定kafka一直在接数据后,再查看hadoop三个节点状态是否挂了(通过hadoop后台工具或可视化平台查看)

(3)果然有一个因为内存过高已经挂了,所以我重新将Spark拉起来(可以直接命令行拉或者可视化页面重启)

(4)再去查看数据解析、加工。融合任务有没有挂,果然也挂了。找到该任务,去运维中心进行重启。

(5)回到hadoop后台界面查看Log日志是否有问题。

好滴,到这里就解决了。本次问题是个小问题,因为还存在dolphin的问题导致处理时间稍微长。后续需要考虑扩容并需要查看hadoop内存增长消耗过快的问题。

相关推荐
字节数据平台38 分钟前
iDA:从 ChatBI 到专业数据分析助手的演进之路
大数据·人工智能·机器学习·数据分析
2401_894915531 小时前
GEO 优化源码全解析:从搜索引擎到 AI 引擎的底层改写逻辑
java·服务器·前端·数据库·人工智能·分布式·搜索引擎
万岳软件开发小城6 小时前
同城O2O系统源码核心架构分析:多商户、订单、支付及运营体系设计
大数据·同城外卖系统源码·同城o2o系统源码·外卖app开发·同城o2o小程序开发·同城o2o软件开发
兴通物联科技6 小时前
SMT PCB 微小 DataMatrix 码扫不动问题分析 兴通 XT8601B 600 万像素工业读码器落地实践
大数据·人工智能·单片机·嵌入式硬件·算法·计算机视觉
进度猫6 小时前
5个甘特图高阶用法,不止简单排工期
大数据·人工智能·产品经理·甘特图·项目管理软件
zww89491117 小时前
AI智能商城APP定制开发实战:从需求到上线完整指南
大数据·人工智能
招财小梗8 小时前
沈阳商贸公司AI企业服务优势几何?
大数据·人工智能·python
董可伦8 小时前
Spark 数据倾斜:原因、定位与处理方法
大数据·分布式·spark
ZKKLLY8 小时前
生成式引擎优化赛道崛起,优质GEO服务商该如何筛选评估
大数据·人工智能