如何基于现有平台处理hadoop挂了的情况?

基于今天数据处理的过程,回顾一下今天数据出现问题时,如何处理的流程(仅个人经验)。

目前我司建立的大数据平台还在建设期间,不过基于一段时间的交接,我已经对我司关于数据治理中hadoop底层有了基本的了解。

问题:上午因某一数据ods表发现数据未更新,而该表是基于Hadoop架构上进行解析-加工-治理。

解决方案:

(1)先查上游消息接入平台kafka是否有数据。

(2)确定kafka一直在接数据后,再查看hadoop三个节点状态是否挂了(通过hadoop后台工具或可视化平台查看)

(3)果然有一个因为内存过高已经挂了,所以我重新将Spark拉起来(可以直接命令行拉或者可视化页面重启)

(4)再去查看数据解析、加工。融合任务有没有挂,果然也挂了。找到该任务,去运维中心进行重启。

(5)回到hadoop后台界面查看Log日志是否有问题。

好滴,到这里就解决了。本次问题是个小问题,因为还存在dolphin的问题导致处理时间稍微长。后续需要考虑扩容并需要查看hadoop内存增长消耗过快的问题。

相关推荐
铭毅天下2 小时前
Easysearch——一款面向企业级场景打造的国产搜索引擎
大数据·搜索引擎
yeflx2 小时前
Git孤儿子模块的清理与转换
大数据·git·elasticsearch
Thomas.Sir2 小时前
Hadoop YARN:大数据集群的“操作系统”
大数据·hadoop·分布式·yarn
IT从业者张某某2 小时前
Docker部署Hadoop-02-Docker常见操作
hadoop·docker·容器
万岳科技程序员小金2 小时前
同城外卖系统源码开发:外卖APP与小程序平台搭建方案详解
大数据·小程序·软件开发·同城外卖系统源码·外卖app开发·外卖小程序开发·外卖软件开发
heartbeat..2 小时前
Java操作ZooKeeper 从入门到实战:分布式协调框架核心教程
java·分布式·spring cloud·微服务·java-zookeeper
程序员敲代码吗2 小时前
深入解析ZooKeeper在分布式系统中的角色与挑战
linux·分布式·zookeeper
武子康13 小时前
大数据-244 离线数仓 - Hive ODS 层建表与分区加载实战(DataX→HDFS→Hive)
大数据·后端·apache hive
武子康2 天前
大数据-243 离线数仓 - 实战电商核心交易增量导入(DataX - HDFS - Hive 分区
大数据·后端·apache hive