如何基于现有平台处理hadoop挂了的情况?

基于今天数据处理的过程,回顾一下今天数据出现问题时,如何处理的流程(仅个人经验)。

目前我司建立的大数据平台还在建设期间,不过基于一段时间的交接,我已经对我司关于数据治理中hadoop底层有了基本的了解。

问题:上午因某一数据ods表发现数据未更新,而该表是基于Hadoop架构上进行解析-加工-治理。

解决方案:

(1)先查上游消息接入平台kafka是否有数据。

(2)确定kafka一直在接数据后,再查看hadoop三个节点状态是否挂了(通过hadoop后台工具或可视化平台查看)

(3)果然有一个因为内存过高已经挂了,所以我重新将Spark拉起来(可以直接命令行拉或者可视化页面重启)

(4)再去查看数据解析、加工。融合任务有没有挂,果然也挂了。找到该任务,去运维中心进行重启。

(5)回到hadoop后台界面查看Log日志是否有问题。

好滴,到这里就解决了。本次问题是个小问题,因为还存在dolphin的问题导致处理时间稍微长。后续需要考虑扩容并需要查看hadoop内存增长消耗过快的问题。

相关推荐
科技互联.3 小时前
破解数据治理效率瓶颈:2026年Data Agent驱动的数据中台能力横向测评
大数据
DataX_ruby823 小时前
2026年数据中台厂商市场份额分析
大数据·人工智能·数据治理·数据中台
汉知宝科技4 小时前
跨境电商品牌合规:出海企业商标管理的特殊挑战与数字化应对
大数据·人工智能
真上帝的左手4 小时前
19. 大数据-数据治理-体系建设全流程
大数据·数据治理
小熊美家熊猫系统5 小时前
电子合同技术实现与合规实践
java·开发语言·分布式
❀抽抽5 小时前
证件照制作API接入指南:700+规格一键生成
大数据·网络·人工智能
Promise微笑5 小时前
绝缘油介损(油介损)测试仪的深层机理、技术演进与精准诊断策略
大数据·网络·人工智能
大C聊AI5 小时前
通用大模型纷纷收费,垂直场景AI工具的价值正在被重估
大数据·人工智能·机器学习·办公效率·ai 工具·智标领航·ai 辅助办公
让学习成为一种生活方式5 小时前
植物基因组数据共享:呼吁全面开放获取--文献精读244
大数据
Java 码思客6 小时前
【ElasticSearch从入门到架构师】第5章:ES DSL 检索语法精讲(核心重点)
大数据·elasticsearch