分布式数据恢复-hbase+hive分布式存储误删除如何恢复数据?

hbase+hive分布式存储数据恢复环境:

16台某品牌R730XD服务器节点,每台物理服务器节点上有数台虚拟机,虚拟机上配置的分布式,上层部署hbase数据库+hive数据仓库。

hbase+hive分布式存储故障&初检:

数据库文件被误删除,数据库无法使用。

通过现场对该分布式环境的初步检测,发现虚拟机还可以正常启动,虚拟机里面的数据库块文件丢失。好在块文件丢失之后没有对集群环境写入数据,底层数据损坏可能性比较小。

hbase+hive分布式存储数据恢复方案:

1、备份。

A、从物理服务器底层做备份,将设备断电、关机。将所有磁盘编号后从服务器/存储中取出。

B、从虚拟机层面备份,通过网络直接备份虚拟机底层磁盘文件。

C、北亚企安数据恢复中心准备一台服务器以只读方式挂载服务器硬盘,对所有磁盘进行扇区对扇区的全盘镜像备份。

D、备份完成后提供详细报告,内容涉及所有磁盘的健康状态和存在的坏道列表。

E、将服务器硬盘按照编号还原到原服务器/存储设备中,之后数据分析和数据恢复操作都基于镜像文件进行,避免对原始磁盘数据造成二次破坏。

2、基于镜像文件分析块文件结构。

A、分析每个虚拟机磁盘的块文件。

B、分析文件底层的聚合方式。

C、分析磁盘中数据分布情况。

3、分析Block文件key。

A、定位数据库文件中的key信息。

B、提取并解析数据库文件中key信息。

C、整合数据库文件key信息。

4、拼接Block文件。

A、根据Block文件的key信息提取文件片段。

B、拼接Block文件的片段。

C、校验拼接后的Block文件的正确性。

5、导入Block文件。

A、校验提取出来的Block文件完整性和正确性。

B、把提取出来的Block文件导入到hbase和hive数据仓库中。

6、验证数据。

由用户对数据进行详细验证。如果发现问题则重新检验上面的恢复流程。

相关推荐
龙信科技5 天前
【国内电子数据取证厂商龙信科技】被格式化的手机如何恢复数据
科技·智能手机·数据恢复
core5125 天前
Hive实战(三)
数据仓库·hive·hadoop
程序员小羊!5 天前
大数据电商流量分析项目实战:Hive 数据仓库(三)
大数据·数据仓库·hive
core5126 天前
Hive实战(一)
数据仓库·hive·hadoop·架构·实战·配置·场景
智海观潮6 天前
Spark SQL解析查询parquet格式Hive表获取分区字段和查询条件
hive·sql·spark
北亚数据恢复6 天前
服务器数据恢复—Raid6阵列崩溃导致上层分区无法访问的数据恢复案例
数据恢复·服务器数据恢复·北亚数据恢复·raid6数据恢复
cxr8287 天前
基于Claude Code的 规范驱动开发(SDD)指南
人工智能·hive·驱动开发·敏捷流程·智能体
core5127 天前
Hive实战(二)
数据仓库·hive·hadoop
Agatha方艺璇8 天前
Hive基础简介
数据仓库·hive·hadoop
isfox8 天前
Google Bigtable深度解析:分布式存储的设计典范
hbase