分布式数据恢复-hbase+hive分布式存储误删除如何恢复数据?

hbase+hive分布式存储数据恢复环境:

16台某品牌R730XD服务器节点,每台物理服务器节点上有数台虚拟机,虚拟机上配置的分布式,上层部署hbase数据库+hive数据仓库。

hbase+hive分布式存储故障&初检:

数据库文件被误删除,数据库无法使用。

通过现场对该分布式环境的初步检测,发现虚拟机还可以正常启动,虚拟机里面的数据库块文件丢失。好在块文件丢失之后没有对集群环境写入数据,底层数据损坏可能性比较小。

hbase+hive分布式存储数据恢复方案:

1、备份。

A、从物理服务器底层做备份,将设备断电、关机。将所有磁盘编号后从服务器/存储中取出。

B、从虚拟机层面备份,通过网络直接备份虚拟机底层磁盘文件。

C、北亚企安数据恢复中心准备一台服务器以只读方式挂载服务器硬盘,对所有磁盘进行扇区对扇区的全盘镜像备份。

D、备份完成后提供详细报告,内容涉及所有磁盘的健康状态和存在的坏道列表。

E、将服务器硬盘按照编号还原到原服务器/存储设备中,之后数据分析和数据恢复操作都基于镜像文件进行,避免对原始磁盘数据造成二次破坏。

2、基于镜像文件分析块文件结构。

A、分析每个虚拟机磁盘的块文件。

B、分析文件底层的聚合方式。

C、分析磁盘中数据分布情况。

3、分析Block文件key。

A、定位数据库文件中的key信息。

B、提取并解析数据库文件中key信息。

C、整合数据库文件key信息。

4、拼接Block文件。

A、根据Block文件的key信息提取文件片段。

B、拼接Block文件的片段。

C、校验拼接后的Block文件的正确性。

5、导入Block文件。

A、校验提取出来的Block文件完整性和正确性。

B、把提取出来的Block文件导入到hbase和hive数据仓库中。

6、验证数据。

由用户对数据进行详细验证。如果发现问题则重新检验上面的恢复流程。

相关推荐
q***37518 小时前
Spring Boot 从 2.7.x 升级到 3.3注意事项
数据库·hive·spring boot
張萠飛2 天前
Phoenix+Hbase和Doris两个方案如何选择,能不能拿Doris完全替代Phoenix+Hbase?有什么难点?
大数据·数据库·hbase
麦嘟学编程2 天前
快速配置 HBase 完全分布式(依赖已部署的 Hadoop+ZooKeeper)
hadoop·分布式·hbase
yumgpkpm3 天前
CMP(类Cloudera CDP 7.3 404版华为Kunpeng)与其他大数据平台对比
大数据·hive·hadoop·elasticsearch·kafka·hbase·cloudera
yumgpkpm3 天前
Hadoop在AI时代如何实现生态协同? CMP 7.13(或类 Cloudera CDP7.3 的 CMP 7.13 平台,如华为鲲鹏 ARM 版)
大数据·hadoop·elasticsearch·zookeeper·kafka·hbase·cloudera
yumgpkpm4 天前
Hadoop大数据平台在中国AI时代的后续发展趋势研究CMP(类Cloudera CDP 7.3 404版华为鲲鹏Kunpeng)
大数据·hive·hadoop·python·zookeeper·oracle·cloudera
pale_moonlight4 天前
五、Hbase基于环境搭建
linux·数据库·hbase
KANGBboy5 天前
ES 总结
hive·elasticsearch
码·蚁6 天前
SpringMVC
数据仓库·hive·hadoop
chde2Wang6 天前
hbase启动报错-keeperErrorCode
大数据·数据库·hbase