hivePB级迁移方案

1、评估磁盘空间大小、调整副本数、设置heapsize大小

2、distcp -i -skipcrccheck 源端到目标端,迁移

3、元数据迁移,建表,替换location地址,或者导出db

4、表分区修复

5、配置增量T-1迁移或者T-2

6、校验历史分区脚本,表结构,大小,文件数

7、根据ditcp不对的,进行补数脚本,删分区,重拉

8、任务校验,客户跑完任务后,校验指定分区的count数和内容的md5

9、任务改造,如果md5不一样,说明此表需要做任务改造

10、任务改造,找到md5不同的那一条,对比原表和目标表的值,看哪个字段值不一样

11、二次校验任务

12、校验成功后,切任务,跑当天的数据。

注意如果删除了数据,需要删除分区,可以最后,去Hive源数据库关联每个表的分区和内容与源端比对,然后删除对应的分区,在整体Msck修复一下。

相关推荐
beijingliushao2 天前
33-Hive SQL DML语法之查询数据-2
hive·hadoop·sql
让头发掉下来2 天前
Hive 创建事务表的方法
大数据·hive·hadoop
W.A委员会3 天前
SpringMVC
数据仓库·hive·hadoop·spring
王小王-1233 天前
基于Hadoop的全国农产品批发价格数据分析与可视化与价格预测研究
大数据·hive·hadoop·flume·hadoop农产品价格分析·农产品批发价格·农产品价格预测
beijingliushao6 天前
30-Hive SQL-DML-Load加载数据
数据仓库·hive·apache
シ風箏6 天前
Hive【应用 04】常用DDL操作(数据库操作+创建表+修改表+清空删除表+其他命令)
数据库·hive·hadoop
hrrrrb7 天前
【Spring Boot 快速入门】八、登录认证(二)统一拦截
hive·spring boot·后端
伴生伴熟8 天前
hive-日期拆分为多行
hive·拆分·日期
beijingliushao8 天前
32-Hive SQL DML语法之查询数据
数据库·hive·sql
weixin_307779138 天前
C#实现Hive到Snowflake数据迁移
开发语言·数据仓库·hive·c#