迁移过程中,hive元数据字段校对

有时候在迁移过程中,源端字段可能被修改了,这些都存储在元数据库里,通常我们一般配置的hive元数据库都是mysql。所以我们最快的速度查出结果,就是在mysql里查。

然后对比2端表的md5就可以找到哪个表有问题了,再针对这下表结构有问题的,进行修改字段。

首先连接hive3.0版本的mysql

代码如下

sql 复制代码
SET SESSION group_concat_max_len = 1000000;

select database_name,table_name,md5(column_names) from (

SELECT 
  d.NAME AS database_name,
  t.TBL_NAME AS table_name,
  GROUP_CONCAT(c.COLUMN_NAME ORDER BY c.INTEGER_IDX) AS column_names
FROM 
  DBS d
JOIN 
  TBLS t ON d.DB_ID = t.DB_ID
JOIN 
  COLUMNS_V2 c ON t.TBL_ID = c.CD_ID
GROUP BY 
  d.NAME, t.TBL_NAME )a 
相关推荐
火龙谷11 小时前
【hadoop】Kafka 安装部署
大数据·hadoop·kafka
火龙谷15 小时前
【hadoop】Flume的相关介绍
大数据·hadoop·flume
RestCloud16 小时前
企业对数据集成工具的需求及 ETL 工具工作原理详解
数据仓库·系统安全·etl·数字化转型·数据集成平台·集成平台
薇晶晶17 小时前
spark基本介绍
hadoop
IvanCodes19 小时前
九、HQL DQL七大查询子句
大数据·数据库·hive
火龙谷1 天前
【hadoop】sqoop案例 hive->mysql
hive·hadoop·sqoop
薇晶晶1 天前
hadoop中了解yarm
hadoop
尽兴-2 天前
Lambda架构与Kappa架构对比详解
hadoop·架构·kafka·lambda·kappa
tcoding2 天前
《Hadoop 权威指南》笔记
大数据·hadoop·笔记
朵朵zeng2 天前
ETL背景介绍_1:数据孤岛仓库的介绍
数据仓库·etl·原型模式