迁移过程中,hive元数据字段校对

有时候在迁移过程中,源端字段可能被修改了,这些都存储在元数据库里,通常我们一般配置的hive元数据库都是mysql。所以我们最快的速度查出结果,就是在mysql里查。

然后对比2端表的md5就可以找到哪个表有问题了,再针对这下表结构有问题的,进行修改字段。

首先连接hive3.0版本的mysql

代码如下

sql 复制代码
SET SESSION group_concat_max_len = 1000000;

select database_name,table_name,md5(column_names) from (

SELECT 
  d.NAME AS database_name,
  t.TBL_NAME AS table_name,
  GROUP_CONCAT(c.COLUMN_NAME ORDER BY c.INTEGER_IDX) AS column_names
FROM 
  DBS d
JOIN 
  TBLS t ON d.DB_ID = t.DB_ID
JOIN 
  COLUMNS_V2 c ON t.TBL_ID = c.CD_ID
GROUP BY 
  d.NAME, t.TBL_NAME )a 
相关推荐
juniperhan2 小时前
Flink 系列第21篇:Flink SQL 函数与 UDF 全解读:类型推导、开发要点与 Module 扩展
java·大数据·数据仓库·分布式·sql·flink
看海的四叔12 小时前
【SQL】SQL-管好你的字符串
大数据·数据库·hive·sql·数据分析·字符串
坚持就完事了12 小时前
YARN资源管理器
大数据·linux·hadoop·学习
渣渣盟13 小时前
大数据技术栈全景图:从零到一的入门路线(深度实战版)
大数据·hadoop·python·flink·spark
地球资源数据云14 小时前
1960年-2024年中国棉花产量数据集
大数据·数据结构·数据仓库·人工智能
WL_Aurora16 小时前
Hadoop 通过 Web 界面上传文件到 HDFS 失败解决方案
hadoop·hdfs
i建模17 小时前
在数据仓库(数仓)中,给数据打标签(Tagging)
数据仓库
ClouderaHadoop1 天前
CDH 最隐蔽的坑:NTP 时间同步导致的 5 类故障
hadoop·hbase·kerberos·cloudera·cdh
Gent_倪1 天前
Hadoop生态组件介绍
大数据·hadoop
地球资源数据云1 天前
1900-2023年中国物种分布点位矢量数据集
大数据·数据结构·数据库·数据仓库·人工智能