迁移过程中,hive元数据字段校对

有时候在迁移过程中,源端字段可能被修改了,这些都存储在元数据库里,通常我们一般配置的hive元数据库都是mysql。所以我们最快的速度查出结果,就是在mysql里查。

然后对比2端表的md5就可以找到哪个表有问题了,再针对这下表结构有问题的,进行修改字段。

首先连接hive3.0版本的mysql

代码如下

sql 复制代码
SET SESSION group_concat_max_len = 1000000;

select database_name,table_name,md5(column_names) from (

SELECT 
  d.NAME AS database_name,
  t.TBL_NAME AS table_name,
  GROUP_CONCAT(c.COLUMN_NAME ORDER BY c.INTEGER_IDX) AS column_names
FROM 
  DBS d
JOIN 
  TBLS t ON d.DB_ID = t.DB_ID
JOIN 
  COLUMNS_V2 c ON t.TBL_ID = c.CD_ID
GROUP BY 
  d.NAME, t.TBL_NAME )a 
相关推荐
孤影过客3 小时前
驯服数据巨兽:Hadoop如何重塑大数据的黄金时代
大数据·hadoop·分布式
极光代码工作室6 小时前
基于Hadoop的日志数据分析系统设计
大数据·hadoop·python·数据分析·数据可视化
tumeng07111 天前
HDFS的架构优势与基本操作
hadoop·hdfs·架构
蓝眸少年CY1 天前
Hive - 函数、压缩与优化
数据仓库·hive·hadoop
仗剑_走天涯1 天前
Hadoop 安装
大数据·hadoop·分布式
sunxunyong1 天前
HDFS nnsdy重新配置启动
大数据·hadoop·hdfs
bukeyiwanshui1 天前
Hadoop环境搭建
大数据·hadoop·分布式
Jianghong Jian1 天前
HDFS常用的JAVA API
大数据·hadoop·hdfs
2501_933329551 天前
品牌公关的底层重构:Infoseek舆情系统如何用AI中台破解“按键伤企”难题
数据仓库·人工智能·重构·数据库开发
迈巴赫车主2 天前
大数据:Hadoop(MapReduce)
大数据·hadoop·mapreduce