迁移过程中,hive元数据字段校对

有时候在迁移过程中,源端字段可能被修改了,这些都存储在元数据库里,通常我们一般配置的hive元数据库都是mysql。所以我们最快的速度查出结果,就是在mysql里查。

然后对比2端表的md5就可以找到哪个表有问题了,再针对这下表结构有问题的,进行修改字段。

首先连接hive3.0版本的mysql

代码如下

sql 复制代码
SET SESSION group_concat_max_len = 1000000;

select database_name,table_name,md5(column_names) from (

SELECT 
  d.NAME AS database_name,
  t.TBL_NAME AS table_name,
  GROUP_CONCAT(c.COLUMN_NAME ORDER BY c.INTEGER_IDX) AS column_names
FROM 
  DBS d
JOIN 
  TBLS t ON d.DB_ID = t.DB_ID
JOIN 
  COLUMNS_V2 c ON t.TBL_ID = c.CD_ID
GROUP BY 
  d.NAME, t.TBL_NAME )a 
相关推荐
无级程序员8 小时前
大数据Hive之拉链表增量取数合并设计(主表加历史表合并成拉链表)
大数据·hive·hadoop
华农DrLai10 小时前
Spark SQL Catalyst 优化器详解
大数据·hive·sql·flink·spark
心疼你的一切20 小时前
解密CANN仓库:AIGC的算力底座、关键应用与API实战解析
数据仓库·深度学习·aigc·cann
qq_12498707531 天前
基于Hadoop的信贷风险评估的数据可视化分析与预测系统的设计与实现(源码+论文+部署+安装)
大数据·人工智能·hadoop·分布式·信息可视化·毕业设计·计算机毕业设计
十月南城1 天前
Hive与离线数仓方法论——分层建模、分区与桶的取舍与查询代价
数据仓库·hive·hadoop
鹏说大数据1 天前
Spark 和 Hive 的关系与区别
大数据·hive·spark
B站计算机毕业设计超人1 天前
计算机毕业设计Hadoop+Spark+Hive招聘推荐系统 招聘大数据分析 大数据毕业设计(源码+文档+PPT+ 讲解)
大数据·hive·hadoop·python·spark·毕业设计·课程设计
B站计算机毕业设计超人1 天前
计算机毕业设计hadoop+spark+hive交通拥堵预测 交通流量预测 智慧城市交通大数据 交通客流量分析(源码+LW文档+PPT+讲解视频)
大数据·hive·hadoop·python·spark·毕业设计·课程设计
AI架构师小马1 天前
Hive调优手册:从入门到精通的完整指南
数据仓库·hive·hadoop·ai
数据架构师的AI之路1 天前
深入了解大数据领域Hive的HQL语言特性
大数据·hive·hadoop·ai