迁移过程中,hive元数据字段校对

有时候在迁移过程中,源端字段可能被修改了,这些都存储在元数据库里,通常我们一般配置的hive元数据库都是mysql。所以我们最快的速度查出结果,就是在mysql里查。

然后对比2端表的md5就可以找到哪个表有问题了,再针对这下表结构有问题的,进行修改字段。

首先连接hive3.0版本的mysql

代码如下

sql 复制代码
SET SESSION group_concat_max_len = 1000000;

select database_name,table_name,md5(column_names) from (

SELECT 
  d.NAME AS database_name,
  t.TBL_NAME AS table_name,
  GROUP_CONCAT(c.COLUMN_NAME ORDER BY c.INTEGER_IDX) AS column_names
FROM 
  DBS d
JOIN 
  TBLS t ON d.DB_ID = t.DB_ID
JOIN 
  COLUMNS_V2 c ON t.TBL_ID = c.CD_ID
GROUP BY 
  d.NAME, t.TBL_NAME )a 
相关推荐
码字的字节9 小时前
深入解析Hadoop中的EditLog与FsImage持久化设计及Checkpoint机制
hadoop·editlog·fsimage
O执O10 小时前
JavaWeb笔记四
java·hive·hadoop·笔记·web
杨荧18 小时前
基于大数据的旅游推荐系统 Python+Django+Hive+Vue.js
大数据·前端·vue.js·hive·python·开源·旅游
码字的字节19 小时前
Hadoop数据完整性校验机制深度解析:CRC32校验和与后台扫描线程
大数据·hadoop·分布式·crc32
撰卢1 天前
Filter快速入门 Java web
java·前端·hive·spring boot
BD_Marathon2 天前
Servlet快速入门
hive·hadoop·servlet
码字的字节2 天前
Hadoop小文件合并技术深度解析:HAR文件归档、存储代价与索引结构
大数据·hadoop·分布式·har·小文件合并
ycllycll2 天前
hive的sql优化思路-明白底层运行逻辑
hive·hadoop·sql
hie988942 天前
springboot注册servlet
hive·spring boot·servlet
码字的字节2 天前
深入解析Hadoop的Block多副本同步机制与Pipeline复制
大数据·hadoop·分布式·pipeline·block多副本同步机制