迁移过程中,hive元数据字段校对

有时候在迁移过程中,源端字段可能被修改了,这些都存储在元数据库里,通常我们一般配置的hive元数据库都是mysql。所以我们最快的速度查出结果,就是在mysql里查。

然后对比2端表的md5就可以找到哪个表有问题了,再针对这下表结构有问题的,进行修改字段。

首先连接hive3.0版本的mysql

代码如下

sql 复制代码
SET SESSION group_concat_max_len = 1000000;

select database_name,table_name,md5(column_names) from (

SELECT 
  d.NAME AS database_name,
  t.TBL_NAME AS table_name,
  GROUP_CONCAT(c.COLUMN_NAME ORDER BY c.INTEGER_IDX) AS column_names
FROM 
  DBS d
JOIN 
  TBLS t ON d.DB_ID = t.DB_ID
JOIN 
  COLUMNS_V2 c ON t.TBL_ID = c.CD_ID
GROUP BY 
  d.NAME, t.TBL_NAME )a 
相关推荐
火龙谷1 小时前
【hadoop】相关集群开启命令
大数据·hadoop·分布式
神奇侠202416 小时前
Hive SQL常见操作
hive·hadoop·sql
SelectDB技术团队19 小时前
从 ClickHouse、Druid、Kylin 到 Doris:网易云音乐 PB 级实时分析平台降本增效
大数据·数据仓库·clickhouse·kylin·实时分析
itachi-uchiha1 天前
Docker部署Hive大数据组件
大数据·hive·docker
viperrrrrrrrrr71 天前
大数据学习(131)-Hive数据分析函数总结
大数据·hive·学习
Leo.yuan1 天前
API是什么意思?如何实现开放API?
大数据·运维·数据仓库·人工智能·信息可视化
qq_408413391 天前
spark 执行 hive sql数据丢失
hive·sql·spark
TDengine (老段)1 天前
TDengine 替换 Hadoop,彻底解决数据丢失问题 !
大数据·数据库·hadoop·物联网·时序数据库·tdengine·涛思数据
workflower1 天前
量子比特实现方式
数据仓库·服务发现·需求分析·量子计算·软件需求
yt948322 天前
如何在IDE中通过Spark操作Hive
ide·hive·spark