迁移过程中,hive元数据字段校对

有时候在迁移过程中,源端字段可能被修改了,这些都存储在元数据库里,通常我们一般配置的hive元数据库都是mysql。所以我们最快的速度查出结果,就是在mysql里查。

然后对比2端表的md5就可以找到哪个表有问题了,再针对这下表结构有问题的,进行修改字段。

首先连接hive3.0版本的mysql

代码如下

sql 复制代码
SET SESSION group_concat_max_len = 1000000;

select database_name,table_name,md5(column_names) from (

SELECT 
  d.NAME AS database_name,
  t.TBL_NAME AS table_name,
  GROUP_CONCAT(c.COLUMN_NAME ORDER BY c.INTEGER_IDX) AS column_names
FROM 
  DBS d
JOIN 
  TBLS t ON d.DB_ID = t.DB_ID
JOIN 
  COLUMNS_V2 c ON t.TBL_ID = c.CD_ID
GROUP BY 
  d.NAME, t.TBL_NAME )a 
相关推荐
ZCBUS实时计算6 小时前
金融证券实时数仓建设实践:轻量化实时计算平台落地,实现交易数据端到端秒级处理
大数据·数据库·数据仓库·金融·flink·dba·etl
fastjson_11 小时前
Hadoop之Yarn
大数据·hadoop·npm
爱看报的猿14 小时前
【金仓数据库征文】MySQL至金仓KES异构数据库平滑迁移与性能深度调优实战
数据库·数据仓库·mysql·金仓数据库征文
fastjson_15 小时前
Hive的介绍和使用
数据仓库·hive·hadoop
光电的一只菜鸡2 天前
小白从零开始学agent(二)——如何高效编写 Prompt 与 Skill
hadoop·microsoft·prompt
德昂信息dataondemand2 天前
数仓ETL避坑指南:如何攻克时序指标中的数据问题
数据仓库·商务智能
哥本哈士奇2 天前
dbt+SQLServer构建数据仓库(3):dbt_project.yml配置精讲
数据仓库·sqlserver
哥本哈士奇3 天前
dbt+SQLServer构建数据仓库(4):分层建模实战
数据仓库·sqlserver
l1t4 天前
kryonix提交的DuckDB 统一并优化标量执行器基础设施 - #24564 PR
开发语言·数据库·数据仓库·sql
ZCBUS实时计算4 天前
政务海量分库分表汇聚实战:基于 3 节点 ZCBUS 集群完成医保 10TB 数据实时整合
大数据·数据库·数据仓库·sql·dba·etl·政务