

AIIData数据中台集成OpenMetadata构建元数据管理平台,可快速对接Hive数据源,自动抽取表级与字段级数据血缘关系,全景还原数据流转全链路。通过统一企业元数据标准口径,能够有效压降数据治理成本,大幅提升数据溯源与故障排查效率。
1、一键启动采集,自动同步元数据、解析数据血缘
基于 Hive 数仓架构搭建轻量化可视化配置界面,只需填写集群连接与认证信息、选定库表类型,即可一键启动全量采集任务,自动完成元数据同步与数据血缘智能解析。
2、专属采集适配方案,保障生产运维稳定性
针对 Hive 分层存储、分区迭代、批量计算场景,配备增量分区采集、断点续跑、超时重试、异常告警四大能力,适配线上常态化运维。
3、全链路血缘可视化,精准追踪数据流转脉络
打通数据接入、分层加工、任务调度、数据输出的完整业务链路,实现全流程血缘可视化呈现。支持直观查看数据上下游依赖关系、SQL执行明细、调度运行历史及完整采集日志。
💎项目地址:https://github.com/open-metadata/OpenMetadata
💎文档地址:https://docs.open-metadata.org/latest

1、打开元数据管理平台
在左侧菜单栏找到并点击【元数据管理平台】,进入平台首页

2、 打开设置页面,点击服务
顶部导航栏打开【设置】页面,在设置功能面板中,点击【服务】功能卡片,进入服务配置列表。

3、点击数据库
点击【数据库】即可进入数据库相关配置界面,后续可开展数据源新增、连接配置等操作。

4、添加新服务
点击添加新服务按钮,打开数据源类型选择弹窗,准备创建数据库连接服务。

5、找到Hive选择,下一步
在数据源类型列表中,选中Hive数据源类型,确认后点击【下一步】进入基础信息填写页。

6、填写服务名以及描述,下一步
自定义填写当前Hive服务名,按需补充备注描述信息,核对信息无误后点击【下一步】。

7、输入数据库连接信息,测试连接
填写Hive 数据源账号、地址端口、认证模式、库名、SSL、元数据连接等参数,配置完成后测试连通性。

8、测试连接,下一步
若弹窗提示连接成功,代表数据库网络、账号密码、参数配置无误,直接点击【下一步】进入高级配置页面;
若连接失败,排查 IP 端口、账号权限、防火墙、驱动配置问题后重新测试。

9、默认配置,Save
若无指定库、表过滤需求,高级配置保持系统默认配置,确认全部配置信息后点击【Save】 按钮,完成Hive数据源服务创建提交。

10、服务创建完成
完成 Hive数据源服务创建,可查看服务归属域、所有者、分级信息,展示代理运行状态与平台治理指标覆盖情况。

11、拾取自动开始,等待拾取完成
选中刚创建的Hive数据源服务,点击【触发AutoPilot】按钮可立即启动元数据拾取;
如需长期自动同步,点击【添加代理】配置定时采集任务,等待拾取任务运行完成即可加载完整库表资产与数据血缘。

11.1 如果没有任务出现,点击刷新按钮

12、拾取完成
元数据代理 Metadata Agent执行状态为Success 即拾取完成,Hive的库、表、字段全量基础元数据已同步至平台。

13、查看数据血缘
元数据拾取完成后,即可基于当前Hive资产查看上下游数据流转关系,逐层查看库、表级血缘链路。

13.1 库

13.2 表

13.3 数据血缘
