数据湖技术之平台建设篇1

一. 建设思路

在原有平台基础上,融合数据湖技术,提供统一、完善的湖仓能力,逐步实现湖仓一体、流批一体的最终模式。其中具体工作主要包括:

  • 适配不同的计算引擎、存储引擎等
  • 集成具体的数据湖技术,接入、元数据管理、数据处理等能力形成平台化
  • 安全保障机制:
    • 监控告警保障:任务监控、文件监控、性能监控等能力
    • 小文件自动处理能力、任务自动恢复能力
    • 数据安全方面保障

二. 核心功能建设

融合数据湖技术,形成湖仓一体化平台,主要需要考虑建设以下几个核心功能:第一个是数据集成方面,需要形成统一化的数据集成平台能力,自动化接入,不增加业务接入成本, 让业务接入便捷。第二个是元数据管理方面,需要打通湖仓元数据,提供统一化、安全稳定的元数据管理服务,不增加维护和应用的复杂性。第三个是对底层不同存储方案提供统一的开发接口能力等,方便对齐数据交互模式以及完善适配能力。第四个是提供一站式、托管化、智能化数据平台管理能力,主要是相关的一些服务管理能力建设,比如说湖仓任务管理、权限管理、数据探查等等。最后一个是平台稳定性和可靠性保障方面,需要保证服务的安全稳定才能达到上线的基本要求,才能开展后续的业务应用落地相关的推动工作。

2.1 数据集成

数据集成平台主要能力包括,数据采集、数据存储、数据分发。具体建设一般是复用原大数据平台的数据集成能力,在原有基础上去简单扩展数据类型的支持,形成一建入湖,低成本接入的集成能力。 引入一种技术类型整体代价较低,不需要做过多的开发,比如mysql-binlog数据的集成,和之前模式一致,将binlog数据抽取到kafka topic上,下游具体应用通过flinksql入湖任务进行湖仓层面。

2.2 元数据管理

元数据管理方面需要解决的核心问题主要有:

  • 如何实现统一管理,标准统一的schema格式
  • 如何保证元数据服务安全稳定
  • 如何实现湖仓联动

针对于问题1,可以用hive metasotre服务对数据湖库表元数据进行管理,接入封装的catalog接口实现元数据的增删改查。元数据schema用统一标准:catalog.database.table. 针对于问题2,hivemetastore服务部署多实例,保证元数据服务的高可用和安全性。针对于问题3,打通计算引擎对不同catalog的支持,通过不同catalog进行联动,达到湖仓数据相互访问的目的。

2.3 存储管理能力

整体如下图所示,底层针对不同存储封装不同catalog行为接口,同时数据湖引擎适配了高版本spark、flink等,上层管理借助catalog能力实现对不同数据存储的管理,比如说hdfscatalog、s3catalog等等,非常方便对存储方面进行管理。

三. 总结

本篇文章主要介绍了湖仓平台建设的前三个主要工作:数据集成能力、元数据管理能力、存储管理能力。从整体上看湖仓平台建设比较方便,成本不高。可以达到湖仓平台的易扩展、安全稳定目标,后续会继续介绍剩余的建设工作。

相关推荐
在下不上天1 小时前
Flume日志采集系统的部署,实现flume负载均衡,flume故障恢复
大数据·开发语言·python
智慧化智能化数字化方案1 小时前
华为IPD流程管理体系L1至L5最佳实践-解读
大数据·华为
PersistJiao3 小时前
在 Spark RDD 中,sortBy 和 top 算子的各自适用场景
大数据·spark·top·sortby
2301_811274313 小时前
大数据基于Spring Boot的化妆品推荐系统的设计与实现
大数据·spring boot·后端
Yz98763 小时前
hive的存储格式
大数据·数据库·数据仓库·hive·hadoop·数据库开发
青云交3 小时前
大数据新视界 -- 大数据大厂之 Hive 数据导入:多源数据集成的策略与实战(上)(3/ 30)
大数据·数据清洗·电商数据·数据整合·hive 数据导入·多源数据·影视娱乐数据
武子康3 小时前
大数据-230 离线数仓 - ODS层的构建 Hive处理 UDF 与 SerDe 处理 与 当前总结
java·大数据·数据仓库·hive·hadoop·sql·hdfs
武子康3 小时前
大数据-231 离线数仓 - DWS 层、ADS 层的创建 Hive 执行脚本
java·大数据·数据仓库·hive·hadoop·mysql
时差9533 小时前
Flink Standalone集群模式安装部署
大数据·分布式·flink·部署
锵锵锵锵~蒋3 小时前
实时数据开发 | 怎么通俗理解Flink容错机制,提到的checkpoint、barrier、Savepoint、sink都是什么
大数据·数据仓库·flink·实时数据开发