数据治理项目实战系列6-数据治理架构设计实战,流程 + 工具双架构拆解

摘要: 实施阶段-数据治理实施-数据架构-数据治理架构

关键词: #大数据 #数据治理 #项目实战 #数据治理架构 #架构设计

系列介绍

本文介绍项目进入数据治理阶段,数据架构,具体内容如下:

一、概述

在我们调研完所有应用系统,就到了我们设计数据架构的阶段了,

架构这个东西,可以很复杂,也可以很简单,主要是看项目的投入

然后架构有很多方面,比如立项阶段,架构师需要做的服务器架构、网路架构、高可用架构等,

这些都不在我们这次讨论的范围内!!!

这次主要是讨论 数据架构!!!

数据架构我把他分为 数据治理架构和数据仓库架构!

主要是我想把数据治理和数据仓库的内容做一些区分,好让我更好的记录他们的边界!

广义上数据治理其实包含所有数据仓库的内容!但是又有自己的延伸和扩展!

在介绍具体数据架构之前,先总结一下我的几点感悟!

1.1、架构意识

其实说这个,就要说我之前的开发经验了,我之前不负责具体项目,只做数据开发的时候,我是没有意识去画架构图的!

就是来需求,写代码,开发自测!

从来不先想想这个整体的架构是什么?上游和下游都有什么?

事实上,很多时候你如果了解了整体的架构,知道了上游的情况和下游的需求,你的开发会更有效率,更准确!

所以!在做项目的时候,

把这个项目的整体架构画出来,或者说你有意识的去想着画出整个架构图,是非常有意义的!!!

而且还会提升设计能力、提升沟通能力、提升汇报能力

1.2、不过度设计

在做架构设计的时候,不要过度的去设计,根据你现有的投入,去设计,不要追求完美的架构,那样往往投入产出不成正比!

1.3、不画超复杂架构图

其实我看网上很多复杂的架构图,一眼望去,密密麻麻的,是个人都很难看明白!

我们搞数据架构,就是想要以后的自己,或者以后接手自己工作的人,一下就能明白,这个 项目的数据流向到底是啥样的,

不炫技 很关键!

当然,有的项目也确实很复杂,但是再复杂的架构,都是能够拆分的,大约有两种方法,可以配合使用

  • 先画逻辑架构,再画详细架构: 复杂的架构抽象出逻辑架构,帮助理解整体流向!

  • 详细架构按照功能拆分: 比如数仓的业务流向一个架构、数仓分层设计一个架构,数仓的选型一个架构,数仓的主题域一个架构,按照总分的方式拆分等等!

  • 模块化架构设计: 如果你觉得拆成多个文件很麻烦,或者本身不适合拆分,那就要在做设计的时候,把那块设计明确的标注成一个个大的模块,方便查看

二、主要角色

2.1、角色阶段责任简介

  • 数据治理: 这个阶段,只有数据治理了,也就是数据治理人员承担整个架构设计

三、具体动作

3.1、文档编写

3.1.1、治理流程架构

  • 概要设计: 只做数据治理各个节点的展示,不具体各个节点的内容
  • 详细设计: 介绍数据治理各个节点的详细功能,每个节点包括的的功能和作用

3.1.2、治理工具架构

  • **自研工具:**自研工具就不多说了,公司有一个大数据能力平台,所有的和数据治理相关的组件都有,不多说!

  • 开源工具:开源工具,要是介绍下各个节点,可以用的组件!在以往的文章里也有介绍,有的组件我没有接触过开源工具,就不写了,只写我用过的部分开源组件

四、输出物

最后总结一下输出物!

  • 数据治理流程架构

  • 数据治理工具架构

相关推荐
一水鉴天2 小时前
整体设计 定稿 之26 重构和改造现有程序结构 之2 (codebuddy)
开发语言·人工智能·重构·架构
唯余旧忆2 小时前
【数据写入】达梦数据库(dm8)merge into写入时序数据速度慢的问题处理
数据库
隐语SecretFlow2 小时前
【隐语Secreflow】如何配置 Kuscia 对请求进行 Path Rewrit
架构·开源
小二·2 小时前
MyBatis基础入门《十四》多租户架构实战:基于 MyBatis 实现 SaaS 系统的动态数据隔离
数据库·架构·mybatis
白衣衬衫 两袖清风3 小时前
SQL联查案例
数据库·sql
ShirleyWang0123 小时前
VMware如何导入vmdk文件
linux·数据库
老前端的功夫3 小时前
Vue 3 vs Vue 2 深度解析:从架构革新到开发体验全面升级
前端·vue.js·架构
gugugu.3 小时前
Redis Set类型完全指南:无序集合的原理与应用
数据库·windows·redis
wang6021252183 小时前
为什么不采用级联删除而选择软删除
数据库·oracle