摘要: 实施阶段-数据治理实施-数据架构-数据治理架构
关键词: #大数据 #数据治理 #项目实战 #数据治理架构 #架构设计
系列介绍
本文介绍项目进入数据治理阶段,数据架构,具体内容如下:

一、概述
在我们调研完所有应用系统,就到了我们设计数据架构的阶段了,
架构这个东西,可以很复杂,也可以很简单,主要是看项目的投入!
然后架构有很多方面,比如立项阶段,架构师需要做的服务器架构、网路架构、高可用架构等,
这些都不在我们这次讨论的范围内!!!
这次主要是讨论 数据架构!!!
数据架构我把他分为 数据治理架构和数据仓库架构!
主要是我想把数据治理和数据仓库的内容做一些区分,好让我更好的记录他们的边界!
广义上数据治理其实包含所有数据仓库的内容!但是又有自己的延伸和扩展!
在介绍具体数据架构之前,先总结一下我的几点感悟!
1.1、架构意识

其实说这个,就要说我之前的开发经验了,我之前不负责具体项目,只做数据开发的时候,我是没有意识去画架构图的!
就是来需求,写代码,开发自测!
从来不先想想这个整体的架构是什么?上游和下游都有什么?
事实上,很多时候你如果了解了整体的架构,知道了上游的情况和下游的需求,你的开发会更有效率,更准确!
所以!在做项目的时候,
把这个项目的整体架构画出来,或者说你有意识的去想着画出整个架构图,是非常有意义的!!!
而且还会提升设计能力、提升沟通能力、提升汇报能力
1.2、不过度设计
在做架构设计的时候,不要过度的去设计,根据你现有的投入,去设计,不要追求完美的架构,那样往往投入产出不成正比!
1.3、不画超复杂架构图
其实我看网上很多复杂的架构图,一眼望去,密密麻麻的,是个人都很难看明白!
我们搞数据架构,就是想要以后的自己,或者以后接手自己工作的人,一下就能明白,这个 项目的数据流向到底是啥样的,
不炫技 很关键!
当然,有的项目也确实很复杂,但是再复杂的架构,都是能够拆分的,大约有两种方法,可以配合使用
-
先画逻辑架构,再画详细架构: 复杂的架构抽象出逻辑架构,帮助理解整体流向!
-
详细架构按照功能拆分: 比如数仓的业务流向一个架构、数仓分层设计一个架构,数仓的选型一个架构,数仓的主题域一个架构,按照总分的方式拆分等等!
-
模块化架构设计: 如果你觉得拆成多个文件很麻烦,或者本身不适合拆分,那就要在做设计的时候,把那块设计明确的标注成一个个大的模块,方便查看
二、主要角色
2.1、角色阶段责任简介
- 数据治理: 这个阶段,只有数据治理了,也就是数据治理人员承担整个架构设计
三、具体动作
3.1、文档编写
3.1.1、治理流程架构
- 概要设计: 只做数据治理各个节点的展示,不具体各个节点的内容

- 详细设计: 介绍数据治理各个节点的详细功能,每个节点包括的的功能和作用

3.1.2、治理工具架构
-
**自研工具:**自研工具就不多说了,公司有一个大数据能力平台,所有的和数据治理相关的组件都有,不多说!
-
开源工具:开源工具,要是介绍下各个节点,可以用的组件!在以往的文章里也有介绍,有的组件我没有接触过开源工具,就不写了,只写我用过的部分开源组件

四、输出物
最后总结一下输出物!
-
数据治理流程架构
-
数据治理工具架构