业务数据治理体系化实施流程学习总结

目录

一、业务数据治理实施流程

[步骤 1:发现问题和制定目标](#步骤 1:发现问题和制定目标)

[步骤 2:针对问题进行拆解,设计可衡量的指标](#步骤 2:针对问题进行拆解,设计可衡量的指标)

[步骤 3:制定解决SOP和检查研发标准规范](#步骤 3:制定解决SOP和检查研发标准规范)

[步骤 4:推广运营,以拿结果为核心目标](#步骤 4:推广运营,以拿结果为核心目标)

[步骤 5:总结沉淀方法论,迭代认知](#步骤 5:总结沉淀方法论,迭代认知)

二、治理体系化思考

(一)治理体系化定义分析

(二)建设思路与体系框架

建设思路

体系框架

体系框架建设

(三)体系框架落地实施方案

三、治理体系化实践:标准化

四、治理体系化实践:数字化

五、治理体系化实践:系统化

六、思考

参考文章和链接


一、业务数据治理实施流程

数据治理的实施流程是一个基于业务数据治理标准框架的标准化操作流程,用于解决具体数据问题。

步骤 1:发现问题和制定目标

在这一步骤中,业务数据治理团队需要以业务数据开发团队的视角出发,从服务业务、遵守数据研发规范和收集用户反馈的角度,全面发现和收集相关需要解决的问题。同时,制定的目标应具备可实现性,确保它们是可量化和可测量的。这一过程可能包括:

  • 与业务团队密切合作,了解他们的需求和挑战。
  • 定期收集用户反馈和建议。
  • 确保目标与组织整体战略一致。

步骤 2:针对问题进行拆解,设计可衡量的指标

一旦问题被确定,团队需要对问题进行详细的拆解,设计可衡量的指标。通过元数据的采集建设,实现对这些指标的监控和度量。这一过程可能包括:

  • 对问题进行分解,识别关键的度量维度。
  • 建立元数据框架,确保数据可追溯和可靠。
  • 设计可衡量进度和成功的指标。

步骤 3:制定解决SOP和检查研发标准规范

对于衡量出的具体问题,制定相关的解决SOP(标准操作流程),并检查相应的研发标准规范是否完善。通过事前、事中、事后三个阶段,建设或完善相应的工具化解决问题的能力。这一过程可能包括:

  • 制定详细的解决问题的标准操作流程(SOP)。
  • 检查并更新研发标准规范,确保其与问题的解决方案一致。
  • 引入工具和技术,以支持问题的识别和解决。

步骤 4:推广运营,以拿结果为核心目标

这一步骤的核心目标是推广运营,确保实施过程中取得可衡量的结果。根据问题的重要程度,制定规划,关注解决过程是否与用户利益发生冲突,控制好节奏。这一过程可能包括:

  • 制定推广运营计划,确保解决方案得到广泛采纳。
  • 针对不同角色采用差异化的策略,确保整个团队的协同作战。
  • 监控解决过程,及时调整和优化方案。

步骤 5:总结沉淀方法论,迭代认知

最后一步是总结并沉淀方法论,通过迭代认知,持续探索问题的最优解,优化治理方案和能力。这一过程可能包括:

  • 汇总实施过程中的经验教训,形成治理的最佳实践。
  • 迭代认知,不断优化流程和工具。
  • 持续培训和发展团队成员,确保他们能够适应不断变化的数据治理环境。

通过这一套流程,数据治理团队能够更规范地处理数据问题,确保实施的高质量和可持续性。该流程的总结内容主要学习于业务数据治理体系化思考与实践 - 美团技术团队

二、治理体系化思考

数据治理是一个极为复杂的综合性问题。唯有构建一套标准的业务数据治理体系,才能确保数据治理在各个环节如现状评估、目标制定、流程规范建设、治理监控管理、能力建设、执行效率、效果评价等方面有效地落地。

通过构建这样一套业务数据治理体系,我们可以更全面、系统地应对不同业务生命周期阶段的挑战,确保数据治理的有效性和可持续性。这种体系化思考将有助于建立一个更加健壮和灵活的数据治理框架,使其能够适应不断变化的业务和技术环境。

(一)治理体系化定义分析

数据治理体系化是指在数据管理和治理领域建立一套系统性、全面的组织和操作体系,包括管理体系、方法体系、评价体系、标准体系、工具体系等核心要素。其目标是持续为数据治理实施提供支持,类似于电商公司搭建销售、产品、供给、物流、人力等体系以服务用户的过程。

(二)建设思路与体系框架

建设思路

以团队数据治理目标为核心导向,设计实现目标需要的相关能力组合,并根据组织要求,实施过程的问题反馈,持续不断地迭代完善,最终实现数据治理的愿景。

体系框架

  • 管理层: 制定组织保障流程规范、职责设计、奖惩措施,确保数据治理的顺利启动和运转。

  • 标准层: 设定各类研发标准规范、解决方案标准SOP,为数据治理提供技术规范和事前解决方案的依据,降低数据故障问题发生量。

  • 能力层: 完善数字化的基于元数据的问题度量能力,以及问题工具化检测和解决的系统化能力,为数据治理实施提供科学性、高质量和高效率的支持。

  • 执行层: 设定动作,根据具体目标对各治理域问题进行事前约束、事中监控、事后治理,确保目标的全面性和深度达成。

  • 评价层: 基于指标的问题监控、健康度评价体系和专项评估报告,评价治理收益及效果,是推进治理过程监控和结果检验的关键抓手。

  • 愿景: 制定长期的治理目标,指导数据管治持续朝着最终目标发展,提供发展方向和动力。

体系框架建设

业务数据治理体系框架是针对数据治理工作整体做的顶层方案设计,框架定义好了业务线数据治理是什么、怎么做、做什么、用什么工具以及达成什么目标。拉齐各方对业务数据治理的认知,标准化治理路径方法和组成部分,指导数据治理有序、有效地进行。

(三)体系框架落地实施方案

通过标准化数据化系统化3大部分能力建设及运营,来实现数据管治体系框架的落地,并应用在数据治理问题的解决中,最终拿到可量化的结果。

三、治理体系化实践:标准化

数据治理标准化是企业进行数据资产管理的关键突破口和重要手段,一系列政策、法规、规划需要转化为标准和制度才能有效落地。数据治理标准化既有利于建立健全各种数据管理工作机制、完善业务流程,又有利于提升数据质量,保障数据安全合规使用,释放数据价值。

四、治理体系化实践:数字化

数字化工作,通过对数据生命周期各环节进行抽象和描述,构建整个数据开发工作的准确视图。

**建设思路:**通过对数据生命周期进行类比业务数仓建设中对业务对象的抽象和描述,建设元数据对象并构建元数据数仓和治理指标体系。这一框架主要包含元数据仓库、指标体系、数据资产等级,以及基于元数据仓库的各个数据应用。利用元数据驱动数据治理及日常团队管理,避免过多依赖经验解决问题,更好地服务业务。

五、治理体系化实践:系统化

数据百品-管治中心治理平台是美团内部的数据治理产品,通过集资产管理、问题分析监控、自动化治理、过程追踪、结果评价等功能于一体,实现了一站式、全覆盖的数据治理平台。该平台的理念是通过"管+治"相结合,从管理者及研发人员的视角对数据、人效等问题进行全面监控,为提升数据质量提供强有力的支撑。

六、思考

业务数据治理目标的制定

  • 明确业务需求:确保业务数据治理目标与业务需求紧密相连,关注业务价值的实现。
  • 可量化的目标:确保目标具有可量化性,能够通过指标或关键绩效指标(KPI)进行度量。

问题发现和目标制定

  • 全面的问题发现:从多个角度出发,包括业务、规范、用户反馈等,全面发现与业务数据相关的问题。
  • 目标的可实现性:确保制定的目标在当前业务和技术条件下是可实现的,避免过于理想化。

问题拆解和指标设计

  • 指标的可衡量性:设计能够客观度量问题和目标达成情况的指标,避免主观判断。
  • 元数据的关键性:借助元数据,将指标与具体数据资产、流程等关联,深入理解问题的来源。

解决SOP的制定和工具化

  • 全面性的解决方案:确保解决SOP(Standard Operating Procedure)覆盖问题的全面性,包括事前、事中、事后的各个阶段。
  • 工具化的支持:将解决SOP工具化,提高问题解决的效率,减少人工干预。

推广运营

  • 关注用户利益:确保问题解决过程不会与用户利益发生冲突,关注用户体验。
  • 阶段性推广:根据问题的重要程度,有计划地进行推广,避免一次性解决所有问题。

总结沉淀方法论

  • 迭代认知:将数据治理看作一个学习和持续改进的过程,不断迭代认知,适应业务和技术的变化。
  • 方法论的建立:将成功的经验和方法总结为方法论,为团队提供指导和规范。

参考文章和链接

  1. 业务数据治理体系化思考与实践 - 美团技术团队
  2. 李向阳、孙天云,**《数据治理:业务价值的创造者》,**电子工业出版社
  3. 杨涛,《数据治理:业务数据湖管理与治理》, 机械工业出版社
  4. 高洪岩、韩晓静,**《大数据治理与架构实践》,**电子工业出版社
相关推荐
BD_Marathon6 小时前
设置hive本地模式
数据仓库·hive·hadoop
Data 3176 小时前
Hive数仓操作(十一)
大数据·数据库·数据仓库·hive·hadoop
Data 3179 小时前
Hive数仓操作(九)
大数据·数据仓库·hive·hadoop
晚睡早起₍˄·͈༝·͈˄*₎◞ ̑̑9 小时前
JavaWeb(二)
java·数据仓库·hive·hadoop·maven
Data 31713 小时前
Hive数仓操作(三)
大数据·数据库·数据仓库·hive·hadoop
Data 31715 小时前
Hive数仓操作(十四)
大数据·数据库·数据仓库·hive·hadoop
Data 31716 小时前
Hive数仓操作(十五)
大数据·数据库·数据仓库·hive·hadoop
Data 31716 小时前
Hive数仓操作(七)
大数据·数据库·数据仓库·hive·hadoop
点点滴滴的记录16 小时前
开发维护一个项目需要考虑的地方
大数据·架构·系统架构
Wlq04151 天前
系统架构设计师-下午案例题(2022年下半年)
系统架构