大数据成为热词后,数据治理愈发受到业界关注。大数据带来的显著变化是,大量数据来自数据中心之外,包括笔记本电脑、平板电脑、智能手机、传感器和社交网站等。数据量激增,类型多样,散落在不同系统中。哪些数据可信?是否面临更大风险?如何从海量数据中获得洞察?大数据时代,企业更加需要数据治理。
两大阵营
数据治理主要分两类:一是金融、电信、保险、教育机构、大型电商等,以客户数据为主,日增数据量大,后续清洗要求高,适合国外从客户数据治理发展而来的软件公司,如Informatica、SAP、Oracle、IBM等。二是传统实体企业,如能源矿山、加工制造、贸易物流等,对编码要求较高,注重数据源头的一劳永逸式清洗,国内代表为中翰软件、石化盈科等。
主数据管理是核心
主数据是描述企业核心业务实体的数据,如客户、合作伙伴、员工、产品、物料单等。主数据管理旨在从多个业务系统中整合最核心、需共享的数据,集中清洗,并以服务方式把统一、完整、准确的主数据分发给操作型和分析型应用。MDM最核心的任务是作为企业数据的源头和面向BI分析,同时反映主数据之间的关联性。MDM偏交易型,数据仓库偏分析型,两者互相促进、互为补充。
数据治理框架
IBM在2004年联合业界成立数据治理论坛,制定包括四大领域11个要素的数据治理框架:产出领域------数据风险管理、价值创造;驱动领域------组织机构/流程、管理制度、数据责任人;核心领域------数据质量管理、信息生命周期管理、安全/信息披露/合规;支撑领域------数据模型/数据架构、元数据/主数据/数据标准、质量审计与报告。
IBM自身实践
1992年前,IBM数据治理问题重重。1995年,IBM在ERP中制定15大类、79个分类子业务标准。2004年成立数据责任人论坛,2005年成立数据治理委员会。1992年,IBM全球有128个CIO、155个数据中心、16000个应用;到2007年,只有一位CIO、6个主数据中心、约4000个应用,基础架构大幅简化。
目前国内企业数据治理成熟度仍较低。