平安证券 NoETL 指标平台实践:统一数据口径,驱动高效经营分析与智能决策

倪程伟|平安证券数据平台负责人

大家好,我是来自平安证券的倪程伟,在此分享指标平台在我们公司的落地情况,也希望与大家做一些交流。我的内容主要是从四个方面展开:平台建设背景、技术解决方案、场景应用效果,以及落地后的思考与未来畅想。

01 平台建设背景

数字化转型是当前所有企业的重要课题,也是平安证券的既定战略。在发掘新的增长机会、全面提升运营效能和合理控制成本支出这三大目标下,平安证券的数字化转型全面展开。通过数字化手段指导经营决策,实现精细化管理成为公司上下的共识。业务部门也明确了数字化发展方向,并对 IT 部门提出了相应的数字化要求。

这其中,构建科学、统一的指标体系是衡量业务质量、驱动战略落地的核心抓手。指标体系能自上而下对齐组织的 KPI,将高层战略目标逐层拆解为可执行、可量化的业务动作,实现全组织目标协同。

从业务场景来看,高层决策层 聚焦经营分析与关键性问题解决,例如"如何提升客户服务满意度",通过专属分析将战略诉求转化为可落地的方向;中层管理团队 则围绕产品、运营、员工及薪酬四大维度展开深度分析,确保资源分配与组织效能最大化;基层执行层注重策略计划的实施与动态优化,通过过程监控、结果统计与效果分析形成闭环管理,保障执行精准度。

而指标体系在这一过程中有以下几个方面的突出价值:

  1. 统一数据口径:随着业务规模、数据规模不断扩大,用数场景持续增长,不同业务部门对同一概念的命名和定义可能不一致,数据口径冲突会直接影响决策效率和质量。通过统一的指标体系建设,可以避免因定义模糊导致的信息断层,提升跨层级和跨部门的协作效率;
  2. 提升组织效率:过去公司依赖大量静态报表来获取数据,但这种方式无法满足实时、快速支撑决策的需求。因此,公司需要将静态报告升级为动态闭环优化,通过数据实时反映和评估策略效果并快速迭代,明确公司上下共同的目标体系,确保全员朝着同一方向前进。
  3. **优化资源配置:**指标体系的另一个重要的目标是有效评估资源投放的合理性。具体而言,要明确哪些业务适合进行战略性资源投放,以及哪些业务能够在短期内带来效益,从而实现资源的优化配置。
  4. 支撑科学决策:公司希望各个层级的管理者能够基于数据进行业务判断,避免"拍脑袋"决策。指标体系通过量化业务过程与结果,为管理层提供客观数据支撑,助力精准定位问题与改善方向。

在进行统一的指标体系建设之初,我们也针对既有痛点深入地分析了其背后的根因。

第一个较为普遍的痛点是报表口径不统一。报表经过多年的积累,开发人员可能已经更换多轮,导致难以追溯报表数据的来源和开发逻辑。因此出现同一个指标在不同报表中的定义和计算结果不一致,以及报表更新滞后于业务口径更新的情况,且难以解决。

口径问题背后的原因可以归结为以下 2 点:

  1. 指标定义分散:指标定义分散在各个报表中,缺乏统一的共享机制,导致重复定义和口径不一致;
  2. 数据建模局限性:虽然数据仓库的数据建模能够解决部分标准化问题,但无法完全覆盖报表口径的统一需求。

第二个痛点是重复开发,需求响应慢。报表数量众多,但实际业务价值不明确。开发工作分散在不同团队和人员手中,加上人员变动等因素,导致同一报表可能被多次开发,而之前的开发成果却难以找到和复用,缺乏有效的管理和整合。另一方面,传统 ETL + 数据集的生产模式下,报表开发周期长,灵活性差,业务需求难以被灵活快速满足。

第三个痛点是信息呈现多但数据洞察少。虽然展示数据是基础,但仅展示数据并依赖人工分析是不够的,这种方式容易受到主观判断的影响,缺乏对数据的全局解读和洞察。很多时候,我们只能看到表面的总体数据,而难以深入理解数据背后的各种维度和变化。因此,公司希望通过系统化的归因,乃至结合大模型和更多上下文信息,提供更全面的报告,从而更好地指导决策。

02 技术解决方案

针对前面提到的痛点,我们提出了一个解决方案,主要围绕公司内部经营分析数据体系展开建设,其核心思路是将业务线和 BI 线对齐,以契合数字化经营场景的需求。

在业务线方面,我们需要将整个业务流程与数据全景图进行对应,确保业务逻辑与数据逻辑相匹配。同时,要从指标层面进行指标库和数据仓库的拆分,并将这些指标统一在一个系统中落地,以及建立相应的机制来保障数据开发的效率和数据质量的可靠性。

在具体建设上,我们在公司现有的数据平台和基础设施上,重点通过高效、灵活的三层架构支持数据体系落地:

第一层是查询引擎加速层:通过引入 OLAP 引擎的快速查询计算能力,实现了从底层明细数据到上层指标汇总数据的快速计算。

第二层是指标灵活配置层:通过 Aloudata CAN 指标平台的指标定义能力和标准化的 API,实现了指标的"一次定义,处处使用"。Aloudata CAN 的 NoETL 物化加速机制结合高效的计算引擎,能够确保指标和维度的任意灵活组合能快速实现查询结果的返回,代持了传统的宽表开发,显著降低数据开发的成本。同时,它还能让业务人员更清晰地了解指标的定义,并在流程上实现对指标的管控。

第三层是业务自助消费层:通过将公司内部的"微卡片"平台与指标平台打通,利用指标平台的 API,可以将指标对接到微卡片平台。这样在数据展示和智能分析的两个阶段,都实现了指标"一次定义,处处使用"的效果,进一步提升了指标的共享和复用能力。

对业务的价值是什么呢?主要在于以下五条:

一是业务部门能够自助消费数据。他们不再每个需求都要求助研发人员,可以通过业务语义来定义数据需求,不用写代码就可以按需制作卡片与报表,灵活探查不同的视角和数据粒度。

二是提升数据开发效率,释放了数据开发人员的能力,使其能够更多地投入到更高价值的业务赋能和数据洞察中,而不仅仅是专注于 ETL 工作。

三是搭建起分布式的开发体系。公司内部存在多个子部门,过去存在指标重复开发、口径不一致的问题。通过统一的指标平台可以实现指标的共建复用,并能将指标的开发和管理权责落实到数据产生的业务部门,避免数据在中转过程中出现口径不一致或开发理解上的问题。

四是通过采用逻辑化的数据架构,公司能够将数据开发与数据仓库解耦。这种架构设计不仅避免了过度依赖数据仓库,还能通过轻量化的方式降低数据平台的复杂性和成本。

五是平台化赋能策略,可以将可复用的组件,如指标、微卡片等,通过平台化方式提供给业务部门。这些平台之间相互联动,例如指标平台与微卡片平台的紧密结合,共同构成了公司指标平台的整体架构,从而实现对业务的高效支持。

这是我们公司的整体数据架构,底层是大数据平台,提供数据存储和基础计算能力。中间一层是指标平台及其计算引擎,负责指标的定义、管理和计算,在整个架构中起到承上启下的作用。上面是展示层,通过"微卡片"等形式将指标数据可视化,以直观的方式呈现给用户。通过这种架构,我们能够确保指标"管得住、拿得到、用得好",更深度地去赋能业务。

目前,通过指标平台,我们已经实现了指标的定义、管理和监控等功能,建立起统一的指标库,并能够支持多种业务场景,包括看板、驾驶舱、灵活分析和自助分析。同时,在维度归因方面我们也取得了一定进展,并加快探索对话式 BI,现已开发出一些小型演示 Demo。

指标平台的建设具有重要价值。它采用开放式架构,嵌入到公司现有的数据和产品体系之中,并与原有数仓打通,成为公司数据体系中的一个非常重要的引擎。我们可以看到,指标平台与公司的策略平台、标签平台等实现了交互,这样一来,能够确保业绩分析和客户洞察、业务动作数据的一致性。此外,在引入指标平台的过程中,我们还通过与 OLAP 引擎的结合解决了大数据量下的查询灵活性和响应性能问题。

这个是刚刚提到的"微卡片"平台,它实现了与指标平台的数据源打通,能够获取指标平台的数据源,进行卡片配置和组装,并将这些卡片嵌入到各种业务系统中,从而提升数据的共享和复用能力,进一步支持业务的灵活展示和分析需求。

03 场景应用效果

效果一:指标设计方法升级

过去的数据仓库开发模式是从最原始的数据开始,通过 ETL 操作将数据逐步加工,先到 ODS 层,再到 DWD 层,最后汇总生成各种宽表和汇总表,以支持业务分析。然而,这种模式导致了重复开发、口径不一致等问题,这些问题主要集中在宽表和汇总表的爆炸式增长阶段,造成了混乱。引入指标平台后,公司通过系统化的管理方式,利用语义模型进行约束,并采用原子指标、派生指标、复合指标的架构,规范化管理指标,将数据口径与 BI 解耦,极大降低开发和管理复杂度。

而通过系统化地管理和整合各种业务语义和数据定义,我们还实现了对业务元数据资源的挖掘。这些元数据不仅是数据管理的核心,也为数据智能应用的丰富性和多样性提供了支撑,为未来业务的创新和扩展提供了更多可能性。

效果二:策略动作分析闭环

通过指标平台与策略平台的打通,我们实现了对策略动作的深入分析。具体而言,公司内部会设定一些关键指标,并将这些指标分解到各个运营团队,例如用户经营或策略投放等。通过指标体系与策略动作的快速闭环,公司能够清晰地了解每一个策略对指标的贡献度以及影响范围,从而帮助公司识别哪些策略是有效的,哪些策略效果不佳,筛选出更有效的策略,实现更精准的资源投放。

效果三:业务经营分析提效

通过建立"管研用"一体的指标体系,和灵活的卡片展示与组装,公司实现了数据层和展示层的口径统一和上下对齐,提升了经营和运营效率。

  • 统一口径:通过指标平台,公司确保了数据的"数出同源",即所有数据都来自统一的源头,避免了数据链路和口径不一致导致的混乱。

  • 数据管理与溯源:公司能够管理和追溯业务数据的衍生方式,了解数据从原子指标到派生指标的转换过程,确保数据的准确性和一致性。

例如,当发现某个数据与另一个地方看到的数据不一致时,我们可以直接在指标平台上,了解这种差异是基于什么时间维度或业务维度而产生的。这种透明度可以让我们更好地明白差异的来源,也更好地理解分析需求。

从数据表现来看,指标平台的应用效果显著,尤其在降低开发成本和实现规范管理方面成效突出,而规范的管理不仅提升了我们的运营水平,还能为各种应用的拓展和丰富提供支撑。

04 落地思考与畅想

在建设过程中,我们认识到落地指标平台的前提是要对业务逻辑进行梳理。因为指标是对业务过程的衡量,若要建立指标体系以帮助业务更好地衡量成果和经营过程,就需要有清晰的业务体系和指标映射关系,以及底层数据架构来承载。而指标的数据源需要保证完整性、准确性,并可追溯到更前端的源头。

在实施过程中,则需要将指标平台融入数据架构,作为业务、产品和研发的桥梁,以确保数据治理与业务紧密结合。同时注重维度管理和指标平台的衡量标准,如性能、用户数、看板需求覆盖率等。

未来,Chat BI 将促使数据分析从报表时代迈向智能决策时代。从业绩分析到客户洞察,再到策略分析,利用 Chat BI 进行日常取数、归因分析和生产分析报告,推动数据智能化应用。指标平台作为 Chat BI 实现精准分析和规模化落地的基础设施,将持续发挥重要作用。

以上就是我今天分享的全部内容,谢谢大家。

相关推荐
AI大模型顾潇12 分钟前
[特殊字符] 本地部署DeepSeek大模型:安全加固与企业级集成方案
数据库·人工智能·安全·大模型·llm·微调·llama
_Itachi__16 分钟前
深入理解目标检测中的关键指标及其计算方法
人工智能·目标检测·目标跟踪
Stara051135 分钟前
基于注意力机制与iRMB模块的YOLOv11改进模型—高效轻量目标检测新范式
人工智能·python·深度学习·神经网络·目标检测·计算机视觉·yolov11
X Y O1 小时前
神经网络初步学习——感知机
人工智能·神经网络·学习·感知机
请你喝好果汁6411 小时前
TWASandGWAS中GBS filtering and GWAS(1)
信息可视化·数据挖掘·数据分析
张人玉1 小时前
数据可视化大屏——物流大数据服务平台(二)
大数据·信息可视化
知来者逆1 小时前
计算机视觉——MedSAM2医学影像一键实现3D与视频分割的高效解决方案
人工智能·深度学习·计算机视觉·图像分割·智能医疗·万物分割
Leo.yuan2 小时前
数据分析怎么做?高效的数据分析方法有哪些?
大数据·数据库·信息可视化·数据挖掘·数据分析
强化学习与机器人控制仿真2 小时前
openpi 入门教程
开发语言·人工智能·python·深度学习·神经网络·机器人·自动驾驶
璇转的鱼2 小时前
Stable Diffusion进阶之Controlnet插件使用
人工智能·ai作画·stable diffusion·aigc·ai绘画