星环科技ArgoDB助力能源集团升级流批一体架构

某头部能源集团计划构建智能监管平台用于招投标风险管控,将审计、纪检及检查组的审查要求预置入系统,实现采购全过程实时监控、风险预警与闭环管理。集团前期基于传统流计算引擎构建Kappa架构的风控体系,但在实际应用中暴露出一系列问题:

① 开发效率低:流计算语法复杂、业务逻辑适配难,学习成本高,开发周期长;

② 数据质量难保障:数据准确性差,仅能离线抽查,预警漏报误报频发;

③ 跨部门排查困难:上游数据变更缺乏通知,中间结果不可查,一致性问题难排查;

④ 运维压力大:数据需入湖并推送下游,额外链路增加运维负担;

⑤ 实时性不足:端到端延迟高,无法满足业务对高时效性的需求。

该集团基于星环科技ArgoDB构建了增量计算驱动的流批一体化架构,替换原有Kappa架构,实现智能监管平台的数据实时采集、处理与推送,支撑实时查询、分析及风险预警。一套SQL代码即可同时完成流处理和离线批处理。平台中间结果可复用、可查询,为智能监管提供稳定、高效、可靠的数据服务。

新的架构依托实时增量计算与流批一体处理,助力能源集团实现智能监管的实时与准确:

① 数据实时准确:无限窗口技术稳定支撑全量与增量加工,计算结果100%准确,无需人工核验或定期补数,数据响应和监管能力显著提升;

② 易用可维护:数据统一入湖、链路简化,数仓分层清晰,中间结果可查可复用;数据问题快速排查,10分钟内定位上游变更导致的数据偏差,运维效率大幅提升;

③ 高时效性:100+表实时入湖,平均延迟<1秒;84个业务预警模型端到端延迟<3秒,全面满足实时监管风控需求。

星环ArgoDB实时增量计算,降低实时改造成本:基于 SQL 的增量引擎助力流批一体升级

基于 ArgoDB 实时增量计算能力,用户无需修改原有 SQL 逻辑,即可将离线加工任务无缝升级为实时增量处理任务,每次数据写入都会触发后续的实时增量处理管道,无需重新开发复杂的流任务,也无需用户关心窗口大小和水位线的对齐,快速实现流批一体化处理。得益于实时增量计算技术,数据加工过程的计算延迟和资源开销降低了 1~2 个数量级。此外,ArgoDB 实时增量技术和传统流计算任务可以灵活使用,让企业能够以更低的开发成本,实现秒级到分钟级延迟的实时数据分析和决策。