NoETL 自动化指标平台在数据处理和复杂指标查询的性能表现

通常来说,性能直接关乎指标平台的数据处理和复杂指标查询时的效率。比如,业务人员如果要将多个指标结合起来分析,并且这些指标和维度来自不同的表,而且每张表的数据量又很大,那么如何保证指标查询高效高质的问题。再比如,在高管报表场景下,需要在早上 8 点前能够看到指标结果,指标查询性能要特别快,还不受其他指标计算或者任务的影响。

简而言之,当下业务人员对指标查询的要求是秒级体验,但也不得不面对海量数据、查询复杂度、算法和查询引擎等各类条件的挑战。为此,由 Aloudata 大应科技自主研发的 NoETL 自动化指标平台------Aloudata CAN,提供了一个全新的方案:其通过自研的物化加速策略引擎,基于业务人员的查询行为,能够提供物化加速的策略建议。

具体来看,Aloudata CAN 基于一整套物化视图构建、物化视图调度更新、物化视图命中改写的策略,将原来需要人工在数仓进行的宽表和汇总表的开发,变成系统自动化构建。当业务人员发起一次查询,相当于对某些指标和维度进行筛选和计算,系统会自动判断是否命中物化表,进而自动进行路由的查询改写。通过这套机制,Aloudata CAN 能做到 10 亿数据的秒级响应。

如今,随着企业数据量规模化增长,数据应用场景愈加丰富。管理驾驶舱等高管看数场景有着极高的性能保障要求,而营销活动、供应链管理等场景则对实时数据分析有着迫切需求,为确保在大规模数据量和高并发访问场景下高保障级别数据应用与实时分析类应用的指标查询性能,Aloudata CAN 在明细加速、指标与维度加速功能基础上进一步增强了物化加速能力,推出"指标结果加速"功能并支持"实时加速"能力。

通过指标结果加速,能够支持业务人员选择来自多个模型的指标和维度组合创建加速方案,尤其在面对几百个指标并发查询场景时,显著提升数据检索与分析效率,减少查询处理时间,让业务人员更快获取所需信息,做出更及时决策。这一功能,对于管理驾驶舱、监控大屏等并发查询指标数量多、指标查询性能有较高要求的场景极为友好。

而通过实时加速,能够支持指标结果加速设置分钟级数据更新调度,如分钟级时间粒度配置的实时指标定义和分钟级时间粒度的指标看板分析,保障大数据量下实时数据查询性能,能够满足营销活动等场景对实时数据分析的需求。如帮助电商平台实时展示商品销量、用户行为等关键指标,支持即时决策;帮助金融企业加速风险评估、市场趋势预测等复杂分析任务,高效把握市场动态等。

目前,Aloudata CAN 已经在金融、消费零售、制造、汽车等行业的数据生产和消费环境落地应用,且表现得到了客户的广泛认可。例如,首创证券借助于 Aloudata CAN,凭借指标"定义即生产","定义即服务"的能力,让分析人员能够将指标交付速度做到从周快进至分钟,利用物化加速能力,1s 查询响应率可达 95%,存算成本节约 70% 以上。访问 Aloudata 官网,了解更多。

相关推荐
一水鉴天37 分钟前
智能工厂的设计软件 应用场景的一个例子:为AI聊天工具添加一个知识系统 之13 方案再探之4:特定于领域的模板 之 div模型(完整版)
大数据
杜杜的man38 分钟前
git常用配置
大数据·git·elasticsearch
lovelin+v175030409661 小时前
区块链技术为电商API接口带来的数据安全革新
大数据·人工智能·爬虫·数据分析·api
Faith_xzc1 小时前
如何排查 Apache Doris 中 “Failed to commit txn“ 导入失败问题?
大数据·数据仓库·开源·apache·数据库开发·doris
Elastic 中国社区官方博客2 小时前
Elasticsearch:Lucene 2024 年回顾
大数据·人工智能·后端·elasticsearch·搜索引擎·全文检索·lucene
熟透的蜗牛3 小时前
大数据技术(八)—— HBase数据读写流程和Api的使用
大数据·数据库·hbase
俊哥大数据4 小时前
【制造业】大数据一站式解决方案
大数据
GIS遥感数据处理应用4 小时前
1961-2022年中国大陆多干旱指数数据集(SPI/SPEI/EDDI/PDSI/SC-PDSI/VPD)
arcgis·数据分析
维维180-3121-14555 小时前
涡度通量/数据质量控制/数据缺失插补/数据组分拆分/数据可视化分析/气象数据/光敏感性分析/温度敏感性分析/数据风浪区分析
数据挖掘·数据分析·涡度通量
泰迪智能科技0113 小时前
“云梦乘风起,数智继风华”丨2024韩山师范学院数学与统计学院大数据方向企业微专业结业典礼圆满结束
大数据