NoETL 自动化指标平台在数据处理和复杂指标查询的性能表现

通常来说,性能直接关乎指标平台的数据处理和复杂指标查询时的效率。比如,业务人员如果要将多个指标结合起来分析,并且这些指标和维度来自不同的表,而且每张表的数据量又很大,那么如何保证指标查询高效高质的问题。再比如,在高管报表场景下,需要在早上 8 点前能够看到指标结果,指标查询性能要特别快,还不受其他指标计算或者任务的影响。

简而言之,当下业务人员对指标查询的要求是秒级体验,但也不得不面对海量数据、查询复杂度、算法和查询引擎等各类条件的挑战。为此,由 Aloudata 大应科技自主研发的 NoETL 自动化指标平台------Aloudata CAN,提供了一个全新的方案:其通过自研的物化加速策略引擎,基于业务人员的查询行为,能够提供物化加速的策略建议。

具体来看,Aloudata CAN 基于一整套物化视图构建、物化视图调度更新、物化视图命中改写的策略,将原来需要人工在数仓进行的宽表和汇总表的开发,变成系统自动化构建。当业务人员发起一次查询,相当于对某些指标和维度进行筛选和计算,系统会自动判断是否命中物化表,进而自动进行路由的查询改写。通过这套机制,Aloudata CAN 能做到 10 亿数据的秒级响应。

如今,随着企业数据量规模化增长,数据应用场景愈加丰富。管理驾驶舱等高管看数场景有着极高的性能保障要求,而营销活动、供应链管理等场景则对实时数据分析有着迫切需求,为确保在大规模数据量和高并发访问场景下高保障级别数据应用与实时分析类应用的指标查询性能,Aloudata CAN 在明细加速、指标与维度加速功能基础上进一步增强了物化加速能力,推出"指标结果加速"功能并支持"实时加速"能力。

通过指标结果加速,能够支持业务人员选择来自多个模型的指标和维度组合创建加速方案,尤其在面对几百个指标并发查询场景时,显著提升数据检索与分析效率,减少查询处理时间,让业务人员更快获取所需信息,做出更及时决策。这一功能,对于管理驾驶舱、监控大屏等并发查询指标数量多、指标查询性能有较高要求的场景极为友好。

而通过实时加速,能够支持指标结果加速设置分钟级数据更新调度,如分钟级时间粒度配置的实时指标定义和分钟级时间粒度的指标看板分析,保障大数据量下实时数据查询性能,能够满足营销活动等场景对实时数据分析的需求。如帮助电商平台实时展示商品销量、用户行为等关键指标,支持即时决策;帮助金融企业加速风险评估、市场趋势预测等复杂分析任务,高效把握市场动态等。

目前,Aloudata CAN 已经在金融、消费零售、制造、汽车等行业的数据生产和消费环境落地应用,且表现得到了客户的广泛认可。例如,首创证券借助于 Aloudata CAN,凭借指标"定义即生产","定义即服务"的能力,让分析人员能够将指标交付速度做到从周快进至分钟,利用物化加速能力,1s 查询响应率可达 95%,存算成本节约 70% 以上。访问 Aloudata 官网,了解更多。

相关推荐
Yusei_052343 分钟前
迅速掌握Git通用指令
大数据·git·elasticsearch
一只栖枝7 小时前
华为 HCIE 大数据认证中 Linux 命令行的运用及价值
大数据·linux·运维·华为·华为认证·hcie·it
喂完待续11 小时前
Apache Hudi:数据湖的实时革命
大数据·数据仓库·分布式·架构·apache·数据库架构
青云交11 小时前
Java 大视界 -- 基于 Java 的大数据可视化在城市交通拥堵治理与出行效率提升中的应用(398)
java·大数据·flink·大数据可视化·拥堵预测·城市交通治理·实时热力图
计算机毕设定制辅导-无忧学长14 小时前
Grafana 与 InfluxDB 可视化深度集成(二)
信息可视化·数据分析·grafana
还是大剑师兰特17 小时前
Flink面试题及详细答案100道(1-20)- 基础概念与架构
大数据·flink·大剑师·flink面试题
1892280486121 小时前
NY243NY253美光固态闪存NY257NY260
大数据·网络·人工智能·缓存
武子康21 小时前
大数据-70 Kafka 日志清理:删除、压缩及混合模式最佳实践
大数据·后端·kafka
鹏多多.1 天前
flutter-使用device_info_plus获取手机设备信息完整指南
android·前端·flutter·ios·数据分析·前端框架
CCF_NOI.1 天前
解锁聚变密码:从微观世界到能源新未来
大数据·人工智能·计算机·聚变