阿里云 MaxCompute MaxQA 开启公测,解锁近实时高效查询体验

随着实时、近实时数据分析需求的持续增长,查询响应时间在现代数据分析和业务应用中变得越来越重要。为减少查询响应时间,提升数据效率,阿里云云原生大数据计算服务 MaxCompute 推出 MaxQA(原 MCQA2.0)查询加速功能,在独享的查询加速资源池的基础上,对管控链路、查询优化器、执行引擎、存储引擎以及缓存机制等多个环节进行全面优化,显著减少了查询响应时间,适用于 BI 场景、交互式分析以及近实时数仓等对延迟要求高且稳定的场景。

MaxQA 现已开启公测,欢迎广大开发者及企业用户参与,解锁高效查询体验!

公测说明

MaxCompute MaxQA 公测已开启。公测阶段面向所有用户开放,公测期间,为了帮助用户更好使用 MaxQA 产品新特性,MaxQA 所用计算资源,在满足要求的情况下可以代金券模式申请返还资源费用(每个账号每月最高返还额度256CU对应费用)。

核心优势

  • **亚秒级查询性能:**支持对中小数据量(数 TB 级规模内)查询作业、数据插入作业进行加速优化,最快执行时间为亚秒级。支持全链路 Cache,作业会自动将多个环节的执行结果写入临时缓存,后续执行的作业在全链路的多个环节都可能命中 Cache,加快执行速度。

  • **高稳定性及资源利用率:**支持隔离的查询加速资源池,独享服务于本租户,稳定性更高。支持自定义查询加速资源池和批处理资源池的分时资源分配规则,支持交互式 Quota 组和批处理 Quota 组的分时自动伸缩,提高资源整体利用率。

  • **完全兼容MaxCompute SQL增强功能:**包括 UDF、Delta Table 增量表、Delta Live MV 增量物化视图特性等。

  • **支持生态扩展:**多款 BI 工具支持(FineBI、Tableau、QuickBI)。

MaxQA 技术架构图

应用场景

MaxQA 功能的应用场景涵盖了从日常运营报告到高级数据分析的各种需求,特别适合对查询响应时间和稳定性有较高要求的业务场景。无论是短期决策支持还是长期战略规划,MaxQA 都能为企业提供强有力的技术支撑,提升数据驱动的价值创造能力。

**即席查询(**Ad Hoc)

适用于查询时延要求在几秒或几十秒内,使用者通常为掌握 SQL 技能的数据开发或数据分析师。或者灵活选择查询条件,快速响应业务需求变化的需求。用户可以根据实际需求灵活选择查询条件,快速获取查询结果并调整查询逻辑。适用于数据开发或数据分析人员,他们希望使用熟悉的客户端工具开展查询分析。

交互式数据分析

适用于各种层次的数据分析师,从初学者到专家。自助式 BI 工具和交互式数据探索平台使得非技术人员也能轻松进行复杂的数据分析。这类工具通常通过一系列短查询来实现动态筛选、排序、聚合等功能,提供灵活且直观的操作体验。

商业智能(BI)数据挖掘

适用于数据量较小、多维查询、固定查询、高频查询场景。利用 MaxCompute 搭建企业级数据仓库,通过 ETL 将数据加工处理为面向业务可消费的聚合数据。借助 MaxQA 的低延时、资源隔离、弹性并发、数据缓存等特性,满足多并发、快速响应的报告生成、统计分析及固定报表分析需求。

海量数据明细查询分析

适用于业务分析人员。MaxQA 可以自动识别查询作业特征,既能快速响应处理小规模作业,同时还可以自动匹配大规模作业资源需求,满足分析人员分析不同规模和复杂度的查询作业的需求。

使用限制

  • 支持 MaxQA 执行 DDL/DML/DQL 语句(不支持如权限操作语句、Tunnel 相关语句、上传/下载资源等)。

  • MaxQA 中支持运行 UDF,但会涉及 UDF 安全隔离环境的现场拉起,为了防止造成性能剧烈波动,限制了一个 MaxQA 实例中最多只有 50%的资源用于运行 UDF。

  • 对于 DQL 语句,默认最多返回100W行数据,可通过设置 set odps.sql.select.auto.limit 为更大的值来突破此限制(建议根据业务实际需求谨慎设置,过大的返回值可能影响执行效率)。

  • 暂不支持执行计划中要求 Worker 常驻的作业,如 Distributed MapJoin。

如果因使用限制导致 MaxQA 作业失败,需要您手动重试或尝试将作业提交到批处理配额组中。

操作步骤

目前仅支持在包年包月 MaxCompute 实例中使用 MaxQA 功能,操作步骤如下。

  • 登录MaxCompute控制台,在左上角选择地域。

  • 在左侧导航栏,选择**工作区 > 配额(Quota)**管理。

  • 在 Quota 管理页面,单击需要配置的一级 Quota 操作列的 Quota 配置。

  • 配置基础配置。

    • 在 Quota 配置页面的基础配置页签,单击编辑基础配置。

    • 单击+新建二级 Quota 后,填写 Quota 名称和选择类型。Quota 名称请自定义输入(后续使用MaxQA 时,需要指定该名字,建议和业务属性相关,便于区分多个实例),类型选择交互式。

  • 单击确定,即完成一个 MaxQA 实例的开通。

  • 确定以后,对应交互式配额组的最后部分会出现状态展示为"启动中",等待 5 分钟左右,等状态变为"运行中"以后,即可开始使用。

联系我们

如果在开通和使用过程中,有任何相关问题或需要协助,可以通过您的专属钉群或 MaxCompute 开发者社区群(钉钉群号:11782920)联系我们。

申请公测链接:阿里云登录 - 欢迎登录阿里云,安全稳定的云计算服务平台

查询加速 MaxQA 文档:MaxCompute查询加速 MaxQA _云原生大数据计算服务 MaxCompute(MaxCompute)-阿里云帮助中心

查询加速 MaxQA 操作手册:MaxQA操作手册_云原生大数据计算服务 MaxCompute(MaxCompute)-阿里云帮助中心

相关推荐
INFINI Labs23 分钟前
Easy-Es 2.1.0-easysearch 版本发布
大数据·elasticsearch·搜索引擎·easysearch·easy-es
小北方城市网1 小时前
第 6 课:Vue 3 工程化与项目部署实战 —— 从本地开发到线上发布
大数据·运维·前端·ai
落叶,听雪1 小时前
AI建站推荐
大数据·人工智能·python
lhrimperial1 小时前
Elasticsearch核心技术深度解析
大数据·elasticsearch·搜索引擎
没有bug.的程序员2 小时前
Nacos vs Eureka 服务发现深度对比
jvm·微服务·云原生·容器·eureka·服务发现
geneculture2 小时前
从智力仿真到认知协同:人机之间的价值对齐与共生框架
大数据·人工智能·学习·融智学的重要应用·信智序位
无代码专家3 小时前
设备巡检数字化闭环解决方案:从预防到优化的全流程赋能
大数据·人工智能
神算大模型APi--天枢6463 小时前
合规与高效兼得:国产全栈架构赋能行业大模型定制,从教育到工业的轻量化落地
大数据·前端·人工智能·架构·硬件架构
飞飞传输5 小时前
守护医疗隐私,数据安全摆渡系统撑起内外网安全伞!
大数据·运维·安全
Guheyunyi5 小时前
视频安全监测系统的三大核心突破
大数据·运维·服务器·人工智能·安全·音视频