阿里云 MaxCompute MaxQA 开启公测,解锁近实时高效查询体验

随着实时、近实时数据分析需求的持续增长,查询响应时间在现代数据分析和业务应用中变得越来越重要。为减少查询响应时间,提升数据效率,阿里云云原生大数据计算服务 MaxCompute 推出 MaxQA(原 MCQA2.0)查询加速功能,在独享的查询加速资源池的基础上,对管控链路、查询优化器、执行引擎、存储引擎以及缓存机制等多个环节进行全面优化,显著减少了查询响应时间,适用于 BI 场景、交互式分析以及近实时数仓等对延迟要求高且稳定的场景。

MaxQA 现已开启公测,欢迎广大开发者及企业用户参与,解锁高效查询体验!

公测说明

MaxCompute MaxQA 公测已开启。公测阶段面向所有用户开放,公测期间,为了帮助用户更好使用 MaxQA 产品新特性,MaxQA 所用计算资源,在满足要求的情况下可以代金券模式申请返还资源费用(每个账号每月最高返还额度256CU对应费用)。

核心优势

  • **亚秒级查询性能:**支持对中小数据量(数 TB 级规模内)查询作业、数据插入作业进行加速优化,最快执行时间为亚秒级。支持全链路 Cache,作业会自动将多个环节的执行结果写入临时缓存,后续执行的作业在全链路的多个环节都可能命中 Cache,加快执行速度。

  • **高稳定性及资源利用率:**支持隔离的查询加速资源池,独享服务于本租户,稳定性更高。支持自定义查询加速资源池和批处理资源池的分时资源分配规则,支持交互式 Quota 组和批处理 Quota 组的分时自动伸缩,提高资源整体利用率。

  • **完全兼容MaxCompute SQL增强功能:**包括 UDF、Delta Table 增量表、Delta Live MV 增量物化视图特性等。

  • **支持生态扩展:**多款 BI 工具支持(FineBI、Tableau、QuickBI)。

MaxQA 技术架构图

应用场景

MaxQA 功能的应用场景涵盖了从日常运营报告到高级数据分析的各种需求,特别适合对查询响应时间和稳定性有较高要求的业务场景。无论是短期决策支持还是长期战略规划,MaxQA 都能为企业提供强有力的技术支撑,提升数据驱动的价值创造能力。

**即席查询(**Ad Hoc)

适用于查询时延要求在几秒或几十秒内,使用者通常为掌握 SQL 技能的数据开发或数据分析师。或者灵活选择查询条件,快速响应业务需求变化的需求。用户可以根据实际需求灵活选择查询条件,快速获取查询结果并调整查询逻辑。适用于数据开发或数据分析人员,他们希望使用熟悉的客户端工具开展查询分析。

交互式数据分析

适用于各种层次的数据分析师,从初学者到专家。自助式 BI 工具和交互式数据探索平台使得非技术人员也能轻松进行复杂的数据分析。这类工具通常通过一系列短查询来实现动态筛选、排序、聚合等功能,提供灵活且直观的操作体验。

商业智能(BI)数据挖掘

适用于数据量较小、多维查询、固定查询、高频查询场景。利用 MaxCompute 搭建企业级数据仓库,通过 ETL 将数据加工处理为面向业务可消费的聚合数据。借助 MaxQA 的低延时、资源隔离、弹性并发、数据缓存等特性,满足多并发、快速响应的报告生成、统计分析及固定报表分析需求。

海量数据明细查询分析

适用于业务分析人员。MaxQA 可以自动识别查询作业特征,既能快速响应处理小规模作业,同时还可以自动匹配大规模作业资源需求,满足分析人员分析不同规模和复杂度的查询作业的需求。

使用限制

  • 支持 MaxQA 执行 DDL/DML/DQL 语句(不支持如权限操作语句、Tunnel 相关语句、上传/下载资源等)。

  • MaxQA 中支持运行 UDF,但会涉及 UDF 安全隔离环境的现场拉起,为了防止造成性能剧烈波动,限制了一个 MaxQA 实例中最多只有 50%的资源用于运行 UDF。

  • 对于 DQL 语句,默认最多返回100W行数据,可通过设置 set odps.sql.select.auto.limit 为更大的值来突破此限制(建议根据业务实际需求谨慎设置,过大的返回值可能影响执行效率)。

  • 暂不支持执行计划中要求 Worker 常驻的作业,如 Distributed MapJoin。

如果因使用限制导致 MaxQA 作业失败,需要您手动重试或尝试将作业提交到批处理配额组中。

操作步骤

目前仅支持在包年包月 MaxCompute 实例中使用 MaxQA 功能,操作步骤如下。

  • 登录MaxCompute控制台,在左上角选择地域。

  • 在左侧导航栏,选择**工作区 > 配额(Quota)**管理。

  • 在 Quota 管理页面,单击需要配置的一级 Quota 操作列的 Quota 配置。

  • 配置基础配置。

    • 在 Quota 配置页面的基础配置页签,单击编辑基础配置。

    • 单击+新建二级 Quota 后,填写 Quota 名称和选择类型。Quota 名称请自定义输入(后续使用MaxQA 时,需要指定该名字,建议和业务属性相关,便于区分多个实例),类型选择交互式。

  • 单击确定,即完成一个 MaxQA 实例的开通。

  • 确定以后,对应交互式配额组的最后部分会出现状态展示为"启动中",等待 5 分钟左右,等状态变为"运行中"以后,即可开始使用。

联系我们

如果在开通和使用过程中,有任何相关问题或需要协助,可以通过您的专属钉群或 MaxCompute 开发者社区群(钉钉群号:11782920)联系我们。

申请公测链接:阿里云登录 - 欢迎登录阿里云,安全稳定的云计算服务平台

查询加速 MaxQA 文档:MaxCompute查询加速 MaxQA _云原生大数据计算服务 MaxCompute(MaxCompute)-阿里云帮助中心

查询加速 MaxQA 操作手册:MaxQA操作手册_云原生大数据计算服务 MaxCompute(MaxCompute)-阿里云帮助中心

相关推荐
沃达德软件5 小时前
智慧警务图像融合大数据
大数据·图像处理·人工智能·目标检测·计算机视觉·目标跟踪
代码改善世界7 小时前
【前瞻创想】Kurator:驾驭分布式云原生世界的“统一舰队”
分布式·云原生
陈奕昆8 小时前
n8n实战营Day3:电商订单全流程自动化·需求分析与流程拆解
大数据·开发语言·人工智能·自动化·需求分析·n8n
代码改善世界8 小时前
【探索实战】从零到一:Kurator 构建分布式云原生平台的探索与实践
分布式·云原生
semantist@语校8 小时前
第五十一篇|构建日本语言学校数据模型:埼玉国际学院的城市结构与行为变量分析
java·大数据·数据库·人工智能·百度·ai·github
赵渝强老师8 小时前
【赵渝强老师】阿里云大数据集成开发平台DataWorks
大数据·阿里云·云计算
xieyan08118 小时前
卖出与止损策略
大数据
Elastic 中国社区官方博客9 小时前
使用 LangChain 和 Elasticsearch 开发一个 agentic RAG 助手
大数据·人工智能·elasticsearch·搜索引擎·ai·langchain·全文检索
z***02609 小时前
Python大数据可视化:基于大数据技术的共享单车数据分析与辅助管理系统_flask+hadoop+spider
大数据·python·信息可视化
知识分享小能手9 小时前
openEuler入门学习教程,从入门到精通,openEuler 24.03 环境下 Hadoop 全面实践指南(19)
大数据·hadoop·openeuler