阿里云 MaxCompute MaxQA 开启公测,解锁近实时高效查询体验

随着实时、近实时数据分析需求的持续增长,查询响应时间在现代数据分析和业务应用中变得越来越重要。为减少查询响应时间,提升数据效率,阿里云云原生大数据计算服务 MaxCompute 推出 MaxQA(原 MCQA2.0)查询加速功能,在独享的查询加速资源池的基础上,对管控链路、查询优化器、执行引擎、存储引擎以及缓存机制等多个环节进行全面优化,显著减少了查询响应时间,适用于 BI 场景、交互式分析以及近实时数仓等对延迟要求高且稳定的场景。

MaxQA 现已开启公测,欢迎广大开发者及企业用户参与,解锁高效查询体验!

公测说明

MaxCompute MaxQA 公测已开启。公测阶段面向所有用户开放,公测期间,为了帮助用户更好使用 MaxQA 产品新特性,MaxQA 所用计算资源,在满足要求的情况下可以代金券模式申请返还资源费用(每个账号每月最高返还额度256CU对应费用)。

核心优势

  • **亚秒级查询性能:**支持对中小数据量(数 TB 级规模内)查询作业、数据插入作业进行加速优化,最快执行时间为亚秒级。支持全链路 Cache,作业会自动将多个环节的执行结果写入临时缓存,后续执行的作业在全链路的多个环节都可能命中 Cache,加快执行速度。

  • **高稳定性及资源利用率:**支持隔离的查询加速资源池,独享服务于本租户,稳定性更高。支持自定义查询加速资源池和批处理资源池的分时资源分配规则,支持交互式 Quota 组和批处理 Quota 组的分时自动伸缩,提高资源整体利用率。

  • **完全兼容MaxCompute SQL增强功能:**包括 UDF、Delta Table 增量表、Delta Live MV 增量物化视图特性等。

  • **支持生态扩展:**多款 BI 工具支持(FineBI、Tableau、QuickBI)。

MaxQA 技术架构图

应用场景

MaxQA 功能的应用场景涵盖了从日常运营报告到高级数据分析的各种需求,特别适合对查询响应时间和稳定性有较高要求的业务场景。无论是短期决策支持还是长期战略规划,MaxQA 都能为企业提供强有力的技术支撑,提升数据驱动的价值创造能力。

**即席查询(**Ad Hoc)

适用于查询时延要求在几秒或几十秒内,使用者通常为掌握 SQL 技能的数据开发或数据分析师。或者灵活选择查询条件,快速响应业务需求变化的需求。用户可以根据实际需求灵活选择查询条件,快速获取查询结果并调整查询逻辑。适用于数据开发或数据分析人员,他们希望使用熟悉的客户端工具开展查询分析。

交互式数据分析

适用于各种层次的数据分析师,从初学者到专家。自助式 BI 工具和交互式数据探索平台使得非技术人员也能轻松进行复杂的数据分析。这类工具通常通过一系列短查询来实现动态筛选、排序、聚合等功能,提供灵活且直观的操作体验。

商业智能(BI)数据挖掘

适用于数据量较小、多维查询、固定查询、高频查询场景。利用 MaxCompute 搭建企业级数据仓库,通过 ETL 将数据加工处理为面向业务可消费的聚合数据。借助 MaxQA 的低延时、资源隔离、弹性并发、数据缓存等特性,满足多并发、快速响应的报告生成、统计分析及固定报表分析需求。

海量数据明细查询分析

适用于业务分析人员。MaxQA 可以自动识别查询作业特征,既能快速响应处理小规模作业,同时还可以自动匹配大规模作业资源需求,满足分析人员分析不同规模和复杂度的查询作业的需求。

使用限制

  • 支持 MaxQA 执行 DDL/DML/DQL 语句(不支持如权限操作语句、Tunnel 相关语句、上传/下载资源等)。

  • MaxQA 中支持运行 UDF,但会涉及 UDF 安全隔离环境的现场拉起,为了防止造成性能剧烈波动,限制了一个 MaxQA 实例中最多只有 50%的资源用于运行 UDF。

  • 对于 DQL 语句,默认最多返回100W行数据,可通过设置 set odps.sql.select.auto.limit 为更大的值来突破此限制(建议根据业务实际需求谨慎设置,过大的返回值可能影响执行效率)。

  • 暂不支持执行计划中要求 Worker 常驻的作业,如 Distributed MapJoin。

如果因使用限制导致 MaxQA 作业失败,需要您手动重试或尝试将作业提交到批处理配额组中。

操作步骤

目前仅支持在包年包月 MaxCompute 实例中使用 MaxQA 功能,操作步骤如下。

  • 登录MaxCompute控制台,在左上角选择地域。

  • 在左侧导航栏,选择**工作区 > 配额(Quota)**管理。

  • 在 Quota 管理页面,单击需要配置的一级 Quota 操作列的 Quota 配置。

  • 配置基础配置。

    • 在 Quota 配置页面的基础配置页签,单击编辑基础配置。

    • 单击+新建二级 Quota 后,填写 Quota 名称和选择类型。Quota 名称请自定义输入(后续使用MaxQA 时,需要指定该名字,建议和业务属性相关,便于区分多个实例),类型选择交互式。

  • 单击确定,即完成一个 MaxQA 实例的开通。

  • 确定以后,对应交互式配额组的最后部分会出现状态展示为"启动中",等待 5 分钟左右,等状态变为"运行中"以后,即可开始使用。

联系我们

如果在开通和使用过程中,有任何相关问题或需要协助,可以通过您的专属钉群或 MaxCompute 开发者社区群(钉钉群号:11782920)联系我们。

申请公测链接:阿里云登录 - 欢迎登录阿里云,安全稳定的云计算服务平台

查询加速 MaxQA 文档:MaxCompute查询加速 MaxQA _云原生大数据计算服务 MaxCompute(MaxCompute)-阿里云帮助中心

查询加速 MaxQA 操作手册:MaxQA操作手册_云原生大数据计算服务 MaxCompute(MaxCompute)-阿里云帮助中心

相关推荐
aashuii6 小时前
k8s通过NUMA亲和分配GPU和VF接口
云原生·容器·kubernetes
TDengine (老段)9 小时前
TDengine 转化类函数 TO_CHAR 用户手册
大数据·数据库·物联网·时序数据库·tdengine·涛思数据
黄雪超9 小时前
Kafka——多线程开发消费者实例
大数据·分布式·kafka
ManageEngineITSM10 小时前
从混乱到秩序:IT服务管理如何重塑企业运营效率
大数据·人工智能·程序人生·职场和发展·itsm
青云交11 小时前
Java 大视界 -- 基于 Java 的大数据分布式存储在工业互联网数据管理与边缘计算协同中的创新实践(364)
java·大数据·边缘计算·工业互联网·分布式存储·paxos·数据协同
数据爬坡ing12 小时前
软件工程之可行性研究:从理论到实践的全面解析
大数据·流程图·软件工程·可用性测试
晴天彩虹雨13 小时前
统一调度与编排:构建自动化数据驱动平台
大数据·运维·数据仓库·自动化·big data·etl
Kentos(acoustic ver.)13 小时前
云原生 —— K8s 容器编排系统
云原生·容器·kubernetes·云计算·k8s
贺贺丿14 小时前
Docker4-容器化企业级应用
linux·nginx·docker·云原生·eureka·tomcat·ssh
sanggou15 小时前
Zookeeper的分布式事务与原子性:深入解析与实践指南
分布式·zookeeper·云原生