maxcompute

福气少侠4 个月前
大数据·数据仓库·python·云计算·maxcompute·odps
阿里MAXCOMPUTE数据专辑信息读取并同步数据表在阿里云大数据体系中,我们可以使用数据地图的数据专辑,对数据的类别等进行一个管理那么管理后的数据,我们想要落表进行相关的数据分析,如何做呢?
对许1 年前
hive·mysql·oracle·maxcompute
Hive、MySQL、Oracle内建函数对照表Hive自身预置了许多函数,可以满足大部分业务场景的数据处理需求。例如,日期与时间函数、数学函数、窗口函数、聚合函数、字符串函数、复杂类型函数、加密函数等
Xin学数据1 年前
阿里云·dataworks·maxcompute
Dataworks API:调取 MC 项目下所有表单最近,我需要对公司的数据资产进行梳理,这其中便包括了Dataworks各个项目下的表单。这些表单,作为公司的重要数据资产之一,也需要进行整理和规范。幸运的是,官方提供了API接口,可以辅助我更高效地获取各个项目下的所有表单。 Dataworks API 提供了很多项目及表单的信息,比如表单列表、表单的名称、创建时间、所属项目、调度信息等等。 本文以一个比较简单的例子(获取表单列表)展开详细讲解下整个流程。
高阳很捷迅1 年前
maxcompute·hologres·hsap·实时数据仓库
实时数仓-Hologres介绍与架构本文是向大家介绍Hologres是一款实时HSAP产品,隶属阿里自研大数据品牌MaxCompute,兼容 PostgreSQL 生态、支持MaxCompute数据直接查询,支持实时写入实时查询,实时离线联邦分析,低成本、高时效、快速构筑企业实时数据仓库(Real-Time Data Warehouse)。
有时有味1 年前
大数据·maxcompute·odps·1024程序员节
ODPS #MaxCompute数据开发中几个常见的异常及解决方案FAILED: ODPS-0130071:[0,0] Semantic analysis exception - physical plan generation failed: java.lang.RuntimeException: Table(x_mei,t_order_info) is full scan with all partitions, please specify partition predicates.
Xin学数据1 年前
mysql·postgresql·dataworks·maxcompute
阿里云大数据实战记录8:拆开 json 的每一个元素,一行一个商业场景中,经常会出现新的业务,继而产生新的业务数据,这也难免会导致一些数据被孤立,所以便需要对数据进行同步整合。在清洗数据的过程中,难免也会出现同一个 SQL 逻辑需要使用不同的平台各自支持的一套 SQL 语言来实现。 本文介绍的就是一个同样的 SQL 逻辑,通过不同的平台进行操作。 相关平台:阿里云的 postgresql 和 阿里云的 MaxCompute SQL(下面称 ODPS SQL)。