dataworks

阿里云大数据AI技术5 个月前
大数据·数据库·sql·copilot·dataworks
DataWorks Copilot:大模型时代数据开发的新范式DataWorks 是阿里云一站式智能化数据开发与治理平台,支持搭配MaxCompute/Hologres/AnalyticDB/StarRocks/EMR/CDH 等大数据引擎,为企业构建数据仓库、数据湖以及湖仓一体(Lakehouse)现代数据架构提供数据平台产品解决方案。作为阿里巴巴大数据平台建设者,DataWorks 从 2009 年起不断发展和沉淀阿里巴巴大数据建设方法论并产品化,在阿里内部每月有超过50000 名员工在使用 DataWorks 生产数据和消费数据。DataWorks 在阿里云上
终回首9 个月前
大数据·selenium·测试工具·自动化·dataworks
selenium实现dataworks自动化批量创建数据集成任务有个任务需要创建800多个dataworks的数据接入任务,手工一个个搞有些对不起自己的手,更加对不起自己的脑子。
Xin学数据1 年前
阿里云·dataworks·maxcompute
Dataworks API:调取 MC 项目下所有表单最近,我需要对公司的数据资产进行梳理,这其中便包括了Dataworks各个项目下的表单。这些表单,作为公司的重要数据资产之一,也需要进行整理和规范。幸运的是,官方提供了API接口,可以辅助我更高效地获取各个项目下的所有表单。 Dataworks API 提供了很多项目及表单的信息,比如表单列表、表单的名称、创建时间、所属项目、调度信息等等。 本文以一个比较简单的例子(获取表单列表)展开详细讲解下整个流程。
Xin学数据1 年前
mysql·postgresql·dataworks·maxcompute
阿里云大数据实战记录8:拆开 json 的每一个元素,一行一个商业场景中,经常会出现新的业务,继而产生新的业务数据,这也难免会导致一些数据被孤立,所以便需要对数据进行同步整合。在清洗数据的过程中,难免也会出现同一个 SQL 逻辑需要使用不同的平台各自支持的一套 SQL 语言来实现。 本文介绍的就是一个同样的 SQL 逻辑,通过不同的平台进行操作。 相关平台:阿里云的 postgresql 和 阿里云的 MaxCompute SQL(下面称 ODPS SQL)。