dataworks

阿里云大数据AI技术

DataWorks on EMR StarRocks，打造标准湖仓新范式在大数据领域，数据仓库和实时分析系统扮演着至关重要的角色。DataWorks 基于大数据引擎，为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台，为用户带来智能化的数据开发和分析体验。而阿里云提供的 EMR Serverless StarRocks 全托管服务（下文简称 StarRocks），专注于实时分析场景，可提供高性能、全场景、极速统一的数据分析体验。

阿里云大数据AI技术

DataWorks Copilot：大模型时代数据开发的新范式DataWorks 是阿里云一站式智能化数据开发与治理平台，支持搭配MaxCompute/Hologres/AnalyticDB/StarRocks/EMR/CDH 等大数据引擎，为企业构建数据仓库、数据湖以及湖仓一体（Lakehouse）现代数据架构提供数据平台产品解决方案。作为阿里巴巴大数据平台建设者，DataWorks 从 2009 年起不断发展和沉淀阿里巴巴大数据建设方法论并产品化，在阿里内部每月有超过50000 名员工在使用 DataWorks 生产数据和消费数据。DataWorks 在阿里云上

selenium实现dataworks自动化批量创建数据集成任务有个任务需要创建800多个dataworks的数据接入任务，手工一个个搞有些对不起自己的手，更加对不起自己的脑子。

Dataworks API：调取 MC 项目下所有表单最近，我需要对公司的数据资产进行梳理，这其中便包括了Dataworks各个项目下的表单。这些表单，作为公司的重要数据资产之一，也需要进行整理和规范。幸运的是，官方提供了API接口，可以辅助我更高效地获取各个项目下的所有表单。 Dataworks API 提供了很多项目及表单的信息，比如表单列表、表单的名称、创建时间、所属项目、调度信息等等。本文以一个比较简单的例子（获取表单列表）展开详细讲解下整个流程。

阿里云大数据实战记录8：拆开 json 的每一个元素，一行一个商业场景中，经常会出现新的业务，继而产生新的业务数据，这也难免会导致一些数据被孤立，所以便需要对数据进行同步整合。在清洗数据的过程中，难免也会出现同一个 SQL 逻辑需要使用不同的平台各自支持的一套 SQL 语言来实现。本文介绍的就是一个同样的 SQL 逻辑，通过不同的平台进行操作。相关平台：阿里云的 postgresql 和阿里云的 MaxCompute SQL（下面称 ODPS SQL）。