dataworks

ha_lydms4 天前
大数据·阿里云·dataworks·maxcompute·aliyun·dts·数据传输服务
数据传输服务DTS数据传输服务DTS(Data Transmission Service)是阿里云提供的一站式数据传输与处理平台。它集成了数据迁移、数据同步、数据订阅、数据加工以及数据校验等核心能力,致力于在多种数据源之间,构建安全、可靠、高性能的数据流动链路,以满足业务上云、异地灾备和实时数仓等多样化场景需求。
ha_lydms13 天前
大数据·分布式·spark·函数·数据处理·dataworks·maxcompute
3、Spark 函数_d/e/f/j/h/i/j/k/ldate(expr) - Casts the value expr to the target data type date.
ha_lydms13 天前
大数据·数据仓库·阿里云·dataworks·maxcompute·odps·analyticdb
AnalyticDB导入MaxCompute数据的几种方式云原生数据仓库 AnalyticDB MySQL 版(以下简称AnalyticDB for MySQL)是全托管的PB级实时数仓,支持毫秒级数据更新和亚秒级查询响应,高度兼容MySQL协议。
ha_lydms13 天前
大数据·数据库·python·sql·spark·数据处理·dataworks
4、Spark 函数_m/n/o/p/q/rmake_date(year, month, day) - Create date from year, month and day fields. If the configuration spark.sql.ansi.enabled is false, the function returns NULL on invalid inputs. Otherwise, it will throw an error instead.
ha_lydms13 天前
大数据·c语言·hive·spark·时序数据库·dataworks·数据开发
2、Spark 函数_a/b/cabs(expr) - Returns the absolute value of the numeric or interval value.
ha_lydms13 天前
java·大数据·python·spark·数据处理·dataworks·spark 函数
6、Spark 函数_u/v/w/x/y/zucase(str) - Returns str with all characters changed to uppercase.
阿里云大数据AI技术2 个月前
人工智能·阿里云·dataworks·ai辅助
让 ETL 更懂语义:DataWorks 支持数据集成 AI 辅助处理能力在生成式 AI 浪潮下,数据不再只是“被搬运的原料”,更应是“可理解、可推理、可挖掘价值”的智能资产。然而,传统 ETL(Extract-Transform-Load)流程仍停留在结构化数据处理层面,面对海量文本、日志、反馈等非结构化数据时,往往依赖人工标注或复杂开发链路,效率低、成本高、响应慢。
看海的四叔4 个月前
开发语言·python·阿里云·dataworks·maxcomputer
【Python】Python解决阿里云DataWorks导出数据1万条限制的问题在日常数据分析工作中,团队经常需要从阿里云DataWorks(原MaxCompute)中导出临时表数据进行分析或汇报,但由于受限于阿里云的安全策略,每次只能导出1万条,反复操作会很麻烦。
Double@加贝7 个月前
大数据·阿里云·dataworks·maxcompute
MaxCompute的Logview分析详解Logview是MaxCompute作业运行状态信息记录与展现的一个工具,目前支持如下功能:分别对应以下功能
青春之我_XP7 个月前
数据仓库·sql·阿里云·云计算·dataworks·maxcompute
【基于阿里云搭建数据仓库(离线)】使用UDTF时出现报错“FlatEventUDTF cannot be resolved”目录问题:可能的原因有:解决方法:已经将包含第三方依赖的jar包上传到dataworks,并且成功注册函数,但是还是报错:“FlatEventUDTF cannot be resolved”,如下:
青春之我_XP7 个月前
大数据·数据仓库·sql·dataworks·maxcompute·data studio
【基于阿里云搭建数据仓库(离线)】Data Studio创建资源与函数Data Studio支持在您的数据分析代码中引用自定义的资源和函数(支持MaxCompute、EMR、CDH、Flink),您需要先创建或上传资源、函数至目标工作空间,上传后才可在该工作空间的任务中使用。您可参考本文了解如何使用DataWorks可视化方式创建资源和函数并在节点中使用。
Double@加贝8 个月前
阿里云·dataworks
DataWorks的SQL组件使用MaxCompute实际业务场景存在大量类似的SQL代码过程,过程中输入表和输出表的结构一致或结构类型兼容,仅名称不同。此时,组件的开发者可将该SQL过程抽象为一个SQL组件节点,将可变的输入表抽象为输入参数,可变的输出表抽象为输出参数,实现SQL代码的复用。
阿里云大数据AI技术8 个月前
copilot·dataworks·moe·mcp·qwen3
DataWorks Copilot 集成 Qwen3-235B-A22B混合推理模型,AI 效能再升级!刚刚,阿里云一站式智能大数据开发治理平台 DataWorks 正式接入 Qwen3 模型,可支持235B最大尺寸。用户通过 DataWorks Copilot 智能助手即可调用该模型,通过自然语言交互完成多种代码操作,实现数据开发、数据分析的快速实现。
Anna_Tong1 年前
大数据·数据库·阿里云·云计算·数据安全·dataworks
DataWorks 与传统数据治理方案相比有哪些优势?在当今数字化时代,数据已成为企业的核心资产。如何高效管理和治理数据,直接影响到企业的运营效率和商业决策能力。传统数据治理方案往往面临数据孤岛、效率低下、合规难度大等问题,而阿里云 DataWorks 作为一体化的大数据开发治理平台,提供了智能化、高效化、安全化的全链路数据治理解决方案。
马剑威(威哥爱编程)1 年前
阿里云·云计算·dataworks
阿里云DataWorks产品使用大家好,我是 V 哥。DataWorks 是阿里云提供的大数据开发治理平台,它集成了多种大数据引擎,提供了从数据采集、存储、开发、治理到分析和可视化的全生命周期解决方案。以下是对 DataWorks 的详细评测:
阿里云大数据AI技术1 年前
大数据·olap·emr·dataworks·湖仓一体
DataWorks on EMR StarRocks,打造标准湖仓新范式在大数据领域,数据仓库和实时分析系统扮演着至关重要的角色。DataWorks 基于大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台,为用户带来智能化的数据开发和分析体验。而阿里云提供的 EMR Serverless StarRocks 全托管服务(下文简称 StarRocks),专注于实时分析场景,可提供高性能、全场景、极速统一的数据分析体验。
阿里云大数据AI技术2 年前
大数据·数据库·sql·copilot·dataworks
DataWorks Copilot:大模型时代数据开发的新范式DataWorks 是阿里云一站式智能化数据开发与治理平台,支持搭配MaxCompute/Hologres/AnalyticDB/StarRocks/EMR/CDH 等大数据引擎,为企业构建数据仓库、数据湖以及湖仓一体(Lakehouse)现代数据架构提供数据平台产品解决方案。作为阿里巴巴大数据平台建设者,DataWorks 从 2009 年起不断发展和沉淀阿里巴巴大数据建设方法论并产品化,在阿里内部每月有超过50000 名员工在使用 DataWorks 生产数据和消费数据。DataWorks 在阿里云上