技术栈
dataworks
ha_lydms
4 天前
大数据
·
阿里云
·
dataworks
·
maxcompute
·
aliyun
·
dts
·
数据传输服务
数据传输服务DTS
数据传输服务DTS(Data Transmission Service)是阿里云提供的一站式数据传输与处理平台。它集成了数据迁移、数据同步、数据订阅、数据加工以及数据校验等核心能力,致力于在多种数据源之间,构建安全、可靠、高性能的数据流动链路,以满足业务上云、异地灾备和实时数仓等多样化场景需求。
ha_lydms
13 天前
大数据
·
分布式
·
spark
·
函数
·
数据处理
·
dataworks
·
maxcompute
3、Spark 函数_d/e/f/j/h/i/j/k/l
date(expr) - Casts the value expr to the target data type date.
ha_lydms
13 天前
大数据
·
数据仓库
·
阿里云
·
dataworks
·
maxcompute
·
odps
·
analyticdb
AnalyticDB导入MaxCompute数据的几种方式
云原生数据仓库 AnalyticDB MySQL 版(以下简称AnalyticDB for MySQL)是全托管的PB级实时数仓,支持毫秒级数据更新和亚秒级查询响应,高度兼容MySQL协议。
ha_lydms
13 天前
大数据
·
数据库
·
python
·
sql
·
spark
·
数据处理
·
dataworks
4、Spark 函数_m/n/o/p/q/r
make_date(year, month, day) - Create date from year, month and day fields. If the configuration spark.sql.ansi.enabled is false, the function returns NULL on invalid inputs. Otherwise, it will throw an error instead.
ha_lydms
13 天前
大数据
·
c语言
·
hive
·
spark
·
时序数据库
·
dataworks
·
数据开发
2、Spark 函数_a/b/c
abs(expr) - Returns the absolute value of the numeric or interval value.
ha_lydms
13 天前
java
·
大数据
·
python
·
spark
·
数据处理
·
dataworks
·
spark 函数
6、Spark 函数_u/v/w/x/y/z
ucase(str) - Returns str with all characters changed to uppercase.
阿里云大数据AI技术
2 个月前
人工智能
·
阿里云
·
dataworks
·
ai辅助
让 ETL 更懂语义:DataWorks 支持数据集成 AI 辅助处理能力
在生成式 AI 浪潮下,数据不再只是“被搬运的原料”,更应是“可理解、可推理、可挖掘价值”的智能资产。然而,传统 ETL(Extract-Transform-Load)流程仍停留在结构化数据处理层面,面对海量文本、日志、反馈等非结构化数据时,往往依赖人工标注或复杂开发链路,效率低、成本高、响应慢。
看海的四叔
4 个月前
开发语言
·
python
·
阿里云
·
dataworks
·
maxcomputer
【Python】Python解决阿里云DataWorks导出数据1万条限制的问题
在日常数据分析工作中,团队经常需要从阿里云DataWorks(原MaxCompute)中导出临时表数据进行分析或汇报,但由于受限于阿里云的安全策略,每次只能导出1万条,反复操作会很麻烦。
Double@加贝
7 个月前
大数据
·
阿里云
·
dataworks
·
maxcompute
MaxCompute的Logview分析详解
Logview是MaxCompute作业运行状态信息记录与展现的一个工具,目前支持如下功能:分别对应以下功能
青春之我_XP
7 个月前
数据仓库
·
sql
·
阿里云
·
云计算
·
dataworks
·
maxcompute
【基于阿里云搭建数据仓库(离线)】使用UDTF时出现报错“FlatEventUDTF cannot be resolved”
目录问题:可能的原因有:解决方法:已经将包含第三方依赖的jar包上传到dataworks,并且成功注册函数,但是还是报错:“FlatEventUDTF cannot be resolved”,如下:
青春之我_XP
7 个月前
大数据
·
数据仓库
·
sql
·
dataworks
·
maxcompute
·
data studio
【基于阿里云搭建数据仓库(离线)】Data Studio创建资源与函数
Data Studio支持在您的数据分析代码中引用自定义的资源和函数(支持MaxCompute、EMR、CDH、Flink),您需要先创建或上传资源、函数至目标工作空间,上传后才可在该工作空间的任务中使用。您可参考本文了解如何使用DataWorks可视化方式创建资源和函数并在节点中使用。
Double@加贝
8 个月前
阿里云
·
dataworks
DataWorks的SQL组件使用
MaxCompute实际业务场景存在大量类似的SQL代码过程,过程中输入表和输出表的结构一致或结构类型兼容,仅名称不同。此时,组件的开发者可将该SQL过程抽象为一个SQL组件节点,将可变的输入表抽象为输入参数,可变的输出表抽象为输出参数,实现SQL代码的复用。
阿里云大数据AI技术
8 个月前
copilot
·
dataworks
·
moe
·
mcp
·
qwen3
DataWorks Copilot 集成 Qwen3-235B-A22B混合推理模型,AI 效能再升级!
刚刚,阿里云一站式智能大数据开发治理平台 DataWorks 正式接入 Qwen3 模型,可支持235B最大尺寸。用户通过 DataWorks Copilot 智能助手即可调用该模型,通过自然语言交互完成多种代码操作,实现数据开发、数据分析的快速实现。
Anna_Tong
1 年前
大数据
·
数据库
·
阿里云
·
云计算
·
数据安全
·
dataworks
DataWorks 与传统数据治理方案相比有哪些优势?
在当今数字化时代,数据已成为企业的核心资产。如何高效管理和治理数据,直接影响到企业的运营效率和商业决策能力。传统数据治理方案往往面临数据孤岛、效率低下、合规难度大等问题,而阿里云 DataWorks 作为一体化的大数据开发治理平台,提供了智能化、高效化、安全化的全链路数据治理解决方案。
马剑威(威哥爱编程)
1 年前
阿里云
·
云计算
·
dataworks
阿里云DataWorks产品使用
大家好,我是 V 哥。DataWorks 是阿里云提供的大数据开发治理平台,它集成了多种大数据引擎,提供了从数据采集、存储、开发、治理到分析和可视化的全生命周期解决方案。以下是对 DataWorks 的详细评测:
阿里云大数据AI技术
1 年前
大数据
·
olap
·
emr
·
dataworks
·
湖仓一体
DataWorks on EMR StarRocks,打造标准湖仓新范式
在大数据领域,数据仓库和实时分析系统扮演着至关重要的角色。DataWorks 基于大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台,为用户带来智能化的数据开发和分析体验。而阿里云提供的 EMR Serverless StarRocks 全托管服务(下文简称 StarRocks),专注于实时分析场景,可提供高性能、全场景、极速统一的数据分析体验。
阿里云大数据AI技术
2 年前
大数据
·
数据库
·
sql
·
copilot
·
dataworks
DataWorks Copilot:大模型时代数据开发的新范式
DataWorks 是阿里云一站式智能化数据开发与治理平台,支持搭配MaxCompute/Hologres/AnalyticDB/StarRocks/EMR/CDH 等大数据引擎,为企业构建数据仓库、数据湖以及湖仓一体(Lakehouse)现代数据架构提供数据平台产品解决方案。作为阿里巴巴大数据平台建设者,DataWorks 从 2009 年起不断发展和沉淀阿里巴巴大数据建设方法论并产品化,在阿里内部每月有超过50000 名员工在使用 DataWorks 生产数据和消费数据。DataWorks 在阿里云上