dataworks

Day 15｜工程师自学路径：按特性模块做最小验证系列：《Cloud GIDO 三产品特性深讲》第 15/15 篇（第一季完）标签：学习路径、动手验证、开源、Flink、事件治理

阿里云大数据AI技术

数据平台开始“支撑 Agent”：DataWorks Data Agent 如何重构企业数据生产方式作者：闫建丽 - 阿里云智能集团高级产品专家大模型已经能够生成 SQL，但在企业数据环境中，“会写代码”并不等于“能完成工作”。真正的数据任务还需要理解业务口径、读取元数据与血缘、探查源表、调用计算资源、遵守权限，并在发布生产等关键环节接受人工确认。DataWorks Data Agent 的目标并不是在数据平台上增加一个聊天入口，而是把数据平台改造成能够同时服务人和 Agent 的执行底座，让数据生产从人机交互走向人与 Agent 协同。

使用DataWorks导入 Maxcompute 数据DataWorks基于Hologres、MaxCompute等大数据计算引擎，为您提供专业高效、安全可靠的一站式大数据开发与治理平台。

使用SQL导入MaxCompute的数据至Hologres当MaxCompute业务数据规模超过200 GB，且查询复杂度较高、对响应时间要求达到秒级时，Hologres支持将这些数据直接导入内部表进行查询，相较于通过外部表查询方式，该方式可以设置索引，且数据查询效率更高。本文为您介绍不同场景的数据导入操作以及常见问题。注意事项通过SQL导入MaxCompute数据至Hologres时，您需要注意如下内容：

Hologres 简介Hologres是阿里巴巴自主研发的一站式实时数仓引擎（Real-Time Data Warehouse），支持海量数据实时写入、实时更新、实时加工、实时分析，支持标准SQL（兼容PostgreSQL协议和语法，支持大部分PostgreSQL函数），支持PB级数据多维分析（OLAP）与即席分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），支持多种负载的细粒度隔离与企业级安全能力，与MaxCompute、Flink、DataWorks深度融合，提供企业级离在线一体化全栈数仓解决方案。

DataWorks离线同步 OSS文件数据集成是一个稳定高效、弹性伸缩的数据同步平台，致力于提供在复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。

数据传输服务DTS数据传输服务DTS（Data Transmission Service）是阿里云提供的一站式数据传输与处理平台。它集成了数据迁移、数据同步、数据订阅、数据加工以及数据校验等核心能力，致力于在多种数据源之间，构建安全、可靠、高性能的数据流动链路，以满足业务上云、异地灾备和实时数仓等多样化场景需求。

3、Spark 函数_d/e/f/j/h/i/j/k/ldate(expr) - Casts the value expr to the target data type date.

AnalyticDB导入MaxCompute数据的几种方式云原生数据仓库 AnalyticDB MySQL 版（以下简称AnalyticDB for MySQL）是全托管的PB级实时数仓，支持毫秒级数据更新和亚秒级查询响应，高度兼容MySQL协议。

4、Spark 函数_m/n/o/p/q/rmake_date(year, month, day) - Create date from year, month and day fields. If the configuration spark.sql.ansi.enabled is false, the function returns NULL on invalid inputs. Otherwise, it will throw an error instead.

2、Spark 函数_a/b/cabs(expr) - Returns the absolute value of the numeric or interval value.

6、Spark 函数_u/v/w/x/y/zucase(str) - Returns str with all characters changed to uppercase.

阿里云大数据AI技术

让 ETL 更懂语义：DataWorks 支持数据集成 AI 辅助处理能力在生成式 AI 浪潮下，数据不再只是“被搬运的原料”，更应是“可理解、可推理、可挖掘价值”的智能资产。然而，传统 ETL（Extract-Transform-Load）流程仍停留在结构化数据处理层面，面对海量文本、日志、反馈等非结构化数据时，往往依赖人工标注或复杂开发链路，效率低、成本高、响应慢。

看海的四叔

【Python】Python解决阿里云DataWorks导出数据1万条限制的问题在日常数据分析工作中，团队经常需要从阿里云DataWorks（原MaxCompute）中导出临时表数据进行分析或汇报，但由于受限于阿里云的安全策略，每次只能导出1万条，反复操作会很麻烦。

MaxCompute的Logview分析详解Logview是MaxCompute作业运行状态信息记录与展现的一个工具，目前支持如下功能：分别对应以下功能

青春之我_XP

【基于阿里云搭建数据仓库(离线)】使用UDTF时出现报错“FlatEventUDTF cannot be resolved”目录问题：可能的原因有：解决方法：已经将包含第三方依赖的jar包上传到dataworks，并且成功注册函数，但是还是报错：“FlatEventUDTF cannot be resolved”，如下：