DataWorks Data Agent的演进与工程化实践

导读: 过去几年刚建成的数据平台,今天正加速沦为"传统基础设施"。当 Agent 开始主导数据的构建、分析与消费,企业数据平台普遍陷入困境:对上层 AI 的支撑力不从心、价值链地位被动、预算持续承压。

本文系统梳理 DataWorks Data Agent 从 Copilot辅助 → 人机协同 → AI自主驱动 的三阶段演进路径,深入解析覆盖数据开发、运维诊断、自主治理与 ChatBI 的四类智能体产品体系,并首次公开内部架构迭代与云端全托管工程化实践。Agent 是否已为规模化落地做好准备?答案取决于企业是否愿意将规范、知识与最佳实践,系统性注入智能体的演进闭环。

认知跃迁:数据智能体演进的三个阶段

从2023年开始,DataWorks的智能化能力建设经历了三个递进的阶段。

第一阶段是Copilot模式。 工具仅作为辅助,完成SQL补全、生成等操作,人依然是主导方。这种模式下效率天花板明显,观测数据显示大约能提升30%到35%的代码编写效率。

第二阶段是人与AI协同。 这是当前所处的阶段,效率提升幅度从30%到100%不等。Agent在这个阶段逐步取代传统SaaS的GUI操作,提高人操作工具的效率。

第三阶段将由AI完全主导。 人只需委派任务,AI自主编排和执行,人仅做结果检查、review和最终决策。效率提升可能达到十倍甚至百倍级别,人在AI角色中的比重会持续减少。

产品矩阵:四类智能体覆盖数据全链路

DataWorks Data Agent 并非单一功能,而是建立在整个服务层之上。模型层提供Qwen系列、GLM系列,以及针对NL2SQL场景微调的专家模型,同时支持客户独立部署自有模型。智能体层提供了四类Agent:数据工程(ETL开发)、数据治理、数据分析(Chat BI)、集群管控与运维优化,全面覆盖数据生产与消费链路。同时用户交互层则提供多种交互形式。

场景一:数据开发的全流程自动化

传统ETL高度依赖人工编写代码,周期长、效率低,且依赖资深工程师,新人上手门槛高。还有一个常被忽略的问题:规范落地。即便企业建立了开发规范,依赖人来执行时,很难保证每位工程师都严格遵循,交付质量参差不齐。

Data Agent在数据开发中实现的是基于需求文档驱动的全链路自动化。用户只需用Markdown格式描述需求,Agent自主进行任务编排、生成任务代码、完成调度等任务配置、做检测,然后发布上线。

实战示例 :直播订单数仓开发中,Agent 可基于需求自动规划ODS→DWD→DWS→ADS 全链路,明细层/汇总层/应用层通过不同引擎进行计算,全程遵循湖仓规范,人工仅需抽查确认即可发布。

场景二:任务运维诊断从被动响应到主动响应

数据运维长期面临的问题是被动响应,尤其是半夜被告警叫醒的场景。DataWorks Data Agent的诊断能力覆盖任务全周期,无论任务是未运行、已运行还是运行报错,Agent都进行多维度的关联分析,给出结构化诊断报告,并提供相应的修复建议和快捷修复操作。整个问题分析和解决过程通过自然语言对话完成。

场景三:数据治理的"自主式"闭环

没有经过治理的数据无法被正确消费。传统数据治理面临四个典型问题:数据资产难发现、难理解,表多口径多,找表和理解数据成本高;治理依赖人工经验,规则、策略、动作都依赖专家,难以规模化;治理过程碎片化,元数据、质量、计算优化各自独立,缺乏协同;治理效果难持续,停留在一次性专项,缺少持续闭环。

Agent的介入重构了治理范式:

  • 智能资产发现:治理人员只需用自然语言描述指标逻辑或业务场景,Agent即可自动理解、检索并推荐相关数据表。选中某张DWS汇总表后,Agent能自动查询并生成全链路血缘报告,以可视化图谱呈现上下游链路关系,既可以追溯到最源头的ODS层,又能详细分析指标的关键加工链路,还可针对下游业务进行变更影响分析。

  • 质量规则自动生成:在数据质量保障场景中,当用户提出质量治理需求,Agent自动理解意图,根据业务场景和血缘链路智能识别数据分层结构,帮助快速定位需要监控的ODS表,从源头侧批量建立数据质量监控体系。Agent会智能分析多维度的数据信息,结合行业实践和字段特征,智能生成质量规则,包含表行数波动、唯一关键字段格式等核心检测项,并自动配置监控数据范围、触发策略与告警机制。每条规则包含校验逻辑、告警阈值和推荐原因说明。确认后一键批量创建监控任务。

  • 目标驱动自主治理:更关键的转变是,设定治理目标后,Agent可自主分析数仓或湖仓中存在的问题,自主规划并生成治理计划,计划可以周期性执行。数据的治理从被动的一次性运动,转向自主的持续闭环。

场景四:Chat BI的敏捷数据分析

在数据消费侧,Data Agent提供了面向分析的Chat BI能力。ChatBI 提供快捷问数和深度分析两种模式。如果只是查询一个指标,快捷模式更省token,速度更快。如果要做归因分析、趋势分析或更复杂的分析,则使用深度分析模式。深度分析模式底层调用更强的AI能力,配套更强的模型,不仅仅给出洞察,还会给出相应的行动建议,最终生成完整的数据报告。

架构迭代的三个阶段

该系统的Agent架构在过去两三年里经历了三次显著的变化。

第一阶段基于Dify构建。 主要做AI Workflow编排,流程相对固化,Agent的自主性较弱,但生态比较丰富。

第二阶段切换到AgentScope。 这是阿里开源的一个Agent框架,主打多Agent协同。框架灵活性高,适合做探索性、实验性的Agent开发,但生态相对没那么丰富。

第三阶段切换到基于QwenCode和OpenClaw的双引擎架构。 QwenCode和Cloud Code这类代码Agent在开发者端效果出色,但它们定位是面向开发者,严格来说不算框架,要变成企业级产品需要做大量工程化工作。OpenClaw的特点是支持多渠道IM对接,而且是"养成系"Agent,可以持续打造AI人设,实现越用越好用,但企业级能力相对较弱。

DataWorks Data Agent 2.0:云端全托管的工程化实践

面向开发者的Cloud Code和QwenCode通常装在个人电脑上,无法7×24小时工作,在企业场景还面临安全、风控、合规的挑战。Data Agent 2.0基于QwenCode打造了一个云端全托管的形态,提供云端沙箱环境,Agent可以7×24小时持续工作,连接企业生产系统。在安全合规方面,权限审计做了专门的工作。

交互形态上,该系统提供了四种模式。

Chat UI模式:标准的自然语言对话界面。

CLI模式:Web终端交互,适合开发者和极客用户。

远程控制模式:通过扫描二维码,手机上可以打开与电脑端一致的Agent界面,整个会话和执行过程同步,类似于苹果的接力功能,让手机承接PC端的Agent操作。

IM Channel模式:类似OpenClaw的模式,支持通过钉钉、飞书、企业微信接入。

AI 助理服务:安全可控的龙虾运维助理

基于OpenClaw构建的AI助理服务,主要定位为任务运维AI助理。工程化上解决了几个企业级关键问题:

  • 全托管免运维:一键拉起实例,无需复杂配置,提供7×24小时在线服务。

  • 安全可控:实现了不开公网就能连接各种IM端点的机制。使用了阿里云的全球加速技术,以及PrivateZone和PrivateLink三种技术组合,构建了从DataClaw到各类IM的专线,确保企业所有流量和数不出公网。配置DataClaw时可指定执行身份,所有写操作都需要二次确认。

  • 内置官方Skill:覆盖数据运维、数据治理等领域,涵盖任务诊断、工作空间诊断、告警诊断、任务运维、质量监控等核心场景。

实际使用中,当任务失败发出告警时,告警会主动推送到AI助理服务。用户收到消息后,在IM端可以直接完成问题诊断、根因分析和任务修复,不需要打开电脑。一个典型场景是:让AI助理服务查找失败的任务实例,它会提示失败原因(如资源组过期),由于资源组已经修改,可以直接重跑该实例。

案例:淘宝闪购的落地效果

在阿里内部,淘宝闪购业务与DataWorks Data Agent合作落地。传统的人工加IDE工具的数据开发模式,流程割裂、人工操作多,一个需求开发周期需要数小时至数天。核心问题是:效率低下,重复性工作多;规范执行困难,靠人工记忆容易遗漏;质量保障不足,缺乏系统化检查;知识复用困难,经验难以沉淀。

切换到Data Agent模式后,实现了端到端智能化开发,覆盖全流程。通过扩展自定义Skill和业务知识库,数据需求开发周期从12到23个小时缩短到5到10分钟。规范通过Skill和Workflow自动执行,确保一致性;质量保障通过系统化检查和规范策略实现;知识和最佳实践沉淀在Skill和知识库中持续复用。

Data Agent带来的不是单纯的工具升级,而是改变了数据平台的工作方式。当需求开发从天级降到分钟级,当数据治理从运动式变成自主闭环,数据平台本身的价值链条也发生了变化。Agent是否已经为规模化落地做好准备,取决于企业是否愿意将规范、知识和最佳实践注入这些智能体的演进过程中。

相关推荐
HERR_QQ1 小时前
强化学习的数学原理 学习笔记
人工智能·笔记·学习·自动驾驶
IvorySQL1 小时前
PG 技术日报|2026-07-04
数据库·人工智能·postgresql·开源
程序员cxuan1 小时前
Claude Code 为了封禁中国用户,竟然在代码里下毒
人工智能·后端·程序员
shushangyun_1 小时前
2026年AI知识库系统选型指南
人工智能
喵叔哟2 小时前
从聊天记录到真正的记忆:为 AI Agent 设计一套分层记忆系统
人工智能·langchain
weigangwin2 小时前
LlamaIndex 第一次试用:别先写 RAG Demo,先验上下文合同
python·ai·agent·rag·检索·llamaindex·观测性
道友可好2 小时前
Claude Code 泄露源码里的 89 个秘密
前端·人工智能·后端
大鱼>2 小时前
推荐系统原理与实现:协同过滤/内容推荐/深度学习
人工智能·深度学习
MartinYeung52 小时前
[论文学习]DP-Fusion:面向大语言模型的令牌级差分隐私推理-深度解析
人工智能·学习·语言模型