DataWorks Data Agent的演进与工程化实践

导读: 过去几年刚建成的数据平台,今天正加速沦为"传统基础设施"。当 Agent 开始主导数据的构建、分析与消费,企业数据平台普遍陷入困境:对上层 AI 的支撑力不从心、价值链地位被动、预算持续承压。

本文系统梳理 DataWorks Data Agent 从 Copilot辅助 → 人机协同 → AI自主驱动 的三阶段演进路径,深入解析覆盖数据开发、运维诊断、自主治理与 ChatBI 的四类智能体产品体系,并首次公开内部架构迭代与云端全托管工程化实践。Agent 是否已为规模化落地做好准备?答案取决于企业是否愿意将规范、知识与最佳实践,系统性注入智能体的演进闭环。

认知跃迁:数据智能体演进的三个阶段

从2023年开始,DataWorks的智能化能力建设经历了三个递进的阶段。

第一阶段是Copilot模式。 工具仅作为辅助,完成SQL补全、生成等操作,人依然是主导方。这种模式下效率天花板明显,观测数据显示大约能提升30%到35%的代码编写效率。

第二阶段是人与AI协同。 这是当前所处的阶段,效率提升幅度从30%到100%不等。Agent在这个阶段逐步取代传统SaaS的GUI操作,提高人操作工具的效率。

第三阶段将由AI完全主导。 人只需委派任务,AI自主编排和执行,人仅做结果检查、review和最终决策。效率提升可能达到十倍甚至百倍级别,人在AI角色中的比重会持续减少。

产品矩阵:四类智能体覆盖数据全链路

DataWorks Data Agent 并非单一功能,而是建立在整个服务层之上。模型层提供Qwen系列、GLM系列,以及针对NL2SQL场景微调的专家模型,同时支持客户独立部署自有模型。智能体层提供了四类Agent:数据工程(ETL开发)、数据治理、数据分析(Chat BI)、集群管控与运维优化,全面覆盖数据生产与消费链路。同时用户交互层则提供多种交互形式。

场景一:数据开发的全流程自动化

传统ETL高度依赖人工编写代码,周期长、效率低,且依赖资深工程师,新人上手门槛高。还有一个常被忽略的问题:规范落地。即便企业建立了开发规范,依赖人来执行时,很难保证每位工程师都严格遵循,交付质量参差不齐。

Data Agent在数据开发中实现的是基于需求文档驱动的全链路自动化。用户只需用Markdown格式描述需求,Agent自主进行任务编排、生成任务代码、完成调度等任务配置、做检测,然后发布上线。

实战示例 :直播订单数仓开发中,Agent 可基于需求自动规划ODS→DWD→DWS→ADS 全链路,明细层/汇总层/应用层通过不同引擎进行计算,全程遵循湖仓规范,人工仅需抽查确认即可发布。

场景二:任务运维诊断从被动响应到主动响应

数据运维长期面临的问题是被动响应,尤其是半夜被告警叫醒的场景。DataWorks Data Agent的诊断能力覆盖任务全周期,无论任务是未运行、已运行还是运行报错,Agent都进行多维度的关联分析,给出结构化诊断报告,并提供相应的修复建议和快捷修复操作。整个问题分析和解决过程通过自然语言对话完成。

场景三:数据治理的"自主式"闭环

没有经过治理的数据无法被正确消费。传统数据治理面临四个典型问题:数据资产难发现、难理解,表多口径多,找表和理解数据成本高;治理依赖人工经验,规则、策略、动作都依赖专家,难以规模化;治理过程碎片化,元数据、质量、计算优化各自独立,缺乏协同;治理效果难持续,停留在一次性专项,缺少持续闭环。

Agent的介入重构了治理范式:

  • 智能资产发现:治理人员只需用自然语言描述指标逻辑或业务场景,Agent即可自动理解、检索并推荐相关数据表。选中某张DWS汇总表后,Agent能自动查询并生成全链路血缘报告,以可视化图谱呈现上下游链路关系,既可以追溯到最源头的ODS层,又能详细分析指标的关键加工链路,还可针对下游业务进行变更影响分析。

  • 质量规则自动生成:在数据质量保障场景中,当用户提出质量治理需求,Agent自动理解意图,根据业务场景和血缘链路智能识别数据分层结构,帮助快速定位需要监控的ODS表,从源头侧批量建立数据质量监控体系。Agent会智能分析多维度的数据信息,结合行业实践和字段特征,智能生成质量规则,包含表行数波动、唯一关键字段格式等核心检测项,并自动配置监控数据范围、触发策略与告警机制。每条规则包含校验逻辑、告警阈值和推荐原因说明。确认后一键批量创建监控任务。

  • 目标驱动自主治理:更关键的转变是,设定治理目标后,Agent可自主分析数仓或湖仓中存在的问题,自主规划并生成治理计划,计划可以周期性执行。数据的治理从被动的一次性运动,转向自主的持续闭环。

场景四:Chat BI的敏捷数据分析

在数据消费侧,Data Agent提供了面向分析的Chat BI能力。ChatBI 提供快捷问数和深度分析两种模式。如果只是查询一个指标,快捷模式更省token,速度更快。如果要做归因分析、趋势分析或更复杂的分析,则使用深度分析模式。深度分析模式底层调用更强的AI能力,配套更强的模型,不仅仅给出洞察,还会给出相应的行动建议,最终生成完整的数据报告。

架构迭代的三个阶段

该系统的Agent架构在过去两三年里经历了三次显著的变化。

第一阶段基于Dify构建。 主要做AI Workflow编排,流程相对固化,Agent的自主性较弱,但生态比较丰富。

第二阶段切换到AgentScope。 这是阿里开源的一个Agent框架,主打多Agent协同。框架灵活性高,适合做探索性、实验性的Agent开发,但生态相对没那么丰富。

第三阶段切换到基于QwenCode和OpenClaw的双引擎架构。 QwenCode和Cloud Code这类代码Agent在开发者端效果出色,但它们定位是面向开发者,严格来说不算框架,要变成企业级产品需要做大量工程化工作。OpenClaw的特点是支持多渠道IM对接,而且是"养成系"Agent,可以持续打造AI人设,实现越用越好用,但企业级能力相对较弱。

DataWorks Data Agent 2.0:云端全托管的工程化实践

面向开发者的Cloud Code和QwenCode通常装在个人电脑上,无法7×24小时工作,在企业场景还面临安全、风控、合规的挑战。Data Agent 2.0基于QwenCode打造了一个云端全托管的形态,提供云端沙箱环境,Agent可以7×24小时持续工作,连接企业生产系统。在安全合规方面,权限审计做了专门的工作。

交互形态上,该系统提供了四种模式。

Chat UI模式:标准的自然语言对话界面。

CLI模式:Web终端交互,适合开发者和极客用户。

远程控制模式:通过扫描二维码,手机上可以打开与电脑端一致的Agent界面,整个会话和执行过程同步,类似于苹果的接力功能,让手机承接PC端的Agent操作。

IM Channel模式:类似OpenClaw的模式,支持通过钉钉、飞书、企业微信接入。

AI 助理服务:安全可控的龙虾运维助理

基于OpenClaw构建的AI助理服务,主要定位为任务运维AI助理。工程化上解决了几个企业级关键问题:

  • 全托管免运维:一键拉起实例,无需复杂配置,提供7×24小时在线服务。

  • 安全可控:实现了不开公网就能连接各种IM端点的机制。使用了阿里云的全球加速技术,以及PrivateZone和PrivateLink三种技术组合,构建了从DataClaw到各类IM的专线,确保企业所有流量和数不出公网。配置DataClaw时可指定执行身份,所有写操作都需要二次确认。

  • 内置官方Skill:覆盖数据运维、数据治理等领域,涵盖任务诊断、工作空间诊断、告警诊断、任务运维、质量监控等核心场景。

实际使用中,当任务失败发出告警时,告警会主动推送到AI助理服务。用户收到消息后,在IM端可以直接完成问题诊断、根因分析和任务修复,不需要打开电脑。一个典型场景是:让AI助理服务查找失败的任务实例,它会提示失败原因(如资源组过期),由于资源组已经修改,可以直接重跑该实例。

案例:淘宝闪购的落地效果

在阿里内部,淘宝闪购业务与DataWorks Data Agent合作落地。传统的人工加IDE工具的数据开发模式,流程割裂、人工操作多,一个需求开发周期需要数小时至数天。核心问题是:效率低下,重复性工作多;规范执行困难,靠人工记忆容易遗漏;质量保障不足,缺乏系统化检查;知识复用困难,经验难以沉淀。

切换到Data Agent模式后,实现了端到端智能化开发,覆盖全流程。通过扩展自定义Skill和业务知识库,数据需求开发周期从12到23个小时缩短到5到10分钟。规范通过Skill和Workflow自动执行,确保一致性;质量保障通过系统化检查和规范策略实现;知识和最佳实践沉淀在Skill和知识库中持续复用。

Data Agent带来的不是单纯的工具升级,而是改变了数据平台的工作方式。当需求开发从天级降到分钟级,当数据治理从运动式变成自主闭环,数据平台本身的价值链条也发生了变化。Agent是否已经为规模化落地做好准备,取决于企业是否愿意将规范、知识和最佳实践注入这些智能体的演进过程中。

相关推荐
sell-cloud1 小时前
Prompt Engineering要凉了?Fable 5.5能“猜“意图,但银行正在封杀AI Agent——企业AI的真正护城河是什么
人工智能·prompt
Navicat中国2 小时前
Navicat 18 内置 AI 助手让数据库开发从繁琐操作迈向智能协作
大数据·人工智能·数据库开发
4SAPI3 小时前
多模型请求路由怎么设计?成本、速度和能力如何平衡
人工智能·python·gateway·php
魔乐社区3 小时前
翼芯・智算测试与适配优化专区,让国产算力“选得准、跑得通、用得好“
人工智能·开源·大模型
XCDoris5 小时前
郴州logo设计机构
大数据·人工智能·python
Goboy5 小时前
一个人带三个Agent,我用全新TRAE从0到1搭了个资讯周刊站
人工智能·trae
俊哥V5 小时前
每日 AI 研究简报 · 2026-10-19
人工智能·ai
AI_AGENT_DEV_AI5 小时前
AI英语教培智能体的开发
人工智能
物联网软硬件开发-轨物科技5 小时前
【技术白皮书】光伏清检一体化机器人系统解决方案技术白皮书
大数据·运维·网络·人工智能·机器人