DataWorks智能体Agent发布!基于MCP实现数据开发与治理自动化运行

在传统的数据开发工作中,企业用户或者开发者常常需要进行繁琐的配置、复杂的代码撰写、反复的性能调优和大量重复性的操作,才能实现数据开发、数据集成和数据治理等工作,效率十分低下。

近日,阿里云大数据开发治理平台DataWorks基于MCP协议,正式发布DataWorks Agent,内置 DataWorks MCP Server V1.0,让数据开发治理工作从Copilot辅助步入到AI Agent时代。

MCP(Model Context Protocol),模型上下文协议,就像AI领域的USB-C接口------正如USB-C为设备连接外设提供统一标准,MCP为大模型连接不同数据源和工具提供标准化方式。

使用DataWorks Agent,可以通过自然语言交互来自动化完成DataWorks上数据开发、数据治理的部分任务,例如数据集成、数据开发、任务运维等,包括支持通过自然语言指令自动化创建和启动实时/离线数据同步任务;支持快速批量创建和修改数据开发节点;支持运行任务的智能分析等。

通过大模型的深度思考及规划能力,Agent可以充分理解用户的任务,对任务进行步骤分解并制定执行计划,并调用MCP Server中的相关工具来自动化执行任务。DataWorks将持续丰富和迭代DataWorks MCP Server中的工具集,致力于为用户提供更加智能和高效的数据开发治理产品体验。

DataWorks MCP Server基本介绍

基本架构

DataWorks新版数据开发的个人开发环境,在阿里云原生的能力上搭建了用户专属的开发环境,环境中内置了VSCode客户端,登录DataWorks后可通过浏览器访问,您可以选择安装MCP Client插件(如Cline),通过配置DataWorks开源的MCP Server,输入指令即可完成DataWorks的数据开发运维等动作。

基本概念

如上图所示,个人开发环境本质上是用户在DataWorks上创建出来的一台服务器,除了可以实现DataWorks的数据开发、数据集成等任务,还能安装开源生态的各种插件,比如:

  • 通过filesystem实现对文件的读写操作。
  • 通过git实现对Git工作空间的git操作。

不局限于此,您可以添加各种开源的mcp servers到个人开发环境。

如何配置DataWorks MCP Server

1、没有个人开发环境

安装并启动个人开发环境实例

2、已有个人开发环境升级

  • 打开terminal,执行以下脚本:
plain 复制代码
wget https://nodejs.org/dist/v20.19.0/node-v20.19.0-linux-x64.tar.xz
tar xf node-v20.19.0-linux-x64.tar.xz
mv /etc/dsw/node /etc/dsw/node14
mv node-v20.19.0-linux-x64 /etc/dsw/node

bash <(curl -s https://dataworks-notebook-${REGION}.oss-${REGION}.aliyuncs.com/public-datasets/aone-release/dwcode-server/scripts/update.sh)  0.2.169
  • 刷新页面后,从VSCode的应用市场搜索Cline进行安装

3、配置LLM APIKey,支持您配置使用不同的LLM模型(此处以阿里云百炼的API为例)

完成模型配置。

4、安装MCP Server

通过界面打开DataWorks MCP Server的配置界面-Configure MCP Servers。

在配置界面填入如下配置,注意修改其中的REGION信息:

plain 复制代码
{
  "mcpServers": {
    "alibabacloud-dataworks-mcp-server": {
      "command": "npx",
      "args": [
        "alibabacloud-dataworks-mcp-server"
      ],
      "env": {
        "REGION": "cn-beijing",
        "ALIBABA_CLOUD_CREDENTIALS_URI": "http://localhost:7002/api/v1/credentials/0",
        "TOOL_CATEGORIES": "SERVER_IDE_DEFAULT"
      },
      "disabled": false,
      "autoApprove": [],
      "timeout": 60
    }
  }
}

看到如下加载成功的Tools可确认alibabacloud-dataworks-mcp-server已安装成功:

在任务界面,您可以输入"我有哪些工作空间?"开始测试

进阶玩法:安装其他MCP Servers进行探索

您可以参考mcp-servers安装其他的MCP Servers到个人开发环境。参考地址:github.com/modelcontex...

实操演示

DataWorks Agent支持安装各类MCP Server,接下来我们演示如何使用DataWorks MCP Server和Hologres MCP Server来自动化完成数据集成实时数据同步任务开发和Hologres数据分析。

目前,使用DataWorks Data Studio最新版本即可体验DataWorks Agent功能,欢迎体验!

阅读原文跳转地址:help.aliyun.com/zh/datawork...

相关推荐
isNotNullX21 分钟前
怎么用数据仓库来进行数据治理?
大数据·数据库·数据仓库·数据治理
HitpointNetSuite1 小时前
连锁餐饮行业ERP系统如何选择?
大数据·数据库·oracle·netsuite·erp
zskj_zhyl1 小时前
科技助老与智慧养老的国家级政策与地方实践探索
大数据·人工智能·科技
YangYang9YangYan2 小时前
职业本科发展路径与规划指南
大数据·人工智能·学习·数据分析
V_156560272192 小时前
2025年蚌埠市“三首产品”、市级服务型制造示范、市级企业技术中心等5个项目认定申报指南大全
大数据·人工智能·制造
liliangcsdn3 小时前
如何基于DSL脚本进行elasticsearch向量检索示例
大数据·elasticsearch·搜索引擎
周杰伦_Jay3 小时前
【电商微服务日志处理全方案】从MySQL瓶颈到大数据架构的实战转型
大数据·mysql·微服务·架构
闲人编程3 小时前
Python与大数据:使用PySpark处理海量数据
大数据·开发语言·分布式·python·spark·codecapsule·大规模
程序员小羊!3 小时前
电商项目练习实操(二)
大数据·数据分析·etl·flume
谅望者3 小时前
数据分析笔记01:数据分析概述
大数据·数据库·数据仓库·数据分析