DataWorks智能体Agent发布!基于MCP实现数据开发与治理自动化运行

在传统的数据开发工作中,企业用户或者开发者常常需要进行繁琐的配置、复杂的代码撰写、反复的性能调优和大量重复性的操作,才能实现数据开发、数据集成和数据治理等工作,效率十分低下。

近日,阿里云大数据开发治理平台DataWorks基于MCP协议,正式发布DataWorks Agent,内置 DataWorks MCP Server V1.0,让数据开发治理工作从Copilot辅助步入到AI Agent时代。

MCP(Model Context Protocol),模型上下文协议,就像AI领域的USB-C接口------正如USB-C为设备连接外设提供统一标准,MCP为大模型连接不同数据源和工具提供标准化方式。

使用DataWorks Agent,可以通过自然语言交互来自动化完成DataWorks上数据开发、数据治理的部分任务,例如数据集成、数据开发、任务运维等,包括支持通过自然语言指令自动化创建和启动实时/离线数据同步任务;支持快速批量创建和修改数据开发节点;支持运行任务的智能分析等。

通过大模型的深度思考及规划能力,Agent可以充分理解用户的任务,对任务进行步骤分解并制定执行计划,并调用MCP Server中的相关工具来自动化执行任务。DataWorks将持续丰富和迭代DataWorks MCP Server中的工具集,致力于为用户提供更加智能和高效的数据开发治理产品体验。

DataWorks MCP Server基本介绍

基本架构

DataWorks新版数据开发的个人开发环境,在阿里云原生的能力上搭建了用户专属的开发环境,环境中内置了VSCode客户端,登录DataWorks后可通过浏览器访问,您可以选择安装MCP Client插件(如Cline),通过配置DataWorks开源的MCP Server,输入指令即可完成DataWorks的数据开发运维等动作。

基本概念

如上图所示,个人开发环境本质上是用户在DataWorks上创建出来的一台服务器,除了可以实现DataWorks的数据开发、数据集成等任务,还能安装开源生态的各种插件,比如:

  • 通过filesystem实现对文件的读写操作。
  • 通过git实现对Git工作空间的git操作。

不局限于此,您可以添加各种开源的mcp servers到个人开发环境。

如何配置DataWorks MCP Server

1、没有个人开发环境

安装并启动个人开发环境实例

2、已有个人开发环境升级

  • 打开terminal,执行以下脚本:
plain 复制代码
wget https://nodejs.org/dist/v20.19.0/node-v20.19.0-linux-x64.tar.xz
tar xf node-v20.19.0-linux-x64.tar.xz
mv /etc/dsw/node /etc/dsw/node14
mv node-v20.19.0-linux-x64 /etc/dsw/node

bash <(curl -s https://dataworks-notebook-${REGION}.oss-${REGION}.aliyuncs.com/public-datasets/aone-release/dwcode-server/scripts/update.sh)  0.2.169
  • 刷新页面后,从VSCode的应用市场搜索Cline进行安装

3、配置LLM APIKey,支持您配置使用不同的LLM模型(此处以阿里云百炼的API为例)

完成模型配置。

4、安装MCP Server

通过界面打开DataWorks MCP Server的配置界面-Configure MCP Servers。

在配置界面填入如下配置,注意修改其中的REGION信息:

plain 复制代码
{
  "mcpServers": {
    "alibabacloud-dataworks-mcp-server": {
      "command": "npx",
      "args": [
        "alibabacloud-dataworks-mcp-server"
      ],
      "env": {
        "REGION": "cn-beijing",
        "ALIBABA_CLOUD_CREDENTIALS_URI": "http://localhost:7002/api/v1/credentials/0",
        "TOOL_CATEGORIES": "SERVER_IDE_DEFAULT"
      },
      "disabled": false,
      "autoApprove": [],
      "timeout": 60
    }
  }
}

看到如下加载成功的Tools可确认alibabacloud-dataworks-mcp-server已安装成功:

在任务界面,您可以输入"我有哪些工作空间?"开始测试

进阶玩法:安装其他MCP Servers进行探索

您可以参考mcp-servers安装其他的MCP Servers到个人开发环境。参考地址:github.com/modelcontex...

实操演示

DataWorks Agent支持安装各类MCP Server,接下来我们演示如何使用DataWorks MCP Server和Hologres MCP Server来自动化完成数据集成实时数据同步任务开发和Hologres数据分析。

目前,使用DataWorks Data Studio最新版本即可体验DataWorks Agent功能,欢迎体验!

阅读原文跳转地址:help.aliyun.com/zh/datawork...

相关推荐
武子康2 分钟前
大数据-58 Kafka 消息发送全流程详解:序列化、分区策略与自定义实现
大数据·后端·kafka
shengyicanmou1 小时前
2025年物联网新趋势:格行随身WiFi的模块化架构与低延迟优化
大数据·人工智能
补三补四1 小时前
Shapley与SHAP
大数据·人工智能·算法·机器学习·数据分析
爱吃小土豆豆豆豆2 小时前
登录校验一
java·大数据·数据库
lifallen2 小时前
hadoop.yarn 带时间的LRU 延迟删除
java·大数据·数据结构·hadoop·分布式·算法
zhongqu_3dnest2 小时前
VR 博物馆:开启文化探索新旅程
大数据
微学AI8 小时前
时序数据库选型指南:工业大数据场景下基于Apache IoTDB技术价值与实践路径
大数据·apache·时序数据库
lingling00911 小时前
颐顿机电携手观远BI数据:以数据驱动决策,领跑先进制造智能化升级
大数据·人工智能·制造
b***251111 小时前
电池自动生产线:科技赋能下的高效制造新范式
大数据·人工智能
哈哈很哈哈14 小时前
Hadoop JMX 配置的完整文档
大数据·hadoop·分布式