DataWorks智能体Agent发布!基于MCP实现数据开发与治理自动化运行

在传统的数据开发工作中,企业用户或者开发者常常需要进行繁琐的配置、复杂的代码撰写、反复的性能调优和大量重复性的操作,才能实现数据开发、数据集成和数据治理等工作,效率十分低下。

近日,阿里云大数据开发治理平台DataWorks基于MCP协议,正式发布DataWorks Agent,内置 DataWorks MCP Server V1.0,让数据开发治理工作从Copilot辅助步入到AI Agent时代。

MCP(Model Context Protocol),模型上下文协议,就像AI领域的USB-C接口------正如USB-C为设备连接外设提供统一标准,MCP为大模型连接不同数据源和工具提供标准化方式。

使用DataWorks Agent,可以通过自然语言交互来自动化完成DataWorks上数据开发、数据治理的部分任务,例如数据集成、数据开发、任务运维等,包括支持通过自然语言指令自动化创建和启动实时/离线数据同步任务;支持快速批量创建和修改数据开发节点;支持运行任务的智能分析等。

通过大模型的深度思考及规划能力,Agent可以充分理解用户的任务,对任务进行步骤分解并制定执行计划,并调用MCP Server中的相关工具来自动化执行任务。DataWorks将持续丰富和迭代DataWorks MCP Server中的工具集,致力于为用户提供更加智能和高效的数据开发治理产品体验。

DataWorks MCP Server基本介绍

基本架构

DataWorks新版数据开发的个人开发环境,在阿里云原生的能力上搭建了用户专属的开发环境,环境中内置了VSCode客户端,登录DataWorks后可通过浏览器访问,您可以选择安装MCP Client插件(如Cline),通过配置DataWorks开源的MCP Server,输入指令即可完成DataWorks的数据开发运维等动作。

基本概念

如上图所示,个人开发环境本质上是用户在DataWorks上创建出来的一台服务器,除了可以实现DataWorks的数据开发、数据集成等任务,还能安装开源生态的各种插件,比如:

  • 通过filesystem实现对文件的读写操作。
  • 通过git实现对Git工作空间的git操作。

不局限于此,您可以添加各种开源的mcp servers到个人开发环境。

如何配置DataWorks MCP Server

1、没有个人开发环境

安装并启动个人开发环境实例

2、已有个人开发环境升级

  • 打开terminal,执行以下脚本:
plain 复制代码
wget https://nodejs.org/dist/v20.19.0/node-v20.19.0-linux-x64.tar.xz
tar xf node-v20.19.0-linux-x64.tar.xz
mv /etc/dsw/node /etc/dsw/node14
mv node-v20.19.0-linux-x64 /etc/dsw/node

bash <(curl -s https://dataworks-notebook-${REGION}.oss-${REGION}.aliyuncs.com/public-datasets/aone-release/dwcode-server/scripts/update.sh)  0.2.169
  • 刷新页面后,从VSCode的应用市场搜索Cline进行安装

3、配置LLM APIKey,支持您配置使用不同的LLM模型(此处以阿里云百炼的API为例)

完成模型配置。

4、安装MCP Server

通过界面打开DataWorks MCP Server的配置界面-Configure MCP Servers。

在配置界面填入如下配置,注意修改其中的REGION信息:

plain 复制代码
{
  "mcpServers": {
    "alibabacloud-dataworks-mcp-server": {
      "command": "npx",
      "args": [
        "alibabacloud-dataworks-mcp-server"
      ],
      "env": {
        "REGION": "cn-beijing",
        "ALIBABA_CLOUD_CREDENTIALS_URI": "http://localhost:7002/api/v1/credentials/0",
        "TOOL_CATEGORIES": "SERVER_IDE_DEFAULT"
      },
      "disabled": false,
      "autoApprove": [],
      "timeout": 60
    }
  }
}

看到如下加载成功的Tools可确认alibabacloud-dataworks-mcp-server已安装成功:

在任务界面,您可以输入"我有哪些工作空间?"开始测试

进阶玩法:安装其他MCP Servers进行探索

您可以参考mcp-servers安装其他的MCP Servers到个人开发环境。参考地址:github.com/modelcontex...

实操演示

DataWorks Agent支持安装各类MCP Server,接下来我们演示如何使用DataWorks MCP Server和Hologres MCP Server来自动化完成数据集成实时数据同步任务开发和Hologres数据分析。

目前,使用DataWorks Data Studio最新版本即可体验DataWorks Agent功能,欢迎体验!

阅读原文跳转地址:help.aliyun.com/zh/datawork...

相关推荐
数据小吏3 小时前
第十五章:数据治理之数据目录:摸清家底,建立三大数据目录
大数据·数据库·人工智能
caihuayuan53 小时前
Vue3响应式数据: 深入分析Ref与Reactive
java·大数据·spring boot·后端·课程设计
完美世界的一天6 小时前
ES 面试题系列「三」
大数据·elasticsearch·搜索引擎·面试·全文检索
MZWeiei7 小时前
Flume之选择器:复制和多路复用(比喻化理解
大数据·flume
光仔December9 小时前
【Elasticsearch入门到落地】13、DSL查询详解:分类、语法与实战场景
大数据·elasticsearch·搜索引擎·全文检索·dsl语法
Christo310 小时前
SIAM-2007《k-means++: The Advantages of Careful Seeding》
大数据·人工智能·算法·机器学习·支持向量机·kmeans
猎板PCB黄浩10 小时前
从制造到智造:猎板PCB的技术实践与产业价值重构
大数据
广州正荣11 小时前
人工智能在医疗影像诊断上的最新成果:更精准地识别疾病
大数据·人工智能·科技
不懂网络的坤坤11 小时前
大数据治理:理论、实践与未来展望(一)
大数据
数据小吏11 小时前
第十四章:数据治理之数据源:数据源的数据接入、业务属性梳理及监控
大数据·数据仓库·etl工程师