GUI Agent数据集收集

1、MMBench-GUI:跨平台GUI代理的分层评估框架,modelscope

我们很高兴发布MMBench-GUI,这是一个分层、多平台的基准框架和工具箱,用于评估GUI代理。MMBench-GUI包括四个评估级别:GUI内容理解、GUI元素定位、GUI任务自动化和GUI任务协作。我们还提出了集成准确性和效率的效率-质量区域(EQA)指标。MMBench-GUI为评估和指导未来GUI代理能力的发展提供了严格的标准。

数据大小:1.05G

2、 GUIAct/GUIAct-test,modelscope

45G,12.8号提交

3、huggingface

(1)TongUI

https://huggingface.co/datasets/Bofeee5675/GUI-Net-1M

有中文,手机相关操作数据。训练集80万条,570G,需要过滤出需要的数据

GUI-Net-1M is the dataset we keep running the pipeline introduced from TongUI paper. Due to large file size, we have to split image files into parts. To do the extraction of images, please use the following script:

也有基于这个数据训练好的模型:

(2)smolagents/android-control

12.2k 数据量

(3)anamhira/aitw_foundation

39.5K

(4)aitw数据集下载地址

https://modelscope.cn/datasets/russwest/AitW/files

(5)https://huggingface.co/datasets/Yuxiang007/AMEX

相关推荐
ZzT22 分钟前
AI 是放大器:基础越扎实,放大效果越明显
人工智能·ai编程
喵个咪28 分钟前
GoWind Admin 拆解:AI 能力层——工具循环、pgvector 知识库与机器凭证
人工智能·后端·agent
老金带你玩AI33 分钟前
10秒出4K,MiniMax还开源了!H3 Image上线!
人工智能
mantou13241 分钟前
只用 Cloudflare 全家桶,给游戏站做一个 RAG 搜索和问答
人工智能·llm
AI前端工程狮1 小时前
服务端已经死了,客户端却报"超时"
人工智能·程序员
阿屿1 小时前
从零手搓 AI 伴侣(二):好感度通胀危机,与它的「货币政策」
java·人工智能
师夷长技以自愈1 小时前
第 2 篇:AI 点菜,程序端菜——第一次学会"工具调用"
人工智能
数据集_深度学习1 小时前
果园红绿苹果目标检测数据集介绍和论文参考
人工智能·目标检测
武子康1 小时前
H3-World 的 11.3 小时训练数据,是怎样对齐成动作监督的?
大数据·人工智能·深度学习
泯泷1 小时前
大模型会吃掉 Harness 吗?Agent 天空上的“两朵乌云”
人工智能·llm·agent