GUI Agent数据集收集

1、MMBench-GUI:跨平台GUI代理的分层评估框架,modelscope

我们很高兴发布MMBench-GUI,这是一个分层、多平台的基准框架和工具箱,用于评估GUI代理。MMBench-GUI包括四个评估级别:GUI内容理解、GUI元素定位、GUI任务自动化和GUI任务协作。我们还提出了集成准确性和效率的效率-质量区域(EQA)指标。MMBench-GUI为评估和指导未来GUI代理能力的发展提供了严格的标准。

数据大小:1.05G

2、 GUIAct/GUIAct-test,modelscope

45G,12.8号提交

3、huggingface

(1)TongUI

https://huggingface.co/datasets/Bofeee5675/GUI-Net-1M

有中文,手机相关操作数据。训练集80万条,570G,需要过滤出需要的数据

GUI-Net-1M is the dataset we keep running the pipeline introduced from TongUI paper. Due to large file size, we have to split image files into parts. To do the extraction of images, please use the following script:

也有基于这个数据训练好的模型:

(2)smolagents/android-control

12.2k 数据量

(3)anamhira/aitw_foundation

39.5K

(4)aitw数据集下载地址

https://modelscope.cn/datasets/russwest/AitW/files

(5)https://huggingface.co/datasets/Yuxiang007/AMEX

相关推荐
IT_陈寒1 小时前
JavaScript项目实战经验分享
前端·人工智能·后端
vanuan2 小时前
两个AI智能体第一次对话-A2A双Agent协作实战
人工智能
kfaino4 小时前
码农的AI翻身(四)你好,我叫 Attention
人工智能·后端
雨落Re6 小时前
如何设计一个高质量Skill
人工智能
Token炼金师6 小时前
大模型权重文件全指南:从格式选择到优化实战
人工智能
阿牛哥_GX6 小时前
CDP 浏览器操控原理:让脚本接管你的浏览器
人工智能
ThreeS6 小时前
手搓MiniVLA全实战教程-一步一步用pytorch解释原理与思路
人工智能·python
米小虾7 小时前
Loop Engineering —— 循环的设计与自主执行
人工智能·agent
米小虾8 小时前
Harness Engineering —— 系统的安全护栏
人工智能·agent
火山引擎开发者社区8 小时前
积分当钱花,火山引擎开发者激励计划首月消费双倍回馈
人工智能