GUI Agent数据集收集

1、MMBench-GUI:跨平台GUI代理的分层评估框架,modelscope

我们很高兴发布MMBench-GUI,这是一个分层、多平台的基准框架和工具箱,用于评估GUI代理。MMBench-GUI包括四个评估级别:GUI内容理解、GUI元素定位、GUI任务自动化和GUI任务协作。我们还提出了集成准确性和效率的效率-质量区域(EQA)指标。MMBench-GUI为评估和指导未来GUI代理能力的发展提供了严格的标准。

数据大小:1.05G

2、 GUIAct/GUIAct-test,modelscope

45G,12.8号提交

3、huggingface

(1)TongUI

https://huggingface.co/datasets/Bofeee5675/GUI-Net-1M

有中文,手机相关操作数据。训练集80万条,570G,需要过滤出需要的数据

GUI-Net-1M is the dataset we keep running the pipeline introduced from TongUI paper. Due to large file size, we have to split image files into parts. To do the extraction of images, please use the following script:

也有基于这个数据训练好的模型:

(2)smolagents/android-control

12.2k 数据量

(3)anamhira/aitw_foundation

39.5K

(4)aitw数据集下载地址

https://modelscope.cn/datasets/russwest/AitW/files

(5)https://huggingface.co/datasets/Yuxiang007/AMEX

相关推荐
刘婉晴1 分钟前
【火山「AI安全攻防」】恶意Skill检测引擎设计思路分享
人工智能·安全
小王毕业啦11 分钟前
2009-2024年 各国清廉指数CPI(xlsx)
大数据·人工智能·数据挖掘·数据分析·社科数据·实证分析·经管数据
syounger21 分钟前
从遗留系统到AI运营:富士通转型折射日本企业的数字化再考
人工智能
DogDaoDao32 分钟前
【GitHub】CodeGraph 深度解析:为 AI 编程代理构建预索引代码知识图谱
人工智能·程序员·github·知识图谱·ai编程·ai agent·codegraph
小O的算法实验室33 分钟前
2025年IEEE TASE,基于双层耦合平均场博弈的大规模智能体集成任务分配与轨迹规划
人工智能·算法·机器学习
AI科技星41 分钟前
基于奇合数边界的离散解析数论与双螺旋宇宙本体大统一体系论文全部数学公式汇总表
人工智能·算法·机器学习·架构·学习方法
疯狂的布布42 分钟前
深度学习安装包运行时崩溃解决
人工智能·深度学习
Deepoch43 分钟前
Deepoc VLA开发板:基于边缘语义计算的除草机器人决策系统
人工智能·机器人·开发板·具身模型·deepoc·除草机器人
voidmort1 小时前
12. 为什么评估(Evals)比训练更重要
人工智能·深度学习·机器学习
易舟云财务软件1 小时前
财务 AI Python 实战:从自动化报表到智能风控的应用场景
人工智能·python·自动化