GUI Agent数据集收集

1、MMBench-GUI:跨平台GUI代理的分层评估框架,modelscope

我们很高兴发布MMBench-GUI,这是一个分层、多平台的基准框架和工具箱,用于评估GUI代理。MMBench-GUI包括四个评估级别:GUI内容理解、GUI元素定位、GUI任务自动化和GUI任务协作。我们还提出了集成准确性和效率的效率-质量区域(EQA)指标。MMBench-GUI为评估和指导未来GUI代理能力的发展提供了严格的标准。

数据大小:1.05G

2、 GUIAct/GUIAct-test,modelscope

45G,12.8号提交

3、huggingface

(1)TongUI

https://huggingface.co/datasets/Bofeee5675/GUI-Net-1M

有中文,手机相关操作数据。训练集80万条,570G,需要过滤出需要的数据

GUI-Net-1M is the dataset we keep running the pipeline introduced from TongUI paper. Due to large file size, we have to split image files into parts. To do the extraction of images, please use the following script:

也有基于这个数据训练好的模型:

(2)smolagents/android-control

12.2k 数据量

(3)anamhira/aitw_foundation

39.5K

(4)aitw数据集下载地址

https://modelscope.cn/datasets/russwest/AitW/files

(5)https://huggingface.co/datasets/Yuxiang007/AMEX

相关推荐
老余说AI44 分钟前
AI 漫剧赛道转向:游戏 IP 改编如何走出同质化,AI 多语种工具如何补上海外分发缺口
人工智能·短剧
hhzz1 小时前
【OpenCV 入门到精通 03】图像入门:读取、显示、保存完全指南
人工智能·python·opencv·计算机视觉
hfywmsj5 小时前
广州餐饮铺位招租决策模型:多因子选址系统设计
开发语言·人工智能·python·广州餐饮铺位招租
沧沧凉凉7 小时前
同一个 Blender 建模,Claude 两个模型都翻车,GPT-6 一次过
人工智能·游戏·ai编程
X54先生(人文科技)8 小时前
ELR-SELLM Edge 神经元网络架构评估报告
人工智能·深度学习·架构·开源
今年下半年8 小时前
从零开始搭建一套大语言模型 + LangGraph 多智能体编排 + RAG 知识库检索** 的智能问答平台
人工智能·语言模型·自然语言处理
Lifangyun_WD8 小时前
RTX 5090 与 RTX PRO 6000 怎么选?32GB 和 96GB 显存分别适合哪些 AI 任务
人工智能·aigc·gpu算力·芯片·gpu租赁
hqyjzsb8 小时前
零 AI 项目经验,学 Python 转型 AI 的正确顺序是什么?
开发语言·人工智能·python·算法·职场和发展·数据挖掘·数据分析
微功夫信息技术8 小时前
分层多智能体强化学习驱动的非急救转运公平 - 效率统一调度系统研究与实践
人工智能·学习·算法·动态规划